Раз шарики маленькие, то будем считать их точечными зарядами.
Сила взаимодействия двух неподвижных точечных зарядов определяется законом Кулона:
F = k*|q1|*|q2| / (ε*r²), где
F – сила взаимодействия зарядов, Н;
|q1| и |q2| – модули (положительные значения) взаимодействующих зарядов, Кл;
ε – диэлектрическая проницаемость среды (для воздуха примем ε=1);
r – расстояние между зарядами, м;
k = 9*10^9 Н*м²/Кл² – постоянный коэффициент.
F = 9*10^9 * 2*10^(-9) * 4*10^(-9) / (1 * 0,03^2)
Обращу внимание, что я заряды из "нКл" перевёл в "Кл", а расстояние из "см" – в "м". Все величины подставлены в СИ, поэтому я единицы измерения не писал. Ответ получится тоже в СИ, т.е. ньютоны.
F = 0,00008 Н = 80 мкН (т.е. 80 микроньютонов).
Если шарики опустить в машинное масло, то изменится диэлектрическая проницаемость среды ε. У любого диэлектрика эта величина больше 1, значит в знаменателе (см. формулу для силы выше) будет большее число, значит сила взаимодействия шариков уменьшится.
Для справки: диэлектрическая проницаемость ε машинного масла приблизительно находится в диапазоне 2,2 – 2,6. Значит вот во столько же раз и уменьшится сила взаимодействия.