Ответ на вопрос б) очевиден: согласно закону всемирного тяготения, сила взаимодействия между шаром и частицей равна
Теперь со вторым заданием. Потенциальная энергия, в данном случае - это работа совершаемая гравитационными силами, которые притягивают к друг другу шар и частицу.
Загвоздка в том, что сила тяготения между шарами меняется с расстоянием, это прекрасно видно по формуле, поэтому обычную формулу для вычисления работы использовать нельзя.
За нулевой уровень потенциальной энергии можно выбрать что угодно, так как физический смысл имеет только разность потенциальных энергий. Поэтому можно рассуждать так, допустим, что потенциальная энергия равна нулю где то очень далеко от обоих тел, на бесконечности. Тогда, чтобы оттащить, скажем, частицу от шара на бесконечность, нужно совершить работу как раз равную потенциальной энергии их взаимодействия на начальном расстоянии друг от друга со знаком минус.
Вычислим эту работу. Пусть шар неподвижен. Перемещая частицу на очень малый отрезок dr мы можем считать что сила гравитации, действующая на частицу неизменна, и тогда эта сила совершает элементарную работу:
Чтобы найти полную работу, нужно сложить все элементарные работы на промежутке от r до +oo, то бишь взять определенный интеграл:
Это и есть ответ на вопрос а).
Ну а если мы бы выбрали за нулевой уровень энергии не бесконечность, а какую нибудь другую точку потенциальная энергия была бы равна
, где С - какое то произвольное число, константа.