Установим начало координат в месте, где пружина максимально деформирована
изначально шар обладал только запасом потенциальной энергии mg (h + x), которая в дальнейшем перейдет в энергию деформированной пружины (k x²)/2 и расходуется на преодоление силы сопротивления F
по закону сохранения энергии:
mg (h + x) = (k x²)/2 + F x
сведем данное уравнение к квадратному относительно x:
(k x²)/2 + x (F - mg) - mgh = 0
корни данного уравнения:
x(1,2) = (-F + mg +- √(F² - 2mgF + m²g² + 2kmgh))/k
физический смысл имеет только корень со знаком "+":
x = (-F + mg + √(F² - mg (2 (F - kh) - mg)))/k