Мне лень это все считать, поэтому напишу просто ход решения:
kx^2)/2 =mv^2)/ 2 - потенциальная энергия переходит в кинетическую энергию шарика находишь отсюда v,
mv=(m+M)*u - закон сохранения импульсов - находишь отсюда u,
(M+m)u^2)/2 = (m+M)*g*h -кинетическая энергия переходит в потенциальную, отсюда уже находишь M.