Как всегда, "условие отрыва" означает, что "сила реакции поверхности" равна нулю. Тело больше не давит на поверхность петли и движется только под действием силы тяжести. При этом оно продолжает (в данный момент времени) двигаться по окружности радиуса R. Из этого всё и получается.
Если угол между радиусом, проведенным в точку отрыва, и вертикалью, обозначить, как α, то из закона сохранения энергии
m*v^2/2 + mgR(1+cos(α)) = mgh;
или m*v^2/R = 2mg(h/R - 1 - cos(α));
Поскольку в момент отрыва "центростремительное" ускорение равно состовляющей силы тяжести вдоль радиуса, то есть mgcos(α) (это просто второй закон Ньютона, записанный в проекции на линию, соединяющую точку отрыва с центром петли - масса*ускорение = сила, ускорение вдоль этой линии равно v^2/R, а единственная сила, действующая на тело в этот момент - это сила тяжести, равная mg и направленная вертикально вниз).
mgcos(α) = 2mg(h/R - 1 - cos(α));
cos(α) = (2/3)*(h/R - 1); это и есть условие отрыва. При этом тело будет находиться на высоте R*(1 + cos(α)) = 2h/3 + R/3; это 5м.