Если совсем просто объяснять алгоритм, то это поиск минимального значения функции на отрезке [-20;40].
Функция представляет из себя параболу в которой пользователь может задать параметр H.
Если мы распишем функцию, то получим F(x,H)=x^2-(10+H)x+10H.
Далее в цикле перебираются точки отрезка. Если в какой-то точке значение параболы будет меньше исходного (R), то значение этой точки t сохраняется в переменной M, а значение параболы записывается в R.
Математически минимум параболы будет в точке t=-5-H/2, -202(t+5)=H
Максимально можно получить t=40, тогда H должно иметь значение не более -90.
По условию задачи H - integer, поэтому минимально оно может быть -32768