Выразите k через m и h:

Нужно привести к квадратному уравнению и решить его относительно переменной k

$\sqrt{k^2+h^2}+2k=m \\\sqrt{k^2+h^2}=m-2k \\$

Теперь возведем обе части в квадрат:

$\displaystyle k^2+h^2=(m-2k)^2 \\k^2+h^2=m^2-4mk+4k^2 \\$

И наконец решим уравнение относительно k:

$\displaystyle 3k^2-4mk+(m^2-h^2)=0\\\\D=16m^2-12\cdot(m^2-h^2)=16m^2-12m^2+12h^2=4m^2+12h^2\\\\k_1={4m+\sqrt{4m^2+12h^2}\over6}={4m+2\sqrt{m^2+3h^2}=\over6}={2m+\sqrt{m^2+3h^2}\over3}\\\\k_2={4m-\sqrt{4m^2+12h^2}\over6}={4m-2\sqrt{m^2+3h^2}=\over6}={2m-\sqrt{m^2+3h^2}\over3}$