Пусть катеты а и b, гипотенуза с.
h=ab/c
r=ab/(a+b+c)
c^2=a^2+b^2
это нелинейная система из трех уравнений с тремя неизвестными а,.b и с.
Нас интересует только с.
ab=hc
h/r=(a+b+c)/c=(a+b)/c+1
(a+b)=c*(h-r)/r
Обозначим (h-r)/r= q
a*a+2ab+b*b=c*c*q*q
c*c+2hc=c*c*q*q
2h=c*(q*q-1)
c=2h/(q*q-1)
c=2h*r*r/(h*h-2hr+r*r-r*r)=2h*r*r/(h*h-2h*r)=2r*r/(h-2*r)
Ответ: с=2r*r/(h-2*r)