я хз что такое оптимизация, но задача решается вот так:
строим это дело, гипотенузу маленького правого треугольника обозначаем за х, а его катет тоже самое что и сторона прямоугольника за Н, тогда путем несложных действий выражаем все стороны через эти две буквы и получаем уравнение:
(60-х)^2-(48-Н)^2=(36-корень из х^2-Н^2)^2
из него находим что х=1,25Н
S= (36-0,75H)H
S'=36-1,5H=0
H=24
x=30 а так как гипотенуза 60, то точка это середина