Идея решения такова.
1) Собираем в числителе и знаменателе полные квадраты. Получится такое:
Это равносильно системе:
Чтобы решить первое уравнение в целых неотрицательных числах, надо понять, сумма квадратов каких двух чисел даёт 26. Очевидно, это (других вариантов нет, можете перебрать).
С учётом того, что под квадратом может могут быть отрицательные числа (ведь ), у нас получится три системы линейных уравнений, которые в общем виде можно записать так:
(Варианты, когда и , не рассматриваем, так как сумма двух неотрицательных чисел не может быть отрицательна. тоже невозможно в неотрицательных числах.)
Вам остаётся только решить эти системы, а затем сверить полученные пары чисел с ОДЗ (знаменатель не равен нулю) и найти наибольшее произведение.
Все возможные решения (для проверки) см. на скриншоте (это без учёта ОДЗ).
А с учётом ОДЗ только одно решение: пара (4;1).