Имеем систему
ху=5
х^2+y^2=26 (2)
Умножим ху =5 на 2, имеем 2ху=10
Сложим и вычтим 2ху=10 из уравнения (2) системы
х^2+2ху+у^2= 36
х^2-2ху+у^2=16
(х+у)^2=36
(х-у)^2=16
Избавимся от квадратов, извлечём корень, имеем
х+у =6
х-у = 4
Далее решаем как обычно, выразим х=6-у и подставим, получим
(6-у)-у=4
6-2у=4
2у=6-4
2у=2
у=1
Найдём х, имеем х=6-у, х=6-1, х=5
Ответ х=5,у=1.