Упростим первое:
5xy=4*(x+y)
(x+y)/xy=5/4
И второе:
(x+y)^2-2*x*y=17
Делаем замены:
x+y=a
xy=b
4a=5b a=5b/4
a^2-2b=17
25*b^2/16 -2b=17
25*b^2-32*b-272=0
D=32^2+4*25*272=28224=168^2
b=(32+-168)/50
b1=4 a1=5
b2=-2,72 a2=-3,4
Ну а дальше там дело техники решить два квадратных уравнения относительно замен:
1) a+b=5
ab=4 Это система теоремы виета имеет два решение что легко найти подбором без квадратного: a=1 b=4 ;a=4 b=1.
2) Анологично второй случай сами досчитаете там.