Система:
х=у-5
х^2-2xy-y^2=17
Подставляем во второе уравнение первое:
(y-5)^2-2y(y-5)-y^2=17
y^2-10y+25-2y^2+10y-y^2=17
-2y^2=17-25
-2y^2=-8
y^2=4
y=2
y=-2
Теперь подставляем получившиеся y в первое уравнение
При y=-2
x=-2-5
x=-7
При y=2
x=2-5
x=-3
Ответ: (-7;-2) и (-3;2)