Для решения неравенства выразим одну переменную через другую
y-x=-5
y=-5+x
y=5-x
теперь подставим во второе уравнение
x²-2×x×(x-5)-(x-5)²=17
x²-2x²+10x-(x²-10x+25)=17
x²-2x²+10x-x²+10x-25=17
-2x²+20x-42=0
x²-10x+21=0
D=100-4×1×21=16
x₁=10+4/2=7
x₂=10-4/2=3
если x=7, то y=2
если x=3, то y=-2