Y+2x=5 ⇒ y=5-2x
x^2-y^2+xy=5
подставляем значение у во второе уравнение системы
x^2-(5-2x)^2+x(5-2x)=5
x^2-(25-20x+4x^2)+5x-2x^2-5=0
x^2-25+20x-4x^2+5x-2x^2-5=0
5x^2+25x-30=0
решаем квадратное уравнение через дискрименант
D=b-4ac
D=1225
x1=(-b-√D)/2a ⇒ x1=6
x2=(-b+√D)/2a ⇒ x2=-1,7
подставляем полученные значения в первое уравнение системы
y1=5-2*6=-7
y2=5-2*(-1,7)=5+3.4=8.4