Попробуем так. Вычтем из 1 уравнения 2 уравнение
x - y = y^2 + ay - x^2 - ax
0 = (y^2 - x^2) + a(y - x) + (y - x)
(y - x)(y + x) + (a + 1)(y - x) = 0
(y - x)*(y + x + a + 1) = 0
1) y = x, тогда а и b - любые
x = x^2 + ax + b = 0
x^2 + (a-1)x + b = 0
D1 = (a-1)^2 - 4b
Чтобы уравнение имело 2 решения, должно быть
D1 = (a-1)^2 - 4b > 0
x1 = (1-a - √D1)/2
x2 = (1-a + √D1)/2
2) y = -x - a - 1
Подставляем в любое из уравнений
-x - a - 1 = x^2 + ax + b
x^2 + (a+1)x + (b+a+1) = 0
D2 = (a+1)^2 - 4(b+a+1) = a^2 + 2a + 1 - 4b - 4a - 4 =
= a^2 - 2a + 1 - 4b - 4 = (a-1)^2 - 4(b+1)
Чтобы уравнение имело 2 решения, должно быть
D2 = (a-1)^2 - 4(b+1) > 0
x3 = (-a-1 - √D2)/2
x4 = (-a-1 + √D2)/2
Подбираем а и b так, чтобы и D1, и D2 были положительны.
Пусть a = 5; b = 2, тогда
D1 = (a-1)^2 - 4b = 4^2 - 4*2 = 16 - 8 = 8 = (2√2)^2
D2 = (a-1)^2 - 4(b+1) = 4^2 - 4(2+1) = 16 - 4*3 = 4 = 2^2
x1 = (1-a - √D1)/2 = (-4 - 2√2)/2 = -2 - √2
x2 = (1-a + √D1)/2 = (-4 + 2√2)/2 = -2 + √2
x3 = (-a-1 - √D2)/2 = (-6 - 2)/2 = -4
x4 = (-a-1 + √D2)/2 = (-6 + 2)/2 = -2