Решим методом подстановки: выразим из второго уравнения x через y (решим уравнение относительно x, считая y известным) и подставим в первое.
Второе уравнение:
x^2 + 6 x y + 8 y^2 -2 x - 8 = 0
(выделяем полный квадрат для x слева)
(x + 3 y - 1)^2 = (y - 3)^2
x + 3 y -1 = (+/-) (y - 3)
x = 1 - 3 y (+/-) (y - 3)
Два случая: А) x = 4 (1 - y) Б) x = -2 (y + 1)
А) Подставляем x = 4 (1 - y) в первое уравнение:
x^2 + 2 x y - 8 y^2 + 9 x + 30 y + 8 = 0
16 (1 -y)^2 + 8 y (1 - y) - 8 y^2 + 36 (1 - y) + 30 y + 8 = 0
(Раскрываем скобки, приводим подобные)
-30 y + 60 = 0
y = 2
x = 4 (1 - y) = 4 (1 - 2) = - 4
Получаем одно из решений системы: (-4; 2)
Б) Подставляем x = -2 (y + 1) в первое уравнение:
x^2 + 2 x y - 8 y^2 + 9 x + 30 y + 8 = 0
4 (1 + y)^2 - 4 y (1 + y) - 8 y^2 - 18 (1 + y) + 30 y + 8 = 0
(Раскрываем скобки, приводим подобные)
-8 y^2 + 16 y - 6 = 0
4 y^2 - 8 y + 3 = 0
(Выделяем слева полный квадрат)
(2 y - 2)^2 = 1
2 y - 2 = (+/-)1
y = 1 (+/-) 1/2
1) y = 1 + 1/2 = 3/2
x = - 2 (1 + y) = - 2 (1 + 3/2) = - 5
Получаем одно из решений: (-5; 3/2)
2) y = 1 - 1/2 = 1/2
x = - 2 (1 + y) = - 2 (1 + 1/2) = - 3
Получаем одно из решений: (-3; 1/2)
Ответ: (-4; 2), (-5; 3/2), (-3; 1/2)