Система имеет бесконечное число решений, если оба уравнения по сути одинаковы.
Умножим 2 уравнение на 2, чтобы уравнять правые части.
{ 8x + (a^2 + ab + b^2)y = 4
{ 2(a - b)x + 52y = 4
Уравнения должны быть одинаковы, то есть коэффициенты равны.
{ 8 = 2(a - b)
{ a^2 + ab + b^2 = 52
Делим 1 уравнение на 2
{ a - b = 4
{ a^2 + ab + b^2 = 52
Перемножаем уравнения
(a - b)(a^2 + ab + b^2) = 4*52
a^3 - b^3 = 208
Получаем систему:
{ a - b = 4
{ a^3 - b^3 = 208
Вспомнив, что 6^3 = 216, а 2^3 = 8, получаем очевидный ответ:
a = 6; b = 2
Или наоборот
a = -2; b = -6