Это не "системное уравнение", а СИСТЕМА УРАВНЕНИЙ...
можно в каждом уравнении вынести общий множитель:
х(х+у+1) = 10
у(у+х+1) = 20
и заметить, что выражения в скобках получились одинаковые...
х+у+1 = 10/х ---подставим во второе уравнение...
у*10/х = 20
у/х = 2
у = 2х ---а теперь это подставим в первое уравнение...
х(х+2х+1) = 10
х(3х+1) = 10
3x^2 + x - 10 = 0
D = 1+4*3*10 = 11^2
x1 = (-1-11)/6 = -2
x2 = (-1+11)/6 = 5/3
y1 = -4
y2 = 10/3
Ответ: (-2; -4), (1_2/3; 3_1/3)