x^2 + xy + x = 10
y^2 + xy + y = 20
или
х*(х + у + 1) = 10
у*(х + у + 1) = 20
Отсюда у = 2х (по свойствам пропорции)
подставляем во второе уравнение и решаем
(2x)^2 + x*2x + 2x = 20
4x^2 + 2x^2 + 2x - 20 = 0
6x^2 + 2x - 20 = 0
3x^2 + x - 10 = 0
х1 = -2; у2 = -4
х2 = 5/3; у2 = 10/3