Как сказал NeZeRAvix, нужно заменить в обеих скобках x²+2x на t:
(t + 2)(t - 4) = -5, раскроем скобки
t² - 4t + 2t - 8 + 5 = 0
t² -2t -3 = 0
D = 4 + 4*3 = 4²
t₁₂ = 3;-1
Вернёмся к замене:
1) x² + 2x = 3
x² + 2x - 3 = 0
D = 4 + 4*3 = 4²
x₁₂ = -3;1
2) x² + 2x = -1
x² + 2x + 1 = 0
D = 4 - 4 = 0
x = -b/2a = -1
Ответ: x₁ = -3, x₂ = -1, x₃ = 1