Можно и по т.Виета:
a²-1 = x₁ * x₂
a+2 = x₁ + x₂
и по условию либо x₁ = 3x₂ либо x₂ = 3x₁
1) x₁ = 3x₂
a²-1 = 3x₂ * x₂
a+2 = 4x₂ ---> x₂ = (a+2)/4
a²-1 = 3*(a+2)²/16
16a²-16 = 3a²+12a+12
13a² - 12a - 28 = 0
D=144+1456=40²
a₁;₂ = (12+-40) / 26
a₁ = 2 a₂ = -18/13
2) x₂ = 3x₁
a²-1 = 3(x₁)²
a+2 = 4x₁ ---> x₁ = (a+2)/4
a²-1 = 3*(a+2)²/16
в этом случае решение то же самое