Ну насчет степеней ты сам догадался, про замену тебе подсказали, решаем дальше.
Во-первых, t = (2+√3)^x > 0 при любом x
t^3 - 5t^2 + 6t + 1/t - 5 = 0
Умножаем все на t.
t^4 - 5t^3 + 6t^2 - 5t + 1 = 0
Это симметричное уравнение, оно решается делением на t^2
t^2 - 5t + 6 - 5/t + 1/t^2 = 0
Заметим, что (t + 1/t)^2 = t^2 + 2*t*1/t + 1/t^2 = (t^2 + 2 + 1/t^2)
(t^2 + 2 + 1/t^2) - 5(t + 1/t) + 4 = 0
(t + 1/t)^2 - 5(t + 1/t) + 4 = 0
Опять замена t + 1/t = z >= 2 при любом t > 0, причем z = 2 при t = 1.
z^2 - 5z + 4 = 0
Наконец-то свели к к квадратному уравнению.
(z - 1)(z - 4) = 0
1) z = 1 - не бывает, решений нет
2) z = 4 = t + 1/t
t^2 - 4t + 1 = 0
D = 4^2 - 2*1*1 = 16 - 4 = 12 = (2√3)^2
t1 = (4 - 2√3)/2 = 2 - √3
t2 = 2 + √3
Обратная замена
t1 = (2 + √3)^x = 2 - √3 = (2 + √3)^(-1); x1 = -1
t2 = (2 + √3)^x = 2 + √3; x2 = 1
Всё!