Лучше всего раскрывать скобки так: первая с четвертой и вторая с третьей.
Раскрываем.
(x²-5x+4)(x²-5x+6)=3
Введем замену. t=x²-5x
(t+4)(t+6)=3
t²+10t+24=3
t²+10t+21=0
t₁=-7
t₂=-3
Вернемся к замене:
x²-5x=-3
x²-5x+3=0
x=±(5*√(13))/2
x²-5x=-7
x²-5x+7=0
D=-3 => нет корней
Ответ: x=±(5*√(13))/2