Пойдем в упор... Возведём обе части в квадрат.
√((3x^2-5x+8)-√(3x^2-5x+1))^2=1
9-10x+6x^2-2*√((3x^2-5x+1)(3x^2-5x+8))=1
-2√((3x^2-5x+1)(3x^2-5x+8)=-6x^2+10x-8
Еще раз возведем в квадрат обе части
4((3x^2-5x+1)(3x^2-5x+8)=(-6x^2+10x-8)^2
Раскроем скобки...
36x^2-120x^3+208x^2-180x+32=36x^4-120x^3+196x^2-160x+64
Уравнение примет вид
(12x^2-20x-32)/4
3x^2-5x+8=0
D=25+96=11^2
x1=5-11/6; x1=-1
x2=5+11/6; x2=8/3
Ответ: 8/3;-1