Спочатку піднести треба обидві частини до квадрату, повинно вийти так
5х+7-2*корінь5х+7*корінь3х+1=х+3
отримали
-2*корінь5х+7*корінь3х+1=х+3-5х-7+3х-1
корінь5х+7*корінь3х+1=(х-5)/2
знову піднесли до квадрату
(5х+7)*(3х+1)=(х^2-10х+25)/4
розкрили дужки і домножили обидві сторони на 4
(15х+5х+21х+7)*4=х^2-10х+25
60х+20х+84+28=х^2-10х+25
х^2-174х-3=0
далі через дискримінант, перевірте,можливо десь допущенна помилка.