5sin^2 x + 3sin x*cos x - cos^2 x=3
5sin^2 x + 3sin x*cos x - cos^2 x-3sin^2x-3cos^2x=0
2sin^2x+3sinxcosx-4cos^2x=0 делим все на cos^2x
2tg^2x+3tgx-4=0
tgx=t
2t^2+3t-4=0
D=9+32=41
t=(-3+корень из 41)/4
возможно ты неправильно списала, так как решение правильное