2*cos^2x-sinx*cosx+5*cos^2x=3
7cos^2x-sinxcosx=3sin^2x+3cos^2x
4cos^2x-3sin^2x-sinxcosx=0
Делим каждое слагаемое на cos^2x, чтобы перейти к тангенсу:
-3tg^2x-tgx+4=0;
Замена tgx=y;
-3y^2-y+4=0;
D=1+48=49;
y1=-4/3;
y2=1;
Возвращаемся в замену:
tgx=1;
x=pi/4+pik;
tgx=-4/3;
x=-arctg(4/3)+pik;
Ответ: x=pi/4+pik; x=-arctg(4/3)+pik.