Пользуемся формулами двойного угла
cos^2(x)-sin^2(x)+2cos^2(x)-2sinx*cosx=0
3cos^2(x)-2sinx*cosx-sin^2(x)=0 | :sin^2(x)
3ctg^2(x)-2ctgx-sinx=0
Введем замену ctgx=y
2y^2-2y-1=0
y=1+√3
y=1-√3
Ввернемся к замене
ctgx=1+√3 => x=arcctg(1+√3)
ctgx=1-√3 => x=arcctg(1-√3)