(cosx)^2-(sinx)^2+6sinxcosx=3(cosx)^2+3(sinx)^2
2(cosx)^2+4(sinx)^2-6sinxcosx=0
(cosx)^2+2(sinx)^2-3sinxcosx=0
поделим обе части на (sinx)^2, будем иметь:
(ctgx)^2-3ctgx+2=0
делаете замену ctgx=a и решаете квадратное уравнение вида:
a^2-3a+2=0
откуда a1=1, a2=2
возвращаетесь к ctgx:
ctgx=1 ctgx=2
далее решаете эти два уравнения и, если необходимо, проверяете, удовлетворяют ли их корни исходному уравнению.