Cos2x=cos²x-sin²x
cos²x-sin²x+5sinx*cosx+5cos²x=0
6cos²x+5sinx*cosx-sin²x=0
Имеем право поделить на cos²x≠0
6+5tgx-tg²x=0
Пусть tgx=t, тогда
6+5t-t²=0
t²-5t-6=0
t1=6, t2=-1
Выполним обратную подстановку:
tgx=-1, tgx=6 ⇒x=-π/4+πn или x=arctg6+πk; n и k∈Z
Перепроверьте на всякий случай