6sinx*cosx=cos^2x+5sin^2x

$cos^2x+5sin^2x=6sinx*cosx \\ cos^2x-6sinx*cosx+5sin^2x=0 |:sin^2x \\ \frac{cos^2x}{sin^2x} -6 \frac{cosx}{sinx} +5=0 \\ \frac{cosx}{sinx} =ctgx \\ ctg^2x-6ctgx+5=0$

Пусть ctg x = t ( t ∈ R), тогда имеем:

$t^2-6t+5=0 \\ D=b^2-4ac=(-6)^2-4*1*5=36-20=16 \\ \sqrt{D} =4 \\ t_1= \frac{-b+ \sqrt{D} }{2a}= \frac{6+4}{2} =5 \\ t_2= \frac{-b- \sqrt{D} }{2a}= \frac{6-4}{2} =1$

Обратная замена

$ctgx=5 \\ x_1=arcctg5+ \pi n$

$ctgx=1 \\ x_2=arcctg1+ \pi n \\ x_2= \frac{ \pi}{4} + \pi n$