A cos²x + B sin x cos x + C sin²x = d
A cos²x + B sin x cos x + C sin²x = sin²x + cos²x
Переносишь из правой части в левую
E cos²x + B sin x cos x + F sin²x = 0 | :cos²x ( или sin²x)
Удобнее будет, если в итоге получиться tg x, значит делим на sin²x
E tg²x + B tg x + F = 0
tg x = t
Et² + Bt + F = 0
А дальше дискриминант, или как там удобнее (Я т.Виета пользуюсь)
Получаем корни t, допустим t = H ; O
Приравниваем наш tg x к корням
tg x = H или tg x = O
Это решить уже не составит труда
x = arctg(H) + 
n, n ∈ Z
x = arctg(O) + n, n ∈ Z
Само собой, если tg = 1, то это /4+n, n ∈ Z, и т.п
Это я общее привёл