Решал уже. Замена log8 (cos x) = y.
Область определения cos x > 0; x ∈ (-pi/2 + 2pi*k; pi/2 + 2pi*k)
6y^2 - 5y - 1 = 0
(y - 1)(6y + 1) = 0
1) y = log8(cos x) = 1
cos x = 8 - решений нет
2) y = log8(cos x) = -1/6
cos x = 8^(-1/6) = 2^(-3/6) = 2^(-1/2) = 1/√2
x1 = pi/4 + 2pi*k; x2 = -pi/4 + 2pi*k
В промежуток (5pi/2; 4pi) = (10pi/4; 16pi/4) попадает корень:
x = -pi/4 + 4pi = 15pi/4