Думаю, что это все же (cos x)^2 = cos^2 x, а не cos (x^2).
Потому что тогда задача очень трудная и явно не школьная.
6cos^2 x - 7cos x - 5 = 0
Обыкновенное квадратное уравнение относительно cos x
D = 7^2 + 4*6*5 = 49 + 120 = 169 = 13^2
1) cos x = (7 - 13)/12 = -6/12 = -1/2
x1 = 2pi/3 + 2pi*k
x2 = 4pi/3 + 2pi*k
В промежутке [-pi; 2pi] есть корни:
x1 = 4pi/3 - 2pi = -2pi/3 > -pi; x2 = 2pi/3; x3 = 4pi/3
Чтобы их отобрать, нужно взять k = -1 и k = 0
Причем четвертый корень 2pi/3 - 2pi = -4pi/3 < -pi - не подходит.
Брать другие k бессмысленно, результат будет или < -pi, или > 2pi.
Надеюсь, понятно объяснил, и ты научишься выбирать нужные корни, принадлежащие любому промежутку.
2) cos x = (7 + 13)/12 = 20/12 > 1
Решений нет
Ответ: x1 = -2pi/3; x2 = 2pi/3; x3 = 4pi/3