Функция сos²х не может равняться отрицательному числу (-1), так как квадрат любого числа, в том числе и отрицательного, есть число положительное или ноль, то есть 0 ≤ cos²x ≤ 1 .
Поэтому уравнение cos²x=-1 не имеет решений.
P.S. Сам же cosx принимает значения от (-1) до 1: -1≤ cosx ≤ 1 .