Применим формулу cos(2α)=1-2cos²α к cos(4x): cos(4x)=1-2cos(2x). Тогда уравнение перепишется так: (2cos²(2x)-cos(2x)-1)²=4+cos²(3x)
cos(2x), как и косинус любого другого угла, принимает значения от -1 до 1 включительно. Тогда (2cos²(2x)-cos(2x)-1)² принимает значения от 0 (когда cos2x=1) до 4 (когда cos2x=-1) включительно. Но 4+cos²(3x)≥4,а значит, раз левая часть всегда меньше или равна 4, а правая больше или равна 4, равенство возможно только тогда когда обе части равны 4. Получаем систему:
{4+cos²(3x)=4
{(2cos²(2x)-cos(2x)-1)²=4
Из второго уравнения, с учетом выше написанного, сразу получаем
cos2x=-1. Отсюда
2x=π+2πn
x=π/2+πn, где n - любое целое число. Эта серия корней удовлетворяет и первому уравнению системы, поэтому это и есть решение. Теперь надо отобрать наименьший положительный корень. Это очевидно π/2 или 90°.
А вот и годный сайтик для обучения: http://mathus.ru/math/. Внизу есть раздел "Базовый курс математики", а в нем "Тригонометрия".