Как я понял, вы не понимаете это уравнение:
2cos(3x+Π/4)*cos(2x+Π/2) = -2cos(3x+Π/4)
Переносим правую часть налево
2cos(3x+Π/4)*cos(2x+Π/2) + 2cos(3x+Π/4) = 0
Применяем формулу приведения cos(a+Π/2) = -sin a.
Выносим за скобки 2cos(3x+Π/4)
2cos(3x+Π/4)*(-sin(2x)+1) = 0
Произведение равно 0, если одмн из множителей равен 0
1) cos(3x+Π/4) = 0
2) sin(2x) = 1
Вот отсюда и появились эти два уравнения в квадратной скобке.
Сама эта скобка означает, что выполняется или одно уравнение, или другое, или оба. Но хотя бы одно из двух обязательно. Это называется совокупность.
А в фигурной скобке оба уравнения должны выполняться одновременно. Это называется система.