
Это сложная функция, и она дифференцируются по частям.
Приавло дифференцирования сложной функции по частям:

на примере будет понятнее:

И так сначала дифференцируем (cos3x)^2 как степенную функцию 
затем внутри у нас функция cos3x, дифференцируем и получаем (-sin3x)
и это ещё не все. cos3x является сложной функции, внутри другой сложной.
дифференцируем 3x, получаем 3.
также вконце мы получаем формулу двойного угла для синуса.