Можно попробовать по формуле косинуса двойного угла
1 - 2sin^2 x = cos 2x
1 - 2sin^2 (5x/4 - 5pi/12) = cos (5x/2 - 5pi/6) =
= cos(5x/2)*cos(5pi/6) + sin(5x/2)*sin(5pi/6) =
= cos(5x/2)*cos(pi - pi/6) + sin(5x/2)*sin(pi - pi/6) =
= - cos(5x/2)*cos(pi/6) + sin(5x/2)*sin(pi/6) =
= - cos(5x/2)*√3/2 + sin(5x/2)*1/2 =
= 1/2*√((1 - cos 5x)/2) - √3/2*√((1 + cos 5x)/2)
Впрочем, последнюю строчку можно и не делать.
Теперь, подставляем все это в наше уравнение
cos x*sin^2 (5x/4 - 5pi/12) =
= cos x*(1 - 2sin^2 (5x/4 - 5pi/12) - 1)/2 =
= 1/2*cos x*(
- cos(5x/2)*√3/2 + sin(5x/2)*1/2
- 1) =
= 1/4*cos x*( sin(5x/2) - cos(5x/2)*√3 - 2)
Примерно так.