(sin5a-2sin3acos3a) - это числитель?
(1-cos5a-2sin²3a) - это знаменатель?
Если да, то используешь формулы тригонометрии и получаешь:
2sin3acos3a = sin6a
1-2sin²3a = cos6a
⇒ (sin5a - sin6a)/(cos6a-cos5a)
-(sin6a - sin5a) = - 2*sin(a/2)*cos(11a/2)
cos6a-cos5a = -2*sin(11a/2)*sin(a/2)
⇒ (sin5a - sin6a)/(cos6a-cos5a) = cos(11a/2)/sin(11a/2) = ctg(11a/2)