1) Преобразуем числитель
cos²a-ctg²a=cos²a- cos²a/sin²a=1/sin²a*(cos²a*sin²a-cos²a)=1/sin²a*cos²a*(sin²a-1)=
=1/sin²a * cos²a *(-cos²a)=-cos⁴a *1/sin²a
2) Преобразуем знаменатель
sin²a-tg²a=sin²a- sin²a/cos²a=1/cos²a *(sin²a*cos²a-sin²a)=1/cos²a *sin²a*(cos²a-1)=
=1/cos²a *sin²a *(-sin²a)= -sin⁴a*1/cos²a
Таперь разделим первое выражение на второе, получим дробь:
-cos⁴a *cos²a cos⁶a
-------------------- = ------------ = ctg⁶a
-sin⁴a*sin²a sin⁶a