Хитрая производная! Она берется так:
y = f(x)^g(x)
Сначала берем производную от степенной функции, считая g(x) постоянной
Потом производную от показательной функции, считая f(x) постоянной.
Можно и наоборот. Результаты складываем.
y ' = g(x)*f(x)^(g(x) - 1)*f ' (x) + f(x)^g(x)*ln(f(x))*g ' (x)
Можно f(x)^g(x) вынести за скобки
y ' = f(x)^g(x)*[g(x)*f ' (x)/f(x) + ln(f(x))*g ' (x)]
В нашем случае
y = (x^4+5)^ctg x
y' = ctg x*(x^4+5)^(ctg x-1)*(4x^3) + (x^4+5)^ctg x*ln(x^4+5)*(-1/(1+x^2)) =
= (x^4+5)^ctg x*[4x^3*ctg x/(x^4+5) - ln(x^4+5)/(1+x^2)]