Для начала, рекомендую собрать всевозможные скобки, типа разностей квадратов, т.е.
((25-27a+9a^2))/(9-6a+a^2) - a^3 = ((3a-5)^2+3a)/(a-3)^2 - a^3, теперь подставим a=-13
((-39-5)^2 -39)/(-16)^2 + 13^3 = (44^2-39)/16^2 + 13^3, возводим в квадраты, кубы, раскрываем скобки, приводим к общему и получаем
(1897 + 562432)/256=564329/256
И т.к. все это под корнем, то получим
sqrt(564329)/16