В общем виде показательная и тригонометрическая формы комплексного числа выглядят так:
z = r*e^(i*φ) = r*(cos φ + i*sin φ)
В нашем случае
z = 5*e^(i*5/6) = 5(cos(5/6) + i*sin(5/6))
А нет ли у вас опечатки? Может быть, вы знак π забыли?
Если да, то решение намного проще:
z = 5(cos(5π/6) + i*sin(5π/6)) = 5*(-√3/2 + i*1/2) = -5√3/2 + i*5/2
Это и есть тригонометрическое и алгебраическое представления.
Это получается, потому что cos(5π/6) = -√3/2; sin(5π/6) = 1/2