Здесь удобно перейти к косинусу двойного аргумента...
формула: 1 + cos(2x) = 2*(cos(x))²
(cos(5pi/12))² = (1 + cos(5pi/6)) / 2 = (1 + cos(pi - pi/6)) / 2 = (1 - cos(pi/6)) / 2 =
(1 - (√3/2)) / 2 = (2 - √3) / 4
√12* (2 - √3) / 4 = √3* (2 - √3) / 2 = (2√3 - 3) / 2 = √3 - 1.5
√3 - 1.5 - √3 = 1.5