1. Применим формулы понижения степени(см. например здесь http://uztest.ru/abstracts/?idabstract=89):
√3cos²5π/12-√3sin²5π/12 = √3(1+cos5π/6)/2-√3(1-sin5π/6)/2
2. По формулам приведения: cos5π/6 = - cosπ/6 = -√3/2
sin5π/6 = sinπ/6 = 1/2
3. Считаем: √3(1-√3/2)/2-√3(1-1/2)/2 = √3 (1/2 - √3/2)/2 = √3 (1 - √3)/4
Вроде так, по крайней мере общий путь решения такой