Точно не уверен, но думаю здесь стоит воспользоваться формулами понижения степени.
cos^2 pi/6 - sin^2 pi/8 =
Раскладываем каждое по формулам понижения степени.
cos^2 pi/6 = 1+cos2pi/6/2=1/2+cos2pi/3
sin^2 pi/8 = 1-cos2pi/8/2=1/2-cospi/2
1/2+cos2pi/3-1/2+cospi/2=cos2pi/3+cospi/2=-1/2
Ответ: -1/2