Во-первых, если cos x = 2√2/3, то cos^2 x = 8/9, sin^2 x = 1/9; sin x = 1/3.
cos^2 (x-38) + cos^2 38 - 2cos(x-38)*cos x*cos 38 =
= (cos x*cos 38+sin x*sin 38)*cos(x-38) + cos^2 38 - 2cos(x-38)*cos x*cos 38
= cos^2 38 + cos(x-38)*sin x*sin 38 + cos(x-38)*cos x*cos 38 -
- 2cos(x-38)*cos x*cos 38 =
= cos^2 38 + cos(x-38)*sin x*sin 38 - cos(x-38)*cos x*cos 38 =
= cos^2 38 - cos(x-38)*(cos x*cos 38 - sin x*sin 38) =
= cos^2 38 - cos(x-38)*cos(x+38) =
= cos^2 38 - 1/2*(cos(x-38-x-38) + cos(x-38+x+38)) =
= cos^2 38 - 1/2*(cos 76 + cos 2x) =
= cos^2 38 - cos 38*sin 38 - cos^2 x + 1/2 =
= cos 38*(cos 38 - sin 38) - 8/9 + 1/2 = cos 38*(cos 38 - sin 38) - 7/18
Дальше не знаю. Проверил калькулятором - получается какое-то иррациональное число, примерно равное -0,253.