В треугольнике АСЕ АС - диагональ квадрата в основании, и
АС^2 = 2; (длина ребра куба принята за 1)
АЕ = СЕ,
и
АЕ^2 = AD^2 + DE^2 = 1 + (1/3)^2 = 10/9;
Если обозначить косинус угла АЕС (который и надо найти) за х, то
по теореме косинусов для треугольника АЕС
АС^2 = AE^2 + CE^2 - 2*AE*CE*x = 2*AE^2*(1 - x);
2 = 2*(10/9)*(1 - x);
x = 1/9;
Я добавлю глубокомысленное замечание.
Обратите внимание на технику решения - я не записал по ходу ни одного корня. Это, конечно, мелочь, но именно в таких мелочах и путаются обычно.