Найдем скалярный квадрат суммы
(a+b)²=|a+b|²=a²+2ab+b²
|a+b|²=5²+2·20+8²
|a+b|²=129 ⇒|a+b| =√129
Скалярный квадрат разности
(a-b)²=|a-b|²=a²-2ab+b²
|a-b|²=5²-2·20+8²
|a-b|²=49 ⇒|a-b| =√49 =7
Скалярное произведение разности векторов а и b на их сумму
(a-b)·(a+b)=a²+b²=5²+64=89
Тогда
cos((a-b)^(a+b))=(a-b)·(a+b))/(|a-b|·|a+b|)
cos(a^(a+b))=89/7√129