Как известно, cos α получается так: рисуем окружность с центром в начале координат, поворачиваем ось OX на угол α против часовой стрелки, смотрим, где эта повернутая ось пересеклась с окружностью, из полученной точки опускаем перпендикуляр на ось OX и смотрим, какая там координата. Она и называется косинусом угла альфа.
Кстати, эта координата называется абсциссой той точки, из которой мы опускали перпендикуляр.
Если у нас есть два угла, которые отличаются на половину оборота (то есть на 180°, иначе говорят на π радиан ), то есть если соответствующие точки пересечения с окружностью диаметрально противоположны, то абсциссы у этих точек различаются только знаком, а значит, косинусы этих углов различаются только знаком.
Когда из угла вычитается, как у Вас, 5π (это 2π, 2π и π), это означает, что ось поворачивается по часовой стрелке. Сначала она поворачивается на 2π - это полный оборот, ось вернулась на старое место, потом поворачивается еще на 2π - с тем же результатом. И наконец она поворачивается еще на π, то есть на 180°, то есть на половину оборота. Замечаем кстати, что если бы мы вращались против часовой стрелке, получился бы тот же результат мы.