Можно так попробовать:
Грубо возьмем число pi = 3.14, тогда
cos(1.7) = cos(1.57 + 0.13) = cos(pi/2 + 0.13) = - sin(0.13)
sin(5) = sin(6.28 - 1.28) = sin(2pi - 1.28) = - sin(1.28)
Осталось сравнить между собой sin(0.13) и sin(1.28)
0.13 и 1.28 - углы, лежащие в первой четверти, поэтому
sin(1.28) > sin(0.13), значит -sin(1.28) < -sin(0.13)
То есть cos(1.7) > sin(5).
Калькулятор подтверждает мой ответ.