Функция выпукла вверх (или просто выпукла), когда у нее вторая производная отрицательна. Функция выпукла вниз (или просто вогнута), когда ее вторая производная положительна.
Считаем вторую производную:
y=x-sin(x)
y'=1-cos(x)
y''=sin(x)
При х принадлежит (0 + pi K, pi + pi K) - функция выпукла вниз
При х принадлежит (pi + pi K, 2pi + pi K) - функция выпукла вверх