Выпуклость и вогнутость - это вторая производная.
Если она > 0, то кривая выпуклая вниз, то есть вогнута.
Если она < 0, то кривая выпуклая вверх.
Если она = 0 - это точка перегиба.
y = x^2 - 2x
y ' = 2x - 2
y '' = 2 > 0 при любом х - кривая вогнута на всей прямой (-oo; +oo)