Пусть мальчиков было х, тогда девочек - у.
Тогда если всего рукопожатий было 77, значит х*у = 77.
77 можно разложить только двумя способами: 7*11 или 11*7(что тоже самое), значит мальчиков было 7, девочек 11 или девочек было 7 а мальчиков 11 (не суть). Всего учеников в классе 11+7=18.
Ответ: 18.