Допустим, было 7 мальчиков и 11 девочек.
Один мальчик сделает 11 рукопожатий, по одному на девочку, и таких мальчиков 7, => 7*11 = 77 рукопожатий, => 11+7 = 18 человек.
(Или, наоборот, 11 мальчиков и 7 девочек).
Задача решается подбором делителей общего числа рукопожатий, делители числа 77: 1, 7, 11, 77, из которых вариант 77*1 кажется не очень уж реальным.