Тут тот же способ решения, что и с точками-графами, как я из называю. Если представить участников, как точки, а рукопожатия. как отрезки, соединяющие точки, то всего таких отрезков можно будет провести 
, где n - число точек-участников. То есть, подставляем данные значения в формулу. Получаем:
1) 3
2) 6
3) 10
4) 28
5) 105