Из каждой вершины можно провести диагонали во все другие вершины, кроме ее самой и двух соседних. Если вершин n. то диагоналей n-3. И так из каждой вершины.Всего получается n*(n-3). Но фокус в том,что каждую диагональ мы посчитали дважды, с каждого конца. Уменьшим в два раза . Ответ n*(n-3)/2 диагоналей.
Пример; у пятиугольника 5*2/2 = 5 диагоналей.