Вторым концом диагонали будут все вершины, кроме исходной и двух соседних. Т.е. для многоугольника с N вершинами число диагоналей из одной вершины равно N-3.
Для 11-угольника их 8, для 30-угольника - 27.
Общее число диагоналей можно подсчитать, если умножить количество вершин на число диагоналей из одной вершины: N(N-3). При этом каждую диагональ мы считаем 2 раза, т.е еще нужно разделить на 2: N(N-3)/2.
Для 11-угольника: 11*8/2 = 44
Для 30-угольника: 30*27/2 = 405