Число треугольников полученных соединением 11 точек равно числу возможных наборов по 3 из 11 вершин.
Общее число всевозможных наборов из 11 точек когда важен порядок выбора равно 11!. Выбрать заданные 3 точки (и не выбрать 7 оставшихся) можно в разном порядке. Число таких порядков 3!*7!
Если порядок выбора не имеет значения (как в данном случае), то число треугольников есть 11!/(3!*7!)=1320