Количество сочетаний (порядок не важен) из n по k - число, показывающее, сколькими способами можно выбрать k элементов из n различных элементов.
С = n!/ k!(n-k)!
Искомое количество треугольников - количество сочетаний из 100 вершин по 3:
С = 100!/3!*97! =98*99*100/6= 161700