Если многоугольник произвольный, то из одной вершины проведите все диагонали и найдите площадь каждого получившегося треугольника. Результаты сложите. Если многоугольник правильный, то существуют формулы для каждого отдельного случая. Но можно вывести и общую формулу, зависящую от количества сторон.