Либо достроить до прямоугольника/квадрата - смотря что получится, потом найти его площадь и вычесть площадь двух внутренних треугольников. Или же S= В+Г/2-1
Где В точки внутри многоугольника, Г - это точки на на поверхности которые лежат соприкасаются равномерно в точке, -1 просто минус 1.