Провести луч из этой точки и посчитать сколько раз он пересечет многоугольник. Если количество пересечений нечетное, то точка внутри многоугольника. Если четное - снаружи.
Это так, потому что каждый раз при движении по лучу и переходе через границу многоугольника, мы переходим изнутри наружу, или наоборот.