x0, x0 - координаты центра окружности.
xp, yp - координаты точки
расстояние от окружности до точки это гипотенуза, катеты это xp-x0 и yp-y0.
Соответственно если это расстояние меньше радиуса окружности - точка внутри, равно - на границе, больше - за пределами.
По теореме Пифагора.