Ну и что здесь такого? Просто два графика построить. В одном уравнение окружности, в другом просто модуль. У них 3 точки пересечения, координаты этих точек и есть решения.
Уравнение окружности:
Здесь R-радиус окружности, x0-координата x центра окружности, y0-координата y центра окружности.