Алгоритм будет приблизительно такой:
1.Принять координаты первой точки.
2.Принять координаты второй точки.
3.Рассчитать расстояние от первой точки до начала координат.
4.Рассчитать расстояние от второй точки до начала координат.
5.Сравнение.
5.1.Если первое расстояние больше, вывести ответ: "Ближе вторая точка".
5.2.Иначе, вывести ответ: "Ближе первая точка".
6.Конец программы.