Обозначим радиус круга, касательного к двум данным (внешним образом) и к касательной, проведенной через точку N, за R.
Пусть центр окружности с радиусом 3 будет в начале координат.
Составим систему уравнений на основе данных задания.
{x² + y² = (R + 3)²,
{(x - 8)² + y² = (R + 5)²,
{(R - 3)² + y² = (R + 3)².
Из третьего уравнения имеем у² = (R + 3)² - (R - 3)².
Подставляя в первое и второе уравнение, находим:
R = 24/5 = 4,8.
х = 9/5,
у = 12√(2/5).