Решать в общем виду долго и скучно. Но если условие корректное (то есть не зависит от не заданного соотношения сторон AB и AC), то можно рассмотреть частный случай, а именно равнобедренный треугольник ABC. Если взять за x длину боковой стороны (AB или AC), то основание BC будет равно x*корень(3). То есть периметр x+x+x*корень(3) = 10 и боковая сторона равна: x = 10/(2+корень(3)). Расстояние до центра описанной в условии окружности находим из треугольника ANO, где N - точка касания окружностью луча AB. Не трудно показать, то AN = x*(1+корень(3)/2) = 10*(1+корень(3)/2)/(2+корень(3)) = 5. А гипотенуза AO имеет длину 5/sin(60) = 10.
Можно также рассмотреть треугольник ABC с длиной стороны AC стремящейся к нулю. Не трудно показать, что в этом случае описанная в условии окружность должна касаться линии AB вблизи стремящейся к нулю окрестности точки B, длина AB будет равна 10/2 = 5, а угол между AB и направлением на центр искомой окружности равен 60 (половине 120 - центр будет лежать на биссектрисе к углу A). То есть имеем прямоугольный треугольник ABO (угол B - прямой) с углом A = 60 градусов и катетом AB = 5. AO = 5/sin(60) = 10.