Это известный прямоугольный треугольник. Обозначим его АВС. АС=12 основание, угол С=90. ВС=5, гипотенуза АВ=13. Центр О окружности по условию находится на гипотенузе и касается катетов АС и ВС. То есть АС касательная к окружности и перпендикулярна радиусу ОЕ(Е точка касания на АС). Треугольники АВС и АОЕ подобны как прямоугольные с общим острым углом А. Тогда АС/ВС=АЕ/ОЕ. Подставляем 12/5=(12-R)/R. Отсюда R=3,53.