Может , есть и другое решение, но не хотелось слишком много думать, так что будем решать "в лоб".
Смотри файл.
Сделаем обозначения и решаем, все по т. Пифагора.
Из треугольника ОСД
(R+x)²-(R-x)²=b² ⇒ (1) 4Rx=b²
Из треугольника ОАВ
(r+x)²-(r-x)²=a² ⇒ (2) 4rx=a²
Из треугольника АСМ
(R+r)²-(R-r)²=(a+b)² ⇒ (3) (a+b)²=4Rr
теперь (1) умножаем на (2) получаем a²b²=16rRx² ⇒ (4) ab=4x√rR
раскрываем скобки в (3) получаем a²+2ab+b²=4Rr
подставляем (1), (2) и (4)
4rx+2*4x√rR+4Rx=4Rr
x(r+2√rR+R)=Rr
x(√r+√R)²=Rr
x=Rr/(√r+√R)²
