Прошу прощения, думал, нужно найти сторону правильного треугольника.
Соединяем две соседние точки касания с центром. Получаем четырехугольник с углами 120, 60, 90, 90. Проводим в нем вторую диагональ. Она разбивает четырехугольник на 2 треугольника с углами 90, 60, 30. Сторона против угла в 30 градусов составляет половину стороны искомого шестиугольника. Она равна R*tg30=R*sqrt(3)/3. Тогда сторона шестиугольника равна 2sqrt(3)*R/3 или 2R/sqrt(3)