Сечение шара плоскостью всегда круг. Причем радиус сечения, радиус шара и расстояние от центра шара до плоскости сечения образуют прямоугольный треугольник.
В данном случае сечением шара плоскостью треугольника будет вписанный в треугольник круг. Радиус его находится из теоремы Пифагора
r^2 = 3^2 - 2^2 = 5;
Теперь по известному радиусу вписанной окружности надо найти сторону. Тут куча способов, вот один из них : площадь правильного треугольника равна
S = (1/2)*a^2*sin(60) = (1/2)*(3*a)*r;
Отсюда
a = 3*r/sin(60) = 3*корень(5)/(корень(3)/2);
а = 2*корень(15);