Пусть Н - высота пирамиды. Sosn - площадь основания, Sboc - боковой, S - площадь всей поверхности, S = Socn + Sboc; V - объем, r - радиус вписанного шара.
Sboc*cosb = Socn;
S = Socn*(1 + 1/cosb);
V = Socn*H/3; Socn = 3*V/H;
S = (3*V/H)*(1 + 1/cosb);
H/(1 + 1/cosb) = 3*V/S;
Справа стоит радиус вписанного шара, потому что
V = r*S/3;
Если это не понятно - соедините мысленно центр шара с вершинами и сложите объемы всех полученных при этом пирамид с высотами, равными r, и боковыми гранями в качестве оснований.
r = H/(1 + 1/cosb);
Осталось вычислить высоту пирамиды.
Если через высоту провести плоскость перпендикулярно стороне основания, то получится прямоугольный треугольник, образованный высотой пирамиды, апофемой и ее проекцией на основание. Острый угол этого треугольника равен b. Проекция апофемы равна m = (a/2)*ctg(π/n), где n = 5; (это расстояние от центра основания до стороны) при этом H = m*tgb;
r = m*tgb/(1+1/cosb) = m*sinb/(1 + cosb) = (a/2)*ctg(π/n)*sinb/(1 + cosb);
r = (a/2)*ctg(π/5)*sinb/(1 + cosb); это ответ.
Как выразить функции углов, кратных 18 градусам, в радикалах - это отдельная задача. В данном случае нет смысла ее решать - все равно угол b не задан.