По теореме косинусов находим сторону основания:
x^2 = l^2 + l^2 - 2*l*l*cos a = 2 * l^2 * (1 - cos a)
Основание - квадрат со стороной x, значит основание вписанного конуса - круг радиуса R = x/2.
V = 1/3 * S * h, где
площадь основания S = π * R^2
высота h = корень(l^2 - b^2) (по теореме Пифагора), b это отрезок, проведённый из центра квадраты в его угол. Найдём b как половина диагонали. Диагональ D = x*корень(2), тогда b = D/2 = x/корень(2)
В итоге V = 1/3 * π * 1/4 * x^2 * корень(l^2 - 1/2 * x^2), ну а x мы знаем.