Краткое решение с рисунком прикрепляю отдельным файлом. Сейчас напишу основные комментарии.
Во-первых, необходимо понять, какое из боковых ребер будет наибольшим. Для этого рассматриваются прямоугольные треугольники SAB, SAD, SAC. Так как у них есть общий катет SA, то наибольшая гипотенуза будет у треугольника с наибольшим вторым катетом (это очевидно следует из теоремы Пифагора). Так как диагональ квадрата всегда больше его стороны, то AC>AB=AD. Очевидно, что SC = 13 см - наибольшее боковое ребро.
SA вычисляется по теореме Пифагора для треугольника SAC.
Площадь квадрата находим по формуле: S = d^2 / 2 (d - длина диагонали).
Объем пирамиды равен 1/3 * S*H, где S - площадь основания, H - длина высоты. В нашем случае высота равна SA.
Ответ: 50 см^3.