Площадь этого пятиугольника очень просто сосчитать напрямую - он состоит из прямоугольника со сторонами b/2 и a√2/2, и треугольника с основанием a√2/2 h = 3b/4 - b/2 = b/4;
Гораздо интереснее решить эту задачу вот как :) - рассмотреть сначала проекцию сечения на основание.
Прежде, чем считать площадь проекции, я "накрою" квадрат основания сеткой, соединив между собой все середины сторон, и проведя диагонали. Основание "разрежется" на 16 равных равнобедренных прямоугольных треугольников, каждый площадью s1 = a^2/16.
проекция сечения на основание "накроет" 4 таких треугольника в зоне треугольника ABD. В зоне треугольника CBD (то есть с другой стороны от диагонали BD) проекция "накрывает" треугольник, который диагональю AC делится на два треугольника с площадями s1/2 (обоснуйте!), то есть общая площадь проекции сечения 5a^2/16;
Ясно, что косинус угла между сечением и основанием равен a√2/2b, поскольку сечение параллельно боковой стороне.
Отсюда S = (5a^2/16)/(a√2/2b); ну и упростите :)...