Что найти? Площадь квадрата? Это ж легко!
1) Вычисли площадь КВАДРАТА
2) Вычисли площадь ПРЯМОУГОЛЬНИКА
3) Из площади квадрата отними площадь прямоугольника.
Решение:
1) S (квадрата) = a*a
2) S (пр-ника) = a*b
3) S (квадрата) - S (пр-ника) = S (получившейся фигуры)
Это ж элементарно, друг мой)