Рисуем прямоугольник со сторонами a и b.
Со стороны a рисуем квадрат (все стороны равны) и со стороны b рисуем квадрат.
Возьмем, что b=a+6.
Тогда a^2 - (a+6)^2=168, получаем:
a^2 - a^2+12a+36=168
12a+36=168
12a=132
a=11, тогда
b=11+6=17
Получаем площадь прямоугольника: 11*17=187