Подбором легко решается.
Если прямоугольник был 8х5, то от него можно отрезать только 1 большой квадрат 5х5.
Если был 8х13, то опять только 1 квадрат 8х8.
Если же он был 8х21, то отрезаем 2 квадрата 8х8, остаётся 8х(21-8-8)=8х5.
От него отрезаем 5х5, остаётся 3х5, потом 3х3, остаётся 3х2, потом 2х2, и наконец, 2 квадрата 1х1.