если укладывать в ряд по 10 плиток, то для квадратной площадки плиток не хватает"
Значит плиток меньше, чем 100 штук.
При укладывании по 8 плиток в неполном ряду может быть только 7 плиток, т.к. при укладывании по 9 плиток получается неполный ряд, в котором на 6 плиток меньше. То есть 1 плитка.
Нужно найти такое число меньше 100, которое при делении на 8 даёт остаток 7, а при делении на 9 - остаток 1. Это число 55.
55:8 = 6 (ост. 7)
55:9 = 6 (ост. 1)