Вы забыли написать, что если класть по 10 плиток в ряд, то на квадратное поле из 10 рядов плиток не хватит. То есть плиток N < 100.
При делении на 7 остается остаток k < 7.
Но он должен быть k > 5, потому что при делении на 8 остаток m = k - 5.
Значит, k = 6, m = k - 5 = 1.
Числа меньшие 100, которые при делении на 7 дают остаток 6:
13, 20, 27, 34, 41, 48, 55, 62, 69, 76, 83, 90, 97.
Числа меньшие 100, которые при делении на 8 дают остаток 1:
9, 17, 25, 33, 41, 49, 57, 65, 73, 81, 89, 97.
Из этих двух рядов совпадают только числа 41 и 97.
Скорее всего ответ 97, потому что про 41 сразу ясно, что меньше 100.