60 руб. = 6000 коп.
52 руб. = 5200 коп.
5 руб. 40 коп. = 540 коп.
Миша может купить: 6000 : 540 = 11 1/9 (тетр.)
Костя может купить: 5200 : 540 = 9 17/27 (тетр.)
Вместе они могут купить: 20 20/27 (тетр.)
Так как тетради по частям не продают, то Миша сможет купить 11 тетрадей, Костя - 9 тетрадей и вместе они смогут купить 20 тетрадей.