Пусть х книг - на первой полке. Тогда (х+8) книг - на второй, а (х-5) книг на третьй. Всего на полках (х+х+8+х-5) книг или 158 книг. Решим уравнение:
х+х+8+х-5 = 158;
3х+3=158;
3х=155
x = 155/3
155 на 3 без остатка не делится, значит расположить книги таким образом не получится.