Пусть х книг на первой полке, тогда 2х книг на второй и х - 3 на третьей. На трёх полках всего 77 книг. Уравнение:
х + 2х + х - 3 = 77
4х = 77 + 3
4х = 80
х = 80 : 4
х = 20 книг - на первой полке
2 · 20 = 40 книг - на второй полке
20 - 3 = 17 книг - на третьей полке
Ответ: 20, 40 и 17 книг.