Так как книги одного автора должны стоять рядом, пока можно рассматривать трёхтомник как одну книгу. Тогда всего книг условно 28.
Количество возможных перестановок из 28 элементов по формуле
P₂₈ = 28!
Три книги трёхтомника должны стоять рядом, но в произвольном порядке. Количество таких перестановок из 3 элементов
P₃ = 3! = 2*3 = 6
Книги на полке можно расставить
P₃*P₂₈ = 6*28! = 1829330067670283163009024000000 способами
Ответ: 6*28!