На 1 полке - х кн.
На 2 полке - 20 кн.
На 3 полке - (х + 20) : 2 кн.
-------------------------------------------------------------
х + 20 + (х + 20) : 2 = 90 кн.
2х + 40 + х + 20 = 180 кн.
3х = 120 кн.
х = 40 кн. - на первой полке.
Ответ: 40 книг на первой полке.