Сейчас объясню))
Позволь мне сердце освежить твоей беседою святою.
(Ты) позволь.
(Мне) освежить.
Действия выполняются разными лицами, поэтому позволь освежить не будет являться составным глагольным сказуемым.
----------
Правило звучит так:
Действие инфинитива должно относиться к подлежащему. Если действие инфинитива относится к другому члену предложения, то инфинитив не входит в состав сказуемого, а является второстепенным членом.