Словосочетание возвратиться поздно (поставить вопрос от возвратиться до поздно )
Возвратиться (как?) поздно
Т.к. от глагола задаётся вопрос к наречию возвратиться главное, а поздно зависимое слово