Алексей Константинович Толстой родился 5 сентября 1817 г. в Санкт-Петербурге. Отец его происходил из старинного и известного рода Толстых (Лев Толстой по этой линии приходится Алексею троюродным братом). По матери он правнук Кирилла Разумовского, последнего гетмана Украины, президента Российской Академии наук.
После рождения сына супруги разошлись, мать увезла его в Малороссию к своему брату А. А. Перовскому, известному в литературе под именем Антония Погорельского. Здесь, в имениях Погорельцы и Красный Рог, прошло детство Толстого. Воспитанием будущего поэта занимался дядя, он всячески поощрял его художественные склонности и специально для него сочинил известную сказку «Черная курица, или Подземные жители».
О своем детстве сам Алексей Константинович вспоминал так: «Мое детство было очень счастливо и оставило во мне одни только светлые воспоминания. Единственный сын, не имевший никаких товарищей для игр и наделенный весьма живым воображением, я очень рано привык к мечтательности, вскоре превратившейся в ярко выраженную склонность к поэзии. С шестилетнего возраста я начал марать бумагу и писать стихи».
Перовский регулярно ездил с племянником за границу, знакомя его с известными людьми, однажды даже представил его Гете. Знаменитый немецкий поэт подарил мальчику обломок бивня мамонта, украшенный собственноручным рисунком.