Дед писателя с стороны матери, «потомок Рюрика», князь Николай Сергеевич Волконский, с семи лет был зачислен на военную службу. Он был участником русско-турецкой войны и вышел в отставку в чине генерал-аншефа. Дед писателя с отцовской стороны – граф Николай Ильич Толстой – служил во флоте, а затем в лейб-гвардии Преображенском полку. Отец писателя – граф Николай Ильич Толстой – в семнадцатилетнем возрасте добровольно поступил на военную службу. Он участвовал в Отечественной войне 1812 года, попал в плен к французам и был освобожден русскими войсками, вступившими в Париж после разгрома армии Наполеона. По материнской линии Толстой находился в родстве с Пушкиными. Их общим предком был боярин И.М. Головин, сподвижник Петра I, вместе с ним обучавшийся корабельному делу. Одна из его дочерей – прабабка поэта, другая – прабабка матери Толстого. Таким образом, Пушкин приходился Толстому четвероюродным дядей.
Детство писателя прошло в Ясной Поляне – старинном родовом имении. Интерес Толстого к истории и литературе зародился в детские годы: живя в деревне, он видел, как протекала жизнь трудового народа, от него он услышал множество народных сказок, былин, песен, легенд. Жизнь народа, его труд, интересы и взгляды, устное творчество – все живое и мудрое – открыла Толстому Ясная Поляна.
Мария Николаевна Толстая, мать писателя, была добрым и отзывчивым человеком, умной и образованной женщиной: знала французский, немецкий, английский и итальянский языки, играла на фортепиано, занималась живописью. Толстому не исполнилось и двух лет, когда умерла его мать. Писатель не запомнил ее, но так много слышал о ней от окружающих, что ясно и живо представлял ее облик и характер.
Николая Ильича Толстого, своего отца, дети любили и ценили за гуманное отношение к крепостным. Кроме занятий хозяйством и детьми, он много читал. За свою жизнь Николай Ильич собрал богатую библиотеку, состоящую из редких по тем временам книг французских классиков, исторических и естественно-исторических сочинений. Именно он первым заметил склонность своего младшего сына к живому восприятию художественного слова.