Детство Толстого прошло в старинной помещичьей усадьбе. Отец писателя, граф Николай Ильич Толстой — участник Отечественной войны 1812 г. — был образованным, начитанным человеком. Толстой, пишет о своем отце: «Жизнь его проходила в занятиях хозяйством, в котором он, кажется, не был большой знаток, но в котором он имел для того времени большое качество: он был не только не жесток, но скорее добр и слаб. Так что и за его время я никогда не слыхал о телесных наказаниях… Дома отец, кроме занятия хозяйством и нами, детьми, еще много читал. Он собирал библиотеку, состоящую, по тому времени, в французских классиках, исторических и естественно-исторических сочинениях — Бюфон, Кювье… Сколько я могу судить, он не имел склонности к наукам, но был на уровне образования людей своего времени».
матери своей — Марии Николаевны (урожд. княжны Волконской) Толстой не помнил — она умерла, когда ему было полтора года