Виктор Астафьев родился 1 мая 1924 года в деревне Овсянка в Красноярском крае.
Он был третьим ребёнком в семье, две его старшие сестры умерли в младенчестве. Через несколько лет после рождения Виктора его отец Петр Астафьев попал в тюрьму с формулировкой «вредительство». Во время одной из поездок мамы Астафьева Лидии Потылициной к Петру Павловичу лодка, в которой среди прочих плыла она, перевернулась. Лидия Ильинична, упав в воду, зацепилась косой за сплавную бону и утонула. Её тело нашли лишь через несколько дней. Виктору тогда было семь лет. После смерти матери Виктор жил у её родителей — Екатерины Петровны и Ильи Евграфовича Потылициных. О детстве, проведённом с бабушкой Катериной Петровной и оставившим в душе писателя светлые воспоминания, Виктор Астафьев рассказал в первой части автобиографии «Последний поклон».
Выйдя из заключения, отец будущего писателя женился во второй раз. Решив податься за «северной дикой деньгой», Петр Астафьев с женой и двумя сыновьями — Виктором и новорождённым Николаем — отправился в Игарку, куда выслали раскулаченную семью его отца Павла Астафьева. Летом следующего года отец Виктора заключил договор с игарским рыбзаводом и взял сына на промысловую рыбалку в местечко между посёлками Карасино и Полоем. После окончания путины, возвратившись в Игарку, Петр Астафьев попал в больницу. Брошенный мачехой и родными, Виктор оказался на улице, и несколько месяцев жил в заброшенном здании парикмахерской, однако после серьёзного инцидента в школе получил направление в детский дом-интернат. «Самостоятельную жизнь я начал сразу, безо всякой подготовки», — писал впоследствии Виктор Астафьев.