Николай Рубцов родился 3 января 1936 года в селе Емецке Холмогорского района Северного края (ныне Архангельской области). В 1937 году переехал вместе со своей многочисленной семьёй в Няндому. В 1939—1940 годах отец Рубцова Михаил Андрианович работал начальником Няндомского горпо. В январе 1941 года Михаил Рубцов выбыл из Няндомы в Вологодский горком партии. В Вологде Рубцовых застала война. Летом 1942 года умерли мать и младшая сестра Рубцова, отец был на фронте, и детей распределили в интернаты. Тем же летом 6-летний Николай написал своё первое стихотворение.
Николай и его брат вначале попали в Красовский детский дом, а с октября 1943 года и до июня 1950 года Николай жил и учился в детском доме в селе Никольском Тотемского района Вологодской области, где он окончил семь классов школы (сейчас в этом здании находится Дом-музей Н. М. Рубцова). В этом же селе впоследствии родилась его дочь Елена в фактическом браке с Генриеттой Михайловной Меньшиковой.
В автобиографии, написанной при поступлении в Тралфлот в 1952 году, Николай пишет, что отец ушёл на фронт и погиб в 1941 году. Но на самом деле Михаил Адрианович Рубцов (1900—1962) выжил, после ранения в 1944 году вернулся в Вологду и в том же году женился вторично, жил в Вологде[2][3]. Из-за утери документов в Красовском детдоме он не смог найти Николая и встретился с ним только в 1955 году[3].
С 1950 года по 1952 год Рубцов учился в Тотемском лесотехническом техникуме. С 1952 года по 1953 год работал кочегаром в архангельском траловом флоте треста «Севрыба», с августа 1953 года по январь 1955 года учился на маркшейдерском отделении в горно-химическом техникуме Минхимпрома в Кировске Мурманской области. В январе 1955 не сдал зимнюю сессию и был отчислен из техникума. С марта 1955 года Рубцов был разнорабочим на опытном военном полигоне.
С октября 1955 года по октябрь 1959 года проходил срочную службу дальномерщиком на эсминце «Острый» Северного флота (в звании матроса и старшего матроса)[4]. Первого мая 1957 года состоялась его первая газетная публикация (стихотворение «Май пришёл») в газете «На страже Заполярья»[4]. После демобилизации жил в Ленинграде, работая попеременно слесарем, кочегаром и шихтовщиком на Кировском заводе.
Рубцов начинает заниматься в литобъединении «Нарвская застава», знакомится с молодыми ленинградскими поэтами Глебом Горбовским, Константином Кузьминским, Эдуардом Шнейдерманом. В июле 1962 года с помощью Бориса Тайгина выпускает свой первый машинописный сборник «Волны и скалы».
В августе 1962 года Рубцов поступает в Литературный институт им. М. Горького в Москве и знакомится с Владимиром Соколовым, Станиславом Куняевым, Вадимом Кожиновым и другими литераторами, чьё дружеское участие не раз помогало ему и в творчестве, и в делах по изданию стихов. С пребыванием в институте вскоре возникли проблемы, однако поэт продолжает писать, и в середине 1960-х у него выходят первые сборники.
В 1969 году Рубцов закончил Литературный институт и был принят в штат газеты «Вологодский комсомолец»[5].
В 1968 году литературные заслуги Рубцова получили официальное признание, и ему в Вологде была выделена однокомнатная квартира № 66 на пятом этаже в пятиэтажном доме № 3 на улице, названной именем другого вологодского поэта — Александра Яшина[2].
Писатель Фёдор Абрамов называл Рубцова блистательной надеждой русской поэзии[6].