Николай Михайлович написал стихотворение в 1964 году, под впечатлением от поездки в Няндомы. В маленьком северном городке прошло раннее детство поэта, прожившего здесь с семьей до 6 лет.
Возвращение на малую родину оказало сильное влияние на Рубцова. Его чувства были весьма противоречивы: с одной стороны – светлые воспоминания безмятежного детства, с другой – легкая грусть от того, что за прожитые годы здесь все изменилось.
Однако это не помешало поэту ощутить сильную связь с дорогим сердцу местом. Переполняющие его эмоции он вылил на бумагу, написав стихотворение «Тихая моя родина». Рубцов посвятил его известному русскому писателю В. Белову, родиной которого также была средняя полоса России.