Родился 16 декабря 1901 г. в селе Чепухине Курской губернии в большой крестьянской семье. Окончил четыре класса земской школы, где считался первым учеником.
Во время Гражданской войны (1920 г.) был мобилизован в Красную армию, участвовал в боях в районе Луганска. В октябре 1922 г. он был направлен командиром взвода в 23-ю стрелковую дивизию.
На первых же учениях Ватутин проявил талант к стратегии и в январе 1924 г. поступил на учёбу в Киевскую академию командного состава. В 1926 г. его перевели в столичную Военную академию имени М. В. Фрунзе.
В 1937 г. Ватутин назначается заместителем начальника штаба Киевского военного округа, а спустя год — начальником штаба. Его предшественники в этих должностях были расстреляны в период массовых репрессий в армии.
В 1939 г. он уже заместитель начальника Генштаба; в феврале 1941 г. награждён орденом Ленина.
В первые дни Великой Отечественной войны Ватутин побывал на самых ответственных участках фронта. Штабной работник превратился в блестящего боевого командира. 30 июня 1941 г. Ватутин получил звание генерал-лейтенанта и был назначен начальником штаба Северо-Западного фронта, на котором сумел стабилизировать линию обороны под Ленинградом.
С 14 июля 1942 г. Ватутин командовал Воронежским фронтом. Изматывая противника частыми контрударами, его силы отвлекали внимание от Сталинграда.21 февраля Ставка поручила Ватутину подготовить наступление на Дубно и далее на Черновцы. 29 февраля генерал направлялся в штаб 60-й армии. По дороге его машину обстрелял отряд украинских партизан-бандеровцев. Раненый Ватутин умер в ночь на 15 апреля в киевском военном госпитале. 17 апреля генерал был похоронен в названном позже его именем парке над Днепром; в Москве и Киеве погребение отметили траурным салютом.
В 1965 г. Ватутин был посмертно удостоен звания Героя Советского Союза.