Родился 16 декабря 1901 г. в селе Чепухине Курской губернии в большой крестьянской семье. Окончил четыре класса земской школы.
Во время Гражданской войны (1920 г.) был мобилизован в Красную армию, участвовал в боях в районе Луганска. В октябре 1922 г. он был направлен командиром взвода в 23-ю стрелковую дивизию.
В январе 1924 г. поступил на учёбу в Киевскую академию командного состава.
В 1926 г. его перевели в столичную Военную академию имени М. В. Фрунзе.
В 1937 г. Ватутин назначается заместителем начальника штаба Киевского военного округа. Через год — начальником штаба.
В 1939 г. он уже заместитель начальника Генштаба; в феврале 1941 г. награждён орденом Ленина.
30 июня 1941 г. Ватутин получил звание генерал-лейтенанта и был назначен начальником штаба Северо-Западного фронта.
С 14 июля 1942 г. Ватутин командовал Воронежским фронтом.
В октябре 1942 г. Ватутина назначили командующим Юго-Западным фронтом.
7 декабря 1942 г. военачальник получил звание генерал-полковника, а через два месяца — генерала армии.
В марте 1943 г. после разгрома сталинградской группировки немцев его вернули на должность командующего Воронежским фронтом.
21 февраля 1944г. Ставка поручила Ватутину подготовить наступление на Дубно и далее на Черновцы. 29 февраля генерал направлялся в штаб 60-й армии. По дороге его машину обстрелял отряд украинских партизан-бандеровцев. Раненый Ватутин умер в ночь на 15 апреля в киевском военном госпитале. 17 апреля генерал был похоронен в названном позже его именем парке над Днепром.
В 1965 г. Ватутин был посмертно удостоен звания Героя Советского Союза.