Иван Виноградов родился 2 сентября 1891 года в селе Милолюб на Псковщине, в семье сельского священника. Среднее образование получил в реальном училище. В 1910 году поступил на физико-математический факультет Петербургского университета. После окончания университета в 1914 году был оставлен там для подготовки к профессорскому званию. Получил докторскую степень. С 1918 по 1920 годы работал в Пермском государственном университете и Томском государственном университете. В 1920 году стал профессором. Продолжил работу в Ленинградском университете, преподавал также в Политехническом институте.
C 1934 года с момента разделения Физико-математического института И. М. Виноградов - директор Математического института им. В. А. Стеклова АН СССР, работал в этой должности более 45 лет до своей смерти в 1983 г..
И. М. Виноградов - иностранный член Лондонского королевского общества, иностранный член Национальной академии деи Линчеи в Риме, Германской академии естествоиспытателей "Леопольдина", Датской королевской АН, Венгерской АН, АН ГДР, Сербской академии наук и искусств, почетный член Лондонского математического общества и Индийского математического общества, член Американского философского общества.