Родился 25 января 1832 г. в городе Елабуга в купеческой семье.
В 12 лет по настоянию отца был определён в 1-ю Казанскую гимназию. Полного курса так и не закончил.
В 1852 г. перебрался в Москву и поступил в Училище живописи, ваяния и зодчества. Здесь наставником Шишкина стал А. Н. Мокрицкий. После окончания курса (1856 г.) талантливому студенту посоветовали продолжить образование в Петербурге в Академии художеств. Его обучением руководил С. М. Воробьёв.
Преподаватели сразу отметили склонность Шишкина к пейзажной живописи. Уже в первый год пребывания в академии ему была присуждена малая серебряная медаль за «Вид в окрестностях Петербурга». В 1858 г. художник получил Большую серебряную медаль за картину «Вид на острове Валааме».
Достигнутые успехи позволили Шишкину совершить заграничную поездку в качестве стипендиата академии. Путешествие началось с Мюнхена (1861 г.), где Иван Иванович посещал мастерские популярных художников-анималистов Б. и Ф. Адамов. В 1863 г. Шишкин перебрался в Цюрих, затем в Женеву, Прагу, Дюссельдорф. Затосковав по отечеству, он возвратился в Петербург в 1866 г., до истечения срока своего стипендиатства.
В России художнику было присуждено звание академика (1865 г.). С этого времени начался наиболее плодотворный период творчества живописца. Были созданы картины «Рубка леса» (1867 г.), «Рожь» (1878 г.), «Сосны, освещённые солнцем» (1886 г.), «Утро в сосновом лесу» (1889 г.; медведи написаны К. А. Савицким), «Корабельная роща» (1898 г.) и многие другие.
Шишкин активно работал на пленэре, нередко предпринимал с художественной целью путешествия по России. Он почти ежегодно выставлял свои произведения — сначала в академии, а потом, после того как было учреждено Товарищество передвижных художественных выставок (1870 г.), на этих экспозициях.
Умер 20 марта 1898 г. в Петербурге.