Родился 3 октября 1873 г. в Москве в патриархальной религиозной семье.
Отец был известным подрядчиком, и на двор Шмелёвых стекались рабочие-строители со всей России. Мальчик впитывал народную культуру, обычаи, язык, песни, прибаутки, поговорки — всё, что потом преобразится и заиграет в неповторимой шмелёвской прозе.
Будущий писатель окончил гимназию, затем юридический факультет Московского университета (1898 г.).
После года военной службы восемь лет работал чиновником в глухих уездах Московской и Владимирской губерний, где встретил прототипов героев своих произведений. Первый рассказ Шмелёва «У мельницы» был опубликован в 1895 г. в журнале «Русское обозрение».
В 1897 г. в Москве вышла книга его очерков «На скалах Валаама», которая подверглась слишком сильной цензуре и успеха не имела. Прозаик замолчал на целое десятилетие.
Возвращение к творчеству произошло под влиянием революционных событий 1905 г. Наиболее значительное произведение этого периода — повесть «Гражданин Уклейкин» (1908 г.).
Знаменитым Шмелёва сделала повесть «Человек из ресторана» (1911 г.), увидевшая свет в одном из сборников товарищества «Знание», издававшихся М. Горьким.
В 10-х гг. писатель тесно сотрудничал с московским Книгоиздательством писателей, в котором выходили его рассказы и повести. В период Октябрьской революции 1917 г., которую он не принял, и Гражданской войны Шмелёв выступал с осуждением войны «вообще» как массового психоза здоровых людей.
В 1922 г. писатель, после расстрела в Феодосии без суда и следствия его единственного сына, бывшего белого офицера, уехал в Берлин, потом в Париж. Гибель сына он так и не простил новой власти, хотя мечтал вернуться в Россию, пусть даже после смерти.
В эмиграции образы и картины старой России, яркие впечатления детства, воспоминания о любимой Москве оформились в книги, ставшие вершиной творчества Шмелёва. «Родное» (1931 г.), «Богомолье», «Лето Господне» (обе 1948 г.) — произведения, удивительные по поэтичности, духовному свету, прекрасному живому народному языку, подобного которому до Шмелёва русская литература ещё не знала.
Умер 24 июня 1950 г. в Париже.