В старой части Москвы жила в свое время старая барыня: она была вдовой, сыновья служили в Петербурге, а дочери вышли замуж и не показывались матери. И хотя окружало ее множество слуг, жилось ей скучно и одиноко. Она редко куда выезжала и доживала свои дни в скупости.
Среди всех ее слуг выделялся дворник Герасим богатырской наружности, но глухонемой от рождения. Когда-то он жил в деревне, отдельно от старших братьев, много работал: пахал землю, косил сено, молотил трехаршинным цепом. Он был хорошим работником и мог бы стать хорошим хозяином и мужем, если бы не его недуг.
Как-то раз, проезжая мимо поля, где пахал Герасим, его заметила старая барыня и захотела взять его себе в дворники. Он был привезен в Москву, где ему купили сапоги, сшили кафтан для лета и тулуп для зимы, после чего он получил метлу и лопату. Сначала Герасиму после деревни тяжело пришлось в условиях города: он не понимал, что с ним происходит. После тяжелой физической работы в деревне нынешнее его занятие казалось шуточным.
Со временем Герасим привык к городской жизни. Он исправно выполнял свои обязанности: колол и приносил в дом дрова, содержал двор в чистоте, дважды в день привозил воду, а ночью караулил двор. Дворовые его побаивались, особенно после того, как он поймал воров и чуть не зашиб насмерть. Герасиму была выделена каморка, и он обустроил ее по-своему: соорудил добротную мебель, дверь закрывал на замок, а ключ всегда носил с собой.
В первый год Герасим узнал всех слуг, но полюбилась ему прачка Татьяна. В свои 28 лет она не знала ласки, ей приходилось тяжело работать, а на левой щеке у нее была родинка, что на Руси считалось предвестником несчастья. Эта молодая женщина была слишком забита, но своим кротким нравом и понравилась дворнику. Он пытался за ней ухаживать: то ленту принесет, то леденец на палочке. Но бедная женщина боялась глухонемого, к тому же дворня стала посмеиваться.
Старая барыня, узнав об этом, рассмеялась и решила выдать Татьяну замуж за башмачника Капитона — запойного пьяницу. Барыня поручила сосватать их своему помощнику Гавриле, и ему пришлось придумать хитрость, чтобы обмануть глухонемого, который никого не подпускал к любимой женщине.
Так как Герасим не любил пьяниц, Татьяне предложили изобразить опьянение. Он поверил и, взяв за руку, провел через двор и толкнул к Капитону. После провел в своей каморке сутки, раскачиваясь и что-то мыча. Когда через неделю назначили свадьбу, Герасим не изменил своего поведения, только днем по дороге разбил бочку с водой, а ночью на конюшне, когда чистил лошадь, так усердно тер ее, что она «шаталась, как былинка на ветру».
Замужество сделало Татьяну еще несчастнее: Капитон окончательно спился, и через год его вместе с женой отправили в дальнюю деревню. Всегда безропотно сносившая все невзгоды в жизни, Татьяна, прощаясь с Герасимом, прослезилась и трижды по-христиански поцеловалась с ним, а он отдал ей красный бумажный платок, купленный еще год назад.
Герасим проводил Татьяну до Крымского брода, где увидел барахтавшегося в воде щенка. Он положил за пазуху дрожащее тельце собачонки, принес домой и всю ночь возился с ней, пытаясь накормить, а к утру заснул радостным и тихим сном. «Ни одна мать так не ухаживает за своим ребенком», как ухаживал Герасим за своей любимицей. Он назвал ее Муму, а через восемь месяцев она превратилась в ладную собачку испанской породы.
Она страстно привязалась к своему хозяину, и во дворе ее тоже полюбили и называли Мумуней. Она попусту не лаяла и в господский дом не ходила. Как-то раз случилось старой барыне увидеть эту милую собачку в окно. Она выяснила, что это любимица Герасима. Старухе захотелось поближе посмотреть на нее, но собака была так напугана, что реакцией на протянутую руку барыни стал невольный оскал. И хотя собака не укусила, этого было достаточно, чтобы капризная барыня велела убрать собаку из своих покоев, а потом приказала дворецкому Гавриле, чтобы «сегодня же ее здесь не было», потому что она всю ночь лаяла.
Гаврила поручил Степану изловить Муму и продать. Степан так и сделал: поймал собаку и в Охотном ряду за полтинник продал Муму первому покупщику, попросив, чтобы тот неделю держал ее на привязи. Герасим же, не найдя Муму, забеспокоился. До вечера искал он свою любимицу, а потом не спал всю ночь. На следующий день он не вышел на работу. На другой день он выполнял свои обязанности с абсолютно безжизненным лицом, а после обеда продолжил поиски и к вечеру ушел на сеновал, совершенно обессиленный. Среди ночи он почувствовал, что кто-то дергает его за полу — это оказалась Муму с обрывком веревки на шее.
Герасим обо всем догадался и решил скрыть возвращение собаки. Он запирал ее в каморке, выводя на улицу глубокой ночью. Но она выдала себя, залаяв на пьяницу, угнездившегося под забором. Когда барыня услышала знакомый лай, она изобразила обморок. Герасим заперся в каморке, но было поздно: несколько человек ломились к нему.