На одной из глухих московских улиц, в доме с колоннами, полном дворни, лакеев и приживалок, живёт старая барыня-вдова. Дочери её давно вышли замуж. Сама барыня доживает последние годы уединённо.
День её, нерадостный и ненастный, давно прошёл; но и вечер её был чернее ночи.
Самый заметный человек в доме барыни — дворник Герасим, мужик могучий, но глухонемой с рождения. Барыня привезла его из своей деревни, где Герасим считался лучшим работником. Выросший на земле, Герасим долго тосковал и с трудом привык к городской жизни. Обязанности свои он исполняет исправно — окрестные воришки обходят дом барыни стороной. Дворня тоже побаивается глухонемого, но Герасим их не трогает, считает за своих. Живёт он в отдельной каморке над кухней.
Проходит год. Барыня, имеющая неограниченную власть над дворней, решает женить своего башмачника Капитона Климова. Башмачник — горький пьяница, но барыня считает, что после свадьбы он остепенится. В жёны Капитону она выбирает робкую, забитую прачку Татьяну и поручает дворецкому Гавриле довести дело до свадьбы.
Татьяна, худенькая и белокурая двадцативосьмилетняя женщина, нравится Герасиму. Дворник неуклюже ухаживает за ней, защищает от издёвок и ждёт нового кафтана, чтобы в приличном виде прийти к барыне за разрешением жениться на Татьяне.
Гаврила долго раздумывает над проблемой: барыня жалует Герасима, но какой муж из глухонемого, да и решение своё хозяйка не переменит. Боится могучего дворника и «жених». Дворецкий втайне надеется, что барыня забудет о своей прихоти, как уже бывало не раз, однако мечтам его сбыться не дано — барыня спрашивает о свадьбе каждый день.
Наконец Гаврила вспоминает, что Герасим терпеть не может пьяных, и придумывает хитрость: подговаривает Татьяну притвориться хмельной и пройтись перед дворником. Хитрость удаётся — Герасим отказывается от Татьяны, и та выходит замуж за Капитона.
Проходит год. Капитон окончательно спивается, и барыня отправляет его с Татьяной в дальнюю деревню. Герасим дарит Татьяне красный платок, купленный для неё же год назад, и намеревается её проводить, но на полпути поворачивает назад.
Возвращаясь вдоль реки, Герасим видит в воде тонущего щенка, вылавливает его и относит в свою коморку. Дворник выхаживает собачонку, и та превращается в «очень ладную собачку испанской породы, с длинными ушами, пушистым хвостом в виде трубы и большими выразительными глазами» по имени Муму.
Муму всюду сопровождает глухонемого, сторожит двор по ночам и никогда не лает понапрасну. Дворня тоже любит умную собачку.
Год спустя, расхаживая по гостиной, барыня выглядывает в окно и замечает Муму. В тот день на барыню находит «весёлый час» — она смеётся, шутит и требует того же от своих приживалок. Те боятся такого настроения хозяйки: «эти вспышки у ней продолжались недолго и обыкновенно заменялись мрачным и кислым расположением духа».
Муму нравится барыне, и она велит привести её в покои, но испуганная собачка жмётся в угол, начинает рычать на старуху и скалить зубы. Настроение у барыни быстро портиться, и она велит увести Муму.
Всю ночь барыня не спит и пребывает в мрачном расположении духа, а наутро заявляет, что ей мешал заснуть собачий лай, и велит избавиться от Муму. Лакей продаёт её за полтинник в Охотном ряду. Герасим забрасывает свои обязанности и ищет Муму, не находит, начинает тосковать, а через сутки собачка является к нему сама с обрывком верёвки на шее.
Герасим успел сообразить, что Муму пропала по приказу барыни — жестами ему рассказали о происшествии в барских покоях. Он начинает прятать собачку, но напрасно — ночью Муму лает, барыня устраивает истерику, и Гаврила клянётся ей, что скоро собаки «в живых не будет».
Дворецкий отправляется к Герасиму и жестами объясняет ему приказ барыни. За его исполнение Герасим берётся сам. Одев свой лучший кафтан, он сытно кормит Муму в трактире, затем берёт лодку и выплывает на середину реки. Попрощавшись с единственным другом, Герасим обвязывает шею Муму верёвкой с привязанными к ней кирпичами и бросает в воду.
Вернувшись домой, Герасим быстро собирает вещи и отправляется пешком в родную деревню. Он торопится, «как будто мать-старушка ждала его на родине, как будто она звала его к себе после долгого странствования на чужой стороне, в чужих людях».
Через три дня Герасим уже на месте, и староста с радостью его принимает. В Москве же Герасима долго ищут. Обнаружив бывшего дворника в деревне, барыня хочет выписать его назад, но передумывает — «такой неблагодарный человек ей вовек не нужен».
Герасим до сих пор бобылём живёт в своей ветхой избушке, на женщин даже не глядит и «ни одной собаки у себя не держит»