На одной из глухих московских улиц, в доме с колоннами, полном дворни, лакеев и приживалок, живёт старая барыня-вдова. Дочери её давно вышли замуж. Сама барыня доживает последние годы уединённо.
День её, нерадостный и ненастный, давно прошёл; но и вечер её был чернее ночи.
Самый заметный человек в доме барыни — дворник Герасим, мужик могучий, но глухонемой с рождения. Барыня привезла его из своей деревни, где Герасим считался лучшим работником. Выросший на земле, Герасим долго тосковал и с трудом привык к городской жизни. Обязанности свои он исполняет исправно — окрестные воришки обходят дом барыни стороной. Дворня тоже побаивается глухонемого, но Герасим их не трогает, считает за своих. Живёт он в отдельной каморке над кухней.
Проходит год. Барыня, имеющая неограниченную власть над дворней, решает женить своего башмачника Капитона Климова. Башмачник — горький пьяница, но барыня считает, что после свадьбы он остепенится. В жёны Капитону она выбирает робкую, забитую прачку Татьяну и поручает дворецкому Гавриле довести дело до свадьбы.
Татьяна, худенькая и белокурая двадцативосьмилетняя женщина, нравится Герасиму. Дворник неуклюже ухаживает за ней, защищает от издёвок и ждёт нового кафтана, чтобы в приличном виде прийти к барыне за разрешением жениться на Татьяне.
Гаврила долго раздумывает над проблемой: барыня жалует Герасима, но какой муж из глухонемого, да и решение своё хозяйка не переменит. Боится могучего дворника и «жених». Дворецкий втайне надеется, что барыня забудет о своей прихоти, как уже бывало не раз, однако мечтам его сбыться не дано — барыня спрашивает о свадьбе каждый день.
Наконец Гаврила вспоминает, что Герасим терпеть не может пьяных, и придумывает хитрость: подговаривает Татьяну притвориться хмельной и пройтись перед дворником. Хитрость удаётся — Герасим отказывается от Татьяны, и та выходит замуж за Капитона.
Проходит год. Капитон окончательно спивается, и барыня отправляет его с Татьяной в дальнюю деревню. Герасим дарит Татьяне красный платок, купленный для неё же год назад, и намеревается её проводить, но на полпути поворачивает назад.
Возвращаясь вдоль реки, Герасим видит в воде тонущего щенка, вылавливает его и относит в свою коморку. Дворник выхаживает собачонку, и та превращается в «очень ладную собачку испанской породы, с длинными ушами, пушистым хвостом в виде трубы и большими выразительными глазами» по имени Муму.
Она была чрезвычайно умна, ко всем ласкалась, но любила одного Герасима. Герасим сам её любил без памяти...
Муму всюду сопровождает глухонемого, сторожит двор по ночам и никогда не лает понапрасну. Дворня тоже любит умную собачку.
Год спустя, расхаживая по гостиной, барыня выглядывает в окно и замечает Муму. В тот день на барыню находит «весёлый час» — она смеётся, шутит и требует того же от своих приживалок. Те боятся такого настроения хозяйки: «эти вспышки у ней продолжались недолго и обыкновенно заменялись мрачным и кислым расположением духа».
Муму нравится барыне, и она велит привести её в покои, но испуганная собачка жмётся в угол, начинает рычать на старуху и скалить зубы. Настроение у барыни быстро портиться, и она велит увести Муму.
Какие безделицы, подумаешь, могут иногда расстроить человека!
Всю ночь барыня не спит и пребывает в мрачном расположении духа, а наутро заявляет, что ей мешал заснуть собачий лай, и велит избавиться от Муму. Лакей продаёт её за полтинник в Охотном ряду. Герасим забрасывает свои обязанности и ищет Муму, не находит, начинает тосковать, а через сутки собачка является к нему сама с обрывком верёвки на шее.
Герасим успел сообразить, что Муму пропала по приказу барыни — жестами ему рассказали о происшествии в барских покоях. Он начинает прятать собачку, но напрасно — ночью Муму лает, барыня устраивает истерику, и Гаврила клянётся ей, что скоро собаки «в живых не будет».
Дворецкий отправляется к Герасиму и жестами объясняет ему приказ барыни. За его исполнение Герасим берётся сам. Одев свой лучший кафтан, он сытно кормит Муму в трактире, затем берёт лодку и выплывает на середину реки. Попрощавшись с единственным другом, Герасим обвязывает шею Муму верёвкой с привязанными к ней кирпичами и бросает в воду.
Герасим ничего не слыхал, ни быстрого визга падающей Муму, ни тяжкого всплеска воды; для него самый шумный день был безмолвен и беззвучен, как ни одна самая тихая ночь не беззвучна для нас.
Вернувшись домой, Герасим быстро собирает вещи и отправляется пешком в родную деревню. Он торопится, «как будто мать-старушка ждала его на родине, как будто она звала его к себе после долгого странствования на чужой стороне, в чужих людях».
Через три дня Герасим уже на месте, и староста с радостью его принимает. В Москве же Герасима долго ищут. Обнаружив бывшего дворника в деревне, барыня хочет выписать его назад, но передумывает — «такой неблагодарный человек ей вовек не нужен».
Герасим до сих пор бобылём живёт в своей ветхой избушке, на женщин даже не глядит и «ни одной собаки у себя не держит».