События, положенные в основу сюжета рассказа, происходили в семье Тургеневых на самом деле. Позже младшая сестра Варвара Житова (рожденная вне брака с отцом Ивана и жившая в доме на положении воспитанницы) вспоминала, что Варвара Петровна увидела в поле дюжего мужика, пашущего землю, и приказала забрать его себе в дворники. Это был Андрей, по прозвищу Немой. Он носил кумачовые рубахи и числился в любимцах у хозяйки.
У него действительно была собачка Муму, которую Андрей утопил. Житова утверждала, что Тургенев в своем произведении описал Андрея. Портретное сходство очевидно, но финал в ее воспоминаниях разительно отличается от окончания истории дворника Герасима из рассказа «Муму».