В осенний ненастный день грязный тарантас подъезжает к длинной избе, в одной половине которой размещается почтовая станция, а в другой — постоялый двор. В кузове тарантаса сидит «стройный старик-военный в большом картузе и в николаевской серой шинели с бобровым стоячим воротником». Седые усы с бакенбардами, бритый подбородок и устало-вопрошающий взгляд придают ему сходство с Александром II.
Старик заходит в сухую, тёплую и опрятную горницу постоялого двора, сладко пахнущую щами. Его встречает хозяйка, темноволосая, «ещё красивая не по возрасту женщина». Приезжий просит самовар и хвалит хозяйку за чистоту. В ответ женщина называет его по имени — Николай Алексеевич — и тот узнаёт в ней Надежду, свою бывшую любовь, с которой не виделся лет тридцать пять.
Взволнованный Николай Алексеевич расспрашивает её, как она жила все эти годы. Надежда рассказывает, что господа дали ей вольную. Замужем она не была, потому что уж очень любила его, Николая Алексеевича. Тот, смутившись, бормочет, что история была обыкновенная, и всё давно прошло — «с годами всё проходит».
У других — может быть, но не у неё. Она жила им всю жизнь, зная, что для него словно ничего и не было. После того, как он её бессердечно бросил, она не раз хотела наложить на себя руки.
С недоброй улыбкой Надежда вспоминает, как Николай Алексеевич читал ей стихи «про всякие „тёмные аллеи“». Николай Алексеевич помнит, как прекрасна была Надежда. Он тоже был хорош, недаром она отдала ему «свою красоту, свою горячку».
Взволнованный и расстроенный, Николай Алексеевич просит Надежду уйти и прибавляет: «Лишь бы Бог меня простил. А ты, видно, простила». Но она не простила и простить никогда не могла — нельзя ей его простить.
Переборов волнение и слёзы, Николай Алексеевич приказывает подавать лошадей. Он тоже не был счастлив никогда в жизни. Женился по большой любви, а жена бросила его ещё оскорбительнее, чем он Надежду. Надеялся на сына, но тот вырос негодяем, наглецом без чести и совести.
На прощание Надежда целует Николаю Алексеевичу руку, а он целует руку у неё. В дороге он со стыдом вспоминает это и стыдится этого стыда. Кучер говорит, что она смотрела им вслед из окна, и добавляет, что Надежда — баба умная, даёт деньги в рост, но справедлива.
Теперь Николай Алексеевич понимает, что время романа с Надеждой было лучшим в его жизни — «Кругом шиповник алый цвёл, стояли тёмных лип аллеи...». Он пытается представить, что Надежда — не хозяйка постоялого двора, а его жена, хозяйка его петербургского дома, мать его детей и, закрыв глаза, качает головой.