Картина происходит в Кромском уезде (Орловская губерния). Главный герой — Селиван, которого оклеветали, назвали его разбойником, колдуном и превратили в «пугало» для окружающих людей. Позже происходит случай, который раскрыл всем его доброту.
Семья одного мальчика переезжает из Орла в деревню. Старый мельник(дед Илья) рассказывает про "ужасного" Селивана. Сирота Селиван раньше продавал калачи. Однажды он исчез, оставив всю выручку. С ним исчезла дочь палача.Потом он появляется через три года. Селиван спас купца и купец разрешает ему жить на пустом постоялом дворе за аренду. Селиван привозит туда свою больную жену.(дочь палача) Прошло много лет, они жили и платили уже наследникам купца плату. Зная, что дохода небыло крестьяне решили, что он продал душу дьяволу.
Однажды тетя рассказчика остановиться у Селивана, так как была метель. Но ночью и тетя (с племянником) уезжает. Когда они приехали до дома родителей (племянника), пропадают деньги. Они думают что деньги украл Селиван. Селивана хотят арестовать, но он пришел и отдал шкатулку.
Отношение к Селивану меняется.