Основан, если верить преданию, в 1288 году брянским князем Романом Михайловичем. Легенда гласит, что князь внезапно стал терять зрение. Для исцеления он послал в Киево-Печерский монастырь за чудотворной иконой — Печерской иконой Божьей Матери. Во время путешествия по Десне икона чудесным образом исчезла из лодки и оказалась на берегу реки Свень, куда и пришёл князь. После молитвы перед иконой он исцелился. На этом месте он повелел основать монастырь, срубить храм во имя Богоматери, и наделил его землями. По названию реки Свини монастырь вплоть до 17века носил название Свинский.