Монастырь был основан на месте скита Троицкого мужского монастыря, устроенного в 1629 году на Каменной горе.
Трудами святителя Митрофана, епископа Воронежского, скит в 1683 году преобразован в женский монастырь.
В 1764 году Знаменский монастырь упразднили указом Екатерины II, однако монахини его не покинули.
В 1769 году во время большого пожара в Ельце, монастырь сгорел. На пепелище остались только две старицы, они жили в уцелевшем погребе и неустанно молились.
Постепенно росло число сестёр. В 1778 году в отшельническую обитель была принята будущая местночтимая блаженная затворница Мелания, великая подвижница, прожившая в монастыре 58 лет и скончавшаяся с затворе в 1836 году. Святитель Тихон, бывая в Ельце, навещал отшельницу. В 1779 году он последний раз посетил Елец, благословил монахинь и выбрал место для будущего каменного храма. В период с 1804 по 1813 годы велось строительство собора в честь иконы Пресвятой Богородицы «Знамение».
Монастырь оставался на нелегальном положении, но хлопоты ельчан о восстановлении обители не прекращались. Второе официальное открытие монастыря состоялось в 1822 году по указу императора Александра I. Были восстановлены строгие правила монашеского общежития, начато строительство колокольни, тёплой трапезной, новой кирпичной ограды вокруг монастыря с четырьмя башнями и тремя воротами. В 1841 году с южной стороны устроили спуск к святому источнику в виде широкой лестницы. К 1861 году была завершена постройка трёхъярусной колокольни. К середине XIX века территория монастыря и принадлежавшие ей земли продолжали расширяться, обитель благоукрашалась.
К началу XX века в стенах монастыря проживало 400 человек, на его территории насчитывалось 150 построек.
Главными святынями обители стали чудотворный образ Пресвятой Богородицы «Знамение» и образ Христа Спасителя, благополучно сохранившиеся после пожара 1769 года. В монастыре находились почитаемые иконы: «Троеручница», написанная на Афоне, и подаренная святителем Феофаном Затворником Казанская икона Божьей Матери.
В Знаменском монастыре хранился прижизненный портрет святителя Тихона Задонского.
Советская Россия
После революции 1917 года монастырь закрыли, но богослужения продолжались ещё некоторое время, а монахини во главе с игуменьей Антонией не покидали святую обитель. Островок церковного благолепия просуществовал недолго.
В 1929 году наступил делёж монастырского имущества, монахинь начали выгонять из келий, многие из них были отправлены в тюрьмы, вывезены в лагеря. Настоятельницу монастыря, отказавшуюся покинуть обитель, зверски замучили.
Территория монастыря стала официально именоваться Рабочим городком.
В годы богоборческого режима постройки монастыря пришли в упадок. Знаменский собор был разрушен в 1937 году.
Возрождение
К 2004 году сохранились в сильно разрушенном виде лишь несколько келий, монастырские стены и спуск к святому колодцу. Ни одного храмового здания не уцелело. По решению Священного Синода Русской Православной Церкви Знаменский женский монастырь вновь открыт в 2004 году.
Восстановление поруганной святыни становится делом реальным и осуществимым.
В 2005 году построена часовня над святым источником, в этом же году началось восстановление Знаменского собора. В январе 2005 года Знаменской обители был передан для совершения службы Спасовский-Христорождественский храм, находящийся на другой стороне Ельчика и хорошо видимый с территории монастыря. Он в короткое время был приведён в надлежащий вид внутри, и сегодня в храме постоянно совершаются богослужения для насельниц монастыря и прихожан.
В 2006 году был выстроен деревянный храм во имя Святителя и Чудотворца Николая и освящён Владыкой Никоном 31 декабря того же года