Впервые упоминается под современным названием в 1401 году, когда хозяйка трактира (укр. «баба»), находившегося здесь, продала эти земли доминиканскому монастырю. В XV—XVIII вв. также встречались названия «Шалэна Баба» и «Бісова Баба».
В 1869 году вблизи Бабьего Яра был открыт летний военный лагерь — «Сырецкий военный лагерь». В 1895 на его территории была открыта т. н. Дивизионная церковь, уничтоженная после революции. На месте этой церкви позднее находились ворота Сырецкого концентрационного лагеря.
В 1870 году территория, прилегающая к Бабьему Яру с юга, была использована под строительство Лукьяновского гражданского кладбища (существует ещё Лукьяновское военное кладбище). Кладбище закрыли в 1962 году. В настоящее время территория кладбища — заповедная зона.