Название Воробьёвых гор — по имени села Воробьёво, существовавшего здесь с начала XIV века, названного так по имени его первоначальных владельцев бояр Воробьёвых[2][3][4][5][6].
В середине XV века княгиня Софья Витовтовна, дочь великого князя Литовского Витовта и жена великого князя Московского Василия I, купила «поповское село Воробьёво» у потомков московского боярина Юрия Воробьёва, который в 1352 году был отправлен великим князем Симеоном Гордым в Царьград для утверждения на московскую митрополичью кафедру святителя Алексия[7][8][9][10][11], и подарила его согласно своему завещанию любимому внуку князю дмитровскому Юрию Васильевичу в 1453 году[12]. После смерти бездетного дмитровского князя в 1473 году село Воробьёво перешло по его распоряжению к брату Ивану III, великому князю московскому.
Воробьёвы горы имели также и другое, более древнее название — Воробьёвы кручи[13].
На месте Троицкой церкви на Воробьёвых горах в средние века стояли нескольких последовательно сменявших друг друга деревянных церквей, древнейшая из которых появилась здесь ещё в XIV веке, когда село было вотчиной бояр Воробьёвых[2][3][14], задолго до покупки села Софьей Витовтовной, о чём свидетельствует её духовная грамота (в документе Воробьёво названо селом и к тому же поповским)[12]. В дальнейшем здесь был построен Воробьёвский дворец, ставший на протяжении нескольких столетий резиденцией московских, русских, а затем и российских монархов[15].
Воробьёвы горы, село Воробьёво, Воробьёвский дворец и Андреевский монастырь на карте Москвы 1766 годаВ течение многих веков Воробьёвы горы были местом, откуда пришедшие на Русь завоеватели смотрели на Москву — в 1591 году крымский хан Казы-Гирей, в 1612 году — литовский гетман Ходкевич[16], в 1812 году отсюда впервые взглянул на город Наполеон.
С 1648 по XVIII век у подножия северной части гор действовал Андреевский монастырь, вновь открытый в 2013 году[17][18]. Там же по соседству с царским Воробьёвским дворцом и слободой Андреевского монастыря находилось Васильевское — крупная подмосковная усадьба, известная под названием Мамонова дача.
Воробьёвы горы издавна славились чистым мелкозернистым белым песком. В связи с этим в XVII веке здесь были построены стеклянные и зеркальные заводы: один из них — зеркальный завод Уоста Генриха Брокгаузена.