Летний сад был заложен на месте сожженной усадьбы шведского майора Конау по плану, собственноручно начертанному первым российским императором в 1704 году. Тогда он занимал площадь примерно раза в четыре меньшую, чем в наши дни.
Строительство было начато мастером Иваном Матвеевичем Угрюмовым под руководством Петра Первого в 1704 году. Царь мечтал о своем Версале и первоначальный план нарисовал сам лично.