Зимний дворец был построен для Елизаветы Петровны по проекту Франческо Бартоломео Растрелли в 1754-1762 годы и до 1917 года оставался главной императорской резиденцией. Это четвертый по счету каменный Зимний дворец.
В первой трети XVIII века для Петра I на Дворцовой набережной, на том месте, где ныне находится Эрмитажный театр, был построен Зимний дворец. Он не сохранился, но в конце XX века во время реконструкции Эрмитажного театра были воссозданы некоторые интерьеры Зимнего дворца Петра I и открыт музей.
В годы правления императрицы Анны Иоанновны возникла потребность строительства новой императорской зимней резиденции. Место было выбрано на Дворцовой набережной, так чтобы главный фасад дворца был обращен к Адмиралтейству. Строительство второго Зимнего дворца по проекту Ф.Б.Растрелли завершилось в 1735 году.
После вступления на престол Елизаветы Петровны прежняя резиденция расширялась и перестраивалась, но казалась новой императрице слишком скромной. В 1752 году было принято решение о строительстве нового более роскошного Зимнего дворца с большим количеством залов. На время строительства Елизавета Петровна переселилась во Временный деревянный Зимний дворец, который был построен по проекту Растрелли и занимал большой участок на Невском проспекте - от реки Мойки до Большой Морской улицы (не сохранился).
Когда Растрелли проектировал третий по счету каменный Зимний дворец, предполагалось при его строительстве использовать здания, построенные на этом месте раньше. В частности, дворец генерал-адмирала Ф.М.Апраксина, возведённый еще в Петровское время на этом участке набережной Невы.