Основан не позднее III тысячелетия до н. э.; в шумерских источниках известен под именем Кадингирра. В раннединастический период — незначительный город, центр небольшой области или нома в рамках системы шумерских городов-государств. В XXIV—XXI вв. до н. э. — провинциальный центр в составе Аккадского царства и Державы III династии Ура. В II—I тыс. до н. э. — столица Вавилонского царства, одной из великих держав древности и важнейший город одноимённой области (Вавилонии). Наивысший подъём экономической и культурной жизни Вавилона в литературной традиции связывается с эпохой правления Навуходоносора II (VI век до н. э.).
В 539 году до н. э. занят войсками Кира II и вошёл в состав державы Ахеменидов, став одной из её столиц; во второй половине IV в. до н. э. — столица державы Александра Македонского, впоследствии — в составе государства Селевкидов, Парфии, Рима; начиная с III в. до н. э. постепенно пришёл в упадок.