Этот мост находился на месте или около теперешнего Лондонского моста на протяжении почти двух тысяч лет. Первый мост был построен Римлянами вскоре после их вторжения в 43 году нашей эры, в месте двумястами фунтами восточнее современного моста. Мы не знаем точно, когда был возведен первый мост, но Лондиниум являлся важным городом в центре пересечения дорог, таким образом, необходимо было средство пересечения реки. Археологические находки свидетельствуют, что было три моста, первым был деревянный мост, сооруженный, вероятно, не ранее чем в 50 году нашей эры. Последняя более постоянная конструкция, вероятно, продержалась до конца первого века. Эта последняя, скорее всего, имела каменные устои и опоры, сверх устойчивую деревянную конструкцию, и возможно позже сделали этот мост разводным, чтобы корабли имели возможность проплывать под ним. Возможно также, что на мосту располагался храм или место поклонения, потому что в Темзе, рядом с этим местом, было найдено большое количество монет и маленьких статуэток, которые, по-видимому, выбрасывали в воду, в качестве жертвоприношений. После того как Римляне отозвали свою армию из Британии в 410 году нашей эры, Лондиниум опустел, вероятно, что тогда мост подвергся гниению, ведь это было бы очень дорого постоянно его ремонтировать, не было особого смысла в его сохранности.После ухода Римлян, различные германские поселенцы наведывались в Британию, так Саксонцы обосновались в месте, как они называли, Лунденвик, западнее римского поселения. Несмотря на то, что они спасались от нашествий Викингов за старыми стенами, король Альфред принял решение превратить город в крепость, что ему и удалось в девятом веке. Так как новый порт находился выше по течению старого моста, мост было не возможно уже реконструировать, поэтому, исходя из первых письменных источников, новый мост появился около 1000 года нашей эры. Тот факт, что порт развивался выше и ниже моста, позволяет предположить, что мост Саксонцев был также разводным. В период между 1000 годом и возведением каменного моста, бревенчатый мост, вероятно, перестраивали пять раз.
Помимо того, что мост был пропускным пунктом, он также служил дополнительной линией обороны для города. Он не пропускал вражеские суда вверх по течению и не позволял атакующим отрядам проникнуть в город по суше. Он сыграл драматичную роль в жестоких событиях начала одиннадцатого века, когда Лондон менял хозяев несколько раз, когда власть в городе переходила от Саксонцев к Викингам и наоборот. Самая известная легенда описывает попытку Саксонского короля Этельре́да Нерешительного отвоевать Лондон у Кнута в 1014 году. Он заручился поддержкой норвежского короля Олафа, чьи корабли, укрепленные тентом для защиты команды, подплыли к мосту, прикрепили железные кошки к нему, и, когда отплыли от него, практически разрушили его. Это послужило вдохновением для поэмы, написанной Олафом Сагасом. Первые строки начинаются так:Разрушен Лондонский мост,Сияй слава, как злато.Щиты гремят, Рожки трубят, Хильдур извергает грохот! Стрелы летят,Кольчуги звенят, Благословил Олафа Один!Поэма известна благодаря детскому стихотворению «Лондонский мост падает», которое появилось в семнадцатом веке. Олаф стал популярным небесным покровителем в Англии, раньше в Лондоне располагались три церкви имени этого святого, одна из них находилась на южном конце Лондонского моста, на месте которой позднее, в 1931 году, построили офисный блок, известный, как Сент Олаф Хаус. В 1016 году Кнут возвратился, чтобы отвоевать себе трон. Так как он не смог взять мост, он вырыл канал вокруг южного конца моста и его корабли смогли поднять вверх по течению, город был окружен. После Норманнского вторжения 1066 года, Уильяму Норманнскому нужно было взять Лондон, дабы обеспечить себя властью. Когда он подошел к нему с южной стороны, он обнаружил, что город хорошо защищен в этой части, ему пришлось переместить свою армию вверх по течению, где он смог перейти Темзу и двигаться к Лондону с запада.