Вскоре после смерти брата Карл начал войну с саксами. Это была самая продолжительная и ожесточенная война в его царствование. С перерывами, прекращаясь и возобновляясь вновь, она продолжалась тридцать три года, до 804 г., и стоила франкам наибольших потерь, так как саксы были свирепы и преданы своим культам. Граница с ними почти везде проходила по голой равнине, и поэтому была неопределённой. Ежедневно здесь происходили убийства, грабежи и пожары. Раздражённые этим франки, в конце концов, на сейме в Вормсе сочли необходимым начать против соседей войну. В 772 г. Карл в первый раз вторгся в Саксонию, разрушил крепость Эресбург и низверг языческую святыню — идола Ирминсула.