Родился 2 апреля 743 г. Старший сын короля Пипина Короткого, считающегося основателем династии Каролингов (по имени Карла). От отца Карл унаследовал северные и западные области королевства с центром в Нуайоне.
В 769 г., подавив мятеж на юге страны (Аквитания), он обеспечил себе влияние в этой области. В 771 г., после смерти брата Карломана, Карл захватил его владения. Это послужило толчком к началу распри с королём лангобардов Дезидерием.
Правивший Италией Дезидерий выдвинул своего сына Карломана претендентом на франкский престол. Карл в ответ расторг свой брак с дочерью Дезидерия.
В 772 г. лангобарды начали войну, атаковав находившуюся под покровительством франков Папскую область. Римский Папа Адриан I обратился за помощью к Карлу. В битве при Павии в 774 г. Дезидерий был разгромлен и попал в плен. Карл провозгласил себя королём лангобардов.
В 776 г. он полностью покорил Северную и Среднюю Италию.
В 787 г. войну против Карла в союзе с остатками лангобардов, баварами и кочевниками-аварами начала Византия. Поводом к войне стало расторжение помолвки императора Константина VI с дочерью Карла. Карл, предупреждая вражеское вторжение, занял Южную Италию и быстро разбил византийский десант. После этого он ликвидировал независимость Баварского герцогства и отбросил вторгшихся аваров (788 г.).
Позднее, действуя в союзе со своими новыми вассалами, славянскими князьями Славонии и Карантании, Карл разгромил Аварский каганат (791—803 гг.).
Начиная с 772 г. он вёл борьбу за подчинение саксов и обращение их в христианство.
В 775—779 гг. Саксония была формально покорена франками. Но в 782 г. началось общее восстание под предводительством правителя саксонского племени анграриев Видукинда, бежавшего в Данию, к своему шурину, конунгу (королю) датчан Сигурду. После гибели своих военачальников Карл сам вторгся в Саксонию. Он разбил восставших на реке Везер, за чем последовала жестокая расправа над саксами. В 783 г. Карл в битве под Детмольдом нанёс поражение Видукинду. Тем не менее война продолжалась. Только в 785 г., после решающей победы под Минденом, Карл склонил Видукинда к присяге на верность и к крещению. Но саксы продолжали сопротивляться. Поддержку им оказывали скандинавские викинги и некоторые славянские племена. Карл заставил часть западнославянских князей признать себя подчинёнными франков, отражал набеги датчан. Но военные действия в Саксонии не прерывались до 799 г., а на севере — до 804 г.
В 778 г. Карл вторгся в арабскую Испанию, воспользовавшись распрями среди мавров. Война оказалась неудачной. Арьергард уходящих франков во главе с маркграфом (правитель пограничного округа — марки) Хруотландом (Роландом) был истреблён горцами-басками. Лишь начиная с 796 г. Карлу удалось перейти здесь в наступление. К 810 г. были завоёваны обширные земли на севере Испании.
В 786—799 гг. было утверждено франкское владычество в Бретани.
Карл покровительствовал науке и искусству, вызвав к жизни так называемое Каролингское Возрождение. Франкское королевство стало сильнейшей державой Запада и именовалось Христианской империей.
В 799 г. римские аристократы свергли с престола Папу Льва III. Карл вновь вступил в Италию и вернул Папе власть. В 800 г. Лев III возложил на Карла императорскую корону.
Карл умер 28 января 814 г. в Ахене, оставив престол своему сыну Людовику, королю Аквитании.
Эпоха правления Карла в Средневековье воспринималась как золотой век. Она вошла в предания и стала настоящим кладезем сюжетов для героических сказаний («Песнь о Роланде» и др.) и рыцарских романов. Карл и его паладины (сподвижники) стоят в них в одном ряду с прославленным королём Артуром и рыцарями Круглого стола.