Родился в 1818 году в Букеевской Орде (ныне Жангалинский район Западно-Казахстанской области) в семье бедняка Сагырбая. С раннего детства занимался игрой на домбре. Рано появившаяся склонность мальчика к музыке не вызывала у отца одобрения. Мать Курмангазы Алка, человек яркой индивидуальности и сильной воли, наоборот, разделяла любовь сына к музыке и поддерживала его. В возрасте 6 лет под давлением жестокой нужды Курмангазы был отдан в пастухи. В родном ауле Курмангазы с увлечением слушал заезжих кюйши, среди которых особо выделялся кюйши Узак, который заметил в юном Курмангазы особый интерес к музыке и предсказал ему большое будущее. В возрасте 18 лет Курмангазы покидает родной аул и начинает скитальческую жизнь бродячего кюйши. Вместе с Узаком он участвует в состязаниях, развивает своё мастерство и выдвигается в ряды выдающихся домбристов.
Был очевидцем народного восстания казахов Букеевской орды (1836—1838) под руководством Исатая Тайманова и Махамбета Утемисова против хана Джангира и русского колониализма. Один из первых кюев «Кишкентай» («Малый») — была посвящена народному восстанию. За открытую критику богатых подвергался преследованиям. Курмангазы Сагырбайулы был неоднократно заточен в тюрьму, однако, он никогда не сдавался. Он сидел в тюрьмах Уральска, Оренбурга; существуют сведения, что ему приходилось сидеть в Иркутской тюрьме. Переживший скитания, оскорбления и преследования кюйши создает кюи «Алатау» и «Сарыарка», отразившие глубокие думы народа о независимости и свободе, любовь к своей земле.
Курмангазы был знаком с представителями русской прогрессивной культуры — филологами, историками, этнографами, которые собирали материал о казахской музыке, музыкантах и народных инструментах. Современник Курмангазы Сагырбаева уральский журналист и поэт Никита Савичев в газете «Уральские войсковые ведомости» писал: «Сагырбаев — редкая музыкальная душа и, получи он европейское образование, то был бы в музыкальном мире звездой первой величины…» Кюй «Лаушкен» Курмангазы посвятил русскому другу, который помог ему в трудные минуты жизни. Его дружеские чувства отражены также в кюях «Машина», «Перовский марш» и других.
В 1862 году Курмангазы наконец встречается с земляком, другим великим кюйши Даулеткереем. Оба домбриста-импровизатора заметно повлияли друг на друга. Кюй Даулеткерея «Булбул» (Соловей) Курмангазы включил в свой репертуар.