Происходил из дворянской семьи. Отец Ребикова — горный инженер. В Москве семья проживала на улице Пречистенка с 1868 года. Первые уроки музыки получил от матери.
С 1878 учился в Коммерческом училище на улице Остоженке, с 1880 — в реальном училище К. П. Воскресенского, где продолжил музыкальные занятия. В 1885 пытался поступить в Московскую консерваторию, но представив экзаменационной комиссии (во главе с С. И. Танеевым) свои «модернистские диссонансные сочинения», был отвергнут и поступил в Московский университет на филологическое отделение. Музыке обучался частным образом у Н. С. Кленовского. В 1891 году уехал за границу для получения музыкального образования в Берлине у К. Мейербергера и Г. Мюллера.
В 1893 создал в Москве цикл романсов на слова Семёна Надсона, получивший поддержку и одобрение П. И. Чайковского. В 1893—1896 годах проживает в Одессе, где создает свою первую оперу «Лес шумит» (по повести В. Г. Короленко); позже опера получила признание и была поставлена в Москве в театре «Аквариум».
Ребиков посещал литературно-художественные вечера в доме Валерия Брюсова. С 1893 занимался преподаванием в Москве, Киеве и Одессе. Поселившись в 1897 в Кишинёве, добился открытия там отделения Русского музыкального общества и организовал музыкальную школу. В конце 1890-х посетил Вену и Мюнхен, где познакомился с новейшими течениями в европейском искусстве.
В 1898—1901 явился инициатором и участвовал в организации первого в истории русской музыки официального творческого объединения — «Общества русских композиторов». С 1901 выступал с концертами в России и за границей. На русской и зарубежной сценах с успехом ставится лучшее произведение Ребикова — опера «Ёлка», о Ребикове пишут и дискутируют газеты и журналы, но постепенно слава его угасла. К его последней опере «Дворянское гнездо» (по роману И. С. Тургенева), проявлял интерес В. И. Немирович-Данченко.
На революционные события 1905 Ребиков откликнулся литературной поэмой «Альфа и Омега», «музыкально-психологической картиной „Кошмар“». С 1906 за рубежом. С 1909 вновь в Москве; опубликовал серию статей по проблемам музыкального искусства.
Ребиков очень любил Крым. В юности он часто проводил лето в Феодосии, где у его родителей была небольшая дача. С 1910 проживал в Ялте, где он являлся заметной эксцентрической фигурой (к примеру, его можно было встретить на улицах города, ходившим с двумя зонтиками — белым от солнца и черным от дождя). В 1913 к 25-летию творческой деятельности Ребикова на сцене московского театра Г. Г. Солодовникова силами артистов «Оперы С. И. Зимина» была поставлена опера Ребикова «Ёлка».
Скончался в Ялте 4 августа 1920 года, был похоронен на Ауткинском кладбище. Позже его останки были перенесены на Поликуровский мемориал, где имеется посвящённая ему мемориальная доска.