Родился в селе Станичная слобода (Тамбовская губерния) 17 (29) октября 1861 в семье крестьянина-иконописца. Занимался в Московском училище живописи, ваяния и зодчества (1875–1862) у В.Г.Перова и И.М.Прянишникова, а также в петербургской Академии художеств (1882–1890). Жил в Петербурге, а также в имении «Приволье» своего друга И.Ф.Тюменева (близ Любани под Петербургом). Со времени своего академического «пенсионерства» (когда он поехал не за границу, а по России) много путешествовал по старинным русским городам (Новгород, Киев, Москва, Углич, Ярославль и др.), изучал в музеях местные древности, копировал фрески, писал этюды средневековой архитектуры. Участвовал на выставках «Товарищества передвижников», «Мира искусства» и «Союза русских художников».
С 1880-х годов публиковал исторические, жанровые и пейзажные рисунки в журналах «Исторический вестник», «Всемирная иллюстрация» и других. Обратившись к историческому жанру, последовательно добивался все большей декоративной звучности колорита и яркой экспрессии мизансцен, где заговорили не только персонажи, но как бы и сама бытовая среда, рождающая характерный для символизма и модерна эффект эмоционально-эстетической «сиюминутности» минувших времен. Среди его картин – Московская улица 17 века в праздничный день (1895, Русский музей), Семья купца в 17 веке (1896, там же), Свадебный поезд в Москве (1901, там же), Едут (1901, Русский музей), Пожалован шубой с царского плеча (1902, там же).
В некоторых его вещах начала века, к примеру в таких сельских жанрах, как Втерся парень в хоровод (1902, Третьяковская галерея) и Чаепитие (1903, частное собрание, Москва), проступают уже черты своеобразного гротескного протоэкспрессионизма. Рябушкин скоропостижно скончался от туберкулеза в усадьбе Дидвино (близ «Приволья») 27 апреля (10 мая) 1904.