Действие повести передается от лица главного героя – Алеши Пешкова. Он жил в Астрахани, где отцу, мастеру-краснодеревщику, поручили строить триумфальные ворота к приезду царя. Но отец умер от холеры, от горя у матери Варвары начались преждевременные роды. Мальчику запомнился ее крик, растрепанные волосы, оскаленные зубы.
Отца хоронили в дождливый день, в яме сидели лягушки, и мальчика потрясло, что их закопали вместе с гробом. Но плакать ему не хотелось, ведь плакал он редко и только от обиды: отец смеялся над слезами, а мать запрещала плакать.
В Астрахань приехала бабушка героя, Акулина Ивановна Каширина, она забрала их в Нижний Новгород. По дороге новорожденный Максим умер, его схоронили в Саратове. Алеша во время стоянки чуть не потерялся, но матрос его узнал и вернул в каюту.
Все матросы узнали семью благодаря бабушке, которую они угощали водкой, а Алешу арбузами. Бабушка рассказывала диковинные истории, и мальчику казалось, что она вся светилась изнутри. Несмотря на полноту, она двигалась легко и ловко, как кошка.
В Нижнем их встретила многочисленная семья Кашириных. Больше всех выделялся маленький, сухонький дед Василий Васильевич.
II.
Вся семья жила в огромном доме, но жили недружно. Он чувствовал взаимную вражду между дедом и его сыновьями, Михаилом и Яковом. Нижний этаж занимала красильная мастерская – предмет раздоров. Сыновья хотели получить свою часть наследства и отделиться, но дед противился.
Сами дядья часто дрались, и Алеша стал свидетелем их потасовски. Мальчика это напугало, ведь он вырос в дружной семье, где его не наказывали, а здесь дед Каширин в субботу провинившихся внуков сек розгами. Алеша случайно испортил парадную скатерть (хотел покрасить) и этой участи тоже не избежал. Он сопротивлялся деду, укусил его, за что тот засек мальчика до полусмерти.
Алеша потом долго болел; дед пришел к нему мириться и рассказал о своей тяжелой молодости. Еще мальчика поразило, что Цыганок, подмастерье, вступился за него и подставил руку, чтобы розги сломались.
III.
Позже Цыганок объяснял Алеше, как вести себя во время порки, чтобы не было больно. Он был подкидышем, его воспитала бабушка, а из ее восемнадцати детей выжили трое. Цыганку было 17 лет, но он был наивен, как ребенок: воровал на базаре, чтобы привезти больше продуктов и порадовать деда. А бабушка была уверена, что его когда-нибудь поймают и убьют.