Череда несчастий в доме Кашириных продолжается: в пожаре сгорает мастерская, у тетки Натальи от испуга начинаются преждевременные роды, и она умирает, а вместе с ней младенец. Дед продает дом, выделив соответствующую часть наследства сыновьям – Михаилу и Якову.
В новом доме множество постояльцев – тоже способ заработать. Сами Каширины вынуждены ютиться в подвале и на чердаке. Много интересного и забавного было в доме для мальчика, но порой его душила неотразимая тоска, он весь как будто наливался чем-то тяжким и подолгу жил, «потеряв зрение, слух и все чувства, слепой и полумертвый». Такие ощущения трудно назвать детскими.
В подобной обстановке для любого ребенка важна поддержка взрослых. Мать Алексея, Варвара, в свое время вышла замуж «самокруткой», без благословения отца, так была рада вырваться из удушающей атмосферы семьи, про которую сам дед сказал бабушке: «Народила зверья». Бабушка же, говоря о своей непростой судьбе, рассказала, что у нее восемнадцать детей «было рожено», да вот полюбил господь: все брал да брал ребятишек ее в ангелы. Выжившие же особым счастьем не отличались: Михаил и Яков постоянно грызлись из-за наследства, Варвара, оставшись вдовой, пыталась вновь наладить личную жизнь, оставив сына на попечении бабушки и деда. Но и второй брак не сложился: муж, много ее моложе, стал ходить на сторону, а мать мальчика, родив еще двух сыновей, превратилась из высокой статной женщины в высохшую старуху, немую, глядящую куда-то мимо, и вскоре умерла от чахотки.
Поэтому особая роль в становлении мировоззрения юного Алеши Пешкова была отведена бабушке. Уже при первом знакомстве она показалась ему сказочницей, ведь «говорила она, как-то особенно выпевая слова». Мальчику казалось, что она светилась изнутри, через глаза, «неугасимым, веселым и теплым светом», будто до нее он спал, «спрятанный в темноте», а она разбудила, вывела на свет, связала все вокруг в непрерывную нить и сразу стала на всю жизнь другом, самым близким, понятным и дорогим человеком.
С дедушкой отношения складывались иначе: Алеше казалось, что тот недолюбливал его и следил за ним своими зоркими и умными глазами. После того как Алеша был жестоко наказан дедом и тяжело заболел, дедушка пришел к нему, сел на кровать и рассказал о своей трудной молодости - ему пришлось быть бурлаком. Тяжелые испытания озлобили деда Каширина, сделали подозрительным, вспыльчивым. Он, маленький, сухонький, даже почти в 80 лет все еще поколачивал бабушку, которая была его крупнее и сильнее.
Много потерь было в жизни Алеши, но общение с хорошими людьми помогало выстоять ему в борьбе за существование. Так один человек со странным прозвищем Хорошее Дело предложил мальчику учиться писать, чтобы потом записывать все, что говорила бабушка. Возможно, этот эпизод был взят из жизни самого автора, что и послужило толчком к будущему ремеслу писателя. В любом случае, именно жанр автобиографической повести и рассказ от лица главного героя позволили Максиму Горькому передать всю трагичность жизни маленького человека, вступающего в жизнь и уже в какой-то мере ею отвергнутого.