Мальчик впервые столкнулся с таким понятием, как вражда между родными: он чувствовал, что «дом деда наполнен горячим туманом взаимной вражды всех со всеми». А еще дед высек Алешу до потери сознания за попытку покрасить скатерть, после чего мальчик долго «хворал», но именно тогда у него появилось беспокойное внимание к людям, точно ему «содрали кожу с сердца», и оно стало «невыносимо чутким ко всякой обиде и боли, своей и чужой».
Несмотря на то, что Алексей часто сталкивается с несправедливостью, рос он добрым и чутким, ведь его первые девять лет жизни прошли в атмосфере любви, когда он жил в Астрахани с родителями. Теперь в доме деда ему приходится несладко: он вынужден ходить в школу, учить молитвы, смысла которых не понимает, разбирать по складам Псалтырь. Но есть в доме люди, к которым тянется Алексей. Это и подслеповатый мастер Григорий, которого мальчик искренне жалеет, и подмастерье Цыганок, которому дедушка пророчит большое будущее.
Однако не суждено сбыться пророчествам: Цыганок погиб, раздавленный тяжестью дубового креста, который дядя Яков поклялся отнести на своих плечах и поставить на могилу жены, вечно им битой и раньше времени отправленной на тот свет. Вся тяжесть креста легла на плечи Цыганка, а когда тот споткнулся, дядья «вовремя сбросили крест», и так погиб подкидыш, который, по словам дедушки, «поперек горла братьям встал», вот они его и уморили.
Череда несчастий в доме Кашириных продолжается: в пожаре сгорает мастерская, у тетки Натальи от испуга начинаются преждевременные роды, и она умирает, а вместе с ней младенец. Дед продает дом, выделив соответствующую часть наследства сыновьям – Михаилу и Якову.
В новом доме множество постояльцев – тоже способ заработать. Сами Каширины вынуждены ютиться в подвале и на чердаке. Много интересного и забавного было в доме для мальчика, но порой его душила неотразимая тоска, он весь как будто наливался чем-то тяжким и подолгу жил, «потеряв зрение, слух и все чувства, слепой и полумертвый». Такие ощущения трудно назвать детскими.