Отец, Андрей Прохорович Крылов (1736—1778), умел читать и писать, но «наукам не учился», служил в драгунском полку, в 1773 году отличился при защитеЯицкого городка от пугачёвцев, затем был председателем магистрата в Твери. Умер в капитанском звании в бедности. Мать, Мария Алексеевна (1750—1788) после смерти мужа осталась вдовой.
Иван Крылов первые годы детства провёл в разъездах с семьёй. Грамоте выучился дома (отец его был большой любитель чтения, после него к сыну перешёл целый сундук книг); французским языком занимался в семействе состоятельных соседей. В 1777 г. он был записан в гражданскую службу подканцеляристом Калязинского нижнего земского суда, а затем Тверского магистрата. Эта служба была, по-видимому, только номинальной, и Крылов считался, вероятно, в отпуске до окончания ученья.
Учился Крылов мало, но читал довольно много. По словам современника, он «посещал с особенным удовольствием народные сборища, торговые площади, качели и кулачные бои, где толкался между пёстрой толпой, с жадностью прислушиваясь к речам простолюдинов». С 1780 года начал служить подканцеляристом за копейки. В 1782 г. Крылов ещё числился подканцеляристом, но «у оного Крылова на руках никаких дел не имелось».
В это время он увлёкся уличными боями, стенка на стенку. А так как он был физически очень крепким, то выходил зачастую победителем над взрослыми мужиками.
В конце 1782 г. Крылов поехал в Санкт-Петербург с матерью, намеревавшейся хлопотать о пенсии и о лучшем устройстве судьбы сына. Крыловы остались в Санкт-Петербурге до августа 1783 г. По возвращении, несмотря на долговременное незаконное отсутствие, Крылов уволился из магистрата с награждением чином канцеляриста и поступил на службу в петербургскую казённую палату.
В это время большой славой пользовался «Мельник» Аблесимова, под влиянием которого Крылов написал, в 1784 г., оперное либретто «Кофейница»; сюжет он взял из «Живописца» Новикова, но значительно изменил его и закончил счастливой развязкой. Крылов отнёс свою книгу Брейткопфу, который дал за неё автору книги на 60 рублей (Расина, Мольера и Буало), но не напечатал. «Кофейница» увидела свет только в 1868 г. (в юбилейном издании) и считается произведением крайне юным и несовершенным. При сличении автографа Крылова с печатным изданием оказывается, однако, что последнее не вполне исправно; по удалении многих недосмотров издателя и явных описок юного поэта, который в дошедшей до нас рукописи ещё не совсем отделал своё либретто, стихи «Кофейницы» едва ли могут назваться неуклюжими, а попытка показать, что новомодность (предмет сатиры Крылова — не столько продажная кофейница, сколько барыня Новомодова) и «свободные» воззрения на брак и нравственность, сильно напоминающие советницу в «Бригадире», не исключают жестокости, свойственной Скотининым, равно как и множество прекрасно подобранных народных поговорок, делают либретто 16 летнего поэта, несмотря на невыдержанность характеров, явлением для того времени замечательным. «Кофейница» задумана, вероятно, ещё в провинции, близко к тому быту, который она изображает.