Отец, Андрей Прохорович Крылов (1736—1778), умел читать и писать, но «наукам не учился», служил в драгунском полку, в 1772 году отличился при защите Яицкого городка от пугачёвцев, затем был председателем магистрата в Твери. Умер в капитанском звании в бедности. Мать, Мария Алексеевна (1750—1788) после смерти мужа осталась вдовой.
Иван Крылов первые годы детства провёл в разъездах с семьёй. Грамоте выучился дома (отец его был большой любитель чтения, после него к сыну перешёл целый сундук книг); французским языком занимался в семействе состоятельных соседей. В 1777 г. он был записан в гражданскую службу подканцеляристом Калязинского нижнего земского суда, а затем Тверского магистрата. Эта служба была, по-видимому, только номинальной, и Крылов считался, вероятно, в отпуске до окончания ученья.
Учился Крылов мало, но читал довольно много. По словам современника, он «посещал с особенным удовольствием народные сборища, торговые площади, качели и кулачные бои, где толкался между пестрой толпой, с жадностью прислушиваясь к речам простолюдинов». С 1780 года начал служить подканцеляристом за копейки. В 1782 г. Крылов ещё числился подканцеляристом, но «у оного Крылова на руках никаких дел не имелось».
В это время он увлёкся уличными боями, стенка на стенку. А так как он был физически очень крепким, то выходил зачастую победителем над взрослыми мужиками.
В конце 1782 г. Крылов поехал в Санкт-Петербург с матерью, намеревавшейся хлопотать о пенсии и о лучшем устройстве судьбы сына. Крыловы остались в Санкт-Петербурге до августа 1783 г. По возвращении, несмотря на долговременное незаконное отсутствие, Крылов уволился из магистрата с награждением чином канцеляриста и поступил на службу в петербургскую казённую палату.
В это время большой славой пользовался «Мельник» Аблесимова, под влиянием которого Крылов написал, в 1784 г., оперное либретто «Кофейница»; сюжет он взял из «Живописца» Новикова, но значительно изменил его и закончил счастливой развязкой. Крылов отнёс свою книгу Брейткопфу, который дал за неё автору книги на 60 рублей (Расина, Мольера и Буало), но не напечатал. «Кофейница» увидела свет только в 1868 г. (в юбилейном издании) и считается произведением крайне юным и несовершенным. При сличении автографа Крылова с печатным изданием оказывается, однако, что последнее не вполне исправно; по удалении многих недосмотров издателя и явных описок юного поэта, который в дошедшей до нас рукописи ещё не совсем отделал своё либретто, стихи «Кофейницы» едва ли могут назваться неуклюжими, а попытка показать, что новомодность (предмет сатиры Крылова — не столько продажная кофейница, сколько барыня Новомодова) и «свободные» воззрения на брак и нравственность, сильно напоминающие советницу в «Бригадире», не исключают жестокости, свойственной Скотининым, равно как и множество прекрасно подобранных народных поговорок, делают либретто 16 летнего поэта, несмотря на невыдержанность характеров, явлением для того времени замечательным. «Кофейница» задумана, вероятно, ещё в провинции, близко к тому быту, который она изображает.
Портрет И. А. Крылова работы К. П. Брюллова
В 1785 г. Крылов написал трагедию «Клеопатра» (не сохранилась) и отнёс её на просмотр знаменитому актёру Дмитревскому; Дмитревский поощрил молодого автора к дальнейшим трудам, но пьесы в этом виде не одобрил. В 1786 г. Крылов написал трагедию «Филомела», которая ничем, кроме изобилия ужасов и воплей и недостатка действия, не отличается от других «классических» тогдашних трагедий. Немногим лучше написанные Крыловым в то же время либретто комической оперы «Бешеная семья» и комедия «Сочинитель в прихожей», о последней Лобанов, друг и биограф Крылова, говорит: «Я долго искал этой комедии и сожалею, что, наконец, её нашёл». Действительно, в ней, как и в «Бешеной семье», кроме живости диалога и нескольких народных «словечек», нет никаких достоинств. Любопытна только плодовитость молодого драматурга, который вошёл в близкие сношения с театральным комитетом, получил даровой билет, поручение перевести с либретто французской оперы «L’Infante de Zamora» и надежду, что «Бешеная семья» пойдёт на театре, так как к ней уже была заказана музыка.