Крылов родился в Москве. Отец его выслужил дворянство. Сановных покровителей у него не было, и он долгое время находился в самых незначительных чинах. Семья Крыловых жила бедно. У них не было ни имений, ни крестьян, ни даже постоянного места жительства.