Полонский родился в 1819 году в Рязани, в небогатой дворянской семье. Он учился в гимназии. В 1837 году, в год смерти Пушкина, в Рязань приезжал будущий император Александр II (тогда еще – цесаревич Александр Николаевич, наследник российского престола). Его сопровождал поэт В.А.Жуковский. Полонскому, как признанному гимназическому поэту, было поручено написать приветственное стихотворение. С этого эпизода сам Полонский и начинал отсчет своей литературной деятельности.
В 1838 году, 19-летним юношей, Яков приезжает в Москву и поступает на юридический факультет Московского университета. Сам он признавался, что хотел бы учиться на филологическом факультете, но не имел способности к языкам и поэтому выбрал юридический. Среди его университетских друзей были Аполлон Григорьев и Афанасий Фет. Тогда еще Полонский был очень застенчив и неохотно читал на публике свои стихи. Его приходилось упрашивать. Это было время больших сомнений, мучительных раздумий, увлечения немецкой классической философией.
Полонский был простодушен, он никогда не носил маски, не воображал себя иным, другим, чем он есть на самом деле. Среди московских знакомых Полонского этого периода – П.Я.Чаадаев, И.С.Тургенев. Дружба с последним продлится до кончины Тургенева. Полонский напишет трогательные воспоминания о нем.