Родился в семье чиновника Павла Алексеевича Ершова (1784—1834). Отец по делам, связанным со службой, часто переезжал. Ершовы пересекали цепь казачьих поселений, посещали места, где были ещё свежи предания о временах Ермака и Пугачёва. В 1824 году родители определили Петра и его брата Николая в Тобольскую гимназию. Мальчики жили в купеческой семье Пиленковых — родственников матери, а когда окончили гимназию, отец перевёлся в Петербург, где братья поступили в Императорский Санкт-Петербургский университет. В 1831—1835 годах он учился на философско-юридическом отделении[уточнить] университета.
В студенческие годы Ершов сблизился с профессором русской словесности Петром Плетнёвым, познакомился с Василием Жуковским и Александром Пушкиным.