Родился в семье чиновника Павла Алексеевича Ершова (1784—1834). Отец по делам, связанным со службой, часто переезжал. Ершовы пересекали цепь казачьих поселений, посещали места, где были ещё свежи предания о временах Ермака и Пугачёва. В 1824 году родители определили Петра и его брата Николая в Тобольскую гимназию. Мальчики жили в купеческой семье Пиленковых — родственников матери, а когда окончили гимназию, отец перевёлся в Петербург, где братья поступили в Императорский Санкт-Петербургский университет. В 1831—1835 годах он учился на философско-юридическом отделении[уточнить] университета.
В студенческие годы Ершов сблизился с профессором русской словесности Петром Плетнёвым, познакомился с Василием Жуковским и Александром Пушкиным. На их суд девятнадцатилетний студент отдал своё первое крупное произведение — сказку «Конёк-горбунок», прочитав которую, Пушкин с похвалою сказал начинающему поэту: «Теперь этот род сочинений можно мне и оставить». Плетнёв во время одной из лекций прочитал с университетской кафедры отрывок из «Конька-горбунка» и назвал студентам автора сказки — их сокурсника Петра Ершова, сидевшего в аудитории.
Другой отрывок из «Конька-горбунка» появился в мае в «Библиотеке для чтения» (1834, т. 3), а в октябре 1834 года сказка Ершова была опубликована отдельным изданием. Успех сопутствовал молодому поэту: в декабре того же года к печати была одобрена первая часть «Сибирского казака», а затем и вторая часть этой «старинной были»[1].
Приближающееся окончание университета было связано у молодого сибиряка с проблемами. Не смог он получить желаемую должность, приходилось расставаться с друзьями, которых у него было немного, порывать с литературной средой. Противоречивые чувства вызывало и прощание с самим Петербургом, к которому он привязался, но вместе с тем хотел принять участие в исследовании Сибири[1].
Вернувшись на родину летом 1836 года, Ершов работал учителем Тобольской гимназии. С 1844 года он — инспектор, а с 1857 года — директор гимназии и дирекции училищ Тобольской губернии. Один из его учеников — будущий химик Дмитрий Иванович Менделеев. Падчерица Ершова стала женой Менделеева.
Был инициатором создания любительского гимназического театра. В театре занимался режиссурой. Написал для театра несколько пьес: «Сельский праздник», «Суворов и станционный смотритель» (1835), комическую оперу «Якутские божки», «Черепослов».
Печатал свои стихотворения в Библиотеке для чтения Сенковского и в «Современнике» Петра Плетнёва.
Умер Пётр Ершов 30 августа 1869 года. Похоронен в Тобольске на Завальном кладбище.