Родился в дворянской семье Ивана Ивановича Ростовцева (1764—1807), директора училищ Санкт-Петербургской губернии, и его жены Александры Ивановны, урожд. Кусовой (1778—1843), дочери купца-миллионера И. В. Кусова. В Пажеском корпусе запомнился наклонностью к шалостям, но в целом учился хорошо. В 1822 году произведён в прапорщики лейб-гвардии Егерского полка[1]. В 1825 году произведён в подпоручики и назначен исполняющим должность старшего адъютанта гвардейской пехоты.