Музей имени Его Императорского Высочества Государя Наследника Цесаревича основан указом императора Александра II 21 февраля 1872 года, по ходатайству организаторов Политехнической выставки 1872 года. Экспонаты отдела последней, посвящённого Крымской войне, составили первоначальную коллекцию музея. Также в ведение музея была передана историческая Чертковская библиотека.
Московская городская дума в апреле 1874 года выделила для постройки музея землю на Красной площади Москвы.