Удивительно, но инициатором одного из самых гуманитарных музеев стал военный министр, один из разработчиков военной реформы, граф Дмитрий Алексеевич Милютин. Дело в том, что музей изначально планировался для помощи в подготовке кадров для регулярной армии. Первые одиннадцать лет своего существования он находился на Васильевском острове – на Университетской набережной в здании бывшей Типографии военно-учебных заведений, рядом со зданием Первого кадетского корпуса. Но развернуть активную деятельность и стать действительно популярным музей смог только после переезда в 1875 году в Соляной городок.