Особняк военного министра – уникальная усадьба в центре города, расположенная в непосредственной близости от Михайловского замка, на территории бывшего третьего Летнего сада, вырубленного и превращённого в плац после преобразования Михайловского замка в Инженерный. Одной частью фасада он выходит на Садовую улицу, а другой — на Кленовую аллею. Особняк был создан по идее великого реформатора русской армии эпохи императора Александра II, Д. А. Милютина. Двухэтажный, на цокольном этаже и с антресолями, особняк (1872–1874) хорошо сохранился до нашего времени. Изящно оформленные парадные и личные комнаты изысканных форм смотрят в сады Инженерного замка и Марсова поля.
Решение о строительстве специального особняка было принято в 1872 году. Заказчиком строительства был военный министр генерал-фельдмаршал Д.А.Милютин, назначенный на этот пост в 1861 году.
Проектировал здание известный архитектор, профессор Рудольф Богданович Бернгард. В строительстве принял участие также военный инженер Д.В. Покотилов, а в создании внутренней отделки – архитектор О. Г. Гиппиус.
Первый этаж дома предназначался для небольшой канцелярии министра. Здесь также располагались жилые комнаты семьи Д.А. Милютина. На втором этаже размещались 16 парадных помещений, в том числе и личные апартаменты Военного министра. В мансарде, которая выходила во двор, находились комнаты камердинера и дворецкого.
Во всех жилых и рабочих помещениях имелись голландские печи, отделанные изразцами или камины. Пол в вестибюле и на лестницах был выполнен из мозаики, в комнатах из наборного паркета.
В конце 19 века, для обеспечения безопасности министра и членов его семьи, жилые комнаты были перенесены на второй этаж дома.
Продуманная, уникальная для своего времени, планировка комфортабельного дома давала возможность министру совмещать службу, работу своей канцелярии, с общественными обязанностями и с интимной жизнью многодетной семьи в присутствии посетителей, многочисленных служащих и прислуги. Лестница особняка расписана в помпейском стиле, зал оформлен в стиле Людовика XV, дамские гостиные — в стиле Людовика XVI и т. д. В исторических интерьерах представлены прекрасные комплекты художественной меблировки и декоративного убранства парадных и жилых комнат 1880–1900 годов.
Таким дом военного министра и оставался до революции 1917 года. В нем жили и работали все военные министры Российской империи, занимавшие этот пост после графа Дмитрия Алексеевича Милютина.