Музей расположен в памятнике архитектуры XVIII века. Здание было построено в 1786 году по типовому проекту жилого дома. Непросто складывалась судьба этого здания: оно неоднократно горело, несколько раз его перестраивали, подправляли, реконструировали. Оно никогда не использовалось по назначению. Первоначально здесь размещалась банковая контора, далее – променная контора, коммерческий банк, затем – городская таможня.
Пять залов особняка – портретная и мужской кабинет, голубая гостиная, будуар и столовая – перемещают в давно ушедшее время. Мебель, картины, зеркала, фарфор, наполняют дом духом прежних эпох и возвращают к некогда неторопливой осознанной городской жизни.