Прежде чем стать памятником архитектуры и попасть в реестр объектов культурного наследия, дом повидал немало. Кто только не владел участком: и французский купец, и приятель Петра I, и генерал-майор Левашов. При нём появился усадебный комплекс, в который частенько заглядывали иностранные гости. Здесь даже как-то жила подруга Екатерины Великой — Екатерина Дашкова.
В историю дома прочно вписано имя князя Гагарина — владельца особняка с 1835 по 1864 годы. Именно при нём будущая достопримечательность начала обретать свой текущий вид. Последующая частичная перепланировка связана с промышленником Александром Половцовым — один из последних хозяев дома.
В 1934 году строение передали Союзу архитекторов России. За достопримечательностью закрепилось второе название — Дом архитектора.