Собственно говоря, сад «Эрмитаж» не всегда был таким, каким мы привыкли его видеть. Даже расположен он был в другом месте: с 1830 года почти до самого конца XIX века располагался он на Божедомке и был первым в Москве увеселительным садом, с беседками, клумбами, театром, эстрадой, кофейнями и павильонами. Наибольшего расцвета достиг в эпоху, когда принадлежал известному антрепренеру, бывшему актеру Малого театра М. В. Лентовскому. К. С. Станиславский так вспоминал тогдашний сад «Эрмитаж»: «Чего только не было в этом саду: катание на лодках по пруду и невероятный по богатству и разнообразию водяной фейерверк со сражением броненосцев и потоплением их, хождение по канату через пруд, водяные праздники с гондолами, иллюминированными лодками, купающиеся нимфы в пруду, балет на берегу и в воде. Шествия военного оркестра, хоры цыган, русских песенников. Вся Москва и приезжающие в нее иностранцы посещали знаменитый сад».
Однако же, Лентовский разорился, и сад пришел в запустение, а в дальнейшем и вовсе был застроен домами, и ничто уже не напоминало о временах, когда на месте Самотечных переулков располагалось все это ушедшее великолепие.
И вот начинается история сада «Эрмитаж» в Каретном ряду, родившегося на месте бывшей усадьбы купца В.И. Олонцова. После нескольких попыток здесь образования театра и сада, предпринимавшихся Московским Артистическим кружком, купцом М.А. Липским, инженером-механиком К. В. Мошниным, весь участок перешел во владение московского купца Я. В. Щукина 16 июля 1894 года. Дата эта отмечается как день рождения сада «Эрмитаж».К 850-летию Москвы сад преобразился, были отреставрированы многие исторические постройки.
В 2000 году саду "Эрмитаж" были переданы две скульптурные работы:бюсты Данте Алигьери и Виктора Гюго. Бюст Данте, выполненный скульптором Ринальдо Пирасом, передан в дар Москве правительством Италии при участии общества имени Данте Алигьери. Бюст Виктора Гюго работы Лорана Маркеста был подарен саду "Эрмитаж" мэрией Парижа. В 2006 году в саду «Эрмитаж» было установлено большое Серебряное Сердце "Памятник Всем Влюбленным". Памятник представляет собой композицию из труб длиной 70 метров, которые согнуты в форме сердца. Внутри этого памятника находятся колокольчики, которые звенят от ветра. Есть придание, что влюбленные, которые впервые поцеловались под металлическим сердцем, будут счастливы, а их чувства будут прочными и яркими всю жизнь.В 2004 году сад «Эрмитаж» отмечал 110 годовщину со дня основания. И хотя сад прекрасен и просто сам по себе, каждый год вписывает новую страницу в его славную историю. Здесь хорошо. Это самое московское место отдыха.