История здания, являющегося ярким образцом классицизма, длинна и витиевата. Его возвели на пепелище — в грандиозном московском пожаре 1812 года «Пречистенская и Арбатская части сгорели вовсе». Пустовавший участок, принадлежавший полковнице Турчаниновой, приобрела чета дворян Васильчиковых и превратила в городскую усадьбу — с двумя каменными домами, хозяйственными постройками, фруктовым садом, конюшнями и огородами. Затем владение не раз переходило из рук в руки и перестраивалось.
В 1860-е годы при князе Сергее Оболенском, состоявшем чиновником по особым поручениям при московском генерал-губернаторе, патриархальная усадьба превратилась в аристократический особняк, где главным было не жить, а принимать гостей. Там появились красно-золотая Мавританская комната с куполом, резными арками и небольшая Персидская — курительная (как полагают исследователи). Другие помещения князь украсил богатой лепниной, гобеленами и великолепными каминами из мрамора и яшмы. На втором этаже хозяин обустроил Большой зал с шестиметровым потолком и прекрасной акустикой.
Побывал дом и в руках золотоканительщика Александра Алексеева — представителя одной из самых почтенных купеческих фамилий Первопрестольной. Сюда к дядюшке захаживал племянник Костя Алексеев, которого мир знает под именем Константина Станиславского. В 1885 году Алексеевы продали дом сыну железнодорожного магната фон Мекка Владимиру Карловичу. Его мать, Надежда Филаретовна, покровительствовала Чайковскому.
Последней хозяйкой особняка стала Любовь Зимина — сестра создателя Частной оперы. В доме нередко устраивались музыкальные вечера, на которых пел Шаляпин, играли на рояле Рахманинов, Глазунов, Танеев.
