Это дом Арсения Морозова. Арсений Абрамович Морозов (1873—1908) принадлежал к богатому купеческому роду Морозовых и приходился двоюродным племянником Савве Морозову. В начале 1890-х годов он совместно с Виктором Мазыриным, своим другом, совершал путешествие по Испании и Португалии. На миллионера, равно как и на архитектора, неизгладимое впечатление произвёл португальский дворец Пена в Синтре, построенный в середине XIX века и сочетающий элементы испано-мавританской средневековой архитектуры и национального стиля мануэлино.
По возвращении в Москву Арсений Морозов загорелся идеей построить себе дом-замок, повторяющий в общих чертах стиль дворца Пена. На участке, подаренном матерью Варварой Алексеевной к 25-летию сына, вместо небольшого классицистического особняка начала XIX века вскоре вырос необычный дом. Ещё на стадии строительства он стал объектом насмешливых разговоров москвичей, сплетен, слухов и критических газетных публикаций. Общественное мнение восприняло экзотический особняк неодобрительно, как выражение крайнего эксцентризма. Разговоры вокруг строительства нашли отражение в романе Л. Н. Толстого «Воскресение» (опубликован в 1899 году): князь Нехлюдов, проезжая по Волхонке, размышляет о строительстве «глупого ненужного дворца какому-то глупому и ненужному человеку», имея в виду затею Морозова. Существует легенда, будто бы мать Арсения, женщина гневливая и острая на язык, посетив в декабре 1899 года только что построенный дом сына, в сердцах сказала:
Раньше одна я знала, что ты дурак, а теперь вся Москва будет знать!
После революции в особняке находился штаб анархистов. С 1918 по 1928 год здесь размещался театр Пролеткульта, с которым сотрудничал Сергей Эйзенштейн.
В конце 20-х годов помещения передали Наркомату иностранных дел. Здесь, в разное время, располагались посольство Японии, английская газета «Британский союзник», посольство Индии.
В 1959 году здание перешло «Союзу советских обществ дружбы и культурных связей с народами зарубежных стран» и в обиходе его стали называть Домом дружбы народов.
В настоящее время особняк является Домом приемов Правительства РФ. Торжественное открытие состоялось после реставрации особняка в 2006 году.