Согласно легенде, первым хозяином этих палат был царь Иван Грозный. Палаты сменили немало владельцев, однако в 1727 году, при правлении Петра II, участок достался обер-секретарю Военной коллегии Алексею Волкову. Благодаря этому здание имеет название «Палаты боярина Волкова», хотя сам Волков никакого отношения к боярам не имел, да и хозяином дворца он пробыл меньше года. Потом палаты пожаловали князю и подполковнику Преображенского полка Григорию Юсупову-Княжеву, принадлежавшему к известному роду Юсуповых.
При этом на материальном благополучии семьи это никак не сказывалась. К 1917 году Юсуповы были вторыми по богатству после Романовых. Им принадлежало 250 тыс. десятин земли, они были владельцами сахарных, кирпичных, лесопильных заводов, фабрик и рудников, ежегодный доход от которых составлял более 15 миллиона золотых рублей. А роскоши Юсуповских дворцов могли позавидовать великие князья.
Архитектурный ансамбль каменных Юсуповских палат в Харитоньевском переулке формировался веками и представляет собой несколько отдельных теремов на подклетах, с сенями и наружными крыльцами.
Точная дата постройки дворца и имена строителей неизвестны. Предполагается, что его строили русские мастера. Отчасти это подтверждает в своих воспоминаниях Феликс Феликсович Юсупов-младший, повторяя семейную легенду: «Строили этот дом архитекторы Барма и Постник, те самые, что создали в Москве Собор Василия Блаженного».
Юсуповский дворец также связан с именем великого русского поэта А. С. Пушкина, который никогда не был владельцем здания, но несколько лет в нем жил. Существует предположение, что именно с легкой руки Пушкина переулок, на котором стоит Юсуповский дворец, стал называться Харитоньевским. Это название официально было утверждено лишь в середине XIX столетия, а в пушкинские времена переулок был известен как Хомутовский, или просто Хомутовка — по имени домовладельца Хомутова, жившего в XVIII веке.
В 1892 году по проекту архитектора П. Р. Султанова, приглашенного княгиней Зинаидой Юсуповой, была проведена реставрация восточной части здания. Интерьеры дворца были декорированы по эскизам Ф. Ф. Солнцева — выполнены богатые настенные росписи «в русском» стиле, резные порталы, бронзовые решетки, подсвечники и фонари.
Роспись каждого из парадных залов имела свой уникальный сюжет: так стены одного из залов были расписаны сюжетами, посвященными истории строительства дворца Иваном Грозным. Интерьеры здания украшали фигурные печи начала XVIII века, а также камин из голландских изразцов начала XVII века с рисунками и надписями того времени, которые сохранились до наших дней.
Многочисленных гостей дворца поражало богатое убранство находящейся на втором этаже Столовой палаты, в так называемом Тронном зале, где устраивались балы и угощения. Высокий куполообразный потолок которой был расписан ночными созвездиями, стены – райскими цветами, изображением сказочной птицы Сирин, дракона.
Юсуповы эмигрировали, но и за границей оказались не среди бедных: там у них оставалась недвижимость, да и наиболее ценные драгоценности княгини постоянно возили с собой и увезли в эмиграцию.
После того, как Феликс Юсупов, известный своими гей-наклонностями и участием в убийстве Распутина, за несколько бриллиантов купил паспорта и визы, семья обосновались в Париже. Они купили дом в Булонском лесу, где и прожили долгие годы.
Последний владелец дома — Феликс Юсупов
Феликс Юсупов от праздной жизни не отказался, и, в конце концов, все вывезенное и имевшееся за границей имущество оказалось растрачено. Его самого, жену и дочь Ирину похоронили в могиле матери. Денег еще на одно место на кладбище не нашлось.
