Dom został wybudowany dla brokera giełdowego i gubernatora Rhode Island - Roberta Livingstona Beeckmana, na miejscu starszej rezydencji, która spłonęła w 1899 roku. W pożarze zginęła cała rodzina milionera Wallace C. Andrewsa oraz szóstka służących.
Dom Livingstona Beeckmana, którego budowa kosztowała wtedy 60 tys. dolarów - stał w okolicy, gdzie rezydencja budowały najbogatsze nowojorskie i amerykańskie rodziny, takie jak Vanderbiltowie, Rockefellerowie, Gouldowie czy rodzina Carnegie. Niewiele z nich przetrwało do dziś, a niemal żadna w tak dobrym stanie.
Okazała rezydencja obecny ekstrawagancki wystrój zyskała gdy wprowadziła się do niej kolejna właścicielka - Emily Thorn Vanderbilt Sloane White, wnuczka Corneliusa Vanderbilta, jednego z najbogatszych ludzi w Stanach Zjednoczonych - magnata kolejowego i właściciela floty handlowej. Zapłaciła za dom 450 tys. dolarów w 1925 roku.
W 1946 roku, po śmierci Emily Vanderbilt rezydencję kupił rząd Jugosławii i funkcjonowała tam ambasada tego kraju. Dzięki załamaniu na rynku nieruchomości dom sprzedano zaledwie za 300 tys. dolarów. Wtedy też zainstalowano w nim tzw. klatkę Faradaya, by uniemożliwić podsłuchiwanie dyplomatów . Jugosłowianie zamontowali też kuloodporne okna i szyby. Nie uchroniło to budynku przed zamachem. W 1975 roku w piwnicy wybuchła bomba podłożona przez chorwackich nacjonalistów, uszkadzając część budynku.
Rezydencja na 854 Fifth Avenue na Upper East Side uważana jest za jedną z najbardziej okazałych na Manhattanie, jedną z ostatnich pochodzących z tzw. złotej ery, kiedy to szybko powstawały bajeczne fortuny amerykańskich magnatów kolejowych, transportowych czy naftowych.
Dom ma 9 kondygnacji, 32 pokoje - z czego 10 pokoi ma okna na Central Park, osiem łazienek oraz dwie windy - wszystko to na powierzchni niemal 2 tysięcy metrów kwadratowych. W domu są oryginalne marmurowe balustrady schodów, ogromne murale i dekoracyjne panele sufitowe z drewna, pochodzące z francuskiego zamku, by nadać rezydencji charakter chateau w stylu Ludwika V. Są też kamienne kominki oraz złote sztukaterie. Na ostatnim piętrze jest taras widokowy, a w piwnicy zaplecze techniczne.
Rezydencją jest własnością krajów sukcesorów Jugosławii, które zdecydowały się ją wystawić na sprzedaż.
