Dom został wybudowany dla brokera giełdowego i gubernatora Rhode Island - Roberta Livingstona Beeckmana, na miejscu starszej rezydencji, która spłonęła w 1899 roku. W pożarze zginęła cała rodzina milionera Wallace C. Andrewsa oraz szóstka służących.
Dom Livingstona Beeckmana, którego budowa kosztowała wtedy 60 tys. dolarów - stał w okolicy, gdzie rezydencja budowały najbogatsze nowojorskie i amerykańskie rodziny, takie jak Vanderbiltowie, Rockefellerowie, Gouldowie czy rodzina Carnegie. Niewiele z nich przetrwało do dziś, a niemal żadna w tak dobrym stanie.
Okazała rezydencja obecny ekstrawagancki wystrój zyskała gdy wprowadziła się do niej kolejna właścicielka - Emily Thorn Vanderbilt Sloane White, wnuczka Corneliusa Vanderbilta, jednego z najbogatszych ludzi w Stanach Zjednoczonych - magnata kolejowego i właściciela floty handlowej. Zapłaciła za dom 450 tys. dolarów w 1925 roku.
W 1946 roku, po śmierci Emily Vanderbilt rezydencję kupił rząd Jugosławii i funkcjonowała tam ambasada tego kraju. Dzięki załamaniu na rynku nieruchomości dom sprzedano zaledwie za 300 tys. dolarów. Wtedy też zainstalowano w nim tzw. klatkę Faradaya, by uniemożliwić podsłuchiwanie dyplomatów . Jugosłowianie zamontowali też kuloodporne okna i szyby. Nie uchroniło to budynku przed zamachem. W 1975 roku w piwnicy wybuchła bomba podłożona przez chorwackich nacjonalistów, uszkadzając część budynku.
Rezydencja na 854 Fifth Avenue na Upper East Side uważana jest za jedną z najbardziej okazałych na Manhattanie, jedną z ostatnich pochodzących z tzw. złotej ery, kiedy to szybko powstawały bajeczne fortuny amerykańskich magnatów kolejowych, transportowych czy naftowych.
