Zabytkowa rezydencja powstała w na początku XIX wieku. Zaprojektował ją znany architekt John Nash, który tworzył w neoklasycystycznym stylu Regency. Zaprojektował wiele budynków publicznych i prywatnych, które do dziś są ozdobą Londynu i innych miast w Wielkiej Brytanii. Dal króla Jerzego IV przebudował Pałac Buckingham w rezydencje królewską.
Budynek przy 1-18 York Terrace East pierwotnie składał się z 18 oddzielnych rezydencji wybudowanych w latach 1821 -1826. Po II wojnie światowej połączono je w jeden budynek, w którym urządzono biura na urzędników rządowych, w tym zatrudnionych w Ministerstwie Pracy.