Do połowy XVII wieku stało tu średniowieczne warowne zamczysko, ale w 1649 roku, w czasie wojny domowej w Anglii wojska Olivera Cromwella go zburzyły by zniszczyć bazę rojalistów. Z potężnego zamku została tylko część murów, fundamenty oraz fosa, ale całość nadal nazywa się dumnie Starborough Castle. Z ruin zburzonego zamku zbudowano po ponad stuleciu obecny miniaturowy zameczek.
Zamek jest naprawdę niewielki. Całkowita powierzchnia mieszkalna to niemal 100 metrów kwadratowych. Na szczęście obok zacumowana jest łódź mieszkalna a na terenie posiadłości, która jest na sprzedaż wraz zameczkiem. Jest jeszcze chata mieszkalna z dobrze wyposażoną kuchnią, salonem, sypialnia i łazienką. W zadbanym ogrodzie otaczającym zameczek znajduje się też oranżeria. Cała posiadłość to nieco ponad 4 hektary powierzchni.
Pierwszym właścicielem miniaturowego zamku był James Burrow, znany londyński prawnik oraz prezes The Royal Society - angielskiego towarzystwa naukowego, który nabył posiadłość w połowie XVIII wieku I zbudował neogotycki budynek letni w kształcie zamku. Na początku XX wieku zamek zaczął popadać w ruinę, aż w końcu kupił go lokalny farmer i rozpoczął mozolny remont i restauracje zabytkowego budynku.
