Dziś nazwa ta odnosi się nie tylko do niego, ale także do zegara i całej wieży, która stała się wizytówką Londynu.Budowę wieży podjęto tuż po pożarze, który 16 października 1834 roku zniszczył znaczną część pałacu Westminster będącego miejscem posiedzeń obu izb Parlamentu Zjednoczonego Królestwa. Prace trwały do 1859 r.
Projekt zegara wybrano w konkursie. Wytyczne opracował królewski astronom sir George Airy. Najważniejsze było to, by zegar precyzyjnie (co do sekundy) odmierzał czas i żeby był niezawodny. I rzeczywiście, dotąd zanotowano zaledwie pięć usterek. W 1949 roku na przykład jego pracę zakłóciło stado ptaków, które usiadło na wskazówce minutowej.Nie zdajemy sobie bowiem sprawy z tego, jak wielkich jest on rozmiarów. Każda z czterech tarczy ma 7 metrów średnicy. Wskazówka godzinna liczy 2,3 metra długości, a minutowa – 4,3 metra. Cyfry mają po 60 cm wysokości. Na każdej tarczy umieszczono napis: „Domine salvam fac reginam nostram Victoriam primam” („Panie, zachowaj naszą królową Wiktorię Pierwszą”). Czas zaczął odmierzać 31 maja 1859.
Początkowo Big Benem nazywano tylko 13-tonowy dzwon. Nazwę zawdzięcza on ponoć sir Benjaminowi Hallowi, głównemu komisarzowi robót w 1858 roku. Inni twierdzą jednak, że to imię boksera wagi ciężkiej Benjamina Caunta – niezwykle popularnego w tamtym czasie.
Big Ben to symbol brytyjskiej stolicy, obok piętrowych autobusów i czarnych taksówek jeden z najbardziej rozpoznawalnych znaków w świecie. Pewnie dlatego słynną wieżę zegarową tak lubią turyści odwiedzający Londyn oraz filmowcy. W komedii „Marsjanie atakują” stała się ona nawet obiektem ataku przybyszów z Marsa.