Każdy inny człowiek spocząłby na laurach, ale nie on. Żaden sukces nie był w stanie zaspokoić głodu jego nieskończonej ambicji. Niczym Ikar wzleciał ponad wszystkich, płacąc za to 11 lat później cenę straszliwego upadku.
Po nieudanej, studniowej próbie odzyskania władzy w 1815 r. został ostatecznie zesłany na smaganą wiatrami morskimi wulkaniczną Wyspę Świętej Heleny na południowym Atlantyku. Tam ze lśniącej zbroi antycznego bohatera wypełzła prostacka liguryjska dusza hodowcy kóz. Nasilający się od 1817 r. konflikt byłego cesarza z brytyjskim gubernatorem Wyspy Świętej Heleny Hudsonem Lowe'em odsłonił trywialność ludzkiej natury, kiedy nie jest ona zamaskowana dworskim splendorem. Konflikt przybierał na sile, urastając do rangi wojny o budowę płotu, skład zupy czy lokalizację cesarskiego nocnika. Dla bonapartystów pół Irlandczyk Lowe prezentował brytyjski cynizm i szyderstwo. Przez 200 lat po śmierci Napoleona upowszechniali oni wizerunek gubernatora jako prymitywnego i małostkowego sadysty, który szukał okazji do upokorzenia swojego więźnia. Powoływano się przy tym m.in. na opinię brytyjskiego hrabiego Albemarle, który napisał w swoich wspomnieniach, że także brytyjscy oficerowie z Royal Corsican Rangers uważali swojego dowódcę Hudsona Lowe'a za „człowieka o grubiańskich manierach i drażliwym, władczym usposobieniu". Nawet sam książę Wellington, kiedy dowiedział się o panujących na Świętej Helenie stosunkach, ocenił nominację Lowe'a na gubernatora wyspy jako bardzo zły wybór. „Brakowało mu wykształcenia i rozsądku – pisał zwycięzca spod Waterloo.
– Był głupim człowiekiem, nic nie wiedział o świecie i tak jak wszyscy ludzie, którzy nic nie wiedzą o świecie, był podejrzliwy i zazdrosny".
Wellington miał zapewne rację. Hudson Lowe nienawidził byłego cesarza i okazywał mu pogardę na każdym kroku. Było to szczególnie zauważalne na tle relacji byłego monarchy z innymi brytyjskimi oficerami z wyspy, w tym z Mcnamarą, Ebringtonem, Russellem, Foxem, Cornwallisem, Yarmouthem czy Campbellem. Brytyjski historyk Andrew Roberts uważa, że prymitywny, antypatyczny służbista Lowe zmarnował unikalną okazję wydobycia od Napoleona licznych tajemnic dworów europejskich i bezcennych informacji wojskowych.
Ale winę za złe relacje panujące na wyspie nie ponosił jedynie Lowe. Także Napoleon podsycał ogień nienawiści, korzystając z przywileju decydowania o niektórych sprawach związanych z własną siedzibą. Niczym Cześnik z fredrowskiej komedii kazał swoim ludziom wznieść mur i wykopać rów, aby utrudnić obserwację brytyjskim wartownikom.