Pochodził z bardzo ubogiej rodziny. W wieku 9 lat rozpoczął swoją pierwszą pracę – rozwoził mleko. Gdy miał 13 lat, zakończył edukację. Później pracował m.in. jako pomocnik rzeźnika i model. 

W wieku 17 lat wstąpił do marynarki wojennej, lecz odszedł przy pierwszej okazji, z powodu odkrytych wrzodów żołądka. Po odejściu z armii pracował m.in. przy produkcji trumien, był ratownikiem na basenie, ochroniarzem i pomocnikiem mechanika w drukarni. Mając 18 lat, zajął się kulturystyką – jednym z ważniejszych jego sukcesów w tej dziedzinie było zajęcie trzeciego miejsca w konkursie Mister Universum (1953). Następnie dostał się do chórku marynarzy.

W połowie lat 50. zajął się aktorstwem. Wystąpił w kilkudziesięciu filmach, ale najbardziej był znany z roli Jamesa Bonda, którą to postać wprowadził na wielki ekran. W rolę agenta 007 wcielił się siedem razy. W 1961 roku w castingu do roki Bonda pokonał Rogera Moore'a.

Do najpopularniejszych filmów,w których wystąpił należą również: "Imię Róży", "Polowanie na Czerwony Październik", "Indiana Jones i ostatnia krucjata", "Twierdza", "Robin Hood: Książę złodziei", "Nietykalni". Właśnie za rolę w tym filmie, gdzie zagrał postać irlandzkiego gliniarza "Jima Malone'a, aktor otrzymał w 1988 roku Oscara. Wśród wielu nagród, jakie otrzymał znalazły się również dwie nagrody Bafta i trzy Złote Globy.

5 lipca 2000 roku, z rąk brytyjskiej królowej Elżbiety, Sean Connery II otrzymał tytuł szlachecki.