Syn węgierskich żydowskich emigrantów założył swoją firmę Allen Klein & Co w późnych latach 50. Zachował prawa do piosenek takich zespołów i wykonawców jak the Rolling Stones, Sam Cooke, the Animals, the Kinks, Chubby Checker, Bobby Womack i setek innych.
Klein słynął z nieustępliwych i często bezceremonialnych negocjacji. "Nie mówcie mi o etyce. Każdy ma własną, to jest jak wojna" - mówił o biznesie muzycznym w wywiadzie dla Playboya w 1971 roku.
Jego największymi sukcesami było podpisanie kontraktów z Beatlesami i The Rolling Stones, choć ich wzajemne stosunki zakończyły się prawnymi bataliami. John Lennon napisał o nim krytyczną piosenkę "Steel and Glass". Klein twierdził, że Lennon zabiegał o zatrudnienie go - wbrew sprzeciwom Paula McCartneya - gdyż wiedział, że jest on jak rekin: przepędzi wszystkie inne rekiny. Sam zresztą tak o sobie mówił. Był menedżerem Beatlesów od 1969 roku.
W 1971 roku Klein wraz z Ringo Starrem zorganizowali w Madison Square Garden "Koncert dla Bangladeszu", jeden z pierwszych wielkich koncertów charytatywnych.
