Urodził się w 2 października 1890 roku, w rodzinie nowojorskich Żydów. Spośród pięciu braci był trzecim z kolei; po Chico i Harpo, a przed Gummo i Zeppo. Z całego słynnego rodzeństwa, to on odnosił największe sukcesy.

Zaczynali od wodewili. Szybko wykrystalizowały się ich sceniczne wizerunki. Najstarszy Chico mówił z włoskim akcentem, drugi w kolejności Harpo w ogóle się nie odzywał, a Groucho z domalowanymi wąsami sypał dowcipami i obrażał wszystkich w wyrafinowany sposób. W takim składzie powstało najwięcej filmów braci.

Groucho często grywał oszustów i cwaniaków. W jednym z pierwszych kinowych sukcesów, „Orzechu kokosowym" (1929), był właścicielem hotelu, który prośbę personelu o zaległą wypłatę kontruje: „Chcecie moich pieniędzy! Czy to uczciwe? Czy ja chcę waszych?".

W swoich filmach bracia kpili ze wszystkiego, także z patriotyzmu i to w czasach, kiedy prezydent Roosevelt starał się wyciągnąć USA z Wielkiego Kryzysu („Kacza zupa" z 1934 r.). Nie uznawali żadnych reguł, wliczając w to prawa logiki. W komedii „Bracia Marx na Dzikim Zachodzie" (1940) Groucho, Chico i Harpo cofają się o 70 lat, ale grane przez nich postaci jakby tego nie zauważyły. Pokonanym, zamkniętym w toalecie przeciwnikom, mówią: „W razie problemów dzwońcie". Co nie przeszkadza im w innej scenie zauważyć, że telefon nie został jeszcze wynaleziony.

Po kilku latach przerwy w robieniu filmów i przestoju w karierze, gwiazdor doczekał się sukcesu. Prowadzone przez Groucho quiz show „You Bet Your Life", utrzymywało się na antenie od 1947 roku do 1961 i przyniosło mu nagrodę Emmy dla wybitnej osobowości telewizyjnej. Kolejne telewizyjne projekty Marxa były znacznie mniej udane, podobnie jak jego występy w filmach.

Słabnąca popularność wzrosła w latach 70. wraz z reemisją „You Bet Your Life". Dobrze sprzedawały się książki jego autorstwa, a także jemu poświęcone. W 1974 roku przypomniała sobie o nim Amerykańska Akademia Filmowa, przyznając mu Oscara za całokształt pracy aktorskiej.

Zmarł trzy lata później, ale nie przestaje inspirować. W musicalu Woody'ego Allena „Wszyscy mówią: kocham cię" uczestnicy sylwestrowej imprezy śpiewają piosenkę z „You Bet Your Life". Nie zapomniano o nim także w XXI wieku. Szkocka dramaturg Louise Oliver napisała sztukę „Czekając na Groucho", która była wystawiana w Edynburgu i Glasgow.

W czerwcu tego roku amerykański muzyk heavymetalowy oraz filmowiec Rob Zombie ogłosił, że nakręci film biograficzny o życiu kultowego komika. Gdyby nie wydane przez Steve'a Stoliara wspomnienia, twórcy mogliby mieć kłopoty z historią legendy Hollywood. Autobiografia Groucho pełna jest bowiem autokreacji i zmyślonych anegdot w rodzaju: „mój przyjaciel, znany pisarz... średniowieczny". Film oparty na niej mógłby przypominać komedie, w jakich grał Marx.