Karierę polityczną zaczynał w PRL od Socjalistycznego Związku Studentów Polskich. W latach 70-tych współpracował z wywiadem wojskowym. W PZPR doszedł do niepośledniego stanowiska sekretarza wojewódzkiego PZPR w Białej Podlaskiej. W 1989 roku krótko zasiadał też w rządzie Mieczysława Rakowskiego jako minister do współpracy ze związkami zawodowymi.
- ostatni wywiad z Józefem Oleksym dla "Rzeczpospolitej"
Z ramienia partii uczestniczył także w obradach okrągłego stołu. Ale lubił powtarzać, że Polska Ludowa złamała mu karierę, bo tuż przed jego maturą zamknęła Niższego Seminarium Duchowne w Tarnowie, do którego uczęszczał i mało brakowało, by w ogóle nie zdał egzaminu dojrzałości. Jego kariera w wolnej Polsce przypominała jazdę na rollercosterze. Były momenty jego ogromnej popularności i niemal pełnego ostracyzmu. Był premierem, dwukrotnie marszałkiem Sejmu, wicepremierem i ministrem spraw wewnętrznych. Dwukrotnie też stał na czele partii lewicowej – SdRP i SLD.
Szefem rządu SLD-PSL został w 1995 roku po konflikcie między rządem, a prezydentem Lechem Wałęsą. Media obiegło wówczas słynne zdjęcie Oleksego klęczącego przed obrazem Matki Boskiej Częstochowskiej w klasztorze oo. paulinów na Jasnej Górze. Ale premierem był niespełna rok, bo popierany przez Lecha Wałęsę minister Spraw Wewnętrznych Andrzej Milczanowski oskarżył Oleksego z trybuny sejmowej o szpiegostwo na rzecz Rosji. Miał pracować pod pseudonimem Olin.