Joseph Walter Jackson był najstarszym dzieckiem Crystal Lee i Samuela Jacksona, nauczyciela z Fountain Hill w Arkansas. Jego rodzina ostatecznie osiadła w Indianie, gdzie poznał i poślubił Katherine Scruse. Z Katherine doczekał się jedenaściorga dzieci.
Wraz z trójką synów - Jackiem, Tito i Jermainem - Joseph Walter Jackson zaczął pracować w latach 60-tych nad stworzeniem grupy The Jackson Brotnhers. Po dołączeniu do zespołu dwóch kolejnych synów - Marlona i Michaela - grupa zmieniła nazwę na The Jackson Five.
Kiedy grupa zdobyła dużą popularność, a Michael Jackson opuścił ją i rozpoczął marsz na szczyt list przebojów - Jacksonowi seniorowi zaczęto zarzucać to, że znęcał się nad dziećmi, czemu on sam zaprzeczał. Michael Jackson opowiadał w wywiadzie udzielonym Oprah Winfrey, że ojciec bił go pasem, ale publicznie wybaczył mu. W testamencie nie zapisał jednak niczego ojcu.