Urodził się w 1928 roku w Jadownikach Mokrych nieopodal Tarnowa. W 1956 roku wstąpił do seminarium duchownego, ale nie w macierzystej diecezji tarnowskiej, lecz w Olsztynie. Tam też w 1962 roku przyjął święcenia kapłańskie, a potem krótko pracował jako wikariusz w Kwidzynie. W 1963 roku zaczął studia prawa kanonicznego na KUL, a dwa lata później udało mu się wyjechać do Rzymu. Tam na Papieskim Uniwersytecie Gregoriańskim dokończył studia z prawa kanonicznego, zrobił doktorat. W watykańskich instytucjach kończył też różnorakie kursy – w tym m.in. studium przy Tajnym Archiwum Watykańskim oraz studium Roty Rzymskiej. W pierwszym uzyskał dyplom archiwisty, z drugiego wyszedł jako adwokat Roty Rzymskiej, co pozwoliło mu podjąć pracę w tej instytucji w charakterze obrońcy węzła małżeńskiego.
Arcybiskup Józef Kowalczyk przez całe lata był jednym z najbliższych współpracowników Jana Pawła II
W 1969 roku dostał pracę w Kongregacji Dyscypliny Sakramentów, współpracował też z Sekretariatem Generalnym Synodu Biskupów. W tamtych czasach był jednym z nielicznych Polaków pracujących w Rzymie, stąd też gdy w latach 70. XX wieku Watykan postanowił przywrócić relacje dyplomatyczne z państwami socjalistycznymi – w tym z Polską – zaangażowano go do zespołu przy abp. Luigim Poggim, który od 1975 roku był szefem delegacji Watykanu do stałych kontaktów roboczych z Polską. W związku z tym Kowalczyk towarzyszył abp. Poggiemu w jego podróżach do kraju na rozmowy z przedstawicielami Episkopatu oraz władzami PRL.
Czytaj więcej
Rozmowy z przedstawicielami dyplomacji watykańskiej były dla Prymasa trudnym sprawdzianem mądrośc...
Jego rola w Watykanie wzrosła po wyborze Jana Pawła II. Już dwa dni po konklawe, które odbyło się 16 października 1978 roku, Kowalczyk został ściągnięty do Sekretariatu Stanu, gdzie postanowiono utworzyć Sekcję Polską. Kowalczykowi powierzono organizację tej komórki. – Przede wszystkim w mojej gestii była troska o wszystkie teksty Ojca Świętego w języku polskim, o ich publikację. Chodziło tu o listy apostolskie, encykliki, homilie, katechezy środowe, orędzia – opowiadał kilka lat temu. – Poza tym zajmowałem się przyjmowaniem i przekazywaniem prywatnej i urzędowej korespondencji w języku polskim do Ojca Świętego i odpowiadaniem na nią w uzgodnieniu z Papieżem – dodawał.