Tolkan urodził się 20 czerwca 1931 roku w Calumet w stanie Michigan. Po krótkim epizodzie w marynarce wojennej podczas wojny koreańskiej uczył się aktorstwa w Nowym Jorku u Stelli Adler i Lee Strasberga. Przez 25 lat występował w nowojorskich teatrach.
Jego najbardziej rozpoznawalną rolą była postać wicedyrektora Geralda Stricklanda w trylogii „Powrót do przyszłości” (1985, 1989, 1990) w reżyserii Roberta Zemeckisa. Zagrał też bezkompromisowego dowódcę Toma „Stingera” Jordana u boku Toma Cruise'a w „Top Gun” (1986). W swojej karierze współpracował m.in. z takimi reżyserami jak Woody Allen w „Miłości i śmierci” (1975), Warren Beatty w „Dicku Tracym” (1990) oraz trzykrotnie z Sidneyem Lumetem – w filmach „Serpico” (1973), „Książę miasta” (1981) i „Biznes rodzinny” (1989).
Tolkan był członkiem oryginalnej obsady znanej broadwayowskiej sztuki „Glengarry Glen Ross” Davida Mameta (1984). Występował gościnnie w licznych serialach telewizyjnych, w tym „Miami Vice” czy „Cudowne lata”.
Pozostawił żonę Parmelee, z którą był żonaty przez 54 lata.
