Gaynes pierwszy raz na ekranie pojawił się w 1955 roku, po raz ostatni - w 2003 r. Znany jest z występów w serialu "Punky Bewster", ale przede wszystkim - z roli w "Akademii Policyjnej". Widzowie mogą pamiętać go również z roli drugoplanowej w filmie "Tootsie". 

Co ciekawe Gaynes urodził się w Finlandii, w rosyjsko-holenderskim małżeństwie. W czasie II wojny światowej służył w armii holenderskiej i dopiero po zakończeniu konfliktu wyemigrował do USA. Pod koniec lat 40-tych i 50-tych występował na Broadwayu.