Był najbardziej znany z występów w zespole Simon and Garfunkel i jako współautor wielkiego hitu "Sound of Silence", wykorzystanego w filmie "Absolwent" Mike'a Nicholsa.
Paul Simon i Art Garfunkel znali się i przyjaźnili od dzieciństwa, a po latach przygotowań w 1964 roku wydali pierwszą wspólną płytę "Wednesday morning, 3 a.m." która przeszła w Ameryce niezauważona. Przekonani, że to koniec ich współpracy wyjechali do Anglii i gdyby pewien prezenter radiowy nie zachwycił się ich utworem "Sound of Silence" i nie zaczął puszczać go na okrągło w swojej stacji, pewnie nikt by nie poznał wspaniałych utworów, z poetyckimi tekstami Simona.
Przypadek sprawił, że Mike Nichols pracujący wtedy nad słynnym filmem "Absolwent", usłyszał ten utwór i postanowił włączyć go do swojego filmu wraz z kilkoma innymi utworami z płyty i napisanym specjalnie dla potrzeb filmu utworem "Mrs Robinson". Wtedy świat poznał amerykański duet i oszalał na jego punkcie. Płyta z muzyką z "Absolwenta" trafiła na szczyt list przebojów a jej autorzy zdumieni sukcesem, postanowili kontynuować współpracę.
Zespół istniał do połowy lat 70. a rozpadł się po wydaniu albumu "Bridge over troubled water", uważanego za najlepszy w historii zespołu.
Po rozpadzie duetu Simon rozpoczął udaną karierę solową, której kulminacją było wydanie w 1985 r. albumu „Graceland" inspirowanego muzyką południowoafrykańską. Simon uważa tę płytę za najważniejszą w swoim w życiu, szczególnie jeśli chodzi o gitary i rytmy perkusyjne, które wykorzystał w nietypowy, charakterystyczny dla niego sposób.
