Urodził się 1923 roku w rodzinie rosyjskiego imigranta żydowskiego Jacoba Israela Avedona, właściciela sklepu z odzieżą przy Piątej Alei funkcjonującego pod nazwą Avedon Fashion. Miał kontynuować rodzinną tradycję i także zajmować się handlem. On jednak chciał zostać poetą. Jako nastolatek w latach 1937–1940 wydawał nawet wspólnie z Jamesem Baldwinem pismo „The Magpie" (Sroka). Po skończeniu szkoły średniej próbuje studiować, ale coraz bardziej fascynuje go fotografia. W wieku 19 lat, po przystąpieniu Stanów Zjednoczonych do wojny, zgłasza się do marynarki, ale handlowej.