Jego literackimi wzorami byli, poza Dostojewskim, tacy pisarze jak Raymond Chandler, William S. Burroughs i Edgar Allan Poe. Bohaterami swoich opowieści-piosenek, uczynił nowojorskich wyrzutków, ćpunów, transwestytów i dewiantów, nawiązując do tradycji literackich swoich idoli.
Od wielu, bardzo wielu innych artystów, podejmujących chętnie kontrowersyjne obyczajowo tematy odróżniała go rzecz na pozór banalna – był autentyczny, nawet jeśli brzmi to górnolotnie i naiwnie. Jego opowieści pochodziły z pierwszej ręki, nie były wyimaginowane ani zasłyszane. Alkohol i narkotyki były stałym elementem jego życia od nastoletniości. W latach 80., między jednym a drugim małżeństwem, muzyk przez kilka lat żył z transwestytą o imieniu Rachel.
Literackie nauki pobierał u Delmore'a Schwartza, wykładowcy w Syracuse University, poety i pisarza, któremu wielką karierę wieścili m.in. Ezra Pound, William Carlos Williams i T. S. Eliot. Schwartz jednak poszedł drogą tak wielu innych obiecujących literatów, talent zatapiając litrami alkoholu, jak na artystę przystało. Ostatecznie, trwałe miejsce w historii amerykańskiej literatury zapewnił mu chicagowski prozaik Saul Bellow, wzorując na nim bohatera tytułowego swojej głośnej książki „Dar Humboldta".
