O niewielu artystach można powiedzieć już za ich życia, że są legendarni. Jim Hall niewątpliwie należy do tego grona. Razem z Wesem Montgomerym zmienili wizerunek gitary elektrycznej w jazzie. Wcześniej tylko Django Reinhardt i Charlie Christian potrafili uczynić z niej równoprawnego partnera saksofonu, fortepianu i trąbki. Hall i Montgomery wprowadzili gitarę do jazzu nowoczesnego.
Jim Hall ceniony jest też za genialne kompozycje i nowatorskie aranżacje. Gra wyjątkowo oszczędnie, po mistrzowsku operuje ciepłą barwą instrumentu, a cechą, która od lat zjednuje mu fanów, jest wyjątkowa melodyjność fraz. Zapewne dlatego nazywany jest poetą jazzowej gitary. Jego ulubiona formacja to trio, ale wiele płyt nagrał w duetach m.in. z Patem Methenym, a ostatnio z Billem Frisellem.
Jim Hall przybył do Los Angeles w połowie lat 50. XX wieku i tu studiował grę na gitarze klasycznej. Występował jednak chętnie z jazzmanami i szybko zyskał ich uznanie. Grał z perkusistą Chico Hamiltonem i saksofonistą Jimmym Giuffre, który z nim stworzył oryginalne trio: saksofon – gitara – puzon (grał na nim Bob Brookmeyer).
W latach 1960 – 1961 Hall akompaniował Elli Fitzgerald, dzięki niej poznał wybitnych muzyków, m.in. Bena Webstera, Paula Desmonda, Zoota Simsa i Billa Evansa. Wiele ich występów zostało wydanych na płytach, zdobywając światowy rozgłos. Do najważniejszych należą te zrealizowane z Sonnym Rollinsem: „The Bridge” i „What’s New”.
Za wzór improwizacji w duecie podaje się do dziś jego album „Alone Together” nagrany z kontrabasistą Ronem Carterem w 1972 roku. Trzy lata później wytwórnia CTI Creeda Taylora wydała słynną płytę „Concierto”, na której występują saksofonista Paul Desmond i trębacz Chet Baker. Muzycy nagrali m.in. ujmującą nastrojowymi improwizacjami jazzową wersję „Concierto de Aranjuez” Joaquina Rodrigo. Cały album stał się natchnieniem dla aranżerów i jest uznawany za arcydzieło.