Ubierał się jak włóczęga. On, który kiedyś zawsze nosił garnitur, dbał o wizerunek, tłumaczył, że nie chce wyglądać jak włóczęga: otóż teraz tak właśnie wyglądał. Z długą brodą i w nieodłącznej bejsbolówce nie przypominał mistrza świata w królewskiej grze. Mówiono, że żył na ulicy w Los Angeles. Tego nie wiadomo na pewno, niewiele wiadomo na pewno, w każdym razie bywał w obskurnych hotelach i spelunach, kręcił się w podejrzanym towarzystwie. Został nawet oskarżony o napad na bank, bo przypominał podejrzanego i odmówił odpowiedzi na pytania policji. Trafił więc do aresztu na 48 godzin, a potem napisał i wydał własnym sumptem 14-stronicowy pamflet pod wszystko mówiącym tytułem „I Was Tortured in a Pasadena Jailhouse" („Byłem torturowany w więzieniu w Pasadenie"). Kiedyś na ulicy rozpoznał go kierowca ciężarówki. Po dokładnym sprawdzeniu, czy na pewno nie jest dziennikarzem (dziennikarzy nie znosił, to przed nimi w pierwszej kolejności się ukrywał), Fischer zgodził się z nim porozmawiać.

– Przecież byłeś najlepszy – powiedział w pewnym momencie kierowca.

Fischer przeszył go wzrokiem i natychmiast zareplikował: – Co masz na myśli, mówiąc „BYŁEŚ"?

Idol

Fakt, nie został pokonany. Ale stracił mistrzowski tytuł i sam był sobie winien. Mnożąc absurdalnie warunki spotkania z młodym pretendentem z ZSRR Anatolijem Karpowem, w końcu wyczerpał cierpliwość szachowej federacji. Negocjacje zerwano, stracił koronę. Gudmundur Thorarinsson, były szef Islandzkiej Federacji Szachowej, organizator jego pierwszego meczu o mistrzostwo świata, podejrzewał, że po prostu bał się przegrać. Tytuł miał dla niego wielkie znaczenie i nie wyobrażał sobie, że mógłby go utracić. Osiągnął perfekcję, lepiej grać już nie mógł.