Czajkowskim stał się, kiedy wyprowadzono go za mury warszawskiego getta. Nowe nazwisko było dla niego ocaleniem, po latach stało się przekleństwem.
Odegrała ogromną rolę w jego życiu. To ona w 1942 roku zdecydowała się z nim wyjść z getta na aryjską stronę. Matka Felicja Krauthammer postanowiła zostać, uważała, że bez niej syn ma większe szanse na przeżycie. Zginęła kilka miesięcy później w Treblince, miała zaledwie 27 lat. Ojciec Karl przeżył wojnę we Francji, Andrzej spotkał się z nim w Paryżu w 1948 roku, ale nie potrafili się porozumieć, ojciec nie chciał, by został pianistą. Pogodził się z nim dopiero w 1980 roku, na krótko przed śmiercią syna.
Przetrwał wojenną gehennę ukrywany przez polskie rodziny. Potem mieszkał z babką w Łodzi, gdzie rozpoczął pianistyczną edukację m.in. u Władysława Kędry, ale Celina – przekonana o niezwykłych zdolnościach chłopca – postanowiła pojechać z nim do Francji. I miała rację, w paryskim konserwatorium został najmłodszym uczniem profesora Lazara Lévy’ego. Wkrótce po przyjeździe wystąpił też w Paryżu na pierwszym publicznym koncercie.
Ze złotym medalem po ukończonych studiach wrócił w 1950 roku do Polski, by kontynuować naukę w Sopocie, a potem w Warszawie u Stanisława Szpinalskiego (fortepian) i Kazimierza Sikorskiego (kompozycja). Zdumiewał kolegów fenomenalną pamięcią, potrafił zagrać bez prób najtrudniejszy nawet utwór po krótkim przejrzeniu jego nutowego zapisu. Rozpoczął regularne występy, nie unikając najtrudniejszych utworów, takich jak „Wariacje Goldbergowskie” Bacha, zadziwiał słuchaczy improwizacjami.
W 1955 roku wziął udział w Konkursie Chopinowskim w Warszawie. Początkowo chciał się wycofać, załamany po śmierci babki, profesorowie jednak przekonali go, by nie rezygnował. Zdobył VIII nagrodę oraz wyróżnienie specjalne dla najmłodszego uczestnika. Może nie był to największy sukces, ale zwrócił na siebie uwagę, co pozwoliło mu pojechać do Belgii do słynnego Stefana Askenasego.