Urodził się w Dżajpurze w indyjskim stanie Radżastan, był synem urzędnika państwowego. Z wykształcenia był ekonomistą, skończył Sri Ram College of Commerce, potem poszedł na studia biznesowe na University of Massachusetts w Amherst. Karierę zawodową zaczął od Kidder Peabody & Co. Potem przeszedł do banku inwestycyjnego Merrill Lynch, wreszcie Edson Mitchell w 1995 roku ściągnął go do Deutsche Bank.

Anshu Jain był autorem sukcesów DB w Stanach Zjednoczonych i doprowadził go do tego, że mógł ostro konkurować z takimi gigantami, jak Goldman Sachs i Citigroup Inc. — Anshu Jain odegrał główną rolę w budowaniu pozycji Deutsche Banku na globalnym rynku, pomógł również stworzyć w Europie centrum finansowe — ocenia rolę zmarłego prezesa Alexander Wynaendts, przewodniczący rady nadzorczej DB.

W 2010 roku Jain został prezesem części inwestycyjnej DB. Był wtedy pierwszym członkiem zarządu w firmie niemieckiej, który pochodził spoza Europy. Po dwóch latach był już współprezesem, razem z Juergenem Fitschenem. Jego kadencja przypadła na okres wyjątkowo trudny dla Deutsche Banku. Musiał wyprowadzić tę instytucję finansową z kryzysu i recesji, potem wybronić się przed zarzutami o unikanie płacenia podatków. Razem z Fitschenem przeprowadzili bank przez wewnętrzne dochodzenie, które miało wyjaśnić, czy DB brał udział w praniu pieniędzy przez rosyjskich klientów. Ostatecznie zrezygnował w czerwcu 2015 roku, jeszcze przed końcem kadencji i po 2 latach zatrudnił się w Cantor Fitzgerald.