Schmidt urodził się w 1918 roku w Hamburgu. W trakcie II wojny światowej służył w obronie powietrznej Bremy oraz na froncie wschodnim. Od 1942 roku pracował jako nauczyciel i doradca w ministerstwie lotnictwa. Od grudnia 1944 roku służył jako Oberleutnant w artylerii na froncie zachodnim. Dostał się do niewoli brytyjskiej w kwietniu 1945 i do sierpnia był jeńcem wojennym.
Do SPD zapisał się w 1946, a w latach 1947-1948 był przewodniczącym Niemieckiego Socjalistycznego Związku Studentów (SDS), ówczesnej organizacji studenckiej SPD. Po studiach pracował w samorządzie Hamburga w wydziale polityki gospodarczej, a od 1952 w hamburskim ministerstwie gospodarki i transportu.
W 1953 roku został posłem Bundestagu, a w 1957 roku członkiem prezydium frakcji parlamentarnej SPD. W 1958 roku organizował kampanię przeciwko broni jądrowej i wyposażaniu Bundeswehry w taką broń.
W 1969 roku w rządzie Willy’ego Brandta pełnił funkcję federalnego ministra obrony. Od czerwca 1972 – ministra gospodarki, a od grudnia do maja 1974 – ministra finansów. Po rezygnacji Brandta został kanclerzem 16 maja 1974. W 1975 roku podpisał Akt Końcowy KBWE, tworzący Organizację Bezpieczeństwa i Współpracy w Europie.
W lutym 1982 wygrał konstruktywne wotum nieufności, lecz we wrześniu czterech ministrów z FDP odeszło z rządu. Po próbach kontynuowania działalności gabinetu w formie rządu mniejszościowego, został zmuszony do rezygnacji przez kolejne wotum nieufności 1 października (było to jedyne wotum nieufności w historii Niemiec, które zakończyło się odejściem kanclerza). Jego następcą został Helmut Kohl (CDU).
