Do historii Gruzin wszedł jako najbliższy współpracownik Michaiła Gorbaczowa i jeden z twórców „pieriestrojki". Grupę skupioną wokół ówczesnego lidera ZSRR radziecka prasa nazwała „proraby pieriestrojki" („majstrowie przebudowy").
Dzięki jego dyplomatycznym zabiegom doszło do polepszenia stosunków z USA ?(i z całym Zachodem), które zamroziła agresja ZSRR na Afganistan w 1980 r. Nadał nowy impuls rozmowom rozbrojeniowym. Cała jego działalność została podsumowana przez ekspertów: „zakończył zimną wojnę". „Nie powiem, że jestem taki genialny, ale zrobiłem to" – kilka lat przed śmiercią chwalił się Szewardnadze.
Jednocześnie w drugiej połowie lat 80. był przedstawicielem nowego przywództwa z Moskwy i jego polityki wobec „państw obozu socjalistycznego". To on ostrzegał, że ZSRR nie będzie zbrojnie interweniował w obronie chwiejących się satelickich rządów. Szewardnadze i Gorbaczow uznawani są za ludzi, którzy zburzyli mur berliński: i ten prawdziwy, przecinający Berlin na pół, i ten, który umownie dzielił Europę.
W samej Moskwie zasłynął jako pierwszy nierosyjski polityk zajmujący tak wysokie stanowisko od czasów Stalina. W dodatku po rosyjsku mówił niezbyt dobrze i niewyraźnie. Szybko stał się zatem symbolem nierosyjskich mieszkańców Związku Radzieckiego przytłoczonych przez rosyjski nacjonalizm (szczególnie odczuwalny od lat 70.). „To ja jestem »nacmienem« (przedstawicielem mniejszości narodowej)" – powiedział publicznie o sobie, w dodatku używając wyrażenia uznawanego wtedy w ZSRR za obraźliwe.
W cieniu jego popularności w schyłkowym ZSRR pozostała jego wcześniejsza działalność polityczna. A zajmował się nią, gdy tylko skończył 18 lat. Był komsomolcem, szefem Komsomołu w Gruzji (w tych latach poznał Gorbaczowa). Ale potem „partia skierowała go do rządowej roboty" – od 1964 do 1975 był szefem gruzińskiego MSW. Zasłynął ze zwalczania korupcji i ruchu dysydenckiego. Wtedy też wsadził do więzienia dysydenta i późniejszego pierwszego prezydenta Gruzji Zwiada Gamsachurdię.
