Ale zamiast do dyplomacji, w latach 70. trafił do KGB, bo instytucja ta potrzebowała ludzi zdolnych i wykształconych, a dostać się do niej było łatwiej niż do MSZ. I właśnie wtedy zawarł znajomość, która miała w zasadniczy sposób zaważyć na jego przyszłości. "Pracowałem z Putinem przez dwa lata. Potem ja wyjechałem z Leningradu, a on został. Podtrzymywaliśmy kontakty, nie zapominaliśmy o sobie" - cytowały Iwanowa "Izwiestia".
Znajomość z przyszłym prezydentem Rosji zaprocentowała dwadzieścia lat później. W lipcu 1998 r. Władimir Putin - nowo mianowany szef Federalnej Służby Bezpieczeństwa - zaproponował Iwanowowistanowisko swego zastępcy. Iwanow objął jednocześnie funkcję szefa Departamentu Analiz, Prognoz i Planowania Strategicznego FSB. Odpowiadał za najważniejsze informacje, które trafiały na biurko szefa państwa. Zanim do tego doszło, odebrał znakomite, kagiebistowskie wykształcenie: ukończył wyższe kursy KGB w Mińsku (1977 r.) i moskiewską szkołę Pierwszego Głównego Zarządu (GPU) KGB ZSRR (1982 r.) - dziś będącą Akademią Służby Wywiadu Zewnętrznego Federacji Rosyjskiej. Przez jakiś czas przebywał zagranicą -pracował m.in. w radzieckiej rezydenturze KGB w Finlandii i Kenii. W 1981 r. pełnił funkcję II sekretarza ambasady radzieckiej w Londynie. Dwa lata później Anglicy wyrzucili go z kraju, nieoficjalnie wiadomo, że za "działalność szpiegowską". Od listopada 1999 r. pełnił funkcję sekretarza Rady Bezpieczeństwa Federacji Rosyjskiej.
Wkrótce Władimir Putin wyznaczył mu inne zadania. Ze służby w FSB odszedł w stopniu generała-pułkownika (odpowiednik generała broni) i - formalnie rzecz biorąc - został cywilem. I dlatego, gdy w 2001 r. został ministrem obrony, można było powiedzieć, że zwierzchnikiem tego resortu po raz pierwszy w historii Rosji i ZSRR kieruje osoba cywilna.
Z początku wydawało się, że opuściło go szczęście. "Jak tylko Iwanow został ministrem obrony, zaczęło mu towarzyszyć pasmo niepowodzeń i katastrof. W maju 2001 r. spaliła się stacja zarządzania radaru ostrzegającego w razie ataku rakietowego (w skład kompleksu wchodziły też cztery sputniki). W lipcu tegoż roku piorun uderzył w skład artyleryjski w obwodzie czytyńskim. We wrześniu czeczeńscy bojownicy zestrzelili nad Groznym samolot, w którym zginęło dwóch rosyjskich generałów i ośmiu pułkowników Sztabu Generalnego" - pisały rosyjskie gazety. Iwanow miał też problemy z żołniedzie 2002 r. Iwanow oskarżył Gruzję o wsparcie czeczeńskich separatystów. - Jeśli z terytorium Gruzji bojownicy spróbują podejść do granicy rosyjskiej, jeśli odważą się ją przekroczyć zareagujemy natychmiast -mówił, cytowany przez portal Gazeta.ru. Iwanow oskarżył Tbilisi o prowadzenie dwulicowej polityki w sprawie walki z terroryzmem. Chodziło o gruzińską odmowę wydania Moskwie Czeczenów schwytanych w Wąwozie Pankiskim. -Na terytorium Gruzji powstało gniazdo międzynarodowego terroryzmu, podobnego do tego w Afganistanie -dowodził.
W wywiadzie dla "Rz" (25.09.2002) minister obrony Iwanow mówił, że nic nie wie o amerykańskich planach obalenia Saddama Husajna, i e poszerzenie NATO jako organizacji wojskowej nie daje nic, co byłoby użyteczne w walce z realnymi, a nie mitycznymi zagrożeniami. Zapewniał też naszą gazetę, że Rosja jest prawnym sukcesorem Związku Radzieckiego ima w szystrzami, którzy nie chcieli służyć w wojsku. Gdy objął resort obrony, z armii zdezerterowało ponad 6 tys. żołnierzy - głównie w obawie przeddiedowszcziną (rosyjska odmiana fali) i głodowymi racjami.
Iwanow był współodpowiedzialny zaprowadzoną przez władze rosyjskie politykę wobec Czeczenii. Obrońcy praw człowieka i niezależni obserwatorzy zarzucają mu, że kontrolowana przez niego armia dopuściła się wielu zbrodni i przestępstw w tym kraju. W listopakie prawa patentowe i autorskie na broń wyprodukowaną w ZSRR.
