Kilkakrotnie zdarzyło mu się skorzystać z wdzięków innych kobiet, gdyż młode Rosjanki szalały za przystojnym kosmonautą. Mianowano go szefem wyszkolenia oddziału kosmonautek, ale nie wiązał się z tym wielki prestiż. Gdy na orbitę poleciała Walentina Tierieszkowa i względom propagandowym stało się zadość, oddział po prostu rozwiązano.

Tym, co zachwiało pozycją Gagarina, było odsunięcie od władzy Chruszczowa w październiku 1964 roku i śmierć Korolowa w wyniku błędu lekarskiego w styczniu 1966 roku. W ciągu roku stracił dwóch możnych protektorów. Nowy władca na Kremlu Leonid Breżniew niby nadal popierał Gagarina, ale fakty mówiły co innego: ograniczono jego wojaże, ponieważ ktoś działający na rzecz pokoju między narodami wobec nowego konfrontacyjnego kursu stał się zbędny. Możliwe też, że uznano go za element podejrzany, skoro tak swobodnie dogadywał się z możnymi tego świata. „Narobił sobie wielu wrogów, ponieważ zachowywał się z większym wdziękiem, potrafił wypowiadać się mądrzej i szczerzej niż oficjalni przywódcy sowieckich delegacji. Ci z góry nikomu czegoś takiego nie wybaczą", powiedział o nim bliski współpracownik.