Pałac tworzyło cztery i pół tysiąca robotników - w większości z ZSRR. Na Jelonkach wybudowano dla nich osiedle Przyjaźń ze świetlicą, radiowęzłem, kinem i basenem, pilnie strzeżone przez radzieckich wartowników. Pisarz Marek Nowakowski, kronikarz miasta, pamięta jednak, że robotnicy fraternizowali się z ludnością stolicy podczas wspólnych pijaństw, a uliczne dziewczyny jak ćmy krążyły wokół budowy. Ale wśród budowniczych byli też Polacy. Sztukaterie wykonywali członkowie spółdzielni Ład, założonej w międzywojniu przez profesorów i studentów ASP. Wybitni twórcy po latach nie wstydzili się swojego dzieła, zresztą niewykorzystane fragmenty żyrandoli wieszali we własnych domach. Z kolei plac przed Pałacem płytami wykładali więźniowie z Gęsiówki, którzy ryli na nich inicjały i cyfry oznaczające lata do końca wyroku. Plac też miał nosić imię Stalina, gazety używały już nawet tej nazwy, ale XXZjazd KPZR rozwiązał problem.
Waldemar Baraniewski z Instytutu Historii Sztuki UW, którego specjalnością jest architektura socrealizmu, opowiada o konkursie na pomnik Stalina rozpisanym w 1953 roku. Monument miał stanąć między frontem Pałacu a trybuną. "Stalin się udał. Niebawem zacznę odlewać" pisał w liście do przyjaciela Ksawery Dunikowski, który przystąpił do konkursu. Gipsowy model pokazał w 1954 roku członkom KC: lekko wzdęte policzki wodza robiły wrażenie, jakby miał zamiar splunąć - ponoć tylko Cyrankiewicz się zaśmiał. Pozostałe projekty trzymały standardy epoki: "Stalin patrzący w dal", "Stalin pozdrawiający", ale KC ustalił, że żaden nie nadaje się do realizacji. Model dłuta Dunikowskiego ustawiono na rondzie Waszyngtona, gdzie przetrwał do lipca 1956 roku - rzeźbiarz dostał wtedy telegram z nadrukiem "pilne" z prośbą o jego usunięcie. Model stoi dziś w Muzeum Rzeźby imienia Dunikowskiego w Królikarni. Baraniewski mówi, że konkurs obejmował też rzeźby do całego Pałacu, ale ostatecznie Polacy wykonali tylko te przed głównym wejściem. Pozostałe sprowadzono hurtowo z azerskiej Fabryki Ceramicznej im. 60-lecia Leninowskiego Komunistycznego Związku Młodzieży w Estonii.
Narośl na nosie
Brązowy Lew Władimirowicz Rudniew, główny architekt Pałacu, stoi dziś na szafie w gabinecie Szczubełek. W 1919 roku Lenin wysłał Rudniewa do Ameryki, aby szkicował drapacze chmur i na nich wzorował moskiewskie wysokościowce budowane już z inicjatywy Stalina. Dla niego kształt Pałacu był jednak nieistotny, Rudniew zaprojektował go na wzór własnego Uniwersytetu Łomonosowa - było to zresztą jego ostatnie dzieło. Czternaście kolumn przed wejściem głównym miało nawiązywać do dworków szlacheckich, a monstrualnych rozmiarów attyki były ukłonem w stronę polskiej architektury. Grupa radzieckich architektów odwiedziła wcześniej Chełm, Toruń, Nieborów, Kielce, Zamość, Kraków, Puławy i Kazimierz - i tak każda sala ma inaczej zdobiony strop. "Ruska Grecja" komentował Stefan Kisielewski. "Gigantomania i patos do dziesiątej potęgi. Groza socrealizmu zmaterializowała się w samym środku miasta jak kwitnąca narośl na nosie pijaka" pisał Leopold Tyrmand. "Każdy to widzi: w środku miasta statua z gówna wyrasta" śpiewa Kazik Staszewski. Nowakowski w "Moim słowniku PRL-u" wspomina, że ze względu na bogactwo ozdób (jakoby w guście ludowym) i kremowy kolor murów Pałac nazywano tortem. Porównanie trafne, co widać na kolorowych zdjęciach w fotoplastikonie. Mówiono też: Pekin, bo to anagram nazwy.
Przez lata się przybrudził: czyszczono go piaskiem i sprężonym powietrzem, ale okazało się to zbyt kosztowne. Miejscami odpada też elewacja z ceramicznych płytek wykonanych w azerskiej fabryce, którymi pokryty jest cały Pałac - alpiniści co roku opukują gmach i wymieniają uszkodzone. W 1990 roku chciał go kupić i wyremontować Amerykanin polskiego pokolenia John Kowalczyk - w maju władze Warszawy podpisały z nim nawet list intencyjny, ale kilka miesięcy później Kowalczyka zamordował jego szwagier. W konkursie rozpisanym przez miasto pojawiły się pomysły, aby Pałac zburzyć, przebudować, przemalować, przerobić na bardziej nowoczesny. Wśród 297 prac sugerowano wzniesienie na jego miejscu dwóch piramid w fioletowo-złocistej tonacji albo oszklenie budowli. Anonimowo zgłoszono projekt pod nazwą "Rezerwat", według którego Pałac miał być przekształcony w ruinę zarośniętą zielenią i zamieszkałą przez ptaki - z całkowitym zakazem wstępu dla ludzi. Ostatecznie wygrali jednak architekci Andrzej Skopiński i Wiesław Biełyszew - ich wizja przewidywała obudowanie Pałacu wysokimi budynkami i odtworzenie układu części przedwojennych ulic, po których został tylko mosiężny znak na chodniku. Na realizację brakuje pieniędzy.
Tyrmand pisał też: "Brzydkie budynki po wiekach służby stają się nieodzownie piękne, zagęszcza się coś wokół, co zwykliśmy nazywać atmosferą, klimatem, nastrojem; gromadzą one warstwy zdarzeń i przeżyć, indywidualnych i zbiorowych, które z czasem mieszają wystrój i detal fasady z treściami istnienia". Tadeusz Konwicki umieścił Pałac w czterech książkach: "Staram się, aby Pałac znaczył więcej niż znaczy" pisał, porównując go do piramidy, obelisku oraz osi wszechświata. Dziś wielu uważa Pałac za najpiękniejszy budynek w Warszawie. Pisano o nim prace doktorskie i magisterskie, także za granicą. Podoba się zwłaszcza Amerykanom, niedawno zwiedzali go studenci architektury ze Szwajcarii i byli zachwyceni. "Aby obejść Pałac, zatrzymując się jedynie przez minutę w każdym pokoju, trzeba by poświęcić na wędrówkę 48 godzin" - kiedyś lubowano się w takich wyliczeniach. My też idziemy, ale w miejsca niedostępne: od piwnic zamieszkanych przez koty, do tarasu pod zegarem pełnego martwych ptaków. Mijamy sale Marmurową i Ratuszową, największe w Polsce oraz salę Rudniewa, która pierwsza otrzymała imię. Naszym przewodnikiem jest Agnieszka z biura promocji: pracuje w Pałacu dwa lata, ale nawet nie wie, kiedy został oddany do użytku. Mówi, że budynek nie kojarzy jej się ze stalinizmem. Dla niej jest tylko funkcjonalny, bo dzięki wynajmowaniu trzech tysięcy sal zarabia na siebie.
Litery w pudełku
- Nieoficjalnie dwa, trzy razy byłem w Pałacu. Widziałem, że dużo zmieniło się na plus - mówi pan Bronisław, którego syn pracuje teraz w dziale dźwigowym. Z dawnych czasów zostało jeszcze prezydium z oryginalnym obiciem z czerwonego sztruksu, które kiedyś wyjeżdżało na scenę Sali Kongresowej z okazji partyjnych zjazdów - już nie wyjedzie, bo podłogę sceny zabito dechami. Rzeźba z brązu polskiego i radzieckiego budowniczego miała być złomowana, ale kupił ją biznesmen spod Warszawy. Jedyne gipsowe popiersie Stalina, które stało w gabinecie sekretarza organizacji zakładowej PZPR, a po przełomie zaczęło się poniewierać po gabinetach, oddano do Centrum Sztuki Współczesnej. Jednoosobowa winda jeżdżąca tylko jedno piętro, która miała służyć Stalinowi podczas wizyty, już nie działa. Mosiężne litery z pełną nazwą Pałacu przez lata wiszące w holu głównym, leżą w pudełku. Imię patrona ostało się na frontonie, ale zasłania je neon, a dodatkowo blacha w kolorze elewacji. Wśród posągów okalających Pałac jest intelektualista trzymający księgę z nazwiskami Marksa, Engelsa, Lenina i Stalina - w latach siedemdziesiątych ostatnie wykuto, ale niedawno ktoś dopisał je flamastrem.