Jak informuje Fox News, w badaniu przetestowano płatne wersje ChatGPT, Gemini, Groka i Claude'a. Każdemu z chatbotów zadano 100 pytań dotyczących m.in. imigracji, aborcji, zmian klimatycznych, wyborów, przestępczości, dostępu do broni oraz pandemii COVID-19.
ChatGPT, Gemini i Claude pod lupą. Badanie wykazało polityczne różnice
Pytania skonstruowano w taki sposób, aby skłaniały modele do przyjęcia fałszywych twierdzeń kojarzonych zarówno z lewą, jak i prawą stroną sceny politycznej. Chatboty miały również wskazywać źródła swoich odpowiedzi.
Według autorów badania ChatGPT udzielił poprawnej odpowiedzi na 94 proc. pytań skonstruowanych tak, aby wywołać przyjęcie fałszywego twierdzenia z prawej strony, oraz na 75 proc. analogicznych pytań dotyczących twierdzeń przypisywanych lewicy. Gemini uzyskał odpowiednio 91 i 76 proc., a Claude – 91 i 81 proc.
Odmienny wynik zanotował Grok. Model poprawnie odpowiedział na 73 proc. pytań związanych z fałszywymi twierdzeniami przypisywanymi prawicy i 84 proc. pytań dotyczących twierdzeń z lewej strony.
– To badanie sięga znacznie głębiej niż stronniczość polityczna – powiedział Fox News Digital Jim Agresti, prezes organizacji badawczej Just Facts.
Czytaj więcej
Miała tylko zarezerwować miejsce na zajęciach fitness. Zamiast tego znalazła lukę w systemie siłowni i usunęła z listy oczekujących inną osobę, tor...
– Ma to na celu pokazanie, jak często te AI propagują dezinformację. Możesz być stronniczy, nie będąc źle poinformowanym. Jest to znacznie głębsze badanie, ponieważ przeprowadzono wiele badań na temat stronniczości politycznej AI i jednolicie stwierdzają, że są stronnicze w lewo. Ale to niekoniecznie oznacza, że się mylą. Chciałem więc ustalić: czy są w błędzie, czy mają rację? – mówił Agresti.
W przypadku ChatGPT różnica między wynikami dotyczącymi fałszywych twierdzeń przypisywanych lewicy i prawicy była – według badania – statystycznie istotna przy poziomie ufności wynoszącym 95 proc.
Autorzy raportu zastrzegli jednocześnie, że precyzyjnie skonstruowane pytania mogły dawać chatbotom „wyraźne mapy drogowe, aby znaleźć prawidłowe odpowiedzi”. Ich zdaniem oznacza to, że modele mogą radzić sobie „znacznie gorzej” przy bardziej ogólnych pytaniach, wymagających samodzielnego krytycznego rozumowania.
ChatGPT, Gemini, Claude i Grok podawały wadliwe lub nieistniejące źródła
Zdaniem Agrestiego jeszcze poważniejszym problemem od politycznych różnic w odpowiedziach okazała się jakość źródeł wskazywanych przez chatboty.
– Rzeczą, która naprawdę rzuciła mi się w oczy, kiedy zacząłem przeglądać źródła, które podawały, było to, że mniej więcej połowa źródeł była niewiarygodna – powiedział.
Cztery chatboty wskazały łącznie 419 źródeł w 400 odpowiedziach. Według badania wiele z nich było jednak wadliwych. Autorzy naliczyli 104 strony internetowe, które nie istniały, oraz 77 źródeł, które nie potwierdzały informacji, dla których zostały przywołane.
Czytaj więcej
Niemal 60 procent Polaków planuje wyjazdy, korzystając ze sztucznej inteligencji. Nie słabnie również rola aplikacji mobilnych i mediów społecznośc...
Łącznie za prawidłowe uznano tylko 46 proc. cytowanych źródeł. Najlepiej w tej kategorii wypadł ChatGPT z wynikiem 57 proc. Dalej znalazły się Gemini – 49 proc., Claude – 44 proc. oraz Grok – 32 proc.
– To było dla mnie naprawdę zadziwiające, a kiedy zacząłem kopać głębiej, zauważyłem, że inne badania również doszły do tego wniosku – powiedział Agresti.
Czytaj więcej
Jeszcze niedawno fundusz 24-letniego Leopolda Aschenbrennera był wart 45 mld dol. i uchodził za symbol boomu na sztuczną inteligencję. Po gwałtowne...
Badacz wskazał przy tym na publikację z 2026 r. przytoczoną w raporcie, według której od 30 do 69 proc. odwołań generowanych przez AI w kontekście biomedycznym było „sfabrykowanych”. Autorzy raportu określili to jako dobrze udokumentowany sposób, w jaki modele AI mogą zawodzić.
– Konsekwencje tego są zadziwiające, ponieważ mówimy o biomedycynie, innymi słowy, zdrowiu ludzi – powiedział Agresti. – Są równie ważne w dziedzinie polityki publicznej, ponieważ wiele kwestii ma konsekwencje dla życia lub śmierci, niezależnie od tego, czy mówimy o opiece zdrowotnej, przestępczości, aborcji, wojnie i pokoju. Decyzje, które ludzie podejmują, mogą zabijać ludzi lub pozwalać ludziom żyć – dodał.
AI przytacza wypowiedzi, które nie padły
W jednym z pytań skonstruowanych w celu wywołania fałszywego twierdzenia przypisywanego lewicy wszystkie cztery chatboty stwierdziły, że wskaźnik przestępczości z użyciem przemocy w USA w 2023 r. znajdował się w pobliżu najniższego poziomu od 50 lat. Autorzy badania przeciwstawili temu dane Departamentu Sprawiedliwości, według których przestępczość z użyciem przemocy wzrosła w latach 2020–2023 o 37 proc. Jednocześnie wszystkie cztery modele odrzuciły twierdzenie Donalda Trumpa, że „przestępczość jest gorsza niż kiedykolwiek”.
ChatGPT i Gemini stwierdziły również, że wiceprezydent JD Vance określił strzelaniny w szkołach jako „fakt życia”. Autorzy badania zakwalifikowali to jako fałszywe twierdzenie kojarzone z lewicą. Według raportu Vance mówił w rzeczywistości o „psychosach”, którzy „chcą trafić na pierwsze strony gazet”, określając ich istnienie jako „fakt życia”.
Czytaj więcej
Geoffrey Hinton, jeden z twórców AI, przekonuje, że coraz trudniej będzie ją kontrolować. Podczas testów agenci AI OpenAI, Anthropic i Mety wykorzy...
W innych przykładach wszystkie cztery chatboty miały twierdzić m.in., że administracja Baracka Obamy zmieniała oceny wywiadowcze, aby bagatelizować zagrożenie ze strony tzw. Państwa Islamskiego, oraz że mężczyźni i kobiety zasadniczo otrzymują takie samo wynagrodzenie za tę samą pracę. Według autorów raportu modele powoływały się przy tych odpowiedziach na nieistniejące albo niewłaściwe źródła.
Z kolei Grok miał błędnie stwierdzić, że wszyscy nielegalni imigranci w USA popełnili przestępstwo już „z powodu swojej obecności” w kraju. Jednocześnie wszystkie cztery chatboty poprawnie odpowiedziały na pytanie dotyczące wzrostu temperatury dolnych warstw atmosfery Ziemi od lat 80.
Agresti przestrzegł użytkowników przed bezkrytycznym traktowaniem chatbotów jako ekspertów. Odniósł się przy tym do ubiegłorocznej wypowiedzi prezesa OpenAI Sama Altmana, który przedstawiał GPT-5 jako odpowiednik posiadania „zespołu ekspertów na poziomie doktora w kieszeni”.
Czytaj więcej:
Już w 2028 r. narzędzia AI mogą stać się głównym źródłem ruchu dla e-sklepów, odpowiadając za ponad połowę wszystkich odwiedzin i wyprzedzając trad...
Pro
Badacz zwrócił również uwagę na tendencję modeli AI do potwierdzania opinii użytkowników i dostosowywania odpowiedzi do ich przekonań. Nazwał je „receptą na katastrofę”. Aby ograniczyć wpływ wcześniejszych rozmów na wyniki eksperymentu, badacze używali świeżo zainstalowanej przeglądarki i nowych kont.
– Jeśli masz pewne polityczne uprzedzenia, AI będą się tym kierować i będą to stwierdzać z bardzo silną pewnością, która sprawi, że uwierzysz, że masz rację – powiedział Agresti.
