29 lipca premier Donald Tusk powołał na stanowisko pełnomocniczki rządu ds. promocji Polski dr hab. Barbary Mróz-Gorgoń. Nie minął nawet miesiąc, gdy 21 sierpnia złożyła ona dymisję. Wszystko z powodu raportu „Polaków Portret Własny”. Zawierał on szereg błędów oraz bardzo dziwnych określeń, przez co jego autorka, Barbara Mróz-Gorgoń, została oskarżona o użycie AI do tworzenia raportu za publiczne pieniądze. Na pierwszych stronach czytamy, że powstał on w ramach zadania finansowanego z publicznych środków. W jego treści znalazły się błędne informacje na temat zdolności językowych Polaków, niepoprawna liczba polskich noblistów czy stwierdzenie, że Katowice znajdują się w północnej części kraju.
Autorka tłumaczyła, że była to jedynie robocza wersja i nie stanowiła ona elementu wspomnianej w raporcie umowy z Ministerstwem Sportu i Turystyki. W podobnym tonie wypowiedział się sam resort. Także te oświadczenia zostały szeroko skrytykowane, ponieważ wiceminister sportu i turystyki Piotr Borys nie tylko był obecny podczas premiery raportu, ale również udostępniał kod QR, za pomocą którego można było ów raport pobrać. Trudno więc mówić o tym, że była to jedynie wpadka polegająca na udostępnieniu roboczej wersji dokumentu.
To tylko część niejasności związanych z tą sprawą. Metodyka przeprowadzonych badań została skrytykowana przez środowisko naukowe. Nawet w finalnym dokumencie (Strategia Marki Polska) możemy zobaczyć wiele błędnych danych. Źle podano m.in.: PKB per capita i miejsce w rankingu Doing Business (niewydawanym od 5 lat z powodu kontrowersji). Na 136. stronie możemy z kolei zobaczyć tabelę z szacunkowymi kosztami programu Branding Obywatelski. Problem w tym, że liczby w tabeli nie sumują się do podanej na jej dole wartości. Stronę wcześniej możemy zapoznać się z inną tabelą. Tam liczby są już dodane poprawnie, ale wątpliwości budzi ich wysokość. Przykładowo opracowanie dashboardu, repozytorium treści, narzędzi analitycznych oraz utrzymanie systemu kosztować ma aż 35-50 mln zł.
W opracowanej dla rządu Strategii Marki Polska, koszty nie sumują się poprawnie.
Konferencja Rektorów Akademickich Szkół Polskich (KRASP) w swoim oświadczeniu napisała, że raport istniał już przed nominacją na stanowisko w ministerstwie pani Barbary Mróz-Gorgoń, co budzi pytania o to, czy ktokolwiek się z nim zapoznał. Duże zamieszanie w świecie akademickim wywołało tłumaczenie pani Barbary Mróz-Gorgoń. W swoim wywiadzie w telewizji Polsat News przekazała ona, że bije się w pierś, ponieważ przy tworzeniu raportu skorzystała z AI. Dodała jednak, że co drugi profesor na świecie wykorzystuje (AI). Ta wypowiedź sprawiła, że postanowiliśmy przyjrzeć się dorobkowi naukowemu pani profesor Uniwersytetu Ekonomicznego we Wrocławiu.
Po czym poznać, że badanie wygenerowała sztuczna inteligencja?
Analiza przy pomocy detektora AI Pangram pokazała, że badania opublikowane po 2023 r. cechują się znacznie większym odsetkiem tekstu, który prawdopodobnie nie został stworzony przez człowieka. Co ważne, taki wykrywacz AI nie jest dowodem. Choć Pangram uchodzi za najlepszy tego typu program na rynku, to nadal możliwe jest jego oszukanie (zarówno umiejętne wygenerowanie tekstu przez AI, jak i napisanie go samodzielnie w taki sposób, aby potraktował go jak wytwór algorytmów). Należy przy tym pamiętać, że AI może służyć tylko do poprawek redakcyjnych tekstu, który stworzył człowiek. Takie użycie sztucznej inteligencji nie powinno z kolei budzić większych wątpliwości, ponieważ chodzi o wyszukiwanie błędów oraz poprawę stylistyki, a nie tworzenie treści od zera.
Żeby stwierdzić, że dana praca powstała (a nie została zredagowana) przy pomocy AI, konieczne są bardziej jednoznaczne dowody. Należą do nich tzw. halucynacje. Sztuczna inteligencja podczas generowania tekstu uzupełnia luki, podając najbardziej prawdopodobne słowa. To może prowadzić do wymyślania nieistniejących badań. O ile pojedyncze błędy w przypisach mogą się zdarzyć (przekręcenie nazwiska autora, tytułu badania, roku publikacji lub czasopisma), o tyle jeśli w danej pracy takich pomyłek jest kilka (i dotyczą prac, które nie istnieją), to szansa na to, że popełnił je człowiek, jest bliska zeru.
Badanie napisane przez AI?
Dokładnie taką sytuację mamy w pracy „Zarządzanie ryzykiem w organizacji w dobie AI – podejście teoretyczne” autorstwa Łukasza Packa, Barbary Mróz-Gorgoń oraz Marcina Czugana. Cała trójka to badacze Uniwersytetu Ekonomicznego we Wrocławiu. W artykule naukowcy sprawdzili, jak AI zmienia podejście do zarządzania ryzykiem w firmach. Autorzy przeanalizowali literaturę naukową, aby sprawdzić, jak nowoczesne algorytmy uzupełniają tradycyjne, ustrukturyzowane modele zarządzania.
Czytaj więcej
Żyjemy w przegadanych czasach bełkociarzy. Powstało pytanie, czy autorką raportu o marce Polski jest sztuczna inteligencja, ale na dostępnych w sie...
We wnioskach czytamy, że zarządzanie ryzykiem zmienia się z „reaktywnego” (reagowanie na problemy po fakcie) na „proaktywne” (wczesne przewidywanie zagrożeń, a nawet przekuwanie ich w szanse). Wynikać ma to z większej zdolności AI do analizy danych. Zdaniem badaczy przyszłością jest „inteligencja hybrydowa”, czyli systemy AI, które będą jedynie wspierać procesy, zaś decydować będą ludzie. Niestety autorzy nie wzięli sobie tych wniosków do serca, ponieważ na 46 zawartych w pracy źródeł, aż 17 przypisów jest niepoprawnych, co może świadczyć o wykorzystaniu sztucznej inteligencji przy tworzeniu tekstu.
W przypisie „Brock, J.K.-U., von Wangenheim, F. (2019). Demystifying AI in business: A critical review and agenda for future research. Journal of Business Research, 115, 202-213” podane zostało złe czasopismo. Z kolei „Urbanowska-Sojkin, E. (2012). Strategiczne zarządzanie ryzykiem. Wydawnictwo Uniwersytetu Ekonomicznego w Poznaniu” zawiera błędny, ale bardzo podobny tytuł (powinno być „Ryzyko w zarządzaniu strategicznym”). To jednak nie koniec drobnych pomyłek.
Pozostałe 15 przypisów zawiera zmyślone prace, których nie można przyporządkować do żadnego istniejącego badania. Są to:
- A Peter-Bombik, K. (2023). Koncepcje ryzyka w zarządzaniu strategicznym. Wydawnictwo Uniwersytetu Warszawskiego.
- Bartkowiak, P., Koszel, M. (2013). Zarządzanie ryzykiem gospodarczym. Warszawa: Wydawnictwo Naukowe PWN.
- Felch, V., Asdecker, B. (2022). Mapping the field of AI in enterprise risk management: A bibliometric review. Journal of Risk Research, 25(5), 621-639.
- Filipiak, B. (2010). Ryzyko w zarządzaniu publicznym.
- Ghosh, R. (2023). Predictive Analytics in Financial Risk. Harvard Business Review, 101(4), 78-84.
- IBM Security (2021). AI for Cyber Defense. IBM Research White Paper.
- Kasiewicz, S. (2011). Ryzyko jako czynnik strategii przedsiębiorstwa. Wydawnictwo SGH.
- Kasiewicz, S., Rogowski, W. (2006). Ryzyko w działalności banków. Oficyna Ekonomiczna.
- Kasiewicz, S., Rogowski, W. (2009). Zarządzanie ryzykiem w bankowości. Oficyna Ekonomiczna.
- Makarowski, R. (2008). Zarządzanie ryzykiem w przedsiębiorstwie. PWE.
- Małkowska-Borowczyk, M. (2012). Zarządzanie ryzykiem w jednostkach sektora publicznego. Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu.
- Pleczeluk, M. (2011). Zarządzanie ryzykiem operacyjnym. CeDeWu.
- Rudawska, A. (2013). Ryzyko w usługach zdrowotnych. Wydawnictwo Uniwersytetu Szczecińskiego.
- Wojniłko, J., Sikorska-Michalak, B. (1996). Zarządzanie przedsiębiorstwem. PWE.
- Woźniak, W., Szalbo, J. (2003). Zarządzanie ryzykiem. Wydawnictwo Akademickie.
Oczywiście pojedyncze błędy i literówki mogą zdarzyć się naturalnie, jednak tak duża skala błędów może być wytłumaczona jedynie napisaniem bibliografii przez algorytmy AI. To z kolei rodzi naturalne pytania – jeśli AI było użyte podczas opracowania bibliografii oraz przy tworzeniu raportu, to czy mamy do czynienia z wypadkami przy pracy, czy częstszą praktyką dr hab. Barbary Mróz-Gorgoń? Czy także przy opracowaniu innych badań AI mogło nie tylko dokonywać korekt, ale tworzyć tekst od podstaw? Przypadek ten doskonale pokazuje, przed jakim kryzysem staje dziś nauka. Im więcej wygenerowanych przy pomocy AI prac powstanie, tym większe ryzyko, że nauka zacznie zmagać się z falą nieprawdziwych badań.
AI może nie tylko być inspiracją dla kolejnych naukowców, ale także dla samej siebie. Nowe modele, ucząc się na tak napisanych pracach, będą tylko utwierdzać się w przekonaniu, że wnioski i przypisy w nich zawarte są prawdziwe. Z tego powodu nauka (nie tylko w Polsce) potrzebuje większej transparentności oraz kontroli ze strony recenzentów.
W zeszłym miesiącu opisywaliśmy dane, którymi posługuje się Naczelna Izba Lekarska oraz Naczelna Izba Pielęgniarek i Położnych. Źle zinterpretowane informacje doprowadziły do błędnych wniosków. Wnioski te były kolportowane już w innych pracach.
O odniesienie się do przedstawionych zarzutów poprosiliśmy Barbarę Mróz-Gorgoń. Gdy otrzymamy odpowiedź, artykuł zostanie zaktualizowany.
