Chatbot AI zamiast lekarza? Naukowcy z Oxfordu ostrzegają

Badanie, którego wyniki opublikowano w czasopiśmie „Nature Medicine”, ostrzega przed ryzykiem związanym z korzystaniem z porad medycznych udzielanych przez chatboty AI. 

Naukowcy przyjrzeli się poradom medycznym udzielanym przez chatboty AI

W badaniu z udziałem 1298 uczestników naukowcy sprawdzili, czy duże modele językowe (LLM) mogą pomóc ludziom w rozpoznawaniu podstawowych schorzeń i wyborze sposobu postępowania w dziesięciu scenariuszach medycznych. Scenariusze te opracowane zostały przez lekarzy i obejmowały przypadki od młodego mężczyzny cierpiącego na silny ból głowy po wieczornym wyjściu z przyjaciółmi po młodą matkę odczuwającą ciągłą duszność i zmęczenie.

Czytaj więcej

AI

Ten naród jest najczęściej zniesławiany. A która AI sieje „mowę nienawiści”?

Model Claude wyrasta na lidera ochrony przed nienawiścią, z kolei Grok od firmy Elona Muska zamyk...

Jedna grupa uczestników badania wykorzystywała modele LLM do rozpoznania opisanych w scenariuszach problemów zdrowotnych i podjęcia decyzji o odpowiednim sposobie postępowania, takim jak wizyta u lekarza pierwszego kontaktu lub udanie się do szpitala. Natomiast grupa kontrolna korzystała z innych, tradycyjnych źródeł informacji, takich jak własna ocena sytuacji czy wyszukiwanie informacji w internecie.

W dalszej części badania naukowcy ocenili, jak dokładnie uczestnicy zidentyfikowali prawdopodobne problemy zdrowotne i najbardziej odpowiedni dalszy sposób postępowania. Uzyskane wyniki porównali z wynikami standardowych strategii testowania LLM, które nie obejmują prawdziwych użytkowników.

Chatboty AI: Naukowcy ostrzegają przed udzielanymi przez nie poradami medycznymi

Kluczowym odkryciem było stwierdzenie, że modele LLM nie były lepsze od tradycyjnych metod. Osoby korzystające z LLM nie podejmowały lepszych decyzji niż uczestnicy, którzy polegali na tradycyjnych metodach, takich jak wyszukiwanie informacji w internecie lub własna ocena sytuacji.

Naukowcy zauważyli również, że użytkownicy dużych modeli językowych często nie wiedzieli, jakie informacje powinni podać LLM. Te z kolei udzielały bardzo różnych odpowiedzi na podstawie niewielkie różnice w zadawanych pytaniach. Ponadto duże modele językowe przekazywały zarówno dobre, jak i złe rekomendacje, przez co użytkownicy mieli trudności z ich rozróżnieniem i określeniem najlepszego sposobu działania.

– Pomimo całego szumu, sztuczna inteligencja nie jest jeszcze gotowa, aby przejąć rolę lekarza. Pacjenci muszą mieć świadomość, że zadawanie pytań dużemu modelowi językowemu na temat swoich objawów może być niebezpieczne, ponieważ może on postawić błędną diagnozę i nie rozpoznać sytuacji, w której potrzebna jest pilna pomoc – przyznała Rebecca Payne, jedna z autorek badania, cytowana w komunikacie Uniwersytetu Oksfordzkiego.