ChatGPT oblał polski egzamin specjalizacyjny z interny

ChatGPT dobrze poradził sobie z amerykańskim egzaminem licencjonowania medycznego (USMLE) i europejskim egzaminem z podstawowej kardiologii. Okazuje się jednak, że polski egzamin z interny nie poszedł już tak gładko.

Publikacja: 11.12.2023 11:17

ChatGPT nie poradził sobie z egzaminu z interny

ChatGPT nie poradził sobie z egzaminu z interny

Foto: adobe stock

Badacze z Katedry Endokrynologii i Diabetologii Collegium Medicium Uniwersytetu im. Mikołaja Kopernika w Toruniu pod kierunkiem prof. Romana Junika, Kierownika Katedry Endokrynologii i Diabetologii CM UMK oraz dr. Szymona Suwały i studentów Wydziału Lekarskiego z SKN Evidence-Based Medicine wykazali, że sztuczna inteligencja (na przykładzie ChatGPT) nie jest obecnie w stanie wcielić się w rolę polskiego lekarza internisty i zdać polskiego Państwowego Egzaminu Specjalizacyjnego z zakresu chorób wewnętrznych. Wyniki swoich badań opublikowali na łamach Polish Archives of Internal Medicine a ich skrót na stronie uczelni.

CzatGPT potrafi zaliczyć łatwe pytanie egzaminacyjne

Badacze przedstawili interfejsowi ChatGPT, 1191 pytań z 10 sesji egzaminacyjnych przeprowadzonych w latach 2013-2017. Okazało się, że w żadnej z sesji egzaminacyjnych ChatGPT nie był zdolny osiągnąć minimalnego progu zaliczeniowego, wynoszącego 60 proc. Przeciętny wynik sztucznej inteligencji wynosił 49.37 proc. i w każdej z tych sesji był znacząco gorszy od realnych wyników uzyskiwanych przez lekarzy podchodzących do egzaminu.

Zarówno ludzie jak i ChatGPT lepiej radzili sobie z pytaniami prostszymi, przy czym różnica w skuteczności u ludzi nie była tak drastyczna jak w przypadku sztucznej inteligencji. U realnie zdających odsetek prawidłowych odpowiedzi w pytaniach prostych i złożonych wynosił odpowiednio 70.16 proc. i 66.39 proc., podczas gdy w przypadku ChatGPT było to 52.88 proc. i 29.38 proc.

Czytaj więcej

Młodzi lekarze nie chcą leczyć chorych onkologicznie

Sztuczna inteligencja najlepiej radziła sobie z pytaniami z dziedziny alergologii (71.43 proc. prawidłowych odpowiedzi) i chorób zakaźnych (55.26 proc.), najgorszej zaś w pytaniach z zakresu pulmonologii (46.71proc.), diabetologii (45.1 proc.) i kardiologii (43.72 proc.).

Interna zwana jest królową nauk

Od lekarzy specjalizujących się w chorobach wewnętrznych wymagana jest rozległa wiedza, duża koncentracja i samodyscyplina. Według oficjalnych danych Polskiej Izby Lekarskiej na 30 września 2023 r. w Polsce praktykowało łącznie 31 184 specjalistów chorób wewnętrznych. To stanowi 16,51 proc. ogólnej liczby wszystkich lekarzy w kraju.

Zgodnie z polskim prawem lekarz może zostać specjalistą chorób wewnętrznych po ukończeniu szkolenia specjalistycznego i złożeniu egzaminu certyfikacyjnego. Zaliczenie jest dwuetapowe. Pierwszy to test wielokrotnego wyboru składający się ze 120 pytań z pięcioma możliwymi odpowiedziami, z których tylko jedna jest prawidłowa oraz egzaminu ustnego, do którego można przystąpić dopiero po pozytywnym zaliczeniu testu pisemnego (co wymaga uzyskania co najmniej 60 proc. możliwych punktów).

Od początku 2023 r. kandydat może zostać zwolniony z egzaminu ustnego, jeśli z egzaminu pisemnego uzyska minimum 75 proc. punktów.

Badacze z Katedry Endokrynologii i Diabetologii Collegium Medicium Uniwersytetu im. Mikołaja Kopernika w Toruniu pod kierunkiem prof. Romana Junika, Kierownika Katedry Endokrynologii i Diabetologii CM UMK oraz dr. Szymona Suwały i studentów Wydziału Lekarskiego z SKN Evidence-Based Medicine wykazali, że sztuczna inteligencja (na przykładzie ChatGPT) nie jest obecnie w stanie wcielić się w rolę polskiego lekarza internisty i zdać polskiego Państwowego Egzaminu Specjalizacyjnego z zakresu chorób wewnętrznych. Wyniki swoich badań opublikowali na łamach Polish Archives of Internal Medicine a ich skrót na stronie uczelni.

2 / 3
artykułów
Czytaj dalej. Kup teraz
Zdrowie
Gwałtowny wzrost zachorowań na cholerę
Materiał partnera
Depresja to poważna choroba. Nie traktujmy jej jak "jesienną chandrę"
Zdrowie
Dlaczego należy bardzo uważać na mięso z targu
Zdrowie
Zmutowane wilki z Czarnobyla rozwinęły odporność na raka
Materiał Promocyjny
PR&Media Days 2024 - trendy i wyzwania
Zdrowie
Jak wykorzystać szanse tworzone przez in vitro
Zdrowie
Badania podstawowe warunkiem rozwoju medycyny