O wadach statystycznych metod oceny naukowców

O tym, jak oceniać naukowców

Publikacja: 27.08.2011 01:01

O wadach statystycznych metod oceny naukowców

Foto: Rzeczpospolita, Janusz Kapusta JK Janusz Kapusta

Red

1



Kto zasługuje na tytuł profesora? Odpowiedź – wydawałoby się – jest prosta: każdy i tylko znakomity naukowiec. Po czym poznać znakomitego naukowca? Z pewnością powinien on być autorem wybitnych prac. Znowu jednak powstaje pytanie: po czym poznać, że jakaś praca naukowa jest wybitna?



Jeden ze sposobów polega na odwołaniu się do oceny kompetentnego recenzenta. Kto miałby być takim kompetentnym recenzentem? Któż – jeśli nie inny znakomity naukowiec? Ktoś, kto już jest profesorem...



Nie ulega wątpliwości, że taki sposób oceny poziomu pracy naukowej ma swoje wady. Jest to – jak to się mówi – ocena subiektywna. Chciałoby się natomiast mieć jakieś kryteria obiektywne.

2

Jedną z prób obiektywizacji oceny wartości publikacji naukowej jest zinterpretowanie tej wartości w kategoriach liczby cytowań. Zakłada się, że praca jest tym wartościowsza, im częściej jest cytowana. Przy tym założeniu wszystko już staje się proste. Wystarczy sprawdzić, czy liczba cytowań pracy danego naukowca jest nie mniejsza od ustalonego minimum. Jeśli dysponujemy wykazem cytowań – kryterium to może bez trudu zastosować każdy (w szczególności każdy urzędnik): do tego nie trzeba innego profesora...

3

Skąd jednak wziąć ów wykaz? Nic prostszego: wykazy cytowań istnieją. Rejestrują one w szczególności, ile i które prace zostały zacytowane w czasopismach naukowych. Łatwo sobie wyobrazić, że rejestry takie obejmowałyby wszystkie czasopisma – trudniej coś takiego zrealizować (i takich rejestrów w istocie nie ma). Czy takie pełne wykazy byłyby jednak diagnostyczne? Nawet gdyby założyć – a jest to założenie w oczywisty sposób fałszywe – że cytowania w książkach można pominąć bez zniekształcenia obrazu sytuacji, to przecież czasopismo czasopismu nierówne. Istniejące wykazy rejestrują więc cytowania z listy najlepszych czasopism. Jak jednak się tę listę układa (a w każdym razie jak deklaruje się, że się ją układa)?

Po pierwsze, ogólna polityka publikacyjna takich czasopism jest wyznaczana przez komitet redakcyjny, do którego zaprasza się... znakomitych naukowców z danej dziedziny. Po drugie, publikuje się tylko takie prace, które zyskały pozytywną ocenę recenzentów, tych zaś dobiera się (a w każdym razie deklaruje się, że się dobiera – bo recenzje są anonimowe) spośród... znakomitych naukowców z danej dziedziny.

Wracamy więc do punktu wyjścia. Ostatecznie o tym, czy jakaś praca jest wybitna, a więc czy jest dziełem znakomitego naukowca, rozstrzyga ocena innego znakomitego (w najlepszym razie...) naukowca. Jedyna różnica polega właściwie na tym, że w jednym wypadku recenzent jest anonimowy, a w drugim – nie.

Po co więc ten korowód z cytowaniami?

4

Co istotniejsze: nawet w najostrożniej wyselekcjonowanych czasopismach (w każdym razie w mojej – filozoficzno-logicznej – branży) zdarzają się publikacje lepsze lub gorsze. A z kolei świetne teksty można znaleźć w czasopismach „peryferyjnych".

Nie suknia zdobi człowieka. Podobnie i nie miejsce publikacji czyni ją wartościową.

5

Sprawa cytowań jako rzekomo obiektywnego kryterium wartości prac naukowych na tym się jednak nie kończy.

Po pierwsze, za cytowanie uważa się w równym stopniu umieszczenie jakiejś pozycji w bibliografii – jak i dłuższą, gruntowną jej analizę. Po drugie, cytuje się cudze prace z różnych motywów. Czasem dlatego, że są dobre, ale czasem dlatego, że są złe. Czasem dlatego, że się je uważa za wybitne, ale czasem dlatego, że się z pozanaukowych względów ceni ich autora. Czasem dlatego, żeby je wyróżnić z masy przestudiowanych tekstów na dany temat, ale czasem dlatego, że się na te prace mniej lub bardziej przypadkowo trafiło...

Odmianą tej ostatniej metody staje się coraz częściej sięganie do Internetu. O tym, jak bardzo jest to niebezpieczne, przekonałem się niedawno, zaglądając do hasła, które ktoś mi poświęcił (nie wątpię, że w dobrej wierze) w internetowej Wikipedii. Połowa danych w pierwotnej wersji hasła była błędna. Przejrzałem dla porównania kilkadziesiąt innych haseł związanych z filozofią – i stwierdziłem z przerażeniem, że nie jest w nich lepiej. Stwierdziłem to z przerażeniem, gdyż docierają do mnie sygnały, że wielu moich kolegów zaczyna bezkrytycznie traktować Internet jako źródło zasługującego na zaufanie materiału informacyjnego...

Wracając do sprawy cytowań – nie ma więc zależności: im praca jest częściej cytowana, tym jest wartościowsza naukowo.

6

To, czy dana praca ukazuje się na łamach tego czy innego czasopisma naukowego, zależy nie tylko od poziomu naukowego tej pracy, ale także od polityki naukowej owego czasopisma. Redakcje i recenzenci preferują pewną problematykę i promują pewnych autorów – m.in. dlatego, że jest to zgodne z oczekiwaniami wydawców. „Nośne" tematy i „nośne" nazwiska przyczyniają się do większej poczytności także czasopism naukowych. Ale „nośność" nie jest gwarancją jakości!

Redaktor jednego z najbardziej znanych amerykańskich periodyków filozoficznych (a jest to skądinąd mój przyjaciel), kiedy zaproponowałem mu swego czasu pewien tekst – powiedział bez ogródek: „Wiesz? Na najbliższe trzy lata tematykę kolejnych numerów mam zamkniętą – a ten tekst nie mieści się w żadnej z nich...".

Bywają wybitne prace zdyskwalifikowane przez znane czasopisma – gdyż (jak bez ogródek piszą anonimowi recenzenci) autorzy tych prac... nie odwołują się do nikogo albo nie odwołują się do pewnych nazwisk. Odwrotnie (niech to będzie przykład historyczny): średniej rangi przedstawicielka bliskiej mi Szkoły Lwowsko-Warszawskiej, Kokoszyńska, publikowała w okresie międzywojennym w cenionym do dziś czasopiśmie „Erkenntnis" nie bez związku z tym, że odwoływała się do prac Carnapa, który wtedy był redaktorem owego czasopisma. A jeden z najznakomitszych przedstawicieli owej szkoły, Czeżowski, nie opublikował za granicą do 60. roku życia prawie niczego. Powód był – jak mam prawo sądzić – taki: szedł własną drogą.

7

Postawę redakcji i recenzentów łatwo usprawiedliwić. Aby gruntownie ocenić merytorycznie jakąś (zwłaszcza wybitną) pracę, trzeba wielkich kompetencji i dużego wysiłku, a w konsekwencji – niemałego czasu. Wiem o tym aż nadto dobrze, gdyż założyłem i prowadziłem przez dziesięć lat periodyk filozoficzny, który niedawno, prowadzony już przez mojego ucznia, wszedł na tzw. listę filadelfijską, będącą dla niektórych wejściówką na naukowe salony.

Otóż redakcje czasopism „z listy", zarzucane setkami ofert, nie mogą sobie pozwolić na dogłębne studia nad tymi tekstami. Zastosowanie kryterium przynależności do wąskiej, wyznaczonej przez redakcję, problematyki oraz odwoływania się do ustalonej listy nazwisk, które powinny się znaleźć w zakwalifikowanym do druku tekście, radykalnie upraszcza pracę redakcji i jej recenzentów.

Jak to trafnie ujął jeden z naszych znakomitych matematyków – w świadomości autorów powstaje jednak następujący szkodliwy stereotyp sukcesu badawczego: nie stawiaj problemu na własną odpowiedzialność, a tym bardziej nie poszukuj własnej metody rozwiązania tego problemu! Lepiej – problem postawiony przez X-ińskiego rozwiąż metodą Y-owskiego!

8

Morał z tego jest następujący: jeśli będziemy stosować przy ocenie prac naukowych kryterium cytowań, to ponieważ zasady owych cytowań nie poddają się intersubiektywnej kontroli zewnętrznej – a w szczególności naszej kontroli – doprowadzimy z dużym prawdopodobieństwem do wasalizacji nauki w Polsce. Polscy naukowcy – chcąc sprostać stawianym im wymaganiom (mówiąc w uproszczeniu: dążąc do tego, aby zostać profesorami tytularnymi) – będą musieli z konieczności pozamerytorycznej zająć się problematyką uprawianą przez środowiska naukowe, do których odwołują się czasopisma uwzględniane na funkcjonujących międzynarodowych listach cytowań. Jeśli pojawią się u nas ośrodki własnej myśli, to raczej skupią się wokół naukowców, którzy nie dbają o to, czy wyniki ich badań opublikują czasopisma z takiej lub innej listy... Czy jednak to właśnie ich nie należałoby wesprzeć? Czy nie należałoby w tym zakresie zaufać opinii naszych własnych – i nie anonimowo działających – ekspertów? Opinii o charakterze jakościowym, a nie jakiemuś mocno wątpliwemu liczbowemu odpowiednikowi takiej opinii?

Wymagałoby to przełamania widocznej u nas od dłuższego czasu tendencji do marginalizacji wolnej – tzn. podejmowanej nie na zamówienie – działalności recenzyjnej. Jej wartość jest, niestety, jak najniesłuszniej deprecjonowana przy ocenie dorobku naukowego. Odwołam się znowu do przykładu z dziejów własnej dyscypliny. Gruntowna recenzja z „Elementów" Kotarbińskiego, napisana ongiś przez Ajdukiewicza, ma wartość małej monografii poruszanych w niej zagadnień!

9

Niech ten morał uzupełniony zostanie o jeszcze jeden wymowny przykład z okresu międzywojennego.

U szczytu swej aktywności była wtedy wspomniana wyżej filozoficzna Szkoła Lwowsko-Warszawska. W zakresie logiki przerastała ona właściwie wszystko, co się współcześnie działo poza granicami Polski. Ani Łukasiewicz, ani Leśniewski, ani ich uczniowie nie musieli zabiegać o publikację swoich wyników za granicą, bo sami stworzyli w Polsce ośrodek najwyższej klasy. O ich wielkości nie decydowało to, że byli cytowani przez logików zagranicznych. Niewielu zresztą było wówczas takich logików obcych, którzy potrafiliby docenić wartość ich dorobku. Pojawili się dopiero po II wojnie światowej, i to z powodów raczej pozamerytorycznych. Najważniejsze były dwa – o charakterze biograficznym. Łukasiewicz wyemigrował do Irlandii i zaczął z konieczności pisać po angielsku, a jego polscy uczniowie – Sobociński i Tarski – wyemigrowali do USA, wówczas niemalże pustyni logicznej, gdzie pierwszy założył świetne czasopismo logiczne, a drugi wychował grupę świetnych uczniów.

10

Wśród kryteriów tego, czy ktoś nadaje się na profesora tytularnego, wymienia się także uczestnictwo w międzynarodowych konferencjach i wygłaszanie wykładów poza miejscem zatrudnienia. Zaletą tego kryterium jest znowu operatywność. Cóż prostszego niż ustalenie odpowiednich liczb?

Niestety – żaden z tych wskaźników nie jest obwarowany jakimś naprawdę obiektywnym kryterium selekcji. Z jednej strony, na prelegentów w obu wypadkach bywają zapraszani naukowcy nie tyle znakomici, ile – znani. A znanym naukowcem łatwiej zostać nie dlatego, że się jest znakomitym naukowcem, lecz dlatego, że np. głosi się takie a nie inne poglądy polityczne, opowiada się za takim a nie innym światopoglądem itd. Przykładów nie trzeba chyba podawać, bo mamy ich u siebie dostatecznie dużo i są wystarczająco... rażące. Z drugiej strony, nie wszyscy znakomici naukowcy mają ochotę uczestniczyć w dużej liczbie konferencji i wykładać na dużej liczbie uczelni, gdyż wyżej sobie cenią spokojną robotę badawczą.

Znowu – trudno winić organizatorów konferencji lub „proszonych" wykładów, że stosują takie czy inne kryteria pozamerytoryczne. Skądinąd nie da się na ogół dogłębnie ocenić kandydata na uczestnika konferencji lub wizytującego wykładowcy na podstawie z konieczności lakonicznego streszczenia planowanych wystąpień. Wiem o tym, gdyż sam byłem organizatorem niejednej konferencji – w tym dwóch kongresów z udziałem kilku setek gości.

Stąd pokusa podobna do tej, o której była mowa w związku z kwalifikacją prac naukowych do druku.

Po co jednak odwracać sprawę – i ocenę wartości naukowej prac zastępować liczbą konferencji, w których brał udział ich autor?

11

Za wskaźnik bycia znakomitym uczonym bierze się nieraz liczbę piastowanych funkcji. Znowu: łatwo to policzyć – i mamy pozory obiektywności.

Są naukowcy, u których liczba ta sięga... dziesiątek, a nawet setek! Czego to naprawdę jest świadectwem? Fikcyjności tych funkcji! Pełniłem w różnych okresach swego życia – przez kilka lat – odpowiedzialne funkcje w dwóch dużych towarzystwach naukowych i wiem z własnego doświadczenia, jak bardzo są takie funkcje absorbujące, jeśli się je traktuje serio. Z kolei zasiadanie w komitetach redakcyjnych ma dwojaki charakter. Może się wiązać z uciążliwymi obowiązkami recenzowania nadsyłanych tekstów. Ale może być związane wyłącznie ze zgodą na umieszczenie nazwiska na stronie redakcyjnej – a więc być funkcją czysto fasadową.

Żadne liczby nie odzwierciedlają tego zróżnicowania. A do tego trzeba jeszcze dodać różnorodność motywów, które decydują, że komuś powierza się takie funkcje. Niektóre są kuriozalne. Byłem świadkiem sytuacji, w których grono naukowców, obecne przy wyborze swoich władz, liczyło mniej osób, niż było... miejsc do obsadzenia.

12

Często się podkreśla, że słowo „profesor" pochodzi z łaciny i znaczy tyle, co „nauczyciel". Nie dziw więc, że ktoś, kogo się chce obdarzyć tytułem profesora, powinien być także – właśnie – doskonałym nauczycielem.

Jak to ustalić?

Cóż prostszego! Doskonały nauczyciel to taki, który ma wielu uczniów: magistrów, doktorów... I który jest jako doskonały – najlepiej na odpowiedniej skali metrycznej – oceniany przez swoich słuchaczy: studentów i doktorantów.

Zsumuje się odpowiednie liczby – i wszystko jest jasne.

13

Rozsądek podpowiada jednak: nie sama liczba uczniów świadczy o nauczycielu, lecz dopiero poziom ich prac.

Byłem przez wiele lat przewodniczącym jednego z zespołów ekspertów uniwersyteckiej komisji akredytacyjnej. Moje obserwacje z wizytacji przeprowadzonych z jej ramienia uprawdopodobniają hipotezę, że kwalifikacje promotora – jako dydaktyka – są na ogół odwrotnie proporcjonalne do liczby powstałych pod jego kierunkiem prac.

Żadna ocena prac studentów i doktorantów nie odzwierciedla poza tym wkładu promotora w powstanie tych prac – a bywa on skrajnie różny: od zerowego do, powiedzmy neutralnie, bardzo poważnego.

Mam to szczęście, że niemal wszyscy moi – niezbyt liczni skądinąd – uczniowie okazali się wielkimi talentami i są dziś wysoko oceniani przez tę część środowiska, której opinie sobie cenię. Ale brak takich utalentowanych uczniów (magistrów, doktorów) bynajmniej nie dyskwalifikuje kandydata na profesora tytularnego. Z moich obserwacji wynika, że (mówiąc najostrożniej) powstaje wiele złych magisteriów i doktoratów – na błahe tematy. Czy może dziwić, że autorzy takich prac nie szukają opieki u wymagających promotorów zajmujących się trudną problematyką?

Zaryzykuję ponadto hipotezę, że gdyby w mojej branży przeprowadzono odpowiednie badania, okazałoby się, że przygniatająca większość prac magisterskich i doktorskich poświęcona jest nie uzasadnieniu tez teoretycznych, lecz sprawozdaniu z cudzych poglądów. Trawestując przytoczoną regułę (pseudo)sukcesu w matematyce – powiedziałbym, że magistranci i doktoranci filozofii najczęściej stosują regułę: napisz, co napisał X-iński o Y-owskim!

14

W latach 70. zacząłem prowadzić badania nad recepcją swoich zajęć przez studentów. Przez dziesiątki lat przetestowałem najróżniejsze hipotezy dotyczące korelacji między metodami dydaktycznymi a reakcją różnych populacji studentów. Wiele dało mi to do myślenia.

Przerwałem te badania, kiedy wprowadzono instytucjonalne badania opinii studenckich i zaczęto najpierw sugerować potrzebę – a później stopniowo oczekiwać – uwzględniania wyników owych badań przy oficjalnej ocenie pracowników naukowych. Albowiem mając za sobą doświadczenie wykładowcy i dyrektora jednego z największych instytutów filozoficznych w kraju, uważałem, że ankietowe oceny studenckie mogą niekiedy być pożyteczne dla nauczyciela jako pomocniczy środek samokształcenia pedagogicznego, że mogą także czasem dostarczyć interesujących informacji na temat ankietowanych – ale są zupełnie bezwartościowe, a nawet szkodliwe, jako kryterium zewnętrznej oceny osób prowadzących zajęcia. Nigdy nie zastąpią one prawdziwej – i z powagą potraktowanej – hospitacji przeprowadzonej przez bardziej doświadczonych kolegów.

Po pierwsze, same ankiety rzadko bywają opracowane w taki sposób, żeby odpowiedzi na nie rzucały na ocenianego światło pod istotnymi dla dydaktyki uniwersyteckiej względami. Cóż mają za znaczenie dla niej takie rzeczy, jak wygląd profesora, jego dowcip, to, czy mówi ciekawie czy nie, jak jest z jego tzw. przyjaznością wobec słuchaczy – a od takich pytań roi się w obiegowych ankietach.

Po drugie, poza stosunkowo rzadkimi wypadkami skrajnej i widocznej nawet dla niefachowców ignorancji u wykładowców studenci en gros nie mają odpowiednich kompetencji, aby oceniać kwalifikacje swoich wykładowców.

Po trzecie, tylko mała część studentów to studenci, z których zdaniem w sprawie wykładowców i wykładanych przedmiotów warto się liczyć: a więc studenci o odpowiednich uzdolnieniach i odpowiednim nastawieniu do nauki. Nie widzieć tego – albo udawać, że się nie widzi – mogą lub muszą tylko ci, których z powodu wadliwych rozwiązań systemowych (tj. znacznego ustawowego udziału przedstawicieli studentów w akademickich organach decyzyjnych) nie stać na nazywanie rzeczy po imieniu.

15

Czy to wszystko znaczy, że nie sposób ustalić, czy ktoś jest znakomitym naukowcem i doskonałym nauczycielem – i tym samym może mieć słuszne aspiracje do tytułu profesora?

Jeśli miałoby to być ustalenie ponad wszelką wątpliwość – odpowiedź musiałaby być negatywna. Ustalenia w tej sprawie mogą być jedynie mniej lub bardziej prawdopodobne – i chodzi oczywiście o to, żeby były możliwie najbardziej prawdopodobne.

Ktoś, kto ma cytowania w renomowanych czasopismach, kto wygłasza referaty na międzynarodowych konferencjach i jest zapraszany w charakterze profesora wizytującego na sławne uniwersytety, kto pełni ważne funkcje w instytucjach życia naukowego, kto ma znakomitych uczniów i jest wysoko oceniany przez słuchaczy – jest zapewne dobrym kandydatem do tytułu profesora. Ale w żadnym razie nie są to warunki niezbędne do tego, aby być takim kandydatem!

Tytułowy Kopernik warunków tych raczej nie spełniał. A jednak – nie tylko chyba moim zdaniem – zasługiwałby w swoich czasach na tytuł profesora. Co prawda, gdyby jedynym recenzentem jego dzieła „O obrotach ciał niebieskich" został Tycho de Brahe, który był zwolennikiem teorii geocentrycznej, Kopernik mógłby zostać zdyskwalifikowany. Ale rozsądni decydenci nie poprzestaliby przecież na jednym opiniodawcy.

16

Nie dajmy się więc zwieść urokom parametryzacji – tam, gdzie stwarzają one jedynie iluzję merytorycznej i obiektywnej oceny! Zaufajmy „żywym", nieanonimowym recenzentom – ich kompetencjom i „smakowi"! Nie wiążmy im rąk formalnymi – a mało diagnostycznymi – kryteriami!

Nieunikniona różnorodność indywidualnie stosowanych probierzy opłaci się per saldo bardziej niż paraobiektywna standaryzacja.

Przemawia za tym nie tylko moja długoletnia praktyka opiniodawcy „wynajmowanego" przez Centralną Komisję do spraw Stopni i Tytułów, lecz także – jak starałem się pokazać – zdrowy rozsądek i szczypta wiedzy o mechanizmach rządzących światem nauki.

17

I jeszcze jedno.

Przypomnę pewien wiele mówiący fakt z XX-wiecznej historii mojej dyscypliny. Twardowski, założyciel Szkoły Lwowsko-Warszawskiej, otrzymał katedrę w 29. roku życia. Jego najznakomitsi uczniowie niewiele później: Tatarkiewicz – w 31. roku życia, a Łukasiewicz, Kotarbiński i Leśniewski – w 33. roku życia.

Żaden z nich – podobnie jak przedtem Kopernik – nie byłby w stanie w momencie awansu sprostać opisanym przeze mnie kryteriom parametrycznym. A przecież byli już znakomitymi naukowcami i dzięki swojej wcześnie jakościowo rozpoznanej pozycji akademickiej nadali ton nauce polskiej międzywojnia.

Nie stawiajmy więc bariery, której kandydaci na profesorów nie będą w stanie pokonać z przyczyn pozanaukowych!

Jacek Jadacki – profesor tytularny od 1995 roku, autor kilkunastu książek i około tysiąca mniejszych prac z zakresu filozofii i jej historii. W latach 2009 – 2010 – członek Rady Narodowego Centrum Badań i Rozwoju.

Plus Minus
„Cannes. Religia kina”: Kino jak miłość życia
Plus Minus
„5 grudniów”: Długie pożegnanie
Plus Minus
„BrainBox Pocket: Kosmos”: Pamięć szpiega pod presją czasu
Plus Minus
„Moralna AI”: Sztuczna odpowiedzialność
Materiał Promocyjny
Tech trendy to zmiana rynku pracy
Plus Minus
„The Electric State”: Jak przepalić 320 milionów
Materiał Partnera
Polska ma ogromny potencjał jeśli chodzi o samochody elektryczne