Analiza danych o studentach wpływa na jakość kształcenia

Uczelnie definiują studenci. Co prawda nowoczesny uniwersytet łączy role kształcenia z prowadzeniem badań i misją społeczną, jednak to właśnie studenci i ich kształcenie odróżniają uczelnie od instytucji takich jak instytuty badawcze czy towarzystwa naukowe. Poprawa jakości kształcenia – czy szerzej relacji pomiędzy studentem a uczelnią – powinna być zatem kluczowym elementem strategii rozwoju szkoły wyższej.

Niestety, jakość ta jest trudno mierzalna. Nie jest ona również dominującym czynnikiem w rankingach. Z tych powodów uczelnie często koncentrują swoje strategie rozwojowe na innych obszarach – takich jak badania, publikacje czy oddziaływanie społeczne uczelni i jej prestiż.

Europejskie standardy oceny jakości

Jednak w ostatnich latach widać zwiększenie nacisku na jakość kształcenia – przykładem tego jest np. brytyjski mechanizm Teaching Excellence Framework czy skoncentrowanie zadań Polskiej Komisji Akredytacyjnej właśnie na ocenie jakości kształcenia. Kluczowe problemy z oceną jakości kształcenia wiążą się zarówno z poszukiwaniem kryteriów badania jakości edukacji, jak i z zastosowaniem poprawnej metodologii weryfikacji wypełniania kryteriów jakościowych przez instytucje szkolnictwa wyższego. W ramach procesu bolońskiego dąży się do przyjęcia dla uczelni wyższych, ale również innych instytucji takich jak agencje akredytacyjne, kryteriów zapewniania jakości kształcenia.

Te kryteria przybrały formę Europejskich Standardów i Wskazówek dla Zapewnienia Jakości Kształcenia Wyższego (European Standards and Guidelines for Quality Assurance in the European Higher Education Area – ESG) przyjętych po raz pierwszy w 2005 roku przez ministrów z krajów europejskich. Ostatnia wersja tego dokumentu została przyjęta w 2015 roku i stanowi zestaw podstawowych kryteriów oceny jakości kształcenia wykorzystywanych również w Polsce.

Są nimi: program kształcenia i jego realizacja, wewnętrzny system zapewniania jakości kształcenia, kwalifikacje nauczycieli akademickich, współpraca z otoczeniem społeczno-gospodarczym, umiędzynarodowienie, badania naukowe, infrastruktura oraz wsparcie studentów w procesie kształcenia. Obok kryteriów oceny jakości kluczowym wyzwaniem pozostaje metoda ich weryfikacji.

Rozwój wewnętrznych systemów zarządzania jakością jest jedną z metod zapewnienia jakości wewnątrz uczelni, ale ma on również swoje ograniczenia. Należy do nich chociażby daleko idąca ekspansja metod zarządzania w uczelniach, która może skutkować nadmierną formalizacją i biurokratyzacją w procesie kształcenia.

Z kolei dominacja perspektywy kultury jakości oparta na tradycyjnym etosie uniwersytetu i tożsamości pracownika akademickiego może skutkować konserwatyzmem i oporem wobec zmian potrzebnych w świecie uczelni. Zatem dla doskonalenia jakości kształcenia potrzebne jest jej zrozumienie i badanie oraz rozwój innowacyjnych metod jej oceny.

Amerykańskie rozwiązania

Od 40 lat amerykańskie uczelnie wykorzystują rozwiązania Strategic Enrollment Management (SEM) opisywane jako ważny element kształtowania jakości kształcenia. Choć teoretycznie oznacza to jedynie zarządzanie rekrutacją, to przymiotnik „strategiczny" umieszcza rekrutację w pełnym kontekście budowania relacji ze studentem.

Celem SEM jest pozyskanie nie tyle jak największej liczby studentów, ile odpowiedniej liczby optymalnych studentów. W powyższym zdaniu kluczowe jest właściwe zrozumienie słowa „optymalni". Nie chodzi tu bowiem o osoby o najwyższym potencjale akademickim (mierzonym nie najgorzej w USA przez egzamin SAT, a w Polsce przez maturę), ile o osoby, które najpełniej wykorzystają możliwości oferowane przez konkretną uczelnię.

Właśnie tacy kandydaci po ukończeniu studiów mogą je kontynuować na kolejnym etapie, po podjęciu pracy będą utrzymywać łączność ze swoją Alma Mater, a ostatecznie staną się jej donatorami.

Zakres aktywności obejmowanych przez SEM zmieniał się w ciągu lat, coraz szerzej obejmując różne aspekty funkcjonowania uczelni. Początkowo koncentrowały się one na połączeniu rekrutacji z jej kontekstem finansowym (zapewnianiu ważnej części przychodów uczelni, organizacji wsparcia finansowego dla kandydatów). Obecnie najczęściej obejmują również działania zmierzające do zapewnienia sukcesu przyjętych studentów. Coraz częściej rozumianego nie tylko jako skuteczne przeprowadzenie ich przez pełen cykl studiów, ale i odpowiednie wprowadzenie ich na rynek pracy.

Kluczowym elementem SEM jest dogłębna analiza danych, co ma umożliwić podejmowanie właściwych decyzji, często kwestionujących wcześniejszą praktykę. Punktem wyjścia jest tu stworzenie profili optymalnych studentów. Co ważne, profile te mogą i powinny być zróżnicowane dla różnych kierunków i form studiów oferowanych przez uczelnię.

SEM na polskim gruncie

W ciągu ostatniego roku próby użycia metod i narzędzi SEM zostały podjęte w Polce przez PCG Polska. Zostały one zainicjowane w Akademii Leona Koźmińskiego pod koniec 2015 roku. Po uzyskaniu wstępnych rezultatów rozszerzono je na dziesięć uczelni uczestniczących w projekcie pilotażowym „Analityka edukacyjna w szkołach wyższych". Był on prowadzony przez PCG Polska i Fundację Rektorów Polskich.

Pilotaż umożliwił zbadanie losów ponad 140 tys. kandydatów przyjętych na studia pierwszego stopnia na przełomie I i II dekady XXI wieku. Było nim objęte około 10 proc. populacji osób, które rozpoczynały studia w tym okresie. Badanie zostało rozpoczęte w czerwcu, a jego szczegółowe wyniki zaprezentowano uczestniczącym w nim uczelniom w sierpniu i wrześniu.

Kandydat optymalny

Badanie zakładało budowanie profili optymalnych kandydatów poprzez szukanie związku pomiędzy wynikami egzaminów maturalnych przyjętych kandydatów a ich losem na studiach. Matura to – zgodnie z przedwojenną definicją – egzamin dojrzałości do podjęcia studiów wyższych. To diagnoza „na wejściu", którą próbowaliśmy wykorzystać w tworzeniu profili optymalnych studentów.

Szybko się okazało, że wyniki egzaminu traktowane jako procent uzyskanych punktów – a takie dane przechowywane są na uczelniach – nie były dobrym prognostykiem akademickich losów przyjętych kandydatów. Więcej o prawdopodobieństwie ukończenia studiów mówiła informacja o ukończonej szkole średniej. W badaniu skupiliśmy się więc na ich analizie.

W ilu szkołach zdawali maturę badani studenci? Odpowiedzieć na to pytanie nie była łatwa. W populacji, którą poddano analizie, dominowały co prawda osoby, które podejmowały studia pierwszego stopnia bezpośrednio po maturze, a więc w pierwszej dekadzie XXI wieku, jednak były tam też osoby, które zdawały maturę w latach 60. XX wieku.

Dane pozyskane z uczelni przed standaryzacją nazw szkół wskazywały ponad 50 tys. różnych szkół. Obecnie jednak w Polsce funkcjonuje blisko 6 tys. szkół kończących się maturą (66 proc. z nich to licea ogólnokształcące). W badanym okresie została przeprowadzona głęboka zmiana struktury szkół maturalnych.

Zlikwidowano lub przekształcono licea profilowane (alternatywa dla techników) stanowiące sztandarowy model szkoły ponadgimnazjalnej zgodnie z założeniami reformy oświaty z 1999 roku. Podobny los spotkał dwuletnie licea i trzyletnie technika uzupełniające na podbudowie zasadniczej szkoły zawodowej dla młodzieży.

Głęboko przebudowano szkolnictwo dla dorosłych – likwidując zasadnicze szkoły zawodowe, technika, licea i technika uzupełniające, pozostawiając tylko licea ogólnokształcące. Poza tymi przekształceniami systemowymi, wynikającymi z nowelizowanych przepisów, dokonano zmian wynikających z lokalnych potrzeb w około 2 tys. placówek.

Skąd przychodzą studenci

Ministerialny Rejestr Szkół i Placówek Oświatowych (RSPO) zasadniczo przechowuje informacje o aktywnych szkołach. Z tego powodu w badaniu wykorzystaliśmy bazę Instytutu Badań Edukacyjnych utworzoną na potrzeby zrównywania wyników egzaminów i obliczania edukacyjnej wartości dodanej, zawierającą 11 tys. identyfikatorów szkół, w których zdawano egzamin maturalny w przynajmniej jednym roku w okresie 2010–2016.

Korzystając z tych danych, opracowano metodę identyfikacji szkoły studenta poprzez (1) dokonanie korekty nazwy szkoły – ortografia, wyróżnienie składowych nazwy takich jak miejscowość, numer szkoły i patron, (2) porównanie z wzorcem – liczba szkół z bazy IBE, których nazwy mają te same cechy, składowe, (3) ewentualne wykorzystanie dodatkowych informacji pozwalających na przypisanie studentowi nazwy i adresu szkoły z bazy IBE.

Po standaryzacji nazw szkół uzyskaliśmy wynik, który mocno nas zaskoczył, a który wskazuje na istotną koncentrację naboru studentów w niewielkiej liczbie szkół. Okazało się, że dziesięć uczelni objętych badaniem w ciągu sześciu lat pozyskało studentów z 4300 różnych szkół maturalnych. Jednak 50 proc. z przyjętych kandydatów pochodziło zaledwie z 5 proc. tych szkół, a 90 proc. studiujących z jednej czwartej szkół. Charakterystyka ta również dość dobrze opisywała każdą z badanych uczelni.

Kandydaci coraz bardziej mobilni

Bardzo ważną obserwacją dotyczącą pochodzenia przyjętych kandydatów było zdecydowane zwiększenie ich mobilności w badanym okresie. Po zidentyfikowaniu szkół kandydatów wprowadziliśmy przy każdym studencie informację o odległości między uczelnią a ukończoną szkołą średnią. Była ona wyrażana zarówno w kilometrach, jak i w bliskości administracyjnej.

Wyróżniliśmy kandydatów pochodzących ze szkół powiatu, w którym ma siedzibę wydział uczelni, na którym studenci rozpoczęli studia, z innych powiatów tego samego województwa oraz spoza województwa. O ile odsetek osób z innych powiatów tego samego województwa był względnie stały, o tyle zdecydowanie zmalała liczba osób z tego samego powiatu na rzecz osób spoza województwa.

Tak mierzona mobilność kandydatów jest jedynie nieznacznie większa w przypadku studentów studiów niestacjonarnych. Jest również bardzo podobna u pań i panów – była to jedna z nielicznych cech, w której podział na płeć nie różnicował wyników badania.

W samej liczbie przyjętych kandydatów podział na płeć nie był równy. W badanej populacji panie stanowiły 53 proc. osób. To mniej niż w całej populacji studentów w Polsce, gdzie mamy 56 proc. kobiet, ale ich niższy odsetek w badanej grupie wynikał z obecności dwóch dużych politechnik w objętych pilotażem uczelniach.

Stacjonarni studenci częściej z dyplomem

Jedną z podstawowych zasad SEM jest konieczność analizowania rekrutacji w kontekście akademickich losów studenta. Rekrutacja ma bowiem dostarczać studentów najlepiej przygotowanych do skorzystania z oferty uczelni. Najczęściej skuteczność tego działania mierzona jest poprzez analizę poziomu dyplomowania studentów – odsetka przyjętych kandydatów, którzy otrzymują dyplom. Badanie wskazało, że jest to obszar, w którym uczelnie mają duże możliwości poprawy.

W Stanach Zjednoczonych dla studiów pierwszego stopnia, które trwają tam cztery lata, poziom dyplomowania mierzy się najczęściej jako odsetek studentów, którzy uzyskali dyplom w ciągu sześciu lat od rozpoczęcia studiów. Dla kandydatów przyjętych w roku 2008 ten odsetek wynosił 59,6 proc.

W naszym badaniu dla tego samego rocznika wyniósł on jedynie 49 proc. Wynik ten jest znacząco wyższy wśród studentów studiów stacjonarnych – dla roku 2008 wynosił on 56 proc.

Ogółem w całym badaniu 47 proc. osób, które podjęły studia w latach 2007-2012, otrzymało dyplom na uczelni na której rozpoczęła studia. 7 proc. spośród badanych osób, jest jeszcze aktywnymi studentami. Połowa z nich to osoby na pięcioletnich jednolitych studiach magisterskich zaś połowę stanowią osoby, które przedłużały studia pierwszego stopnia. Oznacza to, że w badanej populacji do 54 proc. osób uzyskało lub miało szansę na uzyskanie dyplomu.

Elitarność motywuje

W USA istnieje bardzo silna korelacja pomiędzy selektywnością (trudnością dostania się na studia) uczelni a stopniem dyplomowania. Na uczelniach, na których rozpoczyna studia nie więcej niż co czwarty kandydat, procent osób uzyskujących dyplom to prawie 90 proc. przyjętych na studia.