Analiza danych o studentach wpływa na jakość kształcenia

Optymalny kandydat na studia to nie osoba o najwyższym potencjale akademickim mierzonym wynikiem matury, ale ktoś, kto najpełniej wykorzysta możliwości oferowane przez konkretną uczelnię.

Publikacja: 15.11.2016 22:00

Foto: 123RF

Uczelnie definiują studenci. Co prawda nowoczesny uniwersytet łączy role kształcenia z prowadzeniem badań i misją społeczną, jednak to właśnie studenci i ich kształcenie odróżniają uczelnie od instytucji takich jak instytuty badawcze czy towarzystwa naukowe. Poprawa jakości kształcenia – czy szerzej relacji pomiędzy studentem a uczelnią – powinna być zatem kluczowym elementem strategii rozwoju szkoły wyższej.

Niestety, jakość ta jest trudno mierzalna. Nie jest ona również dominującym czynnikiem w rankingach. Z tych powodów uczelnie często koncentrują swoje strategie rozwojowe na innych obszarach – takich jak badania, publikacje czy oddziaływanie społeczne uczelni i jej prestiż.

Europejskie standardy oceny jakości

Jednak w ostatnich latach widać zwiększenie nacisku na jakość kształcenia – przykładem tego jest np. brytyjski mechanizm Teaching Excellence Framework czy skoncentrowanie zadań Polskiej Komisji Akredytacyjnej właśnie na ocenie jakości kształcenia. Kluczowe problemy z oceną jakości kształcenia wiążą się zarówno z poszukiwaniem kryteriów badania jakości edukacji, jak i z zastosowaniem poprawnej metodologii weryfikacji wypełniania kryteriów jakościowych przez instytucje szkolnictwa wyższego. W ramach procesu bolońskiego dąży się do przyjęcia dla uczelni wyższych, ale również innych instytucji takich jak agencje akredytacyjne, kryteriów zapewniania jakości kształcenia.

Te kryteria przybrały formę Europejskich Standardów i Wskazówek dla Zapewnienia Jakości Kształcenia Wyższego (European Standards and Guidelines for Quality Assurance in the European Higher Education Area – ESG) przyjętych po raz pierwszy w 2005 roku przez ministrów z krajów europejskich. Ostatnia wersja tego dokumentu została przyjęta w 2015 roku i stanowi zestaw podstawowych kryteriów oceny jakości kształcenia wykorzystywanych również w Polsce.

Są nimi: program kształcenia i jego realizacja, wewnętrzny system zapewniania jakości kształcenia, kwalifikacje nauczycieli akademickich, współpraca z otoczeniem społeczno-gospodarczym, umiędzynarodowienie, badania naukowe, infrastruktura oraz wsparcie studentów w procesie kształcenia. Obok kryteriów oceny jakości kluczowym wyzwaniem pozostaje metoda ich weryfikacji.

Rozwój wewnętrznych systemów zarządzania jakością jest jedną z metod zapewnienia jakości wewnątrz uczelni, ale ma on również swoje ograniczenia. Należy do nich chociażby daleko idąca ekspansja metod zarządzania w uczelniach, która może skutkować nadmierną formalizacją i biurokratyzacją w procesie kształcenia.

Z kolei dominacja perspektywy kultury jakości oparta na tradycyjnym etosie uniwersytetu i tożsamości pracownika akademickiego może skutkować konserwatyzmem i oporem wobec zmian potrzebnych w świecie uczelni. Zatem dla doskonalenia jakości kształcenia potrzebne jest jej zrozumienie i badanie oraz rozwój innowacyjnych metod jej oceny.

Amerykańskie rozwiązania

Od 40 lat amerykańskie uczelnie wykorzystują rozwiązania Strategic Enrollment Management (SEM) opisywane jako ważny element kształtowania jakości kształcenia. Choć teoretycznie oznacza to jedynie zarządzanie rekrutacją, to przymiotnik „strategiczny" umieszcza rekrutację w pełnym kontekście budowania relacji ze studentem.

Celem SEM jest pozyskanie nie tyle jak największej liczby studentów, ile odpowiedniej liczby optymalnych studentów. W powyższym zdaniu kluczowe jest właściwe zrozumienie słowa „optymalni". Nie chodzi tu bowiem o osoby o najwyższym potencjale akademickim (mierzonym nie najgorzej w USA przez egzamin SAT, a w Polsce przez maturę), ile o osoby, które najpełniej wykorzystają możliwości oferowane przez konkretną uczelnię.

Właśnie tacy kandydaci po ukończeniu studiów mogą je kontynuować na kolejnym etapie, po podjęciu pracy będą utrzymywać łączność ze swoją Alma Mater, a ostatecznie staną się jej donatorami.

Zakres aktywności obejmowanych przez SEM zmieniał się w ciągu lat, coraz szerzej obejmując różne aspekty funkcjonowania uczelni. Początkowo koncentrowały się one na połączeniu rekrutacji z jej kontekstem finansowym (zapewnianiu ważnej części przychodów uczelni, organizacji wsparcia finansowego dla kandydatów). Obecnie najczęściej obejmują również działania zmierzające do zapewnienia sukcesu przyjętych studentów. Coraz częściej rozumianego nie tylko jako skuteczne przeprowadzenie ich przez pełen cykl studiów, ale i odpowiednie wprowadzenie ich na rynek pracy.

Kluczowym elementem SEM jest dogłębna analiza danych, co ma umożliwić podejmowanie właściwych decyzji, często kwestionujących wcześniejszą praktykę. Punktem wyjścia jest tu stworzenie profili optymalnych studentów. Co ważne, profile te mogą i powinny być zróżnicowane dla różnych kierunków i form studiów oferowanych przez uczelnię.

SEM na polskim gruncie

W ciągu ostatniego roku próby użycia metod i narzędzi SEM zostały podjęte w Polce przez PCG Polska. Zostały one zainicjowane w Akademii Leona Koźmińskiego pod koniec 2015 roku. Po uzyskaniu wstępnych rezultatów rozszerzono je na dziesięć uczelni uczestniczących w projekcie pilotażowym „Analityka edukacyjna w szkołach wyższych". Był on prowadzony przez PCG Polska i Fundację Rektorów Polskich.

Pilotaż umożliwił zbadanie losów ponad 140 tys. kandydatów przyjętych na studia pierwszego stopnia na przełomie I i II dekady XXI wieku. Było nim objęte około 10 proc. populacji osób, które rozpoczynały studia w tym okresie. Badanie zostało rozpoczęte w czerwcu, a jego szczegółowe wyniki zaprezentowano uczestniczącym w nim uczelniom w sierpniu i wrześniu.

Kandydat optymalny

Badanie zakładało budowanie profili optymalnych kandydatów poprzez szukanie związku pomiędzy wynikami egzaminów maturalnych przyjętych kandydatów a ich losem na studiach. Matura to – zgodnie z przedwojenną definicją – egzamin dojrzałości do podjęcia studiów wyższych. To diagnoza „na wejściu", którą próbowaliśmy wykorzystać w tworzeniu profili optymalnych studentów.

Szybko się okazało, że wyniki egzaminu traktowane jako procent uzyskanych punktów – a takie dane przechowywane są na uczelniach – nie były dobrym prognostykiem akademickich losów przyjętych kandydatów. Więcej o prawdopodobieństwie ukończenia studiów mówiła informacja o ukończonej szkole średniej. W badaniu skupiliśmy się więc na ich analizie.

W ilu szkołach zdawali maturę badani studenci? Odpowiedzieć na to pytanie nie była łatwa. W populacji, którą poddano analizie, dominowały co prawda osoby, które podejmowały studia pierwszego stopnia bezpośrednio po maturze, a więc w pierwszej dekadzie XXI wieku, jednak były tam też osoby, które zdawały maturę w latach 60. XX wieku.

Dane pozyskane z uczelni przed standaryzacją nazw szkół wskazywały ponad 50 tys. różnych szkół. Obecnie jednak w Polsce funkcjonuje blisko 6 tys. szkół kończących się maturą (66 proc. z nich to licea ogólnokształcące). W badanym okresie została przeprowadzona głęboka zmiana struktury szkół maturalnych.

Zlikwidowano lub przekształcono licea profilowane (alternatywa dla techników) stanowiące sztandarowy model szkoły ponadgimnazjalnej zgodnie z założeniami reformy oświaty z 1999 roku. Podobny los spotkał dwuletnie licea i trzyletnie technika uzupełniające na podbudowie zasadniczej szkoły zawodowej dla młodzieży.

Głęboko przebudowano szkolnictwo dla dorosłych – likwidując zasadnicze szkoły zawodowe, technika, licea i technika uzupełniające, pozostawiając tylko licea ogólnokształcące. Poza tymi przekształceniami systemowymi, wynikającymi z nowelizowanych przepisów, dokonano zmian wynikających z lokalnych potrzeb w około 2 tys. placówek.

Skąd przychodzą studenci

Ministerialny Rejestr Szkół i Placówek Oświatowych (RSPO) zasadniczo przechowuje informacje o aktywnych szkołach. Z tego powodu w badaniu wykorzystaliśmy bazę Instytutu Badań Edukacyjnych utworzoną na potrzeby zrównywania wyników egzaminów i obliczania edukacyjnej wartości dodanej, zawierającą 11 tys. identyfikatorów szkół, w których zdawano egzamin maturalny w przynajmniej jednym roku w okresie 2010–2016.

Korzystając z tych danych, opracowano metodę identyfikacji szkoły studenta poprzez (1) dokonanie korekty nazwy szkoły – ortografia, wyróżnienie składowych nazwy takich jak miejscowość, numer szkoły i patron, (2) porównanie z wzorcem – liczba szkół z bazy IBE, których nazwy mają te same cechy, składowe, (3) ewentualne wykorzystanie dodatkowych informacji pozwalających na przypisanie studentowi nazwy i adresu szkoły z bazy IBE.

Po standaryzacji nazw szkół uzyskaliśmy wynik, który mocno nas zaskoczył, a który wskazuje na istotną koncentrację naboru studentów w niewielkiej liczbie szkół. Okazało się, że dziesięć uczelni objętych badaniem w ciągu sześciu lat pozyskało studentów z 4300 różnych szkół maturalnych. Jednak 50 proc. z przyjętych kandydatów pochodziło zaledwie z 5 proc. tych szkół, a 90 proc. studiujących z jednej czwartej szkół. Charakterystyka ta również dość dobrze opisywała każdą z badanych uczelni.

Kandydaci coraz bardziej mobilni

Bardzo ważną obserwacją dotyczącą pochodzenia przyjętych kandydatów było zdecydowane zwiększenie ich mobilności w badanym okresie. Po zidentyfikowaniu szkół kandydatów wprowadziliśmy przy każdym studencie informację o odległości między uczelnią a ukończoną szkołą średnią. Była ona wyrażana zarówno w kilometrach, jak i w bliskości administracyjnej.

Wyróżniliśmy kandydatów pochodzących ze szkół powiatu, w którym ma siedzibę wydział uczelni, na którym studenci rozpoczęli studia, z innych powiatów tego samego województwa oraz spoza województwa. O ile odsetek osób z innych powiatów tego samego województwa był względnie stały, o tyle zdecydowanie zmalała liczba osób z tego samego powiatu na rzecz osób spoza województwa.

Tak mierzona mobilność kandydatów jest jedynie nieznacznie większa w przypadku studentów studiów niestacjonarnych. Jest również bardzo podobna u pań i panów – była to jedna z nielicznych cech, w której podział na płeć nie różnicował wyników badania.

W samej liczbie przyjętych kandydatów podział na płeć nie był równy. W badanej populacji panie stanowiły 53 proc. osób. To mniej niż w całej populacji studentów w Polsce, gdzie mamy 56 proc. kobiet, ale ich niższy odsetek w badanej grupie wynikał z obecności dwóch dużych politechnik w objętych pilotażem uczelniach.

Stacjonarni studenci częściej z dyplomem

Jedną z podstawowych zasad SEM jest konieczność analizowania rekrutacji w kontekście akademickich losów studenta. Rekrutacja ma bowiem dostarczać studentów najlepiej przygotowanych do skorzystania z oferty uczelni. Najczęściej skuteczność tego działania mierzona jest poprzez analizę poziomu dyplomowania studentów – odsetka przyjętych kandydatów, którzy otrzymują dyplom. Badanie wskazało, że jest to obszar, w którym uczelnie mają duże możliwości poprawy.

W Stanach Zjednoczonych dla studiów pierwszego stopnia, które trwają tam cztery lata, poziom dyplomowania mierzy się najczęściej jako odsetek studentów, którzy uzyskali dyplom w ciągu sześciu lat od rozpoczęcia studiów. Dla kandydatów przyjętych w roku 2008 ten odsetek wynosił 59,6 proc.

W naszym badaniu dla tego samego rocznika wyniósł on jedynie 49 proc. Wynik ten jest znacząco wyższy wśród studentów studiów stacjonarnych – dla roku 2008 wynosił on 56 proc.

Ogółem w całym badaniu 47 proc. osób, które podjęły studia w latach 2007-2012, otrzymało dyplom na uczelni na której rozpoczęła studia. 7 proc. spośród badanych osób, jest jeszcze aktywnymi studentami. Połowa z nich to osoby na pięcioletnich jednolitych studiach magisterskich zaś połowę stanowią osoby, które przedłużały studia pierwszego stopnia. Oznacza to, że w badanej populacji do 54 proc. osób uzyskało lub miało szansę na uzyskanie dyplomu.

Elitarność motywuje

W USA istnieje bardzo silna korelacja pomiędzy selektywnością (trudnością dostania się na studia) uczelni a stopniem dyplomowania. Na uczelniach, na których rozpoczyna studia nie więcej niż co czwarty kandydat, procent osób uzyskujących dyplom to prawie 90 proc. przyjętych na studia.

Przeprowadzone w Polsce badanie nie wskazało takiej korelacji dla wszystkich szkół wyższych. Widać ją jednak wewnątrz uczelni, gdzie elitarne i najbardziej pożądane kierunki studiów (np. kierunek lekarski, weterynaria, prawo) mają bardzo wysokie poziomy dyplomowania.

Przeprowadzone badanie wskazuje kilka prawidłowości dotyczących poziomu dyplomowania w polskich uczelniach.

Panie bardziej skuteczne

Jedną z prawidłowości jest fakt, że większy odsetek kobiet niż mężczyzn uzyskuje dyplom. Podobną prawidłowość widać zresztą również w Stanach Zjednoczonych; dla pań rozpoczynających studia w 2008 roku poziom dyplomowania wynosił 62,3 proc, dla panów jedynie 56,5 proc.

W opisywanym badaniu w Polsce poziom dyplomowania wyniósł odpowiednio 55 proc. i 41 proc. Należy dodać, że tak rozumiana większa skuteczność pań w studiowaniu dotyczy nie tylko każdej z badanych uczelni, ale również każdego z kierunków. Na przykład w całym badaniu na kierunkach informatycznych, gdzie dominują liczebnie panowie, 43,7 proc. pań uzyskało dyplom, natomiast 42,2 proc. panów.

Badania dowodzą również, że też tradycyjny model studiowania wciąż zapewnia najwyższe prawdopodobieństwo uzyskania dyplomu. W USA od lat zauważa się odchodzenie od tradycyjnego modelu studiowania – około 50 proc. studentów nie zaczyna studiów bezpośrednio po szkole, przerywa je, wznawia, przenosi się między kierunkami czy uczelniami. Jednak takie zmiany nie są dobrym prognostykiem uzyskania dyplomu.

W naszym badaniu 19 proc. osób zmieniało kierunki w ramach uczelni lub wznawiało przerwane na niej studia. W grupie tej poziom dyplomowania wynosił jedynie 30 proc. Wyraźnie maleje również szansa na uzyskanie dyplomu wraz ze wzrostem wieku rozpoczęcia studiów. Dla osób podejmujących je w wieku 19 lat wynosi ona blisko 60 proc. i spada do 20 proc. przy rozpoczynaniu studiów w 25. roku życia.

Odległość od domu sprzyja nauce

Pilotażowy projekt „Analityka edukacyjna w szkołach wyższych" wykazał też, że dyplom częściej uzyskują osoby podejmujące studia poza miejscem zamieszkania. Po wyliczeniu odległości pomiędzy siedzibą wydziału a ukończoną szkołą średnią uzyskaliśmy następujące relacje pomiędzy tą odległością mierzoną w kilometrach a poziomem dyplomowania (wykres 3).

Wnioski uczelni

Wyniki pilotażu były przedmiotem wielu rozmów z pracownikami poszczególnych uczelni, w których przeprowadzono badanie,.Omawiano je też podczas otwartych prezentacji w trakcie spotkań kanclerzy i rektorów organizowanych przez Fundację Rektorów Polskich.

Podczas rozmów przedstawiciele uczelni zauważyli następujące obszary działań wspomagających rekrutację i utrzymanie studentów:

1. Identyfikowanie szkół o dużym poziome dyplomowania ich absolwentów na różnych kierunkach studiów

W badaniu nie wykazano silnej korelacji pomiędzy wynikami egzaminu maturalnego a akademickimi losami przyjętych kandydatów. Zauważono jednak silny związek pomiędzy prawdopodobieństwem ukończenia studiów a ukończoną szkołą średnią.

Choć wydaje się to dość oczywiste, dopiero szczegółowe sprawdzenie wskazało, że korelację tę należy badać nie wobec całej uczelni, ale poszczególnych oferowanych kierunków.

W wielu przypadkach szkoły postrzegane jako wiodące prym w kształceniu dobrych kandydatów przygotowywały ich jedynie do części często najważniejszych kierunków dla uczelni. Na innych, mniej popularnych kierunkach absolwenci tych szkół radzili sobie dużo gorzej.

2. Szukanie kandydatów w większej odległości od uczelni

Wobec zwiększonej mobilności kandydatów powszechnie zauważano konieczność przesunięcia działań rekrutacyjnych do dalej położonych szkół. Bardzo przydatne jest w tym stworzenie charakterystyk szkół, z których pochodzi wielu dobrych kandydatów, i poszukiwanie podobnych szkół w większej odległości od uczelni.

3. Indywidualne podejście do studenta

Różny poziomu dyplomowania dla pań i panów, kandydatów pochodzących z różnych szkół, podejmujących studia w miejscu zamieszkania i poza nim czy osób w różnym wieku umożliwia określenie osób zagrożonych nieukończeniem studiów. Według wielu praktyków i badań kluczowe dla zwiększenia szansy ukończenia studiów jest umożliwienie studentowi nawiązania indywidualnej relacji z uczelnią. Służyć temu może chociażby odpowiednie tworzenie grup, zaoferowanie różnorodnej oferty pozaedukacyjnej czy indywidualne programy wsparcia.

4. Konieczność dalszych badań

Wnioski wyciągnięte z opisywanego badania wskazują wyraźnie, że uczelnie potrzebują dokładniejszej analizy dostępnych dane oraz zwiększania ich zakresu. Dostępność narzędzi efektywnej analizy oraz tworzenia modeli prognostycznych jest szansą na zwiększenie nie tylko rekrutacji, ale i poziomu dyplomowania studentów.

Marek Legutko, ekspert PCG Academia, członek zarządu Polskiego Towarzystwa Diagnostyki Edukacyjnej, współtwórca Krakowskiej OKE, dyrektor CKE w latach 2005–2008

Leszek Lewoc, prezes Zarządu PCG Academia, autor elektronicznych systemów diagnostycznych i edukacyjnych

prof. dr hab. Łukasz Sułkowski, wiceprzewodniczący Polskiej Komisji Akredytacyjnej, Uniwersytet Jagielloński, Społeczna Akademia Nauk

Uczelnie definiują studenci. Co prawda nowoczesny uniwersytet łączy role kształcenia z prowadzeniem badań i misją społeczną, jednak to właśnie studenci i ich kształcenie odróżniają uczelnie od instytucji takich jak instytuty badawcze czy towarzystwa naukowe. Poprawa jakości kształcenia – czy szerzej relacji pomiędzy studentem a uczelnią – powinna być zatem kluczowym elementem strategii rozwoju szkoły wyższej.

Niestety, jakość ta jest trudno mierzalna. Nie jest ona również dominującym czynnikiem w rankingach. Z tych powodów uczelnie często koncentrują swoje strategie rozwojowe na innych obszarach – takich jak badania, publikacje czy oddziaływanie społeczne uczelni i jej prestiż.

Pozostało 96% artykułu
Praca
Rekordowa liczba studenckich staży w Programie Kariera
Praca
Dyplom nadal pomaga na starcie
Praca
Mobbing w miejscu pracy – jak sobie radzić z przemocą i nękaniem
Praca
Migranci zarobkowi krótko mieszkają pod dachem pracodawcy. Samodzielni Ukraińcy
Praca
Setki lat chorobowego z powodu wypadków. Praca w sklepach bywa niebezpieczna