Žebříčků přibývá. K čemu (ne)jsou dobré?

Na Boloňskou univerzitu se v květnu sjeli odborníci z celého světa, aby na desáté výroční konferenci Hodnocení: výzva pro vysoké školství (Rankings: A Challenge to Higher Education) diskutovali, zda a jaké žebříčky univerzity a veřejnost potřebují. Jejich počet se sice v posledních deseti letech neustále zvyšuje (aktuální evidence uvádí 45 mezinárodních žebříčků a další téměř stovku národních žebříčků vysokých škol z 35 zemí světa), ale problémem například je, že čerpají často ze stejných (bibliometrických) zdrojů dat – a ne vždy zcela relevantních. Žebříčky navíc neposkytují pouze informace uchazečům o studium, ale ovlivňují také vysokoškolskou politiku států i jednotlivých škol. Prosazují například určitý model úspěšné univerzity a posilují nerovnosti mezi školami i státy. Čtěte komentář Jana Kouckého.

Na začátku května 2019 (ve dnech 8.–10. 5.) se konala již 10. výroční konference věnovaná světovým žebříčkům vysokých škol, kterou pořádala společně Boloňská univerzita a mezinárodní organizace IREG Observatory on Academic Ranking and Excellence, tentokrát v historických prostorách nejstarší světové univerzity v italské Bologni (Alma Mater Studiorum – Università di Bologna). Přestože tyto konference IREG mohou mít různá tematická zaměření, jejich hlavním smyslem je setkání a diskuse čtyř klíčových zainteresovaných skupin: představitelů univerzit a vysokých škol, zástupců vlády a ministerstev, významných expertů na mezinárodní hodnocení a žebříčky vysokých škol a reprezentantů organizací, které mezinárodní žebříčky vysokých škol vytvářejí.

Konference s názvem Hodnocení: výzva pro vysoké školství určitě nebyla místem, kde by zaznívala přílišná chvála a gratulace organizacím, které vytvářejí mezinárodní žebříčky vysokých škol. Žádný z řečníků nepochyboval o tom, že mezinárodní i národní žebříčky ve vysokoškolském světě mají své místo a také v něm nadále budou působit (v současnosti IREG registruje 45 mezinárodních žebříčků ve svém Inventory of International Rankings a další téměř stovku národních žebříčků vysokých škol z 35 zemí světa ve svém Inventory of National Rankings). Avšak přítomní nositelé a tvůrci vysokoškolské politiky (ministři či jejich náměstci), mnozí rektoři a prorektoři, ale i odborníci a samotní hodnotitelé podrobně a kriticky rozpitvávali a rozebírali jejich pozitivní, ale především negativní stránky.

Právě to také považuji za hlavní smysl a přínos konference IREG: prostřednictvím odborně mimořádně zasvěcené diskuse o plusech a minusech současných nejvýznamnějších mezinárodních žebříčků vysokých škol (nejčastěji se diskutovalo šest žebříčků v následujícím pořadí: QS, THE, ARWU, U-Multirank, Best Global Universities Rankings a CWTS Leiden Ranking – jejich zástupci se také konference aktivně účastnili) usilovat o formulování hlavních cílů, zásad a úkolů v dalším vývoji a směřování mezinárodních žebříčků a globálního hodnocení vysokých škol.

Žebříčky, které vysoké školy považují za nejvýznamnější a které na ně mají největší dopady

V roce 2014 provedla Evropská asociace univerzit (EUA) mezi svými členy šetření, ve kterém představitelé vysokých škol v Evropě uváděli žebříčky, které jsou podle jejich názoru nejvýznamnější, nejvlivnější nebo na ně mají největší vliv. QS, THE a ARWU se ukázaly jako nejvýznamnější. Vedle nich však byly uváděny například i národní žebříčky nebo žebříčky zahrnující pouze vybrané obory. Zajímavé ovšem je, že 2 % respondentů uvedla jako významný U-Multirank, který však v době šetření ještě nezveřejnil ani první výsledky. Ukazuje to jak očekávání, která v té době vzbuzoval, tak i do jisté míry nedokonalou komunikaci mezi školami a zpracovateli žebříčků.

Klady a zápory mezinárodních žebříčků

Prvním vystupujícím, který k žebříčkům vyjádřil (diplomaticky) své výhrady, byl profesor Jaroslaw Gowin, místopředseda polské vlády a polský ministr vědy a vysokého školství, který na konferenci IREG 2019 v Bologni přednesl jeden z hlavních referátů. „Velký dopad žebříčků vysokých škol na jednotlivé instituce i na celé vysokoškolské systémy klade na jejich autory značnou odpovědnost,“ prohlásil ve svém vystoupení Jaroslaw Gowin. Dodal, že „vysoká kvalita poskytnutých údajů je nezbytným předpokladem pro zajištění vysoké kvality jakýchkoli žebříčků vysokých škol“. Ministr Gowin vyzval hodnotící organizace, které žebříčky vytvářejí, mimo jiné k nalezení správných způsobů měření kvality výuky (vzdělávací role vysokých škol) a měření spolupráce mezi akademickou obcí a ekonomikou (tzv. třetí role vysokých škol).

Ve druhé části svého vystoupení vyložil ministr Gowin mezinárodnímu publiku dosavadní průběh reformy vysokého školství v Polsku i chystané další kroky, které mají být realizovány ještě do konce roku 2019. Zdůraznil rovněž, že Evropská komise i zahraniční experti kladně hodnotili postup přípravy, průběh diskusí i první etapu zavádění polské reformy. Obsáhle jsme o reformě již informovali ve třech článcích v magazínu Universitas: Polsko reformuje vysoké školství (3. 11. 2017), Evropští experti doporučili radikální reformu polského vysokého školství (8. 11. 2017) a Nový polský zákon: víc moci rektorům, méně pro fakulty (28. 1. 2019). A je zřejmé, že se k tématu polské vysokoškolské reformy znovu vrátíme.

Další z hlavních vystoupení na konferenci IREG 2019 měla profesorka Ellen Hazelkorn, která je považována dlouhodobě za jednoho z nejrespektovanějších světových (akademických) odborníků na kvalitu a žebříčky vysokých škol a na jejich vliv na vývoj jednotlivých institucí i celého vysokého školství. V této souvislosti musíme připomenout alespoň její klíčovou publikaci Rankings and the Reshaping of Higher Education: The Battle for World-Class Excellence, která vyšla poprvé již v roce 2009, avšak nově doplněná a přepracovaná se dočkala druhého vydání v roce 2015; současně byla přeložena do řady světových jazyků. Za pozornost ovšem stojí rovněž další publikace Global rankings and the geopolitics of higher education. Understanding the influence and impact of rankings on higher education, policy and society z roku 2016, s příspěvky od řady světových odborníků, jejíž byla Ellen Hazelkorn jedinou editorkou a k níž napsala skvělý úvod.

Ve svém vystoupení Snaha o prestiž nebo o kvalitu? (In Pursuit of Prestige or Quality?) zdůraznila profesorka Hazelkorn mimořádnou odpovědnost organizací vytvářejících žebříčky. Prestiž vysokých škol přitom považuje za hnací a trvalou sílu, která stojí za značným ohlasem a významem žebříčků. Poznamenala však, že v žebříčcích jde prestiž jedné univerzity na úkor ostatních. Bohaté elitní univerzity v globálních metropolích jsou pak schopny maximalizovat svoji „absorpční kapacitu“ – na rozdíl od vysokoškolských institucí s nižším statusem v subregionech – a tím vzájemnou pozici dále posilovat. Žebříčky tak podle ní dále výrazně posilují nerovnosti mezi vysokoškolskými institucemi.

Při snaze prosadit své univerzity na mezinárodní scéně soustředí totiž tvůrci politik na úrovni státu (regionu), ale i jednotlivých vysokých škol mnohdy významné výhody a zdroje jen na určité instituce, které podle nich mohou vést k dosažení mezinárodní excelence. Priority a prostředky jsou tak přesouvány mnohem více na dosahování excelence vysokých škol v globálním výzkumu než na naplňování regionálních a komunitních strategií, které jsou však pro společnost neméně potřebné a důležité. Na mnoha příkladech z řady zemí se přitom ukazuje, že v této hře nejsou ani vlády, ale ani univerzity jen „nevinnými oběťmi“.

Žebříčky tedy neposkytují pouze informace, ale spoluvytvářejí a posilují strukturální nerovnosti v konkrétních společnostech i na celém světě. V této souvislosti profesorka Hazelkorn důrazně poukázala na to, že právě proto již nestačí hovořit o společenské odpovědnosti vysokých škol, ale že je nejvyšší čas začít naléhat i na společenskou odpovědnost samotných organizací, které žebříčky vytvářejí.

Někteří vystupující kritizovali žebříčky i za to, že ve svých hodnoceních dávají příliš vysokou váhu prestiži vysokoškolských institucí. Například již zmiňovaný polský místopředseda vlády a ministr pro vědu a vysoké školství Jaroslaw Gowin měl výhrady k tomu, že hodnocení prestiže „není příliš transparentní“, a to jak z hlediska způsobu sběru dat od mezinárodní akademické komunity, ale také z hlediska jejich následného zpracování a vytváření ukazatelů prestiže.

Profesorka Ellen Hazelkorn poznamenala, že zatímco skutečná prestiž vysoké školy je dlouhodobá a obtížně vytvářená charakteristika, „průzkumy reputace jsou postaveny na principu, že všeobecná známost instituce v akademickém prostředí je jedním z rozhodujících indikátorů její kvality“.

Rovněž další globálně respektovaný odborník na hodnocení vysokých škol profesor Richard Holmes (publikuje opravdu zajímavé a zasvěcené články o mezinárodních i národních žebříčcích vysokých škol především na svém velmi známém a kvalitním blogu University Ranking Watch) vyjádřil své výhrady k tomu, že nejvýznamnější celosvětové (globální) žebříčky vysokých škol, jako je Times Higher Education nebo QS, kladou právě na mezinárodní prestiž univerzit příliš velký význam.

Výzkumné univerzity jsou jen jedním z vysokoškolských sektorů

Skutečně zajímavé bylo vystoupení Dirka Van Damma, vedoucího Odboru vzdělání a kvalifikací v OECD, přestože anebo spíš právě proto, že se netýkalo jen nejlepších vysokých škol, které se umisťují v žebříčcích. Dirk Van Damme totiž problematiku nahlédnul z obecnějšího hlediska vývoje celých systémů vysokého školství v jednotlivých zemích. Vycházel přitom z některých předběžných závěrů, které OECD formuluje v rámci projektu Enhancing Higher Education System Performance (2016-2019). Zásadní argumentaci OECD lze shrnout do následujících bodů:

• Mezinárodně uznávané výzkumné univerzity (které se umisťují v mezinárodních žebříčcích) představují velmi významný, atraktivní a naprosto legitimní úspěšný model; nelze ho však chápat jako jediný možný model úspěšné vysoké školy.
• Napodobování tohoto úspěšného modelu (silně prosazovaného právě žebříčky) se v posledních letech v řadě zemí stalo až příliš významným hybatelem vysokoškolské politiky na celostátní i institucionální úrovni, což vede k opomíjení jiných úspěšných modelů a do určité míry oslabuje potřebnou diverzifikaci vysokého školství.
• Mezi tím, jaká hodnotící kritéria tento model (a žebříčky) prosazuje, a tím, co všechno od vysokých škol potřebují moderní komplexní společnosti, existují totiž obrovské rozdíly (zejména v období, kdy roste poptávka po kvalifikované pracovní síle).
• Vysokoškolské systémy rozvinutých zemí se – nehledě na silný vliv žebříčků – přesto přirozeně diverzifikují do několika odlišných institucionálních modelů; velkým úkolem však nadále zůstává, jak tuto rozmanitost vysokoškolských systémů učinit srozumitelnější a transparentní.
• Závěry OECD prokazují, že vedle výkonově orientovaných univerzit, zaměřených především na špičkový výzkum a rozsáhlou internacionalizaci, fungují ve většině systémů rovněž školy méně orientované na takto měřitelný výkon, které usilují o uspokojování potřeb svého prostředí, regionální ekonomiky a studentů, kteří nemusí směřovat k mezinárodním kariérám.

Charakteristiky univerzitního a profesního/odborného sektoru vysokého školství

V roce 2014 byl mezi představiteli různých typů vysokých škol v Evropě realizován (v rámci mezinárodního projektu HAPHE) empirický výzkum zaměřený na postihnutí hlavních charakteristik jednotlivých škol a na analýzu rozdílů mezi nimi. Celkem jednoznačně se přitom projevily rozdíly mezi charakteristikami univerzitních (akademicky orientovaných) škol a profesně zaměřených odborných škol (orientovaných na pracovní trh).

V následujícím grafu jsou zřetelně patrné rozdíly ve významu osmi klíčových charakteristik pro univerzity (University) na jedné straně a pro profesní školy (PHE Institutions) na straně druhé.

Role a zodpovědnost vysokých škol

Na roli samotných vysokých škol upozornili i další vystupující. „Univerzity si zahrávají s ohněm, když se chlubí a přeceňují své úspěchy v mezinárodních žebříčcích vysokých škol a používají výsledky žebříčků k posílení svých vlastních pozic. Podněcují tím totiž vládní apetit pro měření všeho a riskují tak poškození svých vlastních zájmů, neboť vlády a úředníci mají sklon využívat žebříčky proti nám,“ prohlásila například rektorka Maastrichtské univerzity Rianne Letschert.

Rik Van de Walle, rektor Univerzity v Gentu, prosazoval, že povinností akademických představitelů je uvádět výsledky univerzit v mezinárodních žebříčcích v širším kontextu. „Musíte vysvětlit, co ty výsledky ve skutečnosti znamenají. Existuje totiž mnoho mezinárodních hodnocení a žebříčků, které však neříkají nic jiného, než pouze to, co měří. Je však naší odpovědností předat tuto zprávu také politikům a vysokým vládním úředníkům. Musíme jim to vysvětlovat a musíme to pořád opakovat.“

Připojil se i bývalý rektor Univerzity v Kapském městě Max Price, když kritizoval, že žebříčky podporují pouze neužitečnou soutěž mezi univerzitami. „Systém hodnocení je obecně vadný a pro vysokoškolský sektor je zcela nevhodný. Existují lepší způsoby, jak získané ukazatele náležitě využívat.“ Dr. Price uvedl, že „pořadová“ povaha univerzitních žebříčků, s individuálně hodnocenými výkonnostmi, má sklon zakrývat skutečný pokrok. „Každý usiluje jen o to, umístit se lépe než ti ostatní,“ dodal. Upozornil na to, že univerzita může například zlepšit své výsledky v oblasti výuky, výzkumu i mezinárodní reputace, publikovat více významných titulů a získat větší počet citací než kdykoli předtím, a přesto v ligové tabulce spadne o 10 míst. „Můžete se meziročně zlepšit ve všech kritériích, a přesto v žebříčku klesnout, prostě proto, že vás deset jiných předstihlo. Vaše pozice v žebříčku tudíž nutně není ukazatelem toho, zda jste pracovali lépe nebo hůře.“ Uvedl, že upřednostňuje přístup podobný systému jedno až pětihvězdičkových hotelů, protože univerzity s reálnými úspěchy, reputací a počty publikací, které jsou typické pro 200 nejlepších univerzit, si opravdu zaslouží uznání jako takové. „Studenti a vlády chtějí a mají vědět, že jste v určité skupině (pásmu) kvality či excelence. Počet univerzit ve vyšších pásmech by však neměl být omezen; pokud některá škola daná kritéria splňuje, má do něj být prostě zařazena,“ uvedl.

Claudio Colaiacomo, viceprezident společnosti Elsevier pro vztahy s vládami a s vysokými školami, na jedné straně souhlasil s tím, že například zhoršující se hodnocení v žebříčcích skutečně může univerzitu ohrozit. Dodal však, že univerzity jsou dnes na straně druhé součástí znalostní ekonomiky a politici, vlády a vrcholní státní úředníci oprávněně chtějí a mají být schopni zhodnotit společenský přínos vysokých škol. Doktor Colaiacomo uvedl, že pro „časově zaneprázdněné“ lidi, jako jsou právě politici nebo vysocí vládní úředníci, jsou jednotlivé číselné údaje, jako je například pořadí v mezinárodním žebříčku vysokých škol, „snadněji stravitelné“. Údaje v žebříčcích by však měly obsahovat i další podrobnější informace o výsledcích jednotlivých vysokých škol. „Výzvou je překročit toto číslo (pořadí v žebříčku) a vyprávět širší příběh školy,“ zdůraznil na závěr.

Využívání velkých dat a umělé inteligence

Zjednodušeně lze říci, že mezinárodní hodnocení vysokých škol nemůže být lepší, než informace (údaje, data), na nichž je postaveno a které do něj vstupují. Kvalita v žebříčcích používaných informací (údajů a dat) se také stala jedním z hlavních témat projednávaných na konferenci IREG v Bologni. Na s tím související zajímavé a vážné otázky obrátil pozornost v jedné z panelových diskuzí Daniel Guhr z mezinárodní konzultační firmy zaměřené na strategie ve vědě, výzkumu a ve vysokém školství Illuminate Consulting Group.

Upozornil totiž na další problém související s informacemi a daty, jejichž množství se neustále velice rychle zvyšuje a postupně se proměňují v cosi, co lze přirovnat k hlubokým a nedostatečně probádaným datovým jezerům (big data). „Kdo bude těmito datovými jezery procházet, kdo bude jejich obsah analyzovat? Hodnocené instituce, poskytovatelé dat, konzultanti, institucionální analytici, technické firmy, někdo ještě jiný?“ ptal se Daniel Guhr.

Předpověděl, že analytika založená na umělé inteligenci – usazené na vrcholu trojciferných miliard datových položek – začne postupně upřednostňovat globální univerzitní prostředí. Univerzity budou muset docela rychle přecházet od pouhých analýz základního hodnocení své vlastní instituce (mnohdy ovšem nemají dobře zpracované ještě ani to) k mnohem sofistikovanějšímu přístupu – globální a kontextuální metrice výkonů. Guhr varoval: „Instituce, které již přecházejí a brzy přejdou na rozhodování a řízení vysoké školy založené na datech a analýzách, postupně převálcují a na periférii odsunou ty instituce, které se při rozhodnutí budou nadále opírat pouze nebo především o své názory a přání.“

V rámci panelové diskuse o dalších přístupech ke zpracování velkého množství dat o vysokých školách, která jsou již dnes na mezinárodní úrovni k dispozici, se rovněž mluvilo o možnostech vytvoření nějakého globálního metarankingu vysokých škol, a tedy také o projektu Cross Ranking, který již několik let rozpracovává Středisko vzdělávací politiky Pedagogické fakulty Univerzity Karlovy, a o naší čerstvé anglicky psané publikaci Cross Ranking 2018, kterou jsem na konferenci představoval. V rámci diskuse jsem zároveň přislíbil zveřejnění nové zprávy Cross Ranking 2019 ještě do konce roku 2019, což účastníci diskuse považovali za důležité.

A co bude dál?

IREG Observatory pro zlepšování akademického hodnocení a excelenci vysokých škol zahájil svou vlastní iniciativu IREG Data Initiative, jejímž cílem je zajistit, aby údaje a především údaje poskytované vysokými školami byly ve všech hlavních žebříčcích jednotnější jak z hlediska jejich definice a metodologie, tak i z hlediska způsobu jejich sběru. Vysokým školám se tak mimo jiné výrazně usnadní sběr a předávání informací.

Profesor Luiz Claudio Costa, současný prezident IREG Observatory a bývalý ministr školství Brazílie a rektor univerzity, ve svém závěrečném vystoupení zdůraznil tři otázky, které jsou zásadní pro diskuse týkající se budoucnosti hodnocení vysokých škol, a to jak pro ně samotné, tak pro vlády a státní správu i pro celou společnost:
1. Správa údajů a vlastnictví dat; kdo bude informace sbírat, kde budou uchovávány a kdo s nimi bude moct pracovat.
2. Využití moderních technologií – zvláště umělé inteligence – v dalším vývoji vytváření žebříčků vysokých škol.
3. Zásadní zdokonalení těch ukazatelů hodnocení, které jsou zaměřené na kvalitu výuky a třetí funkci vysokých škol a mají tedy reflektovat potřeby společností.

Žebříčky již nejsou jakýmsi mýtickým mediálním fenoménem. Odborníci na univerzitách a rovněž alespoň někteří tvůrci vysokoškolských politik jim dnes mnohem lépe rozumějí a jsou schopni s nimi dále odpovídajícím způsobem pracovat. Přestože počet mezinárodních akademických žebříčků stále roste, většina zainteresovaných ví, že žebříčky čerpají ze stejných zdrojů dat, velmi často z dat bibliometrické povahy. Proto také univerzity a tvůrci politik nyní kladou mnohem více otázek než dříve a oprávněně požadují, aby organizace, které hodnotí vysoké školy, dělaly podstatně více – zejména pokud jde o metodologickou i datovou transparentnost žebříčků a o ukazatele hodnotící kvalitu výuky a společenskou odpovědnost vysokých škol.

Na úplný závěr konference vystoupili zástupci početné delegace z Číny a pozvali všechny přítomné – kterých bylo na letošní konferenci IREG zhruba 150 – na příští 11. konferenci IREG, která se bude konat na podzim roku 2020 v Pekingu.

Autor je vedoucím Střediska vzdělávací politiky Pedagogické fakulty Univerzity Karlovy.