Ve vysokoškolské politice převládá názor, že čím aktivnější je vyučující ve výzkumu, tím kvalitněji učí. Data z Vysoké školy ekonomické ale toto tvrzení nepodporují. Analýza hodnocení 600 akademických pracovnic a pracovníků odhalila překvapivě slabou vazbu mezi výzkumnou činností vyučujících a spokojeností studujících s výukou. Jak je to možné? A co z toho vyplývá pro fungování univerzit?
Kvalitní výzkumná a tvůrčí činnost je obecně považována za nutný předpoklad pro to, aby akademici a akademičky mohli být kvalitními vyučujícími. Má se za to, že množství a kvalita publikací odráží jak odbornost vyučujících, tak jejich obecné výzkumné kompetence, které jsou nutnou (byť ne jedinou) podmínkou pro to, aby mohli studujícím úspěšně předávat aktuální a správné poznatky a jejich hluboké pochopení.
Tento předpoklad se propisuje do řady politik a nástrojů ve vysokém školství. Publikační výkonnost patří mezi kritéria, kterým je přikládána největší váha v akreditačním procesu. Žádosti o akreditace studijních programů jsou často zamítnuty právě s odkazem na nedostatečnou publikační činnost vyučujících, a to jak v případě akademických, tak i profesních programů.
Množství a kvalita publikací jsou také zásadním kritériem pro odměňování a kariérní růst v akademické sféře. Zásadní váha je jim přikládána v habilitačním a profesorském řízení a při výběrových řízení, a významně se propisují také do výše mezd.
V neposlední řadě se publikace výrazně promítají i do výpočtu příspěvku na činnost vysokých škol a také do výsledků mezinárodních žebříčků, které jsou jejich autory prezentovány jako důvěryhodný zdroj pro výběr školy pro studium.
Výsledkem je, že jak vysokým školám jako celku, tak jednotlivým akademickým pracovníkům se pragmaticky vyplatí investovat energii a zdroje spíše do výzkumu a článků než do zvyšování kvality výuky a péče o studující.
Předpoklad o vztahu mezi kvalitou výzkumné a vzdělávací činnosti ale stojí jen na omezené empirické evidenci.
Naši analýzu jsme proto postavili na následující úvaze: pokud platí, že (1) existuje závislost mezi publikační činností a kvalitou výuky jednotlivce, a (2) předmětové evaluace vyplňované studujícími na konci semestru alespoň do nějaké míry odrážejí kvalitu výuky, pak by (3) mělo být možné na reálných datech pozorovat závislost mezi publikační aktivitou pracovníků a pracovnic vysoké školy a jejich hodnocením v předmětových anketách.
Analyzovali jsme 63 000 dotazníků z VŠE
Jako základ pro analýzu jsme použili data z Vysoké školy ekonomické v Praze (VŠE). Stavěli jsme na rozsáhlém souboru 63 000 vyplněných evaluačních dotazníků za více než 1 000 různých předmětů v bakalářském a navazujícím magisterském studiu vyučovaných 600 vyučujícími v akademickém roce 2021/2022. Kromě ekonomie je na VŠE významně zastoupena i například oblast mezinárodních vztahů, marketingu nebo informatiky a řada programů zahrnuje silnou exaktní složku matematického modelování. Škála předmětů tak sahá od „měkkých“ společenskovědních po „tvrdé“ technické, a od výrazně aplikovaných a profesně orientovaných po vysoce teoretické a výzkumně zaměřené.
Studentské evaluační dotazníky na VŠE se vyznačují návratností téměř 50 %, což je výrazně více, než je běžné na řadě jiných vysokých škol. Z dotazníků jsme použili čtyři různé otázky, které mají odrážet různé dimenze kvality výuky: (a) kvalifikovanost a odbornost, (b) srozumitelnost výkladu a schopnost vysvětlit látku, (c) připravenost přednášek/cvičení a (d) zájem a schopnost odpovídat a řešit dotazy/problémy studentů. Studenti své vyučující hodnotí na čtyřbodové škále, kde vyšší číslo znamená lepší hodnocení (4 = nejlepší, 1 = nejhorší).
Výsledky studentských evaluací byly propojeny s databází publikačních výsledků pracovnic a pracovníků VŠE. Pro každého jednotlivce bylo sestaveno „publikační skóre“ na základě počtu a typu jeho výstupů v letech 2021–2022. Průměrné publikační skóre 14 odpovídá zhruba jednomu článku ve WoS nebo čtyřem článkům v českých recenzovaných časopisech ročně.
Vztah mezi publikačním skóre a výsledky hodnocení je zanedbatelný
Výsledek analýzy je jednoznačný – neodhalili jsme žádnou významnou závislost.
Pozorované korelační koeficienty pro vztah mezi jednotlivými položkami dotazníku a publikačním výkonem vyučujících se pohybovaly v rozsahu od -0,015 do +0,017, jde tedy o zcela zanedbatelnou závislost. Jak ukazují grafy níže, většina vyučujících je studujícími hodnocena pozitivně, bez ohledu na svou publikační aktivitu, a naopak hůře hodnocení vyučující se objevují jak mezi málo publikačně aktivními, tak mezi těmi, kdo několikanásobně překonávají průměr publikačního skóre.
Výsledky nebyly významně odlišné, ani když jsme se podívali separátně na studující navazujícího magisterského studia, u kterých očekáváme větší odbornost předmětů.
Stejně tak jsme neodhalili významné odchylky, ani když jsme se podívali samostatně na jednotlivé fakulty. U fakulty s nejvíce výzkumným profilem, která se vyznačuje nejvyšší celkovou publikační aktivitou vyučujících, byly pozorované závislosti ještě slabší než na většině ostatních fakult.
Zvážili jsme i možné vysvětlení, že publikačně aktivnější akademici a akademičky učí náročnější kurzy nebo od svých studentů očekávají kvalitnější výstupy a přísněji je hodnotí, což se propisuje zpětně i do studentského hodnocení. Víme totiž, že obecně do omezené míry platí, že předměty, ve kterých studenti dostávají v průměru horší známky, jsou zároveň v dotaznících hůře hodnoceny. V našem vzorku jsme ale neodhalili žádnou závislost mezi publikačním skóre akademika či akademičky a známkou, kterou jeho studenti a studentky dostali – tento faktor by tedy výsledky ovlivnit neměl.
Na data je samozřejmě možné se dívat i kriticky. Všechny ukazatele jsou výrazně zešikmené – publikační skóre většiny akademiků a akademiček se pohybuje blízko mediánu, ale nejaktivnější autoři je překonávají několikanásobně; naopak většina studentských hodnocení je převážně pozitivní a výrazně negativních je jen pár. Způsob sestavení publikačního skóre je navíc do jisté míry subjektivní a komplexitu výzkumné aktivity akademiků neodráží dokonale. Nezdá se ale, že by preciznější konstrukce ukazatele (například rozlišením článků podle impakt faktoru nebo oborových kvantilů časopisů) mohla mít na výsledky významný vliv.
Tak jako tak, tato analýza nenabízí žádnou oporu pro přesvědčení, že existuje jakákoli významná souvislost mezi výzkumem a kvalitou výuky.
Výsledky otevírají důležitou debatu o zajišťování kvality
Empirická data jsou tedy v rozporu s teoretickými předpoklady uvedenými v úvodu. Možných vysvětlení je více.
Zaprvé je možné, že předmětové dotazníky vůbec neodráží skutečnou kvalitu výuky, tedy že studující kvalitu vyučujících nedokážou vůbec nijak ohodnotit a výsledky jsou čistě náhodné. V tom případě bychom ale měli urychleně zapracovat na vytvoření nových a validnějších nástrojů, které je nahradí. Bez solidních dat o výstupech nemůžeme vůbec mluvit o validním zajišťování kvality výuky. Osobně se nám ale nezdá, že by slabá validita dotazníků měla být jediným vysvětlením – dotazníky jsou jistě nedokonalé, ale zdá se nepravděpodobné, že by jejich výsledky neměly vůbec žádný vztah k realitě ani v jedné ze sledovaných položek.
Zadruhé samozřejmě nemůžeme vyloučit, že do dat vstupuje nějaká další proměnná, která skutečný vztah mezi výzkumem a kvalitou výuky zastírá. Rozhodně jsme otevření diskusi. V tuto chvíli ale žádné takové silné vysvětlení v ruce nemáme.
Nakonec nám zbývá poslední možné vysvětlení – a tedy to, že výzkumný výkon, resp. kvalitní publikace, kvalitu výuky nejen nezaručují, ale ani nepodmiňují.
To by znamenalo, že tlak na další zvyšování publikační aktivity nejen že nepřinese zvýšení kvality učení, ale naopak ji může dále snižovat, protože akademičky a akademici budou výuce věnovat ještě méně pozornosti na úkor výzkumu a psaní článků. Zároveň by to signalizovalo, že vytrvalé zamítání akreditací na základě nedostatečných publikací je neefektivně vynaloženou energií a pouhou iluzí zajišťování kvality ve vysokém školství. A implikace by to mělo i pro mezinárodní žebříčky a význam, který je jim přisuzován.
Závěry naší analýzy jsou v souladu s některými předchozími zahraničními výzkumy. Profesoři Hattie a Marsh došli ke stejným závěrům již v roce 1996 na základě přehledu 58 studií z celého světa. Palali, Elk, Bolhaar a Rud pak v roce 2018 porovnávali rozdíl mezi studujícími, které jeden předmět učili různí vyučující, ale zakončovali ho všichni stejným testem. V jejich studii se ukázalo, že vyučující s vyšším publikačním výkonem jsou přínosnější pouze pro magisterské kurzy, ale na bakalářském stupni nemá výzkumná činnost žádný měřitelný vliv.
Nechceme činit ukvapené závěry na základě jedné analýzy postavené na datech z jedné vysoké školy. Naopak uvítáme, pokud podobné studie vzniknou i na jiných vysokých školách, s jinou podobou studentských dotazníků a v jiných oborech. Jsme otevřeni kritické diskusi. Zdá se nám ale, že příběh o souvislosti mezi kvalitou výzkumu a výuky by přinejmenším neměl být nekriticky přijímán jako danost, dokud nebude podepřen robustní empirickou evidencí.