Jen letos skládali testy Obecných studijních předpokladů uchazeči o studium na pětapadesáti fakultách po celém Česku. Zkoušky, které se spíše než na znalosti zaměřují na dovednost myslet, používají tuzemské školy jako součást přijímaček už téměř třicet let. Jaké jsou trendy v jejich sestavování, jak jejich vymýšlení vlastně vypadá? Jak fungují takzvané adaptivní testy? A má biflování někdy smysl? V rozhovoru odpovídá Lenka Fiřtová.
Neptá se na letopočty nebo historické postavy, nezjišťuje, jestli student umí odříkat hlavní města pobaltských států. V testu Obecných studijních předpokladů (OSP) společnosti Scio studenti například doplňují slova do vět tak, aby dávaly smysl, nebo určují, která tvrzení z textu vyplývají. OSP zjišťují, jestli student umí logicky myslet, jestli rozumí textu či číselným údajům.
S testováváním formou OSP se v Česku začalo už v devadesátých letech, když vznikla společnost Scio – tu v roce 1995 založil Ondřej Šteffl právě s cílem vytvořit profesionální přijímací testy pro české vysoké školy. Inspirace přišla ze zahraničí, v USA byly v té době testy studijních předpokladů už dost běžné. Nejznámější jsou americké testy SAT nebo GRE, které vznikly ve třicátých letech minulého století, trvají zhruba tři hodiny a jsou součástí přijímacích zkoušek na tamní univerzity.
Lenka Fiřtová, aktuálně doktorandka Fakulty informatiky a statistiky na pražské VŠE, české testy OSP pomáhá vyvíjet. „Testy zmírňují nerovnosti v příležitostech. Je u nich totiž jedno, jestli se student na vysokou školu hlásí z elitního gymnázia, nebo z odborné školy,“ myslí si.
Jaké jsou trendy v testování a přijímacích testech na vysokých školách? Testuje se jinak než dejme tomu před deseti lety? Pokročilo to v něčem kupředu?
K nějakým extrémním změnám nedošlo, mnohé fakulty používají stejnou formu přijímaček už dlouhé roky. Některé fakulty od přijímacích zkoušek upouštějí úplně, berou třeba jen na průměr, což ale není moc vhodné, protože známky z různých středních škol nejsou navzájem srovnatelné. Na některých univerzitách se v poslední době mluví o vytvoření adaptivních testů.
Co jsou to adaptivní testy?
Jsou to testy, které se přizpůsobují uchazeči, a díky tomu mohou jeho schopnosti ověřit rychleji a přesněji. Většinou to vypadá tak, že uchazeč dostane několik náhodně vybraných otázek a podle toho, jak na ně odpovídá, jsou následující otázky snazší nebo obtížnější. Díky tomu může být test celkově kratší, protože se uchazeč nezdržuje otázkami, které jsou pro něj nepřiměřeně lehké nebo těžké. Samozřejmě adaptivní testy je nutné dělat na počítači a je potřeba mít k dispozici databázi úloh s klíčovými parametry, hlavně informaci o obtížnosti úlohy. S každou další zodpovězenou otázkou se zpřesňuje odhad schopností uchazeče, dokud se nedosáhne požadované přesnosti případně maximální délky testu. Uchazeči mohou mít pocit, že takové testování není spravedlivé, protože třeba dostali těžší úlohy než jejich spolužáci. To ale není pravda: díky tomu, že se testy provádějí na počítači, je možné pomocí pokročilých statistických metod zajistit plnou srovnatelnost výsledků. Nejčastěji se k tomu používají modely takzvané teorie odpovědi na položku, anglicky item response theory (IRT). Ve Sciu jsme vyvinuli například adaptivní testy z angličtiny, o čemž jsem spolu s kolegou napsala článek.
Hodně se v posledních letech mluví o testování soft skills nebo motivace, ale zavést takové testování je obtížné, zvlášť v případě přijímaček, které mají být co nejvíce transparentní a objektivní. Dá se motivace vůbec testovat?
Částečně lze motivaci zjišťovat znalostními testy, dá se zjišťovat i esejí, kde uchazeč popíše, co jej ke studiu oboru motivuje. Vycházíme z předpokladu, že pokud má uchazeč motivaci daný obor studovat, pak se o něj aktivně zajímá a orientuje se v něm, ještě než vůbec nastoupí na vysokou školu. V kontextu přijímacího řízení nevím o žádných testech zaměřených čistě na měření motivace ani u nás, ani v zahraničí. Měřit ji je totiž opravdu problematické, mimo jiné i proto, že motivace je mnohem vrtkavější než třeba inteligence. Často skloňovaným pojmem v kontextu vzdělávání je takzvaná vnitřní motivace. Tímto konceptem se zabývají moji kolegové ze ScioŠkol. Dotazníky, tedy ne testy v pravém slova smyslu, na zjišťování vnitřní motivace existují, pro přijímací řízení ale podle mého názoru vhodné nejsou.
Jaké jsou další novinky v testování na vysokých školách?
V letošním roce jsme samozřejmě viděli příklon některých fakult k online testování v reakci na koronavirovou krizi. Společnost Scio také letos nabídla několik online termínů. Co se v posledních letech určitě ještě děje, je větší vycházení vstříc uchazečům se specifickými potřebami. My třeba testy uzpůsobujeme pro uchazeče se smyslovými poruchami a poruchami učení a vidíme nárůst v počtu lidí, kteří toho využívají.
A jak konkrétně testy uzpůsobujete?
Nejčastěji se setkáváme s uchazeči se smyslovými poruchami nebo se specifickými poruchami učení. Takovým uchazečům například upravujeme zadání testu tak, aby s ním mohli lépe pracovat. Je to například zvětšení písma v případě uchazečů se zrakovým handicapem, přepis poslechových nahrávek u jazykových testů v případě uchazečů se sluchovým handicapem a podobně. Pak také upravujeme průběh zkoušky, například přidáme čas na řešení, přestávky a tak dále. Spolupracujeme s centry pro hendikepované uchazeče v Praze, Brně a Ostravě, kde je možné zkoušky v upraveném režimu skládat.
Jsou podle vás písemné testy vůbec nutné? Mohly by se úplně zrušit a zkoušet jen ústně? Mnoho studentů nedokáže křížkovat v tabulce odpovědí, ale když se jich zeptáte ústně, znalosti mají skvělé.
Ústní zkoušení u přijímaček je hodně náročné na lidské zdroje, na některé obory se hlásí tisíce lidí. Také je těžké zařídit, aby ústní zkoušení bylo naprosto objektivní a férové, to se u písemných testů dělá mnohem snáz. Pokud se fakulta rozhodne pro ústní zkoušení, je určitě potřeba mít jasně strukturovaná a popsaná kritéria hodnocení. Obecně bych ale doporučila ústní zkoušení vždycky doplnit i o písemný test, právě z výše popsaných důvodů.
Jsou i takoví studenti, kteří to mají naopak, tedy naživo jsou více nervózní a potřebují spíše psát?
Určitě jsou, ale statistiku toho, kolika lidem subjektivně vyhovuje písemný test více než ústní zkouška, bohužel nemám. Mohli bychom to ovšem zjistit dotazníkem, který studentům dáváme před testem OSP. Provádíme to již několik let a získali jsme různá zajímavá data, která jsou k dispozici online.
Jaké vychytávky a pokročilé metody mají při přijímačkách na univerzity v zahraničí?
Zmínila bych například americké zkoušky SAT (z původního názvu Scholastic Aptitude Test, tedy Zkouška dovedností žáka – pozn. red.). Jsou podobné testům OSP, ale jejich součástí může být i esej, to u nás moc často nemáme. Existují také testy GRE (The Graduate Record Examinations), které jsou zajímavé v tom, že jsou částečně adaptivní, takže umožňují testovat rychleji a přesněji. Obecně se v zahraničí věnuje testování větší pozornost než u nás, existují tam vysokoškolské obory, které jsou na to přímo zaměřené, třeba v USA, v Británii nebo v Nizozemí.
Kde se to konkrétně učí a jak tento obor vypadá?
V Evropě je známé například Psychometrics Centre v Cambridgi. Silné zázemí v oblasti psychometrie má dále například belgická univerzita KU Leuven nebo nizozemské University of Groningen, University of Twente a University of Amsterdam. Klade se zde velký důraz na kvantitativní metody, statistické analýzy a podobně. Obecně se jedná často o výzkumně zaměřené obory v pokročilejších fázích studia.
Má podle vás smysl tyto vysokoškolské obory zaměřené na testování zavádět i v Česku, nebo jsme na to malý trh?
Obory kombinující psychologii a jí příbuzné obory se silným zázemím v oblasti matematiky a kvantitativních metod rozhodně smysl mají. Nejde jen o sestavování přijímacích testů, měření v oblasti psychologie je poměrně běžné a mělo by se dělat dobře. Samozřejmě že i v Česku jsou součástí studia psychologie kvantitativní metody, ale i celý obor zaměřený cíleně na psychometrii by u nás určitě smysl měl.
S jakou myšlenkou vlastně testy OSP v Česku vznikly?
Cílem bylo doplnit běžné znalostní testy o ověření obecnějších schopností ke studiu. Schopností, které se student nemůže nabiflovat, ale pro studium vysoké školy jsou potřeba. Dalším cílem bylo vytvořit test, který bude méně odvislý od toho, z jak kvalitní střední školy se student na vysokou školu hlásí. Společnost Scio ale není jediná, kdo připravuje testy studijních předpokladů, některé fakulty si dělají vlastní.
Jaký je ten trend ve výsledcích OSP? Jsou čeští studenti při přijímačkách na vysokých školách v těchto testech více, nebo méně úspěšní než dejme tomu před pěti či deseti lety?
To se těžko porovnává, protože ta skupina lidí, která skládala test před pěti deseti lety není stejná jako dnes. Testy OSP uznává několik desítek fakult, jejichž struktura se v průběhu let mění, stejně jako se mění podíl populačního ročníku, který jde na vysokou školu. Nicméně, v USA se dělaly studie, které ukázaly, že se lidé v řešení testů studijních předpokladů stále zlepšují.
A podle vašeho subjektivního pocitu – zlepšují se i čeští studenti?
Kdybych to měla čistě subjektivně odhadnout, řekla bych, že testy OSP jdou studentům o něco lépe než před lety, kdy tu byly úplně nové. Ostatně bylo by to v souladu s trendem pozorovaným u podobných testů v USA, který jsem zmínila.
Čím to podle vás je?
Důvodů může být více. Určitě pomáhá to, že jsou testy studijních předpokladů rozšířenější než dříve, že se s nimi student častěji setká. Ví pak, do čeho jde, což snižuje stres a usnadňuje orientaci v testu. Vliv může mít i zvyšující se kvalita vzdělávacího systému. Ještě bych zmínila, že existují studie, podle kterých ve světové populaci postupně dochází k nárůstu skóre v testech inteligence, tomuto jevu se říká Flynnův efekt. Neexistuje ale jednoznačné vysvětlení, proč tomu tak je.
Když jsme u té inteligence, dokážou střední školy na OSP studenty připravit, nebo to prostě musí mít přirozeně v sobě, být od přírody chytří?
Výsledky v testu OSP s inteligencí určitě souvisí, dělali jsme na to před pár lety studii. Testy OSP jsou ale zaměřené primárně na ty složky inteligence, které student typicky využívá při studiu na vysoké škole. Tedy porozumění textu, schopnost hledat souvislosti, schopnost orientace v číselných údajích a podobně. Kvalita výuky na střední škole má menší vliv než u klasických předmětových testů, protože na test OSP se nedá takzvaně nadrtit. Což je ale ve skutečnosti záměr, díky této vlastnosti je test OSP spravedlivý a zmírňuje nerovnosti v příležitostech. Je pak totiž jedno, jestli se student na vysokou školu hlásí z elitního gymnázia, nebo z odborné školy.
Kdo a podle jakého klíče testy sestavuje?
Každý test vyvinutý společností Scio sestavuje tým odborníků na danou oblast, často jsou to středoškolští nebo vysokoškolští pedagogové. Vývoj testu zabere přibližně dva roky a stojí řádově několik desítek tisíc korun. Nejdříve se stanoví specifikace testu – tedy co má test zjišťovat. Pak autoři napíšou úlohy, těch se píše přibližně o polovinu více, než je potřeba, aby bylo z čeho vybírat. Za jejich kvalitu ručí tým garantů. Pak se úlohy pilotují – sbírají se statistiky úloh na menším vzorku studentů. Díky datům můžeme zjistit, jak kvalitní každá úloha je. Dobrá úloha je taková, která umí dobře rozlišovat mezi schopnějšími a méně schopnými studenty. Pak následuje sestavení testů a nakonec ještě několik kol takzvaných oponentur. Tedy posuzování testů odborníky, odchytávání nejasností, nevhodně formulovaných úloh a podobně. Cílem je, aby byl každý test zcela jasný, jednoznačný, aby v něm nebyl prostor pro spory nebo pochybnosti.
Letos byly OSP součástí přijímaček na mnoho vysokých škol. Proč vůbec vysoké školy OSP potřebují?
Fakulty, které se rozhodnou přijímat podle testu OSP, to typicky dělají proto, že chtějí ověřovat i další důležité předpoklady k úspěšnému studiu než jen naučené znalosti. Dalším důvodem využívání testů od společnosti Scio, ať už OSP, nebo jiných, může být i to, že fakulta nemá kapacitu nebo know-how na to vyvíjet si vlastní přijímačky, tak se obrátí na nás jako na profesionální firmu. Nebo chtějí, aby přijímací řízení bylo co nejvíce transparentní. Nebo chtějí zvýšit dostupnost pro studenty. Testy společnosti Scio je totiž možné skládat na desítkách míst v Česku i na Slovensku, a to několikrát do roka.
O čem přesně OSP vypovídají, co prověřují?
Test OSP obsahuje dva oddíly, Verbální a Analytický. Verbální oddíl prověřuje cit pro jazyk, schopnost porozumět textu a vyvodit z něj platné závěry, schopnost posoudit logickou soudržnost textu. Analytický oddíl zjišťuje schopnost orientace v grafech a tabulkách, schopnost určit, které údaje jsou potřebné pro řešení problému, schopnost hledat logické souvislosti a také základní matematické dovednosti, které ale nepřekračují učivo základní školy.
Pro které obory studia se hodí a pro které nikoliv?
Protože test zjišťuje obecné předpoklady ke studiu, hodí se pro všechny obory, jen někde je více relevantní než jinde. Určitě se nedá říct, že test OSP by byl pro všechny fakulty tou nejlepší volbou, například když se hlásíte na umělecký, třeba výtvarný obor, tak je důležitější, jestli umíte malovat. V každém případě platí, že fakulta, která se rozhodne test OSP využívat, mu může v rámci přijímaček dát větší, nebo menší váhu, podle toho, jak důležité pro ni testem měřené schopnosti jsou. (Přehled fakult, které Scio testy využívají, jsou k dispozici zde – pozn. red.)
Mohou se OSP mýlit? Tedy někdo je třeba neudělá, ale přesto by to byl výborný vysokoškolský student.
Na výsledek testu OSP můžou mít, ostatně jako v případě každého testu, vliv různé faktory, třeba únava nebo nesoustředěnost. I proto je možné test OSP opakovat. To, jak moc se test může mýlit, se dá i spočítat. My u všech našich testů zjišťujeme řadu jejich parametrů, jedním z důležitých parametrů je takzvaná reliabilita. To je zjednodušeně řečeno hodnota, která říká, jak přesné výsledky testování jsou a jakou roli ve výsledku hraje jen náhoda. Reliabilita se u OSP pohybuje dlouhodobě okolo 0,9. Technicky vzato, test OSP nejde neudělat. Student dostane nějaký percentil a fakulta někde udělá čáru, tedy určí percentil, od kterého přijímá. Každá fakulta si to určuje sama, může se to lišit i obor od oboru. Je dost nepravděpodobné, že by student s velmi nízkým percentilem byl na prestižní fakultě, která má tu čáru vysoko, výborným studentem. A pokud má někdo pocit, že zrovna neměl svůj den, může to zkusit znovu. V průměru se však s opakováním testu studenti zlepšují jen málo.
Co znamená málo?
Mezi první a druhou účastí se letos studenti zlepšili o 6,9 percentilového bodu, tam je nárůst nejvyšší, spousta si to jde napoprvé jen zkusit a ještě se rozkoukávají. Ovšem napodruhé už jsou si jistější. S dalšími účastmi zlepšování klesá. Při páté a další účasti už se studenti dokonce v průměru zhoršují. Jen malá část studentů ovšem test absolvuje více než dvakrát.
A co si obecně myslíte o přijímačkách na vysoké školy v Česku? Pokud se testy ptají na nabiflované znalosti typu, kdy se přesně narodil Karel IV., je to dobře, nebo špatně?
Přijímačky na vysoké školy je obtížné hodnotit plošně, mezi fakultami jsou velké rozdíly. Biflovací testy nechci odsuzovat, jsou fakulty, kde součástí studia je naučit se velké množství znalostí a tam pak může být dobré ověřit, jestli je toho student schopen. Navíc takzvaně biflovací testy můžou měřit částečně i motivaci, která má velký vliv na to, jestli student vysokou školu dostuduje.
Základem všeho je, aby fakulty věděly, co chtějí testovat a hlavně proč. Dobré přijímačky jsou takové, které dokážou vybrat dobré studenty. Tedy takové, kteří studium s velkou pravděpodobností dokončí. Ostatně to je účel přijímaček. Jak takové přijímačky vypadají, to už se může obor od oboru lišit. Souvislost mezi výsledky přijímaček a výsledky ve studiu se dá zjistit a podle toho přijímačky vhodně nastavit nebo poupravit.
A jaká ta souvislost mezi výsledky v přijímačkách a pak studijními výsledky tedy je?
O konkrétních fakultách hovořit nemůžeme a ta souvislost mezi přijímačkami a výsledky studia je u každé fakulty trochu jiná. Dělali jsme si ale i vlastní obecnější studii, která prokázala souvislost mezi získaným titulem a výsledkem v OSP.
Je nějaký obor či škola, kde jsou takové obecné testy studijních předpokladů podle Vás naprosto zbytečné, nefunkční?
Jako „naprosto zbytečné“ bych testy obecných studijních předpokladů neoznačila u žádného oboru. U každého vysokoškolského oboru je totiž potřeba umět porozumět psanému textu, chápat logické souvislosti a podobně. Jak už jsem ale zmínila, například u uměleckých oborů je klíčovou součástí přijímacího řízení zejména talentová zkouška.
Máte nějaký ideál testování či přijímaček, který by dával smysl vám, ale třeba z nějakého důvodu nejde?
Jak už jsem říkala, ideální přijímačky jsou takové, které dobře plní svůj účel, tedy vybírají studenty, kteří budou ve studiu úspěšní. A to se bude obor od oboru lišit, protože se liší i požadavky kladené na studenty během studia. Obecně si ale myslím, že kombinace testu studijních předpokladů a předmětového, tedy oborového, testu je často dobrou a přitom logisticky snadno zvládnutelnou volbou. Eseje a ústní pohovory mi přijdou jako vhodná součást přijímacího řízení v případě, že jsou dobře vyhodnocovány, tedy mají jasná bodovací kritéria, hodnocení není nepřiměřeně subjektivní a tak dále.
Je podle vás potřeba v českém systému přijímaček něco změnit?
Problematické jsou například situace, kdy existuje několik stejně bodovaných variant testu a uchazeči se následně vybírají podle počtu bodů, kterého dosáhli, i když jednotlivé varianty testu nejsou stejně obtížné. Pak jsou uchazeči s jednodušší variantou testu zvýhodněni.
Autorka je redaktorkou Hospodářských novin.