Analýza podobnosti výsledků přijímacího řízení na FIS VŠE Kristýna Vltavská Petr Mazouch katedra ekonomické statistiky Vysoká škola ekonomická v Praze

Struktura vystoupení Úvod do problematiky a stanovené cíle Přijímací řízení na bakalářské studijní obory Data Metodologie Základní charakteristika souboru Vyhodnocení výsledků Diskuze

Úvod do problematiky Individuální přístupy jednotlivých VŠ k přijímaní studentů Nekalé praktiky uchazečů vykonávajících přijímací zkoušku Cíl: pomocí pravděpodobnostního modelu zachytit podezřele vysoké počty shodných odpovědí mezi jednotlivými uchazeči

Přijímací řízení na bakalářské studijní obory Přijímací řízení z matematiky a anglického jazyka Multiple-choice, pouze jedna odpověď správná Anglický jazyk - 50 otázek, 2 body/otázka Matematika – 10 otázek po 5 bodech, 5 otázek po 10 bodech 2 varianty na místnost, ve všech místnostech stejné Stanovené minimální hranice úspěšnosti u testu: 50 bodů/předmět Zabránění opisování: 2 různé varianty na místnost, předem určený zasedací pořádek, přítomnost vyučujících dohlížejících na dodržování pravidel

Data Odpovědi uchazečů na jednotlivé otázky z přijímacího řízení do akademického roku 2014/2015, správné odpovědi pro danou variantu, dosažené počty bodů jednotlivých uchazečů Úskalí datových souborů: Stejný akademický rok – nelze porovnávat různá časová období K dispozici pouze 4 varianty testů z každého předmětu

Metodologie (I) Pravděpodobnostní model určený k odhadování párů osob, které jsou podezřelé z opisování na základě shodnosti jejich odpovědí a dosažených výsledků (G.O. Weselowsky) Cílem modelu je testování hypotézy H0, že vybraný pár neopisoval Aproximace počtu shodných odpovědí pomocí normálního rozdělení Metoda vhodná pro větší datové soubory Umožňuje zúžit okruh testovaných párů pouze na ty, které podezíráme na základě vysoké hodnoty normované náhodné veličiny

Metodologie (II) Hladina významnosti Určuje, jak velkou chybu prvního druhu připustíme => nepravdivé obvinění testovaného páru z opisování Stanovení záleží na druhu použití modelu α=0,01 – k potvrzení opisování páru, který jsme podezřívali již na základě dřívějšího pozorování α=0,05/N – všeobecná analýza, zda účastníci opisovali

Základní charakteristika souboru

Zájem o studijní obory

Vyhodnocení výsledků

Vyhodnocení testů Předmět Počet uchazečů Procento úspěšných uchazečů *) Průměrný počet získaných bodů Procento vynechaných odpovědí Matematika 698 58,5 % 57,7 0,7% Anglický jazyk 681 86 % 68 0,1 % *) Jedná se o ty uchazeče, kteří v daném předmětu překročili minimální bodovou hranici úspěšnosti testu, která je stanovena na 50 bodů.

Hledání párů podezřelých z opisování n – počet účastníků testu 77 j-tá osoba opisující navzájem s k-tou 2 44 68 k-tá osoba opisující navzájem s j-tou 57 60 74 Z - normovaná hodnota normálního rozdělení 3,224795 3,673554 4,913394 M - Počet shodných odpovědí daného páru 11 15 P-hodnota - za předpokladu že daný pár byl předem podezřelý 0,000823 0,000246 1,7E-07 P-hodnota - za předpokladu že daný pár nebyl předem podezřelý 2,407465 0,719432 0,000497 cj - poměr správných odpovědí ze všech pro j-tou osobu 0,533333 0,466667 ck - poměr správných odpovědí ze všech pro k-tou osobu 0,4 0,333333

Počty podezřelých párů Předmět Hladina významnosti Počet spolusedících párů α = 0,01 α = 0,05/N Matematika 22 5 Anglický jazyk 32 Celkem 54 10

Diskuze

Opisování Při použití hladiny významnosti 0,05/N se u přijímacího řízení do akademického roku 2014/2015 jedná o minimální problém – 0,7 % uchazečů Při využití hladiny významnosti 0,01 se jedná o 5 % podezřelých v anglickém jazyce a 3 % v matematice Prevence při přijímacím řízení Zvýšení počtu dohlížejících osob Zaměření se především na zadní řady

Děkuji za pozornost kristyna.vltavska@vse.cz mazouchp@vse.cz