Analýza podobnosti výsledků přijímacího řízení na FIS VŠE

Prezentace na téma: "Analýza podobnosti výsledků přijímacího řízení na FIS VŠE"— Transkript prezentace:

1 Analýza podobnosti výsledků přijímacího řízení na FIS VŠE
Kristýna Vltavská Petr Mazouch katedra ekonomické statistiky Vysoká škola ekonomická v Praze

2 Struktura vystoupení Úvod do problematiky a stanovené cíle
Přijímací řízení na bakalářské studijní obory Data Metodologie Základní charakteristika souboru Vyhodnocení výsledků Diskuze

3 Úvod do problematiky Individuální přístupy jednotlivých VŠ k přijímaní studentů Nekalé praktiky uchazečů vykonávajících přijímací zkoušku Cíl: pomocí pravděpodobnostního modelu zachytit podezřele vysoké počty shodných odpovědí mezi jednotlivými uchazeči

4 Přijímací řízení na bakalářské studijní obory
Přijímací řízení z matematiky a anglického jazyka Multiple-choice, pouze jedna odpověď správná Anglický jazyk - 50 otázek, 2 body/otázka Matematika – 10 otázek po 5 bodech, 5 otázek po 10 bodech 2 varianty na místnost, ve všech místnostech stejné Stanovené minimální hranice úspěšnosti u testu: 50 bodů/předmět Zabránění opisování: 2 různé varianty na místnost, předem určený zasedací pořádek, přítomnost vyučujících dohlížejících na dodržování pravidel

5 Data Odpovědi uchazečů na jednotlivé otázky z přijímacího řízení do akademického roku 2014/2015, správné odpovědi pro danou variantu, dosažené počty bodů jednotlivých uchazečů Úskalí datových souborů: Stejný akademický rok – nelze porovnávat různá časová období K dispozici pouze 4 varianty testů z každého předmětu

6 Metodologie (I) Pravděpodobnostní model určený k odhadování párů osob, které jsou podezřelé z opisování na základě shodnosti jejich odpovědí a dosažených výsledků (G.O. Weselowsky) Cílem modelu je testování hypotézy H0, že vybraný pár neopisoval Aproximace počtu shodných odpovědí pomocí normálního rozdělení Metoda vhodná pro větší datové soubory Umožňuje zúžit okruh testovaných párů pouze na ty, které podezíráme na základě vysoké hodnoty normované náhodné veličiny

7 Metodologie (II) Hladina významnosti
Určuje, jak velkou chybu prvního druhu připustíme => nepravdivé obvinění testovaného páru z opisování Stanovení záleží na druhu použití modelu α=0,01 – k potvrzení opisování páru, který jsme podezřívali již na základě dřívějšího pozorování α=0,05/N – všeobecná analýza, zda účastníci opisovali

8 Základní charakteristika souboru

9 Zájem o studijní obory

10 Vyhodnocení výsledků

11 Vyhodnocení testů Předmět Počet uchazečů
Procento úspěšných uchazečů *) Průměrný počet získaných bodů Procento vynechaných odpovědí Matematika 698 58,5 % 57,7 0,7% Anglický jazyk 681 86 % 68 0,1 % *) Jedná se o ty uchazeče, kteří v daném předmětu překročili minimální bodovou hranici úspěšnosti testu, která je stanovena na 50 bodů.

12 Hledání párů podezřelých z opisování
n – počet účastníků testu 77 j-tá osoba opisující navzájem s k-tou 2 44 68 k-tá osoba opisující navzájem s j-tou 57 60 74 Z - normovaná hodnota normálního rozdělení 3,224795 3,673554 4,913394 M - Počet shodných odpovědí daného páru 11 15 P-hodnota - za předpokladu že daný pár byl předem podezřelý 0,000823 0,000246 1,7E-07 P-hodnota - za předpokladu že daný pár nebyl předem podezřelý 2,407465 0,719432 0,000497 cj - poměr správných odpovědí ze všech pro j-tou osobu 0,533333 0,466667 ck - poměr správných odpovědí ze všech pro k-tou osobu 0,4 0,333333

13 Počty podezřelých párů
Předmět Hladina významnosti Počet spolusedících párů α = 0,01 α = 0,05/N Matematika 22 5 Anglický jazyk 32 Celkem 54 10

14 Diskuze

15 Opisování Při použití hladiny významnosti 0,05/N se u přijímacího řízení do akademického roku 2014/2015 jedná o minimální problém – 0,7 % uchazečů Při využití hladiny významnosti 0,01 se jedná o 5 % podezřelých v anglickém jazyce a 3 % v matematice Prevence při přijímacím řízení Zvýšení počtu dohlížejících osob Zaměření se především na zadní řady

16 Děkuji za pozornost