Eye tracking ve vzdělávání Problémy fyzikálního vzdělávání 3. 1. 2013 Martina Kekule

http://zentrum-bildungsforschung. hu-berlin. de/ http://zentrum-bildungsforschung.hu-berlin.de/?Veranstaltungen:Seminar%3A_Research_in_Education_with_Mobile_Eyetracking_MET

Co je eye-tracking? řízení, facebook, třída, nádraží gorila

Zařízení mobilní pevně stojící hlava fixovaná pohyb hlavou volný obrázky text a obrázky videa webovky, letáky Učebnice, úlohy čtení v terénu zákazníci v obchodě sportovci řidiči učitelé, žáci

Zařízení SMI http://www.smivision.com/ http://www.youtube.com/user/smieyetracking Dobré mobilní brýle Tobii http://www.tobii.com/ User friendly, zaměření na marketing ASL http://www.asleyetracking.com/Site/ EyeLink http://www.sr-research.com/ Pro vědecké účely, přesný

Pohyby oka 6 svalů pohyby: nahoru/dolů, doleva/doprava, twist Signály kontrolující pohyb očí: Reflexivní (polokruhové kanálky) Bezděčné (superior colliculus) Volní (mozková kůra)

Ostrost vidění Největší ostrost 2° přesnost metody

Jak to funguje? Video-based Combined Pupil/corneal reflection Reflexe od očního pozadí Infračervené světlo (např. 3,5 mW/cm2, 70 cm) Kamera snímající oko/oči

Jak to funguje? 4 Purkyněho odrazy P1 vnější rohovka P2 vnitřní rohovka P3 povrch čočky P4 zadní stěna čočky typicky P1 a střed zornice Dual eye-tracking P1 a P4 P1 a střed zornice: mění se s pohybem očí, ale zůstává téměř neměnná při malém pohybu hlavy Dual: separate translational and rotational eye movements

3D gaze tracking method using Purkinje images on eye optical model and pupil Ji Woo Leea, Chul Woo Choa, Kwang Yong Shina, Eui Chul Leeb, Kang Ryoung Parka, , a Division of Electronics and Electrical Engineering, Dongguk University, 26, Pil-dong 3-ga, Jung-gu, Seoul 100-715, Republic of Korea b Division of Computer Science, Sangmyung University, 7 Hongji-dong, Jongno-gu, Seoul 110-743, Republic of Korea http://dx.doi.org/10.1016/j.optlaseng.2011.12.001, How to Cite or Link Using DOI Permissions & Reprints Optics and Lasers in Engineering Volume 50, Issue 5, May 2012, Pages 736–751

Left eye rotate to fixate nine points during calibration.

Nevýhoda této metody Nutná kalibrace! Nelze použít u zvířat, malých dětí Existují např. čočky viz obr.

Historie Louis Emile Javal (1839 - 1907) studium očních pohybů sledování čtení Edmund Huey (1870-1913) sledování očních pohybů mechanicky bolestivé, pokusné osoby dostávaly kokain a contact lens with a hole in the middle, and an aluminum pointer that moved as the eye moved `The curve shows the movements of the eye in reading six lines, preceded and followed by two free movements of the eye each way, in which it was swept from one end of the line to the other, the beginning and end alone being fixated

Historie 19. stol První pokusy 1920-1960 Behaviorismus – dark era Dodge (1908) první nekontaktní metoda zaznamenání odrazů na fotografickou desku 19. stol První pokusy 1920-1960 Behaviorismus – dark era Od poloviny 60. let Použití v kognitivní psychologii

Co zaznamenáváme? Sakády rychlý oční pohyb ~10-100 ms cca 3-4 x za sekundu Potlačený příjem signálu v době trvání sakády Zřejmě pohyb oka naprogragmovaný dopředu (ballistics) Volní a reflexivní Fixace třes, mikrosakády (rozptyl 1°-2°) 150 – 600 ms, průměrně 200-250 ms 90 % času

Proč? Porozumění procesům týkajícím se pozornosti.

Lidské oči x oči ostatních primátů mnohem větší bělmo  mnohem jednodušší zjistit, kam se dívá někdo druhý Směr pohledu  prostředek komunikace (i malé děti jsou k tomuto senzitivní)

Visual attention Many filtered into few for perception. Humans are finite beings that cannot attend to all things at once. Visual scene inspection is performed minutatim (one by one) not in toto (as a whole).

Visual attention Hermann von Helmholtz (1821-1894) visual attention – nezbytný mechanismus vizuální percepce pozornost může být kontrolována necháváme naše oči klouzat po scéně a tak ji prozkoumáváme oční pohyby odrážejí záměr prozkoumat detail objektu  zjevná pozornost, důraz na „where“

Visual attention William James (1842-1910) Pozornost je aktivní proces Vnitřní proces Předvídáme, máme očekávání Náš zájem odráží to, kam se díváme Informace z periferie může být příčinou přesunu naší pozornosti

Visual attention James J. Gibson (1904-1979) Jsme dokonce více aktivní, než předpokládal James „viewer advanced preparation“ - zda a případně jak budeme reagovat Př. Když očekáváme popis zvířete, chybu v tisku „sael“ budete číst jako seal, pokud očekáváme popis lodi, budeme číst sail Respondentovo očekávání, jaký přijde stimul, může být ovlivněno instrukcemi experimentátora!

bottom-up top-down (modely) Visual attention 2 zdroje informací bottom-up top-down (modely) Bottom-up Daný fyzickým charakterem podnětu Relativní výraznost prvku (např. kontrast) perceptual salience Dominantní během prvních dvou sekund Itti, Koch, Niebur model Top-down faktory předchozí znalosti, očekávání, cíle úlohy  Paradigma expert x začátečník

Analýza očních pohybů Úloha: určit, co je fixace a co je sakáda.

Analýza očních pohybů Úloha: určit, co je fixace a co je sakáda. 2 základní přístupy př. pro mobilní oční kameru: 3 měření v rámci 14 pixelů = fixace Př. Pro EyeLink systém: rychlost > 30°/s = sakáda M, N, D určené empiricky

Eye tracking metrics

AOI video kódování 45 min výuky cca 15 hodin

Fotografie v PowerPointu Výzkumná otázka: zda mají nějaký účel dekorativní obrázky/fotografie? ?? well-designed multimedia presentation?? Klasifikace fotografií podle míry „dekorativnosti“ Dle Pozzer a Roth: 4 kategorie Dekorativní – bez jakéhokoliv vysvětlení Ilustrativní – mají nadpis S vysvětlením – samostatný obr. s krátkou vysvětlivkou Doplňující – odkazy k textu

Fotografie v PowerPointu 15 studentů učitelství 16 slidů (kombinace obrázky/text) Definice AOI (nadpis, text, obrázek, ostatní plocha) Porovnání

Řešení problémů s elektrickými obvody Eyetracking jako doplněk Srovnání experti a začátečníci Posuzování jednotlivých scanpath Vzorek: jednotky respondentů Bez ohledu na obtížnost úlohy experti více kontrolují zadání – schéma obvodu.

Eye tracking při řešení fyzikálních problémů 6 úloh AOI – 3 typy perceptual salience (model) relevantní (na základě posouzení expertů) začátečníci (na základě interview)

Eye tracking při řešení fyzikálních problémů 24 pokusných osob Systém EyeLink 20-40 min Zjišťovány rozdíly v celkovém času fixovaných jednotlivých AOI mezi správnými a špatnými odpověďmi

Eye tracking při řešení fyzikálních problémů Koncept The “quiet eye” (Panchuk and Vickers,2006) Experti se dívají na klíčové oblasti a ne na ty ostatní. Learning to look like an expert is learning where/how/when not to look V 5 z 6 příkladů, ti co odpověděli správně strávili více času na relevantních oblastech. Ti, co řešili nesprávně, více času v oblastech vytipovaných začátečníky/z výzkumů o miskoncepcích. Žádný vliv percepčního kontrastu, ani během prvních 2 s (průměrná doba fixace různá, ale stat. nevýznamný rozdíl)  Visual cues

Eye tracking v práci učitele Situation awareness (Endsley, 1995, 2000) - vnímání smysluplných elementů v daném prostředí porozumění jejich významu a odhad důsledků v blízké budoucnosti Cognitive tunneling (Dirkin, 1983) - zploštění pozoronosti při komplexní úloze Piloti začátečníci se zaměřují pouze na nějaké přístroje (Wickens, 2002) Multitasking

Corey, S. , & Teague, M. (2001). Horus’s horrible day Corey, S., & Teague, M. (2001). Horus’s horrible day. New York: Turtleback books

20 učitelů experti (víc než 5 let praxe) ASL mobile eye dvě učitelky M S4/S6 81%/19% S3/S21 65%/35%

Děkuji za pozornost!

http://www.tobii.com/eye-tracking-research/global/library/white-papers/tobii-eye-tracking-white-paper/