Kritéria vědeckého zkoumání, validita, reliabilita

Prezentace na téma: "Kritéria vědeckého zkoumání, validita, reliabilita"— Transkript prezentace:

1 Kritéria vědeckého zkoumání, validita, reliabilita
3. přednáška Formulace výzkumného problému, cíle výzkumu, výzkumné otázky a hypotézy, Kvantitativní výzkum Kritéria vědeckého zkoumání, validita, reliabilita

2 Jak zahajujeme výzkum? Téma
širší kontext, ve kterém se studie uskuteční Výzkumný problém Záměr výzkumu formulace cíle studie Výzkumná otázka kvantitativní versus kvalitativní výzkum Hypotéza

3 Postup Formulování výzkumné otázky a příprava výzkumu
Určit základní myšlenku výzkumu Přehled dosavadních výsledků Proveditelnost studie Výzkumné téma Výzkumný problém Cíl studie Hypotézy Plán výzkumu

4 Najít téma a formulovat směr
Zdroje – rozmanité, ale základní je schopnost tázat se, mít „zvědavý“ přístup ke světu zkušenosti z každodenního života (Které přístupy ve vzdělávání dobře fungují a které ne? Nebylo by možné navrhnout výzkum na ověření tohoto „dojmu“?) požadavky současné praxe (aktuální problém učitelů, ředitelů škol, žáků, rodičů) dosavadní výzkum – pravděpodobně nejdůležitější zdroj realizována řada obdobných výzkumů - generují více otázek než odpovědí inspirace při volbě designu, proměnných. způsobů jejich měření zdroje (knihy, články, internetové databáze – ERIC) existující teorie

5 Najít téma a formulovat směr
Zdroje – rozmanité, ale základní je schopnost tázat se, mít „zvědavý“ přístup ke světu zkušenosti z každodenního života požadavky současné praxe dosavadní výzkum teorie Můžete sumarizovat nebo integromat minulé studie v teorii? Existují předpovědi, které je třeba testovat? Máte nějaké “teorie”, o kterých si myslíte, že mají merit? Testujte je! Jestliže je málo teoretických výsledků v oblasti zkoumání, pak uvažujte o sběru dat, která vám pomohou teorii vyt vořit prostčřednictvím techniky ukotvené teorie.

6 Formulování výzkumného problému
V tématu identifikujeme jeden nebo více problémů, o kterých si myslíme, že by měly být řešeny: v kvantitativním výzkumu – hledáme vysvětlení, predikci nebo popis něčeho v kvalitativním výzkumu – objasnění/porozumění procesu, události nebo jevu

7 Formulace záměru studie
Pomáhá čtenáři orientovat se ve studii: v kvantitativním výzkumu – záměr specifikuje typ vztahu, který zkoumáme a specifické typy proměnných v kvalitativním výzkumu – zaměřuje se na vysvětlení a porozumění jevu

8 Formulace výzkumné otázky
Pochopení, komunikace, řízení výzkumu: v kvantitativním výzkumu – vztah, který možná existuje mezi dvěma nebo více proměnnými (identifikuje proměnné, specifikuje jejich vztahu) Jaký vliv má hraní fotbalu na známky žáka ve fotbalové sezoně? v kvalitativním výzkumu – specifické procesy, témata, jevy, které mají být objasněny, odhaleny, popsány. Jak charakterizovat sociální a kulturní podmínky úspěšných škol, kde žáci i učitelé dobře spolupracují a mají dobré výsledky? Jak ovlivňuje sociální kontext školy představy budoucích učitelů o výuce? Jaké zkušenosti What is the experience of a teacher being a student like?

9 Kvantitativní deduktivní
Hypotéza Pozorování Pravidelnost Předběžná hypotéza Teorie Kvalitativní Induktivní Hypotéza Potvrzení Kvantitativní deduktivní

10 Struktura kvantitativních výzkumných projektů
najít téma a formulovat problém zúžit, zaměřit, zpřesnit operacionalizovat sebrat dat analyzovat data formulovat seriózně závěry zobecnit (a formulovat nové otázky)

11 Formulace výzkumného problému
Problém je vymezen příliš široce. Spíše jde o téma, výzkumnou oblast. Je na počátku dost časté: Používání časopisů ve výuce. Zjišťovací otázka (odpovídáme ano/ne) Zlepší se žáci, když budeme v hodinách používat odborné časopisy? Vymezení se postupně zužuje, problém „sedimentuje“: Jak máme zavést do školy odborné časopisy, aby se podpořila komunikace žáků ve třídě? Nemůžeme předem odhadnout, co se stane. Jak ovlivní použití odborných časopisů ve třídě úroveň porozumění předmětu a tím i schopnost žáků komunikovat o vlastních strategiích myšlení se spolužáky? Příliš dlouhé; i při rozdělení na části, obtížná formulace měřitelných proměnných: Které typy školních úloh budou žáci řešit lépe, když použijí ve třídě odborné časopisy?

12 Chyby při vymezení problému
Výzkumný problém není hodnotný nebo smysluplný. Pomáhají domácí úlohy rozvoji žáka? Výzkumný problém je jednoduchý. Jakou aprobaci mají učitelé předmětu Výchova ke zdraví? Jaký je poměr žen a mužů působících jako učitelé v základním vzdělávání? Nejde o výzkumný problém. Mají být učitelé tvořiví?

13 Druhy výzkumných problémů
deskriptivní relační kauzální

14 Druhy výzkumných problémů
deskriptivní – relační - kauzální Deskriptivní výzkumný problém - zjišťuje a popisuje situaci, stav, výskyt jevu (jaké to je?); používá se dotazníků, pozorování, interview, škálování Jak vypadá typický den žáka? Jaké jsou postoje rodičů propadajících žáků k učiteli a vedení školy? - diagnosticko-vyhodnocovací problém (pro praxi, neslouží rozvoji teorie) Jaké učební výsledky dosáhli žáci sportovních škol? Jaké procento dětí z menšinových skupin navštěvuje praktické školy?

15 Druhy výzkumných problémů
deskriptivní – relační - kauzální Relační výzkumný problém - ptáme se, zda existuje vztah mezi zkoumanými jevy a jak je vztah těsný; ale nedá se přesně stanovit, který jev je příčinou Jaký je vztah mezi sebepojetím žáka a prospěchem z klíčových předmětů na SŠ? Jaká je závislost mezi výsledkem přijímací zkoušky a výsledkem studia na VŠ? Jaký je vztah mezi užíváním drog dítětem a socioekonomickým statusem rodiny?

16 Druhy výzkumných problémů
deskriptivní – relační - kauzální Kauzální výzkumný problém - zjišťuje příčinu, která vedla k určitému důsledku, zjišťuje kauzální (příčinné) vztahy Je nedirektivní výchovný styl efektivnější pro vytvoření pozitivních postojů žáků k učiteli než direktivní? Jaká je účinnost tzv. klinického semestru na VŠ ve srovnání s tradičním semestrem? Jaký je vliv změny režimu přestávek v ZŠ na práceschopnost žáků?

17 Operacionalizace Od přesného vymezení úkolů a cílů – zpracování plánu výzkumu hypotézy o vztazích mapujeme teoretické pojmy a indikátory (operacionalizace pojmů) Volba výzkumných metod a způsobu zpracování dat - konstrukce nástroje pro měření (validita, reliabilita) Výběr zkoumaných osob přesné vymezení základního souboru stanovujeme výběrový soubor (vzorek) (záměrný výběr, náhodný výběr, stratifikovaný, spárované neboli vyrovnané výběry)

18 Proměnné ve výzkumu Proměnná
jev, vlastnost, podmínka, činitel, které zkoumáme (např. věk, řešitelská strategie, délka praxe, chování,...) prvek zkoumání, který nabývá různé hodnoty a ty musíme definovat (věk: muž – žena; stav: svobodný, ženatý, vdaná, rozvedený/á,...atd.) Je třeba je operacionalizovat (operačně definovat), aby byly měřitelné. Od minule: měřitelné, kategoriální; závisle, nezávisle proměnné

19 Je cenné, i když se zjistí, že je chybná.
Hypotézy ve výzkumu Hypotéza odpověď na výzkumnou otázku výrok o vztazích mezi dvěma nebo více proměnnými formulujeme předem Má smysl ji formulovat jen k relačnímu a kauzálnímu výzkumnému problému. Pomáhá: identifikovat cíle, identifikovat používané pojmy, identifikovat vztah mezi tím, co zkoumáme, a tím, co již bylo o problému dříve zjištěno (přehled publikovaných výsledků) Má být: testovatelná (ne etické či morální otázky), ani příliš specifická ani příliš obecná, předpovídat výsledky. Je cenné, i když se zjistí, že je chybná.

20 Příklad – opičí studie Situace:
Jste zaměstnancem ZOO, který zodpovídá za jídelní lístek opic. Aby opice dostávaly všechny potřebné vitamíny, musí míst ve svém jídelníčku dostatek čerstvého listí. Rozhodujete se mezi listy pěti druhů: A – E. Víte, že v přírodě jí opice převážně listy B, a máte podezření, že by to mohlo být tím, že jsou při krmení na stromech B v relativním bezpečí před predátory. Navrhnete experiment, abyste zjistili, který druh listí mají opice skutečně nejraději. Nabídnete opicím všech pět druhů listí ve stejném množství a budete pozorovat, čím se krmí.

21 Příklad – opičí studie Když opicím nabídneme všech pět druhů listí, budou se nejvíce živit listy B. Předpovídá výsledek experimentu Je testovatelná - jakmile seberete data (např. kolik kg nesnědeného listí každého druhu zůstalo v kleci po 24 hodinách), zjistíte, zda se opice krmily více listím B než listím ostatních druhů. Když opicím nabídneme všech pět druhů listí, budou jíst to, co jim nejvíce chutná. Zní jako předpověď, ale není testovatelná (data nám ukáží, které listí opice nejvíce jedly, ale nebudeme vědět, zda je to to, které jim nejvíce chutná) Když opicím nabídneme všech pět druhů listí, budou přednostně jíst listí B, protože to mohou bezpečně jíst v jejich přirozeném prostředí. Problematická druhá část, která není testovatelná. Můžete říci, že opice jí více listí B, ale nevíte proč. Ve svém přirozeném prostředí, jsou opice, které se živí na stromech B, méně napadány predátory než opice, které se živí na stromech A, C, D a E. Když opicím nabídneme pět druhů listí, který druh budou preferovat? ?

22 Sebrat data, zpracovat Předvýzkum Výzkum, sběr dat Zpracování dat
ověření metod, hypotéz, možností zpracování dat, výběru vzorku aj. korekce Výzkum, sběr dat Zpracování dat třídění dat, tvorba databáze, předzpracování a statistické zpracování dat počítačové zpracování v programech Excel, SPSS, Statistica aj.

23 Formulovat seriózně závěry
Interpretace výsledků vysvětlení, možné zdůvodnění výsledků výzkumu srovnání s předchozími výzkumy Závěry vyvození závěrů výzkumu, úprava teorie zhodnocení výsledků, postupu, chyb, nedostatků, přínosu, dosažení cílů Návrhy pro praxi Nové otázky

24 Validita výzkumu = schopnost výzkumného nástroje zjišťovat to, co chceme zjistit Stupeň validity – mění se v závislosti na podmínkách výzkumu Obsahová Konstruktová Kriteriální

25 Obsahová validita Například
Didaktický test, kterým chceme zjistit, že žáci, kteří se učili s podporou počítače, používají určitý druh reprezentací pojmů. Jsou v testu různé typy úloh, které se ve škole používají? Jsou zastoupeny v testu proporcionálně? Měří experti – položky s nízkou validitou se přepracovávají.

26 Konstruktová validita
Měří test daný konstrukt (vědomost, dovednost, schopnost, inteligence, postoj)? Srovnání výsledků s výsledky dosaženými pomocí jiného nástroje (u stejných osob) Názor expertů

27 Kriteriální validita = míra shody mezi výsledky výzkumného nástroje a výsledky jiného měření pomocí známého a ověřeného kritéria Souběžná Predikční (zjišťování je časově posunuto) Interní validita Externí validita Je možné výsledky zobecnit?

28 Reliabilita = přesnost a spolehlivost výzkumného nástroje
Opakování měření Ekvivalentní formy výzkumného nástroje Vnitřní konzistence výzkumného nástroje (Cronbachův koeficient) Rozpůlení výzkumného nástroje Shoda mezi posuzovateli