Kvalita dat

Existují kultury v kterých lidé věří, že některé objekty mají magickou moc. Antropologové nazývají tyto objekty fetiše. V naší společnosti je statistika právě takovým fetišem. Máme tendenci brát statistické údaje, jako by byly magické jako by byly více než pouhá čísla. Bereme je jako mocné reprezentace pravdy, jednáme jako by by v nich byla obsažena komplexnost a nejednoznačnost reality v podobě jednoduchých faktů. (Joel Best – Damned Lies and Statistics)

Kvalita dat: různé cíle - různé přístupy různé obory k (v našem případě zejména sociologové a statistici) mají někdy odlišné představy o tom jakým způsobem hodnotit kvalitu dat. „Statistici“ se orientují zejména na výběrové chyby, k problému přistupují jako k problému statistickému. „Sociologové“ berou častěji do úvahy i různé chyby nevýběrové – chyby vyplývající z konstrukce výzkumného nástroje, chyby spojené. Dosti často se ovšem kvalitou dat vůbec nezabývají. existuje i rozdíl mezi realizátory šetření a analytiky, který výše uvedenému částečně odpovídá. Realizátoři šetření (agentury sbírající pro sociology data jako třeba SC&C, Median, Focus, GfK) se nezabývají příliš nějakými širšími metodologickými otázkami, orientují se na problémy spojené se samotným sběrem dat (reprezentativita, návratnost). Analytici naopak berou datový soubor jako danost a nepátrají příliš po tom jak vznikl

Statistický a sociologicko- psychologický přístup k chybám matematická statistika –snaha o odhad různých druhů chyb (výběrové a nevýběrové, náhodné a nenáhodné, chyby měření…) –přesnost měření, chyba měření - odchýlení odhadů (bias) / rozptyl odhadů (variable variance) –statistické dokazování: matematika počtu pravděpodobnosti a logika kognitivní a sociální psychologie –zaměření na chyby vyplývající z interakce respondenta a tazatele, ze špatné konstrukce dotazníku, z paměťových omezení, z tzv. „social desirability“, tj. z toho, že respondenti své odpovědi přizpůsobují nějakým sociálním očekáváním

Reliabilita Spolehlivost měření paralelní měření: dvě nebo více měření stejného konceptu –různými otázkami –v různých podmínkách –opakování měření v čase (u hodnot a postojů je zde ale problém časové vzdálenosti kvůli možné změně postoje) Reliabilitu je možno v dotazníkových šetřeních oveřovat i zařazením alternativních forem jedné otázky (zařazení nevím, střední kategorie, použití karet, alternativní formulace atp.) více pozorovatelů, jeden postup – když docházejí ke stejným výsledkům, postup je reliabilní

Validita Míra do jaké měříme skutečné to, co chceme měřit obsahová validita: úplnost pokrytí významové domény jevu v koncepci a postupu měření zjevná validita validita potvrzená expertním posouzením kriteriální (empirická) validita: soulad s již existujícím kritériem (např. volební prognóza a výsledek voleb) konstruktová (teoretická) validita: soulad vztahů očekávaných v teorii a mezi naměřenými hodnotami indikátorů

Standardizace, harmonizace a srovnatelnost dat v sociologii V oblasti kvantitativních sociologických dat lze identifikovat snahu o standardizaci na všech úrovních - od teoretických konceptů používaných při plánování výzkumu až po znění konkrétních otázek Určitá míra standardizace je podmínkou srovnatelnosti různých výzkumů, případně různých národních datových souborů z mezinárodních výzkumů (např. ISSP, ESS). Bez ní je porovnávání výsledků buď zcela nemožné nebo (což může být v důsledku horší) zavádějící Na druhou stranu – standardizace může být nákladná, časově náročná a také omezovat přesnost a specifičnost výzkumných témat, různých prostředí atd.

Příklad: příjmy domácnosti V řadě výzkumů se sociologové ptají na to jaké příjmy má domácnost do níž respondent patří –pokud není domácnost jednoznačně definována mohou ji respondenti pochopit různě –pokud není příjem jednoznačně definován mohou jej respondenti pochopit různě –I když je příjem definován jednoznačně, málokdo jej zná přesně a musí jej při vyplňování dotazníku odhadovat Jak vidno, jak validita tak reliabilita dat mohou být (zdaleka nejen) v tomto případě snadno ohroženy

Jiný příklad – mezinárodní výzkum náboženských fenoménů V roce 1998 byla ve výzkumu ISSP zaměřeném na téma náboženství zařazena otázka „který z těchto výroků je nejblíže Vašemu názoru na bibli?“. Následovalo několik výroků vyjadřujících určitý postoj. Přestože by nepochybně bylo možné vytvořit přesný překlad této otázky a nabízených odpovědí do japonštiny, japonský tým se rozhodl otázku vyřadit a to s odůvodněním, že „v Japonsku nejrozšířenější náboženství, šintoismus a buddhismus nemají texty, které by byly ekvivalentní křesťanské Bibli“. Zde je zřejmé, že zařazení této otázky by pro drtivou většinu japonských respondentů nebylo relevantní neboť nemají vztah ke křesťanské kultuře a konstrukce interpretačně ekvivalentní otázky relevantní pro japonskou společnost nebyla možná. Vezměme si ale jinou otázku ze stejného výzkumu, která zněla „věříte v peklo?“. Podle dat z ISSP ,7% Japonců zcela nebo spíše v peklo věří. Tento výsledek je jistě možné srovnávat s údaji za další země zařazené v tomto výzkumu – není žádný důvod se domnívat, že došlo k nějaké chybě při procesu standardizace, která takové srovnání znemožňovala. Míra interpretativní ekvivalence ale nemusí být příliš vysoká.

Příklad – Podíl lidí hlásících se k nějakému vyznání –Kdybychom brali údaje z této tabulky tak jak jsou, tak dojdeme k závěru, že ve skandinávských zemích dochází k nějakým záhadným fluktuacím v podílu lidí, kteří se hlásí k přináležitosti k církvi. Nebo si můžeme myslet, že výzkumy jsou provedeny špatně. Ve skutečnosti ani jedno z těchto vysvětlení nemusí být (a pravděpodobně ani není) správně. Pravděpodobnější vysvětlení je to, že zatímco ve výzkumu EVS se ptají respondentů na formální přináležitost k církvi (která je ve Švédsku a Dánsku vysoká) v otázce ESS se klade důraz na to, že respondent se skutečně cítí být členem církve. To nás upozorňuje na význam přesného znění otázky. –To nás přivádí k tomu, jak je důležité si při interpretaci dat všímat pečlivě znění otázky, toho zda se skutečně obdobné otázky ve dvou výzkumech skutečně ptají na to samé