20 otázek o výzkumech, na které by se novináři měli ptát National Council of Public Polls, USA S. R. Gawiser, G. E. Witt (3. vydání)

2 The National Council of Public Polls Založen 1969 s cílem: 1. Pro pracovníky ve výzkumu: stanovit nejvyšší profesionální standardy 2. Pro politiky, média a veřejnost: prosazovat povědomí o tom, jak se výzkumy dělají a jak interpretovat jejich výsledky

3 1. Kdo provedl výzkum? Jaká firma, výzkumná instituce, politická či jiná skupina? Jaká firma, výzkumná instituce, politická či jiná skupina? Bez této informace nelze odpovědět na další otázky Bez této informace nelze odpovědět na další otázky Pokud informace nemůžete získat, neměli byste o výzkumu vůbec psát Pokud informace nemůžete získat, neměli byste o výzkumu vůbec psát

4 2. Kdo výzkum platil a proč byl proveden? Mohou motivy pro provedení výzkumu zavdat tak silné obavy o validitu výsledků, že by výsledky neměly být publikovány? Mohou motivy pro provedení výzkumu zavdat tak silné obavy o validitu výsledků, že by výsledky neměly být publikovány? Zvažovat zejména výzkumy prováděné pro určitý politický tábor nebo pro zájmové skupiny. Zvažovat zejména výzkumy prováděné pro určitý politický tábor nebo pro zájmové skupiny. Zkoumat, zda výzkum skutečně odráží názory veřejnosti a nepropaguje jednoduše jeden názor. Zkoumat, zda výzkum skutečně odráží názory veřejnosti a nepropaguje jednoduše jeden názor.

5 3. Kolik osob bylo dotazováno? Čím více lidí se výzkumu účastní, tím menší je výběrová chyba Čím více lidí se výzkumu účastní, tím menší je výběrová chyba Při posuzování kvality výzkumu mohou hrát roli i další faktory Při posuzování kvality výzkumu mohou hrát roli i další faktory

6 4. Jak byli dotázaní vybráni? Zaručuje výběr dotázaných reprezentativitu výzkumu? Zaručuje výběr dotázaných reprezentativitu výzkumu? Nebo se jedná o samovýběr? Nebo se jedná o samovýběr? Není ve způsobu pravděpodobnostního výběru skryto riziko, že vylučuje některou skupinu dotázaných? Není ve způsobu pravděpodobnostního výběru skryto riziko, že vylučuje některou skupinu dotázaných?

7 5. Z jaké oblasti či z jaké skupiny byli tito lidé vybráni? Jak byl definován základní soubor, pro nějž lze výsledky zobecnit? Jak byl definován základní soubor, pro nějž lze výsledky zobecnit?

8 6. Jsou výsledky založeny na odpovědích všech dotázaných ? Nebo se jedná o názor jedné z podskupin a výsledky tudíž nelze zobecnit na jiné skupiny? Nebo se jedná o názor jedné z podskupin a výsledky tudíž nelze zobecnit na jiné skupiny?

9 7. Kdo měl být dotázán a nebyl? A záleží vůbec na míře návratnosti? Pokud byl výzkum proveden pravděpodobnostním výběrem, jaký byl podíl odmítnutí? Pokud byl výzkum proveden pravděpodobnostním výběrem, jaký byl podíl odmítnutí? Samotná nižší míra návratnosti neznamená horší kvalitu výzkumu Samotná nižší míra návratnosti neznamená horší kvalitu výzkumu

10 8. Kdy byl výzkum proveden? Kdy bylo prováděno dotazování? Kdy bylo prováděno dotazování? Staly se v té době klíčové události, které mohly ovlivnit odpovědi dotázaných? Staly se v té době klíčové události, které mohly ovlivnit odpovědi dotázaných?

11 9. Jak byly rozhovory prováděny? Jednalo se o osobní rozhovor nebo za pomoci telefonu, internetu, pošty? Jednalo se o osobní rozhovor nebo za pomoci telefonu, internetu, pošty? Jak se může vybraný způsob promítnout do věrohodnosti výsledků? Jak se může vybraný způsob promítnout do věrohodnosti výsledků?

Na co se ptát u výzkumů na internetu nebo webu? Jak byl vzorek vybrán? Je reprezentativní pro internetovou populaci? Jak byl vzorek vybrán? Je reprezentativní pro internetovou populaci? Nebo se jedná o samovýběr? Nebo se jedná o samovýběr? Nikdy se nenechte zmást počtem dotázaných – o kvalitě výzkumu nic nevypovídá. Nikdy se nenechte zmást počtem dotázaných – o kvalitě výzkumu nic nevypovídá. Není výzkum součástí nějaké další akce (marketing, získávání finančních příspěvků)? Není výzkum součástí nějaké další akce (marketing, získávání finančních příspěvků)?

Jaká je výběrová chyba? Míra jistoty výsledků na základě vzorku – hladina významnosti, zpravidla 95 % Míra jistoty výsledků na základě vzorku – hladina významnosti, zpravidla 95 % Jak se výběrová chyba promítá do všech zjištěných výsledků? Jak se výběrová chyba promítá do všech zjištěných výsledků?

Kdo je na prvním místě? Jak se výběrová chyba promítá do zjištěného pořadí osobností či politických subjektů? Jak se výběrová chyba promítá do zjištěného pořadí osobností či politických subjektů? Nezapomeňte, že u výsledků za podskupiny je výběrová chyba podstatně vyšší (v závislosti na velikosti podskupiny) Nezapomeňte, že u výsledků za podskupiny je výběrová chyba podstatně vyšší (v závislosti na velikosti podskupiny)

Jaké další faktory mohou zkreslit výsledky výzkumu? Formulace otázek a jejich pořadí Formulace otázek a jejich pořadí Nedostatečný trénink tazatelů a jejich kontrola Nedostatečný trénink tazatelů a jejich kontrola Chyby ve zpracování výzkumu Chyby ve zpracování výzkumu Problém „vážení“ výsledků výzkumu u pravděpodobnostního výběru Problém „vážení“ výsledků výzkumu u pravděpodobnostního výběru

Jaké otázky byly kladeny? Musíte zjistit přesné znění otázek, protože formulace může mít vliv na výsledky Musíte zjistit přesné znění otázek, protože formulace může mít vliv na výsledky Jaká je Vaše bezprostřední reakce na formulaci otázky? Jaká je Vaše bezprostřední reakce na formulaci otázky? Zdá se Vám přiměřená a nepředpojatá? Zdá se Vám přiměřená a nepředpojatá? Nabízí vyrovnaný výběr možných odpovědí? Nabízí vyrovnaný výběr možných odpovědí? U citlivých otázek doporučení uvádět celé znění otázky ve zprávě. Dokonce srovnat výsledky i formulace citlivých otázek z více výzkumů U citlivých otázek doporučení uvádět celé znění otázky ve zprávě. Dokonce srovnat výsledky i formulace citlivých otázek z více výzkumů

V jakém pořadí byly otázky kladeny? Mohly otázky kladené před sledovanou otázkou zkreslit výsledek? Mohly otázky kladené před sledovanou otázkou zkreslit výsledek?

A co „push polls?“ (nátlaková šetření) Cílem je rozšířit pomluvy či lži o politických oponentech Cílem je rozšířit pomluvy či lži o politických oponentech Orientuje se na velké soubory oslovených Orientuje se na velké soubory oslovených Nutno odlišit od legitimních výzkumů v rámci volebních kampaní Nutno odlišit od legitimních výzkumů v rámci volebních kampaní

Jaké další výzkumy byly na dané téma provedeny? Sdělují stejné věci? Pokud mají jiné výsledky, proč? Pokud existují rozdíly, všímejte si nejprve doby dotazování Pokud existují rozdíly, všímejte si nejprve doby dotazování Pokud jde o přibližně stejnou dobu, žádejte o vysvětlení agenturu či sponzora výzkumu Pokud jde o přibližně stejnou dobu, žádejte o vysvětlení agenturu či sponzora výzkumu Protichůdné výzkumy mohou posloužit jako dobrá novinová zpráva Protichůdné výzkumy mohou posloužit jako dobrá novinová zpráva

A co šetření exit-poll? Výzkumy ukazují, jak si voliči myslí, že volili. Mohli se dopustit chyby Výzkumy ukazují, jak si voliči myslí, že volili. Mohli se dopustit chyby Voliči nechtějí sdělit, koho volili Voliči nechtějí sdělit, koho volili Nejsou zahrnuti lidé, kteří volí v nepřítomnosti Nejsou zahrnuti lidé, kteří volí v nepřítomnosti Má prováděcí agentura dostatek zkušeností s exit-poll? Má prováděcí agentura dostatek zkušeností s exit-poll?

Co ještě je potřeba zahrnout do zprávy o výzkumu? Klíčovým aspektem zprávy je kontext Klíčovým aspektem zprávy je kontext Novinář by měl srovnat daný výzkum s jinými z té doby Novinář by měl srovnat daný výzkum s jinými z té doby Měl by podat zprávu o událostech, které mohly mít vliv Měl by podat zprávu o událostech, které mohly mít vliv Dobrá zpráva pomáhá čtenáři v interpretaci výsledků Dobrá zpráva pomáhá čtenáři v interpretaci výsledků

Všechny předcházející odpovědi vypadají dobře. Měli bychom tedy o výsledcích výzkumu uveřejnit zprávu? Ano, renomované agentury dělají svoji práci stále dobře Ano, renomované agentury dělají svoji práci stále dobře Pamatujte na hladinu významnosti 95 % - jeden výzkum z 20 může být odlišný od skutečných názorů populace Pamatujte na hladinu významnosti 95 % - jeden výzkum z 20 může být odlišný od skutečných názorů populace Výzkum vždy odráží aktuální situaci, ale věci se rychle mění, v politice často i dramaticky Výzkum vždy odráží aktuální situaci, ale věci se rychle mění, v politice často i dramaticky

23 I přes výše uvedené potíže jsou výzkumy veřejného mínění, pokud jsou dobře provedeny, stále ještě nejlepším objektivním měřítkem názorů veřejnosti