Validita observační epidemiologické studie MUDr. Zdeněk Šmerhovský, Ph.D. Ústav epidemiologie 2. LF UK Praha

Kurz "moderní"epidemiologie" Obsah Validita Validita versus bias Validita versus přesnost Hierarchie populací Interní versus externí validita Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Validita Primárním cílem epidemiologického výzkumu je obvykle validní odhad ukazatele účinku (míry asociace), který je předmětem studia. Za validní studie se považují takové, které netrpí nedostatky v designu studie, nedostatky ve způsobu sběru dat nebo metodologickými nedostatky při analýze dat Cílem epidemiologického výzkumu je zjistit pravdivý obraz o vztahu mezi expozicí a následkem. Účinek ale není možný měřit přímo (viz. contrafaktuální definice účinku) a tak měříme jako jedinou možnou alternativu sílu statistické asociace mezi expozicí a následkem v reálném světě. kdy speciálně výsledky observačních studiích mohou být zkreslené nejrůznějšími vlivy zvenčí (confounding), systematickými chybami při plánování studie (chyby v designu studie), způsobem sběru dat nebo jejich analýzy (selekční a informační bias). Primárním cílem epidemiologického výzkumu je obvykle validní odhad ukazatele účinku (míry asociace), který je předmětem studia. Za validní studie se považují takové, které netrpí nedostatky v designu studie, nedostatky ve způsobu sběru dat nebo metodologickými nedostatky při analýze dat Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Validita Chyby, nedostatky Design Metody sběru dat Metody analýzy dat Chyba v kterémkoliv kroku vede ke ztrátě validity studie Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Bias Systematická chyba ve sběru, analýze a interpretaci dat, vedoucí k chybnému výsledku. Míra velikosti zkreslení závěrů o vztahu mezi expozicí a nemocí Selekční bias Informační bias Confounding (bias) Kurz "moderní"epidemiologie"

Validita versus přesnost Validitu ovlivňují systematické chyby Přesnost Přesnost je dána velikostí náhodných chyb Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Validita vs. přesnost Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Velikost bias Vzdálenost středu a šedého bodu je velikost bias Kurz "moderní"epidemiologie"

Validita versus přesnost Metodologie Není předmětem zájmu statistické analýzy Přesnost Výběrová chyba (sampling variability) Týká se odhadování skutečné velikosti populačního parametru Předmět statistické analýzy Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Vzorek Studovaná populace Zdrojová populace Externí populace Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Vzorek – koho reprezentuje? Výběr individuí, o kterých se sbírají data Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Studovaná populace Reálně dostupná populace Nemocnice Konkrétní místa Konkrétní čas Praktické hledisko vs. vědecký záměr Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Zdrojová populace (study base, target population) Skupina, populace, o kterou se zajímáme Město Komunita Zaměstnání Zahrnuje všechny, kdo jsou v riziku Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Studovaná populace reprezentovaná vzorkem nemusí reprezentovat zdrojovou populaci Kurz "moderní"epidemiologie"

Hierarchie populací – příklad Epid. studie prováděná ve velkoměstě se zabývá otázkou vztahu mezi obezitou a hypertenzí u mladých dospělých. Epidemiologové se domnívají, že vybrat vzorek ze všech mladých dospělých ve městě není proveditelné. Rozhodlo se, že vzorek bude získán ze zákazníků fitness center. Náhodným způsobem pak byl vybrán vzorek mladých lidí navštěvujících různá fitness centra a byl jim změřen krevní tlak. Co je zdrojová populace ? Co je studovaná populace ? Reprezentuje vzorek studovanou populaci? Reprezentuje studovaná populace zdrojovou populaci? Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Co je zdrojová populace ? Všichni mladí dospělí ve velkoměstě Co je studovaná populace ? Všichni mladí dospělí ve velkoměstě navštěvující fitness centra, kteří by se zúčastnili studie Reprezentuje vzorek studovanou populaci? Ano, vzorek je vybrán náhodným způsobem ze studované populace a je proto reprezentativní Reprezentuje studovaná populace zdrojovou populaci? Pravděpodobně ne. Zdrojová populace všech mladých lidí ve velkoměstě se od studované populace navštěvujících fitness centra, pravděpodobně liší, protože aktivita ve fitness centrech má úzký vztah ke zdraví, Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací V ideálním případě je každý člen studované populace také členem zdrojové populace , takže studujeme pouze individua skutečně v riziku nemoci. Reprezentuje-li studovaná populace zdrojovou populaci a vzorek je reprezentativním výběrem ze studované populace, pak nehrozí bias při rozšíření závěrů ze vzorku na celou zdrojovou populaci. Kurz "moderní"epidemiologie"

Hierarchie populací – příklad Epidemiologická studie prováděná ve velkoměstě se zabývá otázkou vztahu mezi obezitou a hypertenzí u mladých dospělých. Epidemiologové se domnívají, že je nutné pracovat se vzorkem všech mladých lidí z velkoměsta. Použijí výsledky z nedávného sčítání lidu a sestaví seznam všech mladých lidí ve městě. Je vybrán náhodný vzorek mladých osob z několika městských oblastí a je jim změřen krevní tlak. Co je zdrojová populace ? Co je studovaná populace ? Reprezentuje vzorek studovanou populaci? Reprezentuje studovaná populace zdrojovou populaci? Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Co je zdrojová populace ? Všichni mladí dospělí ve velkoměstě Co je studovaná populace ? Všichni mladí dospělí ve velkoměstě, kteří by se zúčastnili studie Reprezentuje vzorek studovanou populaci? Ano, vzorek je vybrán náhodným způsobem ze studované populace a je proto reprezentativní. Přesto ani studovaná popupulace, ani vzorek nemusí reprezentovat všechny mladé v populaci velkoměsta, pokud se každý kdo byl vybrán studie také nezúčastní Reprezentuje studovaná populace zdrojovou populaci? Ano, pokud se všichni vybraní studie zúčastní. Pak je studovaná populace shodná se zdrojovou populací. Pokud se ale významná část vybraných subjektů studie nezúčastní, pak konečný vzorek velkoměstskou populaci mladých lidí reprezentovat nemusí. Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Studovaná populace také není reprezentativní když: Zahrnuje subjekty, které nejsou v riziku Např. nikoliv každý subjekt navštěvující venerologickou kliniku je v riziku dostat sexuálně přenosnou nemoc Nezahrnuje všechny osoby v riziku Např. studium AIDS v první fázi vynechávalo intravenózní narkomany Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Hierarchie populací Externí populace Populace, která se liší od studované populace, pro kterou chceme výsledky zobecnit Typický scénář pro oblast veřejného zdraví, kdy se pracuje s výsledky malých populací a rozhoduje se o populaci celé Proces zobecňování vědeckých poznatků jde za rámec statistického usuzování Kurz "moderní"epidemiologie"

Interní versus externí validita Interní validita Vyvozování závěrů o zdrojové populaci na základě informací získaných ze studované populace Proces se týká výlučně zdrojové populace Proces je povahou kvantitativní Externí validita Aplikace závěrů epid. studie na externí populaci, která se od zdrojové populace liší Vyžaduje posouzení závěru studie v širokém kontextu znalostí o daném problému a kvalitách externí populace Proces je subjektivní a povahou kvalitativní Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Směr bias Směr bias Směrem bias se rozumí, jestli systematická chyba vede k podhodnocení nebo nadhodnocení pozorovaného efektu Velikost vlastního bias (zkreslení) se obvykle nehodnotí Hodnocení směru bias Vyžaduje znalost povahy a kvality proměnných Vlastnosti designu studie Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Směr bias θ0 > θ nadhodnocení síly asociace Bias působí směrem od nuly, pozitivní bias θ0 < θ podhodnocení síly asociace Bias působí směrem k nule, negativní bias Otočení síly asociace Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Směr bias Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Směr bias Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Směr bias Znalost směru bias má významné praktické dopady Předpokládejme, že epidemiolog nalezl velmi silný efekt, např. RR = 6 a může argumentovat, že možná bias mohou směřovat pouze k nule. Jaký dopad to má pro skutečné RR? Předpokládejme, že epidemiolog nalezl slabou asociaci, odhadovanou jako RR = 1,3 a všechna identifikovaná bias směřují od nuly. Co lze soudit o skutečné velikosti RR? Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Směr bias Předpokládejme, že epidemiolog nalezl velmi silný efekt, např. RR = 6 a může argumentovat, že možná bias mohou směřovat pouze k nule. Jaký dopad to má pro skutečné RR? Skutečná hodnota RR je ještě větší než pozorovaná hodnota RR. Předpokládejme, že epidemiolog nalezl slabou asociaci, odhadovanou jako RR = 1,3 a všechna identifikovaná bias směřují od nuly. Co lze soudit o skutečné velikosti RR? Skutečná hodnota RR musí být ještě menší než pozorovaná, možná žádný efekt Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Kontrola bias Vhodný design Vhodný způsob analýzy dat Diskuze bias v publikační fázi Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Kontrola bias Design studie Kontrola selekčního bias Zahrnutí či vyloučení vhodných osob Vhodný výběr zdrojové populace Vhodný výběr srovnávacích skupin Např. správný výběr kontrol ve studiích případů a kontrol Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Kontrola bias Analýza dat Určení přítomnosti/směru bias Logická úvaha kombinující vlastnosti designu a vlastnosti dat Adjustace (pozorovaná hodnota ± velikost bias) Confounding Stratifikovaná analýza Matematické modelování Selekční/informační bias Omezená nedostatkem informací o velikosti bias Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Kontrola bias Publikační fáze Potenciální bias se diskutuje v diskuzi Subjektivní Zvláště v případě informačního a selekčního bias Možnosti objektivní kvantifikace jsou omezené Čtěte diskuze – kvalitní diskuze musí zahrnout i slabé stránky studie, včetně bias Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Selekční bias Selekční bias se vyskytuje jako důsledek chyb při výběru subjektů do studie na začátku studie nebo jako důsledek selektivních ztrát v průběhu studie před zahájením analýzy dat Příčiny se liší podle designu studie Ve studiích případů a kontrol je příčinou buďto výběr případů, kontrol nebo obou skupin. V kohortových studiích a klinických pokusech jsou příčinou bias ztráty v průběhu sledování (loss-to-follow-up), odstoupení od studie (withdrawal) nebo neochota do studie vstoupit (non-response). V průřezových studiích je to jev, nazývaný selektivní přežívání (selective survival) Kurz "moderní"epidemiologie"

Selekční bias ve studii příp. a kontrol Kurz "moderní"epidemiologie"

Selekční bias ve studii příp. a kontrol Příklad Selekční bias bylo předmětem diskuze ve studiích případů a kontrol, v kterých se pozorovala asociace mezi užíváním L-tryptophanu a EMS (sy eosinofilní myalgie). Pozorované OR mohlo nadhodnocovat efekt. Kritika studií poukazovala na skutečnost, že publicita věnovaná problému vedla k lepší diagnostice EMS u známých uživatelů L-tryptophanu. Výsledek = Nadměrný podíl uživatelů L-tryptophanu mezi případy = selekční bias při výběru případů Kurz "moderní"epidemiologie"

Selekční bias ve studii příp. a kontrol Původní kritika Estrogen vede k častějšímu krvácení V důsledku toho jsou ženy užívající estrogen častěji vyšetřovány než ostatní ženy Bylo navrženo, aby se jako kontroly použily ženy s benigními tumory, které jsou vyšetřovány také často Další výzkum prokázal, že zdrojem bias byly tyto alternativní kontroly. Invazivní endometriální rakovina vede ke krvácení a proto jsou tyto nádory tak jako tak zachyceny a nadměrné zastoupení žen na estrogenu nehraje významnou roli. Kurz "moderní"epidemiologie"

Selekční bias v kohortové studii a klinickém pokusu Kurz "moderní"epidemiologie"

Selekční bias v kohortové studii a klinickém pokusu Kurz "moderní"epidemiologie"

Selekční bias v kohortové studii a klinickém pokusu Kurz "moderní"epidemiologie"

Selekční bias v kohortové studii a klinickém pokusu Kurz "moderní"epidemiologie"

Selekční bias v kohortové studii a klinickém pokusu K selekčnímu bias dochází pouze tehdy, má-li selekce vztah k nemoci a ovlivňuje tak výsledné riziko (poměrná velikost ztrát není rozhodující, pokud jsou náhodné). Kurz "moderní"epidemiologie"

Selekční bias v kohortové studii a klinickém pokusu K selekčnímu bias dochází pouze tehdy, má-li selekce vztah k nemoci a ovlivňuje tak výsledné riziko Kurz "moderní"epidemiologie"

Selekční bias v průřezové studii Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Závěr Informace nutné ke hodnocení selekčního bias jsou zřídka dostupné a obtížně kvantifikovatelné Nejefektivnější způsob kontroly je prevence při plánování studie Při analýze výsledků je možné odhadnout směr bias (aniž by bylo možné kvantifikovat jeho efekt) V publikační fázi jsou potenciální bias diskutována alespoň kvalitativně v „Diskuzi“ Praktické řešení selekčního bias Aplikace „nejhoršího scénáře Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Závěr „Nejhorší scénář“ Praktický způsob řešení směru selekčního bias Porovnání pozorovaných výsledků s výsledkem založeným na datech upravených podle nejhoršího realistického bias Kurz "moderní"epidemiologie"

Informační bias

Kurz "moderní"epidemiologie" Informační bias Systematická chyba v epid. studii vznikající tím, že informace získávané, (měřené) o jedné či více proměnných jsou nesprávné. Kurz "moderní"epidemiologie"

Chybná klasifikace (misclassification bias) Subjekt je chybně klasifikován pokud se ve čtyřpolní tabulce objevuje v buňce, do které ve skutečnosti nepatří. Kurz "moderní"epidemiologie"

Chybná klasifikace diagnózy Nesprávná dg. Nedostateční znalosti Složitost komplexního dg, procesu Nedostupnost dg. Technologie Laboratorní chyby Subklinické stadium nemoci Detekční bias (intenzivnější vyšetřování exponovaných) Kvalita informací udávaných subjektem Nepřesná paměť Úmyslné uvádění nesprávných údajů Chyby při kódování dat do databáze Kurz "moderní"epidemiologie"

Chybná klasifikace expozice Nepřesnosti měření Kvalita informací udávaných subjektem Recall bias Interviewer bias Chyby při kódování expozičních dat do databáze Kurz "moderní"epidemiologie"

Pravděpodobnost chybné klasifikace Senzitivita a specificita Pravděpodobnost, že je subjekt klasifikován jako nemocný/exponovaný, pokud je skutečně nemocný/exponovaný Specificita Pravděpodobnost, že subjekt je klasifikován jako zdravý/neexponovaný, pokud je skutečně zdravý/neexponovaný Senzitivita a specificita jsou základní parametry pro kvantitativní hodnocení informačního bias Kurz "moderní"epidemiologie"

Senzitivita a specificita Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie"

Přesnost dg. testu: Senzitivita Senzitivní test = test, který je s velkou pravděpodobností v přítomnosti nemoci pozitivní Volit vždy, když hrozí vážné důsledky toho, že onemocnění unikne pozornosti. Senzitivní test minimalizuje pravděpodobnost, že nemocný není správně diagnostikován jako nemocný. Klinicky nejužitečnější informaci poskytuje negativní výsledek senzitivního testu. Kurz "moderní"epidemiologie"

Přesnost dg. testu: Specificita Specifický test minimalizuje pravděpodobnost falešně pozitivního výsledku Volí se tehdy, kdy je třeba suspektní diagnózu potvrdit Malá pravděpodobnost, že bude u skutečně zdravého člověka pozitivní Vysoce specifické testy jsou užitečné především tehdy, kdy falešně pozitivní výsledek může pacienta poškodit. Nejužitečnější informaci poskytuje tehdy, kdy je specifický test pozitivní. Kurz "moderní"epidemiologie"

Kurz "moderní"epidemiologie" Nediferenciální chyby v klasifikaci (nondifferential misclassification) Nediferenciální chyby při klasifikaci nemoci Senzitivita a specifičnost není závislá na expozici Nediferenciální chyba klasifikace expozice Chyby v klasifikaci expozice není závislá na měřeném zdr. Jevu BIAS SMĚREM K NULE Kurz "moderní"epidemiologie"

Nediferenciální chyby v klasifikaci Hypotetická studie popisující skutečný vztah mezi expozicí (konzumací ovoce a zeleniny) a výskytem nemoci (ICHS). Kurz "moderní"epidemiologie"

Nediferenciální chyby v klasifikaci Diagnostika je perfektní (žádná chyby klasifikace nemoci) Případy i kontroly nadhodnocují spotřebu ovoce a zeleniny Kurz "moderní"epidemiologie"

Nediferenciální chyby v klasifikaci Kurz "moderní"epidemiologie"

Nediferenciální chyby v klasifikaci Kurz "moderní"epidemiologie"

Diferenciální chybná klasifikace Chybná klasifikace, kdy se senzitivita nebo specifičnost (velikost chyby) liší a to buď v případě nemoci v závislosti na expozici nebo v případě expozice v závislosti na nemoci. Může vést k bias směrem k nulovému účinku nebo k bias směrem od nuly Kurz "moderní"epidemiologie"

Diferenciální chybná klasifikace Hypotetická studie popisující skutečný vztah mezi expozicí (konzumací ovoce a zeleniny) a výskytem nemoci (ICHS). Kurz "moderní"epidemiologie"

Diferenciální chybná klasifikace Diagnostika je perfektní (žádná chyby klasifikace Případy ICHS udávají konzumaci ovoce a zeleniny přesněji Kontroly nadhodnocují spotřebu ovoce a zeleniny Kurz "moderní"epidemiologie"

Diferenciální chybná klasifikace Kurz "moderní"epidemiologie"

Diferenciální chybná klasifikace Kurz "moderní"epidemiologie"