Mnohonásobné imputace chybějících hodnot Analytické metody výzkumu pro mgr. Ivan Petrúšek 24.11.2015.

Prezentace na téma: "Mnohonásobné imputace chybějících hodnot Analytické metody výzkumu pro mgr. Ivan Petrúšek 24.11.2015."— Transkript prezentace:

1 Mnohonásobné imputace chybějících hodnot Analytické metody výzkumu pro mgr. Ivan Petrúšek 24.11.2015

2 Data na seminář Si stáhněte na stránkách kurzu: http://archiv.soc.cas.cz/analyticke-metody-vyzkumu-pro-magistry

3 Osnova přednášky 1.Mechanismy chybějících hodnot 2.Metody založené na imputaci jediné hodnoty 3.Mnohonásobné imputace

4 Mechanismy chybějících hodnot Zjednodušeně řečeno mechanismy popisují vztah(y) mezi pozorovanými a chybějícími hodnotami v datech Statistická teorie rozlišuje 3 mechanismy: 1.Missing Completely At Random (MCAR) – Výskyt chybějících hodnot v datech nezávisí na pozorovaných hodnotách, a zároveň nezávisí ani na samotných hodnotách, které chybějí – Jedná se o velice striktní předpoklad, který v praxi (zejména v sociologii) nebývá příliš častý – Tradiční metody předpokládají mechanismus MCAR

5 Mechanismy chybějících hodnot 2.Missing At Random (MAR) – Výskyt chybějících hodnot v datech závisí na pozorovaných hodnotách, ale zároveň nezávisí na chybějících hodnotách – Použití mnohonásobných imputací předpokládá, že hodnoty chybí podle mechanismu MAR (nebo MCAR) 3.Not Missing At Random (NMAR) – Výskyt chybějících hodnot v datech závisí na samotných chybějících hodnotách – Jedná se o nejproblematičtější situaci

6 Metody založené na nahrazování chybějících hodnot Standardní statistické metody byly vyvinuty pro kompletní data (tzn. data bez chybějících hodnot) Metody založené na imputaci chybějících hodnot podle různých algoritmů doplní „prázdná“ místa v datové matici → → → věcně realizovaná analýza už následně pracuje s kompletními daty Cílem imputací není správná predikce jednotlivých chybějících hodnot, ale dosáhnutí nevychýlených odhadů věcně zkoumaných parametrů !!!

7 Metody nahrazující každou chybějící hodnotu jedinou hodnotou -Zkoumání vztahu mezi IQ (horizontální osa) a hrubou měsíční mzdou (vertikální osa) -U všech tří grafů chybí asi 30 % hodnot hrubé měsíční mzdy

8 Problém spojený s imputacemi jediné hodnoty Po nahrazení chybějících hodnot těmito technikami se s imputovanými hodnotami pracuje jako s původně pozorovanými hodnotami Věcné analýzy tedy vůbec nezohledňují nejistotu spojenou s procesem nahrazování chybějících hodnot Metody podhodnocují odhady směrodatných chyb zkoumaných parametrů → → → užší intervaly spolehlivosti a menší p-hodnoty Mnohonásobné imputace řeší tento problém

9 Mnohonásobné imputace (multiple imputation) Místo jedné hodnoty je každá chybějící hodnota nahrazena současně několika hodnotami Jedná se o přístup k řešení problému chybějících hodnot, který má v praxi několik různých implementací

10 Princip fungování mnohonásobných imputací při realizaci věcné analýzy Datový soubor s chybějícími hodnotami Imputovaný soubor č. 1 Výsledky věcné analýzy na základě souboru č. 1 Imputovaný soubor č. 2 Výsledky věcné analýzy na základě souboru č. 2 Imputovaný soubor č. 3 Výsledky věcné analýzy na základě souboru č. 3 Souhrnné výsledky Imputovaný soubor č. 4 Výsledky věcné analýzy na základě souboru č. 4 Imputovaný soubor č. 5 Výsledky věcné analýzy na základě souboru č. 5 1.) Imputace dat2.) Analýza 3.) Sloučení výsledků

11 Algoritmy imputace dat V praxi dominují dva přístupy: 1.Conditional multiple imputation – Hodnoty jednotlivých proměnných jsou nahrazovány vždy podmíněně ke všem ostatním proměnným – Nejpoužívanější algoritmus = multiple imputation by chained equations (MICE) 2.Joint multiple imputation – Imputované hodnoty jsou generované ze společného mnohorozměrného rozdělení – Nejčastěji se přitom pracuje s mnohorozměrným normálním rozdělením

12 Multiple imputation by chained equations I Název v SPSS: fully conditional specification Zohledňuje měřítko imputované proměnné (nominální, ordinální, kardinální) – pro každý typ proměnné jsou chybějící hodnoty nahrazovány jinou metodou Zohledňuje „jistotu“ spojenou s doplňovanými hodnotami: pokud máme k dispozici „silné“ prediktory konkrétní proměnné, tak imputované hodnoty mají mezi imputovanými soubory malý rozptyl. Pokud jsou prediktory „slabé“, tak imputované hodnoty mají mezi soubory velký rozptyl

13 Multiple imputation by chained equations II Postup algoritmu: 1.Všechny proměnné s chybějícími hodnotami jsou postupně doplněné jednoduchou imputační metodou 2.Každá proměnná je postupně doplněna podle odpovídajícího modelu (vypočítaného jen na případech s pozorovanými hodnotami imputované proměnné) 3.Krok číslo dva se opakuje dokud není dosaženo stabilní řešení → → → výsledkem je jeden imputovaný datový soubor 4.Kroky 1-3 se opakují dokud není vytvořen definovaný počet imputovaných datových souborů (obvykle 5)

14 Sloučení výsledků Každý imputovaný datový soubor vede k jinému odhadu zkoumaného parametru Souhrnný odhad parametru se vypočítá jako průměr ze všech odhadů Celkový rozptyl odhadů kombinuje variabilitu v rámci jednotlivých imputací (nejistotu spojenou s odhadem parametru na základě jednoho datového souboru) a napříč jednotlivými imputacemi (nejistota spojená s nahrazováním chybějících hodnot) Poznámka: některé charakteristiky (např. p-hodnoty) není možné sloučit pomocí průměru ze všech m odhadů

15 Několik praktických doporučení Vhodné prediktory pro imputaci konkrétní proměnné: 1.všechny proměnné, které budou součástí věcné analýzy 2.proměnné, které souvisí s výskytem chybějících hodnot u imputované proměnné 3.proměnné, které vysvětlují značný podíl rozptylu imputované proměnné Většinou stačí vytvořit 5 imputovaných verzí původních dat Chybějící hodnoty v celém datovém souboru stačí prostřednictvím mnohonásobných imputací nahradit jednou, přičemž takto nahrazená a uložená data mohou být používána na různé analýzy (různými uživateli)

16 Shrnutí Mnohonásobné imputace vedou k nevychýleným odhadům parametrů u mechanismů MCAR a MAR Pokrytí populačních parametrů intervaly spolehlivosti odpovídá zvolené hladině spolehlivosti Jedna z nejlepších dostupných metod Velmi komplexní metoda Náročný proces nastavování procedury  

17 Reference Rubin (2004) - Multiple Imputation for Nonresponse in Surveys. New York: J. Wiley & Sons. van Buuren (2012) - Flexible Imputation of Missing Data. Boca Raton: CRC Press. White, Royston a Wood (2011) - Multiple imputation using chained equations: Issues and guidance for practice. Statistics in Medicine 30: 377-399. Schafer (1999) - Multiple imputation: A primer. Statistical methods in medical research 8(1): 3-15.

18 V prosinci 2015 vyjde v Sociologickém ústavu AV ČR kniha věnovaná problematice chybějících hodnot v datech Mnohonásobným imputacím je věnována jedna kapitola Kromě metod založených na nahrazování chybějících hodnot kniha popisuje další skupiny metod: Metody založené na vynechávání případů Metody založené na maximální věrohodnosti (např. EM algoritmus) Podrobnější informace o knize: http://soc.cas.cz/publikace/analyza-chybejicich- hodnot Petrúšek, I. 2015. Analýza chybějících hodnot. Praha: Sociologický ústav AV ČR, v.v.i. 145 s. ISBN: 978-80-7330-267-2.