Mnohonásobné imputace chybějících hodnot Analytické metody výzkumu pro mgr. Ivan Petrúšek 16.12.2014

Osnova Mechanizmy chybějících hodnot Metody založené na imputaci jediné hodnoty Mnohonásobné imputace

Mechanizmy chybějících hodnot Zjednodušeně řečeno mechanizmy popisují vztah(y) mezi pozorovanými a chybějícími hodnotami v datech Statistická teorie rozlišuje 3 mechanizmy: Missing Completely At Random (MCAR) Výskyt chybějících hodnot v datech nezávisí na pozorovaných hodnotách, a zároveň nezávisí ani na samotných hodnotách, které chybějí Jedná se o velice striktní předpoklad, který v praxi (zejména v sociologii) nebývá příliš častý Tradiční metody předpokládají mechanizmus MCAR

Mechanizmy chybějících hodnot Missing At Random (MAR) Výskyt chybějících hodnot v datech závisí na pozorovaných hodnotách, ale zároveň nezávisí na chybějících hodnotách Použití mnohonásobných imputací předpokládá, že hodnoty chybí podle mechanizmu MAR (nebo MCAR) Not Missing At Random (NMAR) Výskyt chybějících hodnot v datech závisí na samotných chybějících hodnotách Jedná se o nejproblematičtější situaci

Metody založené na imputaci chybějících hodnot Standardní statistické metody byly vyvinuty pro kompletní data (tzn. data bez chybějících hodnot) Metody založené na imputaci chybějících hodnot podle různých algoritmů doplní „prázdná“ místa v datové matici → → → věcně realizovaná analýza už následně pracuje s kompletními daty Cílem imputací není správná predikce jednotlivých chybějících hodnot, ale dosáhnutí nevychýlených odhadů věcně zkoumaných parametrů !!!

Metody založené na imputaci jediné hodnoty Imputace aritmetického průměru Každá chybějící hodnota proměnné je nahrazena hodnotou aritmetického průměru, který byl spočten z platných hodnot dané proměnné Nejhorší ze všech dostupných metod Imputace prostřednictvím lineární regrese Chybějící hodnoty proměnné jsou nahrazené odhadem uskutečněným podle regresní rovnice (která byla spočtena na případech s kompletními daty) Proměnná s chybějícími hodnotami vystupuje v regresní rovnici jako závisle proměnná Regresní rovnice se počítají pro všechny proměnné s chybějícími hodnotami

Metody založené na imputaci jediné hodnoty Imputace prostřednictvím stochastické regrese Jedná se o vylepšenou podobu nahrazovaní chybějících hodnot prostřednictvím lineární regrese → → → ke každé nahrazené hodnotě se přičte náhodně vygenerovaná odchylka (z normálního rozdělení) Jako jediná z 3 výše uvedených imputačních metod vede k nevychýleným odhadům parametrů při mechanizmu MAR

Grafická ukázka fungování těchto metod Zkoumání vztahu mezi IQ (horizontální osa) a hrubou měsíční mzdou (vertikální osa) U všech grafů chybí asi 30% hodnot hrubé měsíční mzdy

Další problém spojený s imputacemi jediné hodnoty Po nahrazení chybějících hodnot těmito technikami se s imputovanými hodnotami pracuje jako s původně pozorovanými Věcné analýzy tedy vůbec nezohledňují nejistotu spojenou s realizovanými imputacemi Metody podhodnocují odhady směrodatných chyb zkoumaných parametrů → → → užší intervaly spolehlivosti a menší p-hodnoty Mnohonásobné imputace řeší tento problém

Mnohonásobné imputace (multiple imputation) Místo jedné hodnoty je každá chybějící hodnota nahrazena současně několika hodnotami Jedná se o přístup k řešení problému chybějících hodnot, který má v praxi několik různých implementací

Schéma postupu mnohonásobných imputací Datový soubor s chybějícími hodnotami Imputovaný soubor č. 1 Výsledky věcné analýzy na základě souboru č. 1 Imputovaný soubor č. 2 Výsledky věcné analýzy na základě souboru č. 2 Imputovaný soubor č. 3 Výsledky věcné analýzy na základě souboru č. 3 Souhrnné výsledky Imputovaný soubor č. 4 Výsledky věcné analýzy na základě souboru č. 4 Imputovaný soubor č. 5 Výsledky věcné analýzy na základě souboru č. 5 1.) Imputace dat 2.) Analýza 3.) Sloučení výsledků

Algoritmy imputace dat V praxi dominují dva přístupy: Conditional multiple imputation Hodnoty jednotlivých proměnných jsou nahrazovány vždy podmíněně ke všem ostatním proměnným Nejpoužívanější algoritmus = multiple imputation by chained equations (MICE) Joint multiple imputation Imputované hodnoty jsou generované ze společného mnohorozměrného rozdělení Nejčastěji se přitom pracuje s mnohorozměrným normálním rozdělením

Multiple imputation by chained equations I Název v SPSS: fully conditional specification Zohledňuje měřítko imputované proměnné (nominální, ordinální, kardinální) – pro každý typ proměnné jsou chybějící hodnoty nahrazovány jinou metodou Zohledňuje „jistotu“ spojenou s doplňovanými hodnotami: pokud máme k dispozici „silné“ prediktory konkrétní proměnné, tak imputované hodnoty mají mezi imputovanými soubory malý rozptyl. Pokud jsou prediktory „slabé“, tak imputované hodnoty mají mezi soubory velký rozptyl

Multiple imputation by chained equations II Postup algoritmu: Všechny proměnné s chybějícími hodnotami jsou postupně doplněné jednoduchou imputační metodou Každá proměnná je postupně doplněna podle odpovídajícího modelu (vypočítaného jen na případech s pozorovanými hodnotami imputované proměnné) Krok číslo dva se opakuje dokud není dosaženo stabilní řešení → → → výsledkem je jeden imputovaný datový soubor Kroky 1-3 se opakují dokud není vytvořen definovaný počet imputovaných datových souborů (obvykle 5)

Sloučení výsledků Každý imputovaný datový soubor vede k jinému odhadu zkoumaného parametru Souhrnný odhad parametru se vypočítá jako průměr ze všech odhadů Celkový rozptyl odhadů kombinuje variabilitu v rámci jednotlivých imputací (nejistotu spojenou s odhadem parametru na základě jednoho datového souboru) a napříč jednotlivými imputacemi (nejistota spojená s nahrazováním chybějících hodnot) Poznámka: některé charakteristiky (např. p-hodnoty) není možné sloučit pomocí průměru ze všech m odhadů

Shrnutí I Při samotné imputaci chybějících hodnot je vhodné použít proměnné, které nejsou součástí následné věcné analýzy (zvýší se tím šance, že hodnoty chybí podle MAR) Chybějící hodnoty v celém datovém souboru stačí prostřednictvím mnohonásobných imputací nahradit jednou, přičemž takto nahrazená a uložená data můžou být používána na různé analýzy (různými uživateli)

Shrnutí II MI vedou k nevychýleným odhadům parametrů a jejich směrodatných chyb při mechanizmu MCAR a MAR MI představují jednu z nejlepších dostupných metod práce s chybějícími hodnotami – když však hodnoty chybí podle mechanizmu NMAR, tak i MI může vést k vychýleným odhadům zkoumaných parametrů

Reference Rubin (2004) - Multiple Imputation for Nonresponse in Surveys. New York: J. Wiley & Sons. van Buuren (2012) - Flexible Imputation of Missing Data. Boca Raton: CRC Press. White, Royston a Wood (2011) - Multiple imputation using chained equations: Issues and guidance for practice. Statistics in Medicine 30: 377-399. Schafer (1999) - Multiple imputation: A primer. Statistical methods in medical research 8(1): 3-15.