Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

S TATISTIKA Ing. Jan Popelka, Ph.D. odborný asistent Katedra informatiky a geoinformatiky Univerzita Jana Evangelisty Purkyně v Ústí nad Labem

Podobné prezentace


Prezentace na téma: "S TATISTIKA Ing. Jan Popelka, Ph.D. odborný asistent Katedra informatiky a geoinformatiky Univerzita Jana Evangelisty Purkyně v Ústí nad Labem"— Transkript prezentace:

1 S TATISTIKA Ing. Jan Popelka, Ph.D. odborný asistent Katedra informatiky a geoinformatiky Univerzita Jana Evangelisty Purkyně v Ústí nad Labem WWW:

2 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA

3 Korelační analýza s více proměnnými Vícenásobná regresní analýza Multikolinearita Umělé proměnné Volba modelu a volba vhodných vysvětlujících proměnných Analýza reziduí Předpovědi 3

4 V ÍCENÁSOBNÁ K ORELACE A R EGRESNÍ ANALÝZA Popisuje závislost více než dvou číselných proměnných z nichž: o více je nezávislých (vysvětlující proměnné – značíme je x 1, x 2,..., x n ) o a jen jedna je závislá (vysvětlovaná proměnná y). Do analýzy lze zařadit i slovní proměnné, ale ty je nutné převézt na číselné hodnoty (viz dále). 4

5 V ÍCENÁSOBNÁ K ORELACE Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti, věku a pohlaví. Pokuste se odhalit, které faktory na IQ působí a nalezněte vhodný model závislosti. Měření jsou v následující tabulce: DítěLojzíkPepánekAlenkaZdendaPetruškaMáňa IQ hmotnost (kg) věk (roky) pohlaví (žena=1)

6 V ÍCENÁSOBNÁ K ORELACE Stejně jako v případě závislosti dvou proměnných je vhodné začínat analýzu elementárními metodami popisu závislostí. Bodový graf má význam pouze při analýze závislosti tří proměnných (3 osy). Pro více jak 3 proměnné již nelze graf sestrojit. Lze pracovat s klasickými dvourozměrnými grafy a zkoumat dílčí závislosti mezi vysvětlovanou a vybranou vysvětlující proměnnou. Korelační matici lze sestavit pro libovolný počet proměnných, je tedy velmi vhodným nástrojem pro měření závislostí. MS EXCEL: Nástroje – Doplňky – Analýza – Analýza Dat – Korelace 6

7 V ÍCENÁSOBNÁ K ORELACE Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Čtyřrozměrný graf bohužel nelze vytvořit, proto budou analyzovány pouze dvojice proměnných (závislá je stále IQ). 7

8 V ÍCENÁSOBNÁ K ORELACE Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Korelační matice (matice korelačních koeficientů). MS EXCEL: Nástroje – Doplňky – Analýza – Analýza Dat – Korelace Podle matice je IQ vysoce korelováno se všemi proměnnými. Pozor! vysoká korelace však existuje i mezi vysvětlujícími proměnnými (věk a hmotnost) – to je v regresním modelu nežádoucí!! IQvěkpohlavíhmotnost IQ1 věk0, pohlaví0, , hmotnost0, , ,

9 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Vícenásobný regresní model je zjednodušeným zobrazením reality. Závislost se snaží popsat pomocí konkrétní rovnice: regresní roviny (2 vysvětlující proměnné) nebo regresní nadroviny (3 a více vysvětlujících proměnných). y = β 0 + β 1 x 1 + β 2 x β n x n + ε Deterministická složka – Náhodná složka – vliv vysvětlujícíchvšechny ostatní proměnných(nepopsané) vlivy 9

10 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Rovina nebo nadrovina procházející nejblíže všem bodům je vždy jen jedna! K jejímu nalezení slouží metoda nejmenších čtverců (MNČ). Je založena na řešení soustavy normálních rovnic a jejím řešením jsou odhady koeficientů b 0, b 1, …, b n ): 10

11 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Umělé proměnné Pokud je vhodné zahrnout do modelu i slovní proměnnou se dvěma obměnami, pak se převede na číselnou binární proměnnou (nula-jedničková proměnná). Příklad: Pohlaví lze zapsat hodnotou 1 pro ženu a hodnotou 0 pro muže (resp. opačně). Původní proměnná muž žena Umělá proměnná

12 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Umělé proměnné Pokud má slovní proměnná více než dvě obměny (k > 2), převede se na k-1 binárních proměnných. Příklad: Vzdělání se třemi různými hodnotami. Původní proměnná (Vzdělání) Umělá proměnná (středoškolské) Umělá proměnná (vysokoškolské) základní00 00 středoškolské10 10 základní00 vysokoškolské01 středoškolské10 vysokoškolské01 Znak má 3 obměny (základní, středoškolské a vysokoškolské vzdělání) takže byly zavedeny dvě umělé proměnné, pokud ani jedna z nich nenabývá hodnoty 1, pak jde o vzdělání základní. 12

13 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA V regresním modelu nesmí být silná korelace mezi vysvětlujícími (nezávislými proměnnými – x i ). V takovém případě sice lze použít metodu nejmenších čtverců, ale: odhady směrodatných chyb regresních koeficientů s(b i ) jsou příliš veliké, intervaly spolehlivosti pro regresní koeficienty jsou moc široké, t-testy nevedou k zamítnutí hypotézy o nevýznamnosti koeficientů => parametry jsou nulové. 13

14 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA V extrémním případě, kdy je mezi vysvětlujícími proměnnými funkční závislost (korelační koeficient r xy je 1 nebo -1) nelze parametry modelu pomocí metody nejmenších čtverců vůbec odhadnout! Příkladem je proměnná x 1 hmotnost v kilogramech a x 2 hmotnost v tunách. Nebo chybné zavedení stejného počtu umělých binárních proměnných jako je počet obměn slovní proměnné. 14

15 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Jde o tzv. multikolinearitu!! Ta je podle některých autorů nezdravá, pokud je korelační koeficient libovolné dvojice vysvětlujícících proměnných x větší než 0,8. Multikolinearita v praxi znamená, že jedna z dvojice vysvětlujících proměnných, které jsou vzájemně silně závislé, je v modelu navíc a měla by být z modelu vyřazena. 15

16 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA V případě odhalení multikolinearity vyřadíme z dvojice korelovaných vysvětlujících proměnných: proměnnou, která do úlohy logicky nepatří (IQ není závislé na hmotnosti), nebo proměnnou, která má slabší korelaci s vysvětlovanou proměnnou y. 16

17 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Korelační matice. MS EXCEL: Nástroje – Doplňky – Analýza – Analýza Dat – Korelace Jedna z proměnných je v modelu navíc => hmotnost bude z modelu vyřazena, protože do modelu logicky nepatří. IQvěkpohlavíhmotnost IQ1 věk0, pohlaví0, , hmotnost0, , ,

18 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Český hydrometeorologický ústav v Praze měřil... MS Excel: Data – Analýza – Analýza Dat – Regrese 18 Do políčka „Vstupní oblast Y“ zadáváme závislou proměnnou. Data byla vložena včetně popisků proto zaškrtneme „Popisky“. Do políčka „Vstupní oblast X“ zadáváme všechny nezávislé proměnné. Pro analýzu reziduí zaškrtneme „Rezidua“, „Standardní rezidua“ a „Graf s rezidui“.

19 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Korelační matice po vyřazení proměnné hmotnost. Po vyřazení proměnné hmotnost se již v modelu multikolinearita nevyskytuje. IQ je stále vysoce korelováno s proměnnými věk a pohlaví, ale tyto dvě proměnné již mezi sebou silně korelovány nejsou. IQvěkpohlaví IQ1 věk0, pohlaví0, ,

20 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Odhad koeficientů regresní roviny MS EXCEL: Data – Analýza – Analýza Dat – Regrese Regresní rovina má tvar: ŷ = 81,52 + 2,79·x 1 + 5,83·x 2 neboli: IQ = 81,52 + 2,79·věk + 5,83·pohlaví Koeficienty Chyba stř. hodnotyt statHodnota PDolní 95%Horní 95% Hranice81,519236, ,862230, , ,6892 věk2, , , , ,887294, pohlaví5, , , , , ,

21 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Regresní rovina má tvar : IQ = 81,52 + 2,79·věk + 5,83·pohlaví Z koeficientů empirického regresního modelu plyne: S každým dalším rokem věku vzroste IQ o 2,79 bodu (za podmínky, že se ostatní faktory nezmění). Dívky mají v průměru o 5,83 bodu vyšší IQ než chlapci (za podmínky, že se ostatní faktory nezmění). 21

22 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Odhad koeficientů regresní roviny MS EXCEL: Data – Analýza – Analýza Dat – Regrese Všechny parametry jsou na hladině významnosti α = 0,1 statisticky významné (tzn. žádný z nich není roven 0). Parametr proměnné pohlaví je na hladině významnosti α = 0,05 nulový (95% interval spolehlivosti pro tento parametr obsahuje 0). Koeficienty Chyba stř. hodnotyt statHodnota PDolní 95%Horní 95% Hranice81,519236, ,862230, , ,6892 věk2, , , , ,887294, pohlaví5, , , , , ,

23 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Odhad koeficientů regresní roviny MS EXCEL: Data – Analýza – Analýza Dat – Regrese Regresní model je statisticky významný, obecný regresní model lze odvodit. P-hodnota F-testu je 0,01 < α = 0,05, takže zamítáme nulovou hypotézu o nevhodnosti modelu. ANOVA RozdílSSMSFVýznamnost F Regrese2362, ,471229,336270, Rezidua318,557696, Celkem5381,5 23

24 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Odhad koeficientů regresní roviny MS EXCEL: Data – Analýza – Analýza Dat – Regrese Hodnota upraveného determinačního indexu I 2 je 0, % změn hodnot IQ vysvětluje model vlivem věku a pohlaví. Zbylých 8% je způsobeno jinými vlivy. Pozn.: Protože regresní rovina má tři parametry, je nutné interpretovat právě opravený determinační index. Regresní statistika Násobné R0, Hodnota spolehlivosti R0, Nastavená hodnota spolehlivosti R0, Chyba stř. hodnoty2, Pozorování6 24

25 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Odhad parametrů regresní nadroviny (včetně hmotnosti) MS EXCEL: Data – Analýza – Analýza Dat – Regrese Pokud by byla do modelu zahrnuta i proměnná hmotnost, byla by v modelu multikolinearita. Směrodatné chyby odhadů jsou příliš veliké, intervaly spolehlivosti široké a obsahují 0. V tomto případě se všechny koeficienty kromě absolutního členu β 0 zdají být statisticky nevýznamné (nezamítáme H 0 u t-testů). Koeficienty Chyba stř. hodnotyt statHodnota PDolní 95%Horní 95% Hranice83, , , , , , věk1, , , , , , pohlaví4, , , , , , hmotnost0, , , , , ,

26 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA V OLBA VHODNÉHO MODELU Volba vhodného modelu Příliš vysoký počet vysvětlujících proměnných v modelu může vést k závěru o statistické nevýznamnosti některých koeficientů, i když mezi proměnnými není zjevná multikolinerita. Volba modelu ve vícerozměrné regresní analýza spočívá ve výběru vhodných proměnných a vyřazování nevhodných. Vyřazení nevhodné proměnné by nemělo mít vliv na kvalitu regresního modelu. Taková proměnná byla v modelu navíc a model po jejím odstranění neutrpěl významný pokles kvality (např. se významně nesníží upravený determinační index). 26

27 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA V OLBA VHODNÉHO MODELU Volba modelu na základě testu Test pro zjištění, zda je složitější model (více proměnných) vhodnější než jednodušší H 0 : složitější model nepřináší zlepšení H A : složitější model přináší zlepšení Testovací statistika: H 0 zamítáme, pokud platí: F > F 1-  (p 2 - p 1 ; n - p 2 ). S R (1) je reziduální součet čtverců jednoduššího modelu, S R (2) reziduální součet čtverců složitějšího modelu, n je počet pozorování, p 1 počet koeficientů jednoduššího modelu a p 2 počet koeficientů složitějšího modelu. 27

28 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA V OLBA VHODNÉHO MODELU Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Porovnáme dva modely: model 1 bez proměnné hmotnost a model 2 se všemi vysvětlujícími proměnnými. H 0 : složitější model nepřináší zlepšení H A : složitější model přináší zlepšení S R (1) = 18,56 (model 1) S R (2) = 10,06 (model 2) p 1 = 3 p 2 = 4 ANOVA – Model 1 RozdílSSMSFVýznamnost F Regrese2362, ,47129,33630, Rezidua318,557696,18589 Celkem5381,5 ANOVA – Model 2 RozdílSSMSFVýznamnost F Regrese 3371, ,812924,611950, Rezidua 210,06125, Celkem 5381,5 28

29 R EGRESNÍ ANALÝZA V OLBA VHODNÉHO MODELU Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Testovací statistika: H 0 zamítáme, pokud platí: F > F 1-  (p 2 - p 1 ; n - p 2 ), kde F 0,95 (1;2) = 18,51. Protože testovací statistika nepadne do kritického oboru: F < 18,51, nezamítáme Ho, model s proměnnou hmotnost nepřináší zlepšení. 29

30 V ÍCENÁSOBNÁ REGRESNÍ ANALÝZA V OLBA VHODNÉHO MODELU Volba modelu na základě testu je bohužel početně náročná. V praxi lze jen těžko určit, kterou proměnnou navrhnout na vyřazení. K vyhodnocení testu se tak používá statistický software, který postupně testuje všechny vysvětlující proměnné a najde nejoptimálnější podmnožinu proměnných. Proces může probíhat dvěma směry: shora – do modelu se nejprve zařadí všechny vysvětlující proměnné a ty se pak postupně pomocí testu vyřazují. zdola – postupně se do modelu proměnné přidávají a testuje se, zda došlo k významnému zlepšení kvality modelu. 30

31 A NALÝZA REZIDUÍ Stejně jako u jednoduché regrese by rezidua měla splňovat tři podmínky: 1. Rezidua jsou náhodná a nezávislá. 2. Rezidua mají normální rozdělení N(0;σ 2 ). 3. Rozptyl reziduí σ 2 je konstantní. 31

32 A NALÝZA REZIDUÍ Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Podmínka náhodnosti reziduí Z malého počtu pozorování lze jen stěží určit zda se jedná o náhodná rezidua. Na ose x je vyneseno jen o jaké pozorování jde. Nejde tedy o hodnoty vysvětlující proměnné x, protože těch je v modelu více a bylo by nutné vytvořit více grafů. Pro každou vysvětlující proměnnou jeden (takový výstup ovšem poskytuje MS Excel). 32

33 A NALÝZA REZIDUÍ Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Znaménkový test : H 0 : rezidua jsou náhodná H A : rezidua nejsou náhodná Hodnota testového kritéria U není větší než 1,96, takže nezamítáme nulovou hypotézu. Rezidua jsou náhodná! Podmínka splněna. Pozo- rováníRezidua e i Rozdíl (e i+1 – e i ) 11, , , , , , ,25 51, , , , Počet kladných rozdílů S + je vyšší a je 3, tedy S =3. 33

34 A NALÝZA REZIDUÍ Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Kolmogorov-Smirnovův test H 0 : normovaná rezidua mají normální rozdělení N(0;1) H A : normovaná rezidua nemají normální rozdělení N(0;1) Testovací statistika D = 0,288 Kritický obor pro 6 hodnot D > 0,519. Nezamítáme H 0, rezidua roviny mají normální rozdělení. 34

35 A NALÝZA REZIDUÍ Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Testování hypotézy rovnosti rozptylů reziduí. MS EXCEL = FTEST (první oblast; druhá oblast) H 0 : rozptyly v obou polovinách jsou stejné resp. D 1 (e i ) = D 2 (e i ) H A : rozptyly v obou polovinách nejsou stejné resp. D 1 (e i ) ≠ D 2 (e i ) p-hodnota testu pro rezidua = 0,82. Rezidua mají stejný rozptyl, jsou homoskedastická! Podmínka splněna. 35

36 B ODOVÁ PŘEDPOVĚĎ Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti... Protože rezidua modelu splňují všechny tři podmínky a jak model, tak i jeho parametry jsou statisticky významné, lze na základě modelu provést předpověď. Bodová předpověď hodnoty IQ na základě odhadnutého modelu: Regresní rovina má tvar IQ = 81,52 + 2,79·věk + 5,83·pohlaví Chlapec ve věku 14 let bude mít podle odhadnutého modelu IQ: (proměnná věk = 14 a proměnná pohlaví = 0) IQ = 81,52 + 2,79·14 + 5,83·0 = 121. Dívka ve věku 14 let bude mít podle odhadnutého modelu IQ: IQ = 81,52 + 2,79·14 + 5,83·1 =

37 Korelační matice Rovina a nadrovina Umělé proměnné Multikolinearita Volba vhodných proměnných Analýza reziduí Bodová předpověď 37 A NALÝZA REZIDUÍ A P ŘEDPOVĚDI V R EGRESNÍ ANALÝZE D ŮLEŽITÉ POJMY – 10. PŘEDNÁŠKA


Stáhnout ppt "S TATISTIKA Ing. Jan Popelka, Ph.D. odborný asistent Katedra informatiky a geoinformatiky Univerzita Jana Evangelisty Purkyně v Ústí nad Labem"

Podobné prezentace


Reklamy Google