Neparametrické testy.

Prezentace na téma: "Neparametrické testy."— Transkript prezentace:

1 Neparametrické testy

2 Jde o speciální testy, které nevyžadují splnění žádných nebo skoro žádných předpokladů o charakteru rozdělení studovaných náhodných veličin. Jsou nezávislé na tvaru rozdělení ZS a netýkají se parametrů rozdělení (středních hodnot, rozptylů) v jejich tradičním smyslu. V testovacích charakteristikách, užívaných v neparametrických testech, nefigurují parametry rozdělení, nýbrž jiné důležité charakteristiky, popisující dané statistické souboru (např. pořadí). Tyto testy vycházejí z velmi obecných předpokladů, obvykle se pouze požaduje, aby rozdělení zkoumaných náhodných veličin bylo spojitého typu.

3 Hlavní přednosti neparametrických testů
nezávislost na tvaru rozdělení, použitelnost pro studium jak znaků kvantitativních, tak kvalitativních (parametrické testy lze užívat pouze při analýze kvantitativních znaků), po výpočetní stránce jsou mnohem jednodušší a rychlejší (zejména při výběrech malého rozsahu) Mají širší použitelnost než testy parametrické. Jako nedostatek se uvádí zejména jejich menší síla (tj. menší schopnost zamítnout nesprávnou nulovou hypotézu) v porovnání s parametrickými testy.

4 Jsou-li splněny předpoklady použití parametrických testů, potřebují neparametrické testy analogických hypotéz větší rozsah náhodného výběru k dosažení stejné síly testu proti analogickým alternativním hypotézám. Tato „závada“ je však kompenzována širšími možnostmi použití neparametrických testů a vhodnou volbou testu lze zmíněný nedostatek téměř eliminovat. Velmi důležitou podtřídu neparametrických testů tvoří pořadové testy, ve kterých se místo s původními hodnotami náhodné veličiny v náhodném výběru pracuje s pořadovými čísly těchto hodnot, seřazených podle velikosti.

5 Provedeme-li n nezávislých pozorování spojité náhodné veličiny X, je prakticky jisté, že se pozorované hodnoty x1, x2, …, xn vesměs od sebe liší, takže se dají jednoznačně uspořádat podle velikosti. Každému pozorování xi lze tedy jednoznačně přiřadit pořadí Ri – totiž jeho pořadové číslo v uspořádané posloupnosti pozorování. Někdy se však stává, že dvě nebo více výběrových hodnot jsou stejné a vytvářejí tzv. shody. Hodnotám, které tvoří určitou shodu, se pak přiřazuje jejich průměrné pořadí.

6 Máme k dispozici následující čísla a jejich pořadí stanovíme takto:
Pozorování xi 9 6 5 7 2 11 Pořadí Ri 3,5 1

7 Pořadové testy jsou vhodné v případech, kdy:
mají nahradit testy, založené na speciálních předpokladech o rozdělení pravděpodobností náhodné veličiny, když tyto předpoklady nejsou splněny, sledovaná veličina není číselná, ale její jednotlivé úrovně lze seřadit podle velikosti a přiřadit jim pořadová čísla (např. tvrdost, hustota, estetická vlastnost) přitom výskyt jejich úrovní závisí na náhodě, hodnoty sledované veličiny jsou stanoveny subjektivně nebo nepřesně a nejsou tím spolehlivé, ale jejich pořadí podle velikosti je objektivní a správné (hodnocení počtem bodů apod.).

8 Wilcoxon – Whiteův test
představuje neparametrickou obdobu dvouvýběrového t-testu pro nezávislé soubory. Slouží k testu hypotézy, že dva nezávislé výběry X = (x1, x2, …, xm)´ a Y = (y1, y2, …, yn)´ pocházejí ze stejného ZS proti alternativě, že se významně liší svoji polohou. Předpokládejme, že dva ZS A a B mají spojité rozdělení s distribučními funkcemi F1(x) a F2(x). Z těchto souborů byly pořízeny dva nezávislé náhodné výběry o rozsazích m a n (m  n). Je třeba ověřit hypotézu, že tyto nezávislé náhodné výběry pocházejí ze stejného ZS pro H1, že se oba výběry významně liší svou polohou, tzn. H0: F1(x) = F2(x) pro všechna x.

9 Postup algoritmu stanovení testového kritéria:
Máme dva náhodné výběrové soubory o rozsahu m a n. Z obou souborů vytvoříme jediný soubor (tzv. sdružený výběr) o rozsahu N = m + n, který uspořádáme ve vzestupném pořádku podle velikosti naměřených hodnot znaku. Jednotlivým hodnotám tohoto vytvořeného souboru přiřadíme pořadová čísla (tzn. hodnoty očíslujeme od nejmenší k největší čísly 1, 2, …, N, přičemž stejně velkým hodnotám přiřadíme stejné průměrné pořadí) a označíme, k jakému výběru patří. Nechť pořadová čísla hodnot prvního výběru jsou Rx1, Rx2, …, Rxm a pořadová čísla druhého výběru Ry1, Ry2, …, Ryn.

10 Tx = Rx1 + Rx2 + … + Rxm; Ty = Ry1 + Ry2 + … + Ryn.
Pro hodnoty patřící do původních výběrových souborů pořídíme součty pořadových čísel Tx, Ty. Tx = Rx1 + Rx2 + … + Rxm; Ty = Ry1 + Ry2 + … + Ryn. Menší z hodnot Tx, Ty je pak testovým kritériem T. T = min (Tx; Ty) Pokud T  T (m n), zamítáme nulovou hypotézu na hladině významnosti  a konstatujeme, že hodnoty znaku v prvém souboru jsou průkazně rozdílné od hodnot znaku druhého souboru na hladině významnosti . Nelze hovořit o průkazném rozdílu průměrů nezávislých souborů, protože ty nejsou neparametrickým testem hodnoceny.

11 Při velkých rozsazích souborů, pro které nejsou uvedeny kritické hodnoty, lze využít skutečnosti, že rozdělení náhodné veličiny Tx (předpokládejme, že Tx je menší součet pořadových čísel) se blíží rozdělení normálnímu. Testovacím kritériem je potom normovaná náhodná veličina uT Jestliže hodnota uT překročí kritickou hodnotu normovaného normálního rozdělení u, zamítáme na zvolené hladině významnosti  nulovou hypotézu.

12 Dvouvýběrový Wilcoxonův test
je také neparametrickou obdobou dvouvýběrového t-testu pro nezávislé soubory. Postup při stanovení testového kritéria je obdobný jako u Wilcoxon – Whiteova testu (původním hodnotám se přiřadí pořadová čísla a zjistí se jejich součty pro původní výběrové soubory), odlišuje se pouze stanovením testového kritéria.

13 Za testové kritérium U je považována menší hodnota z hodnot Ux, Uy (U = min Ux; Uy), kdy
Tx a Ty jsou součty pořadových čísel pro jednotlivé původní soubory. Pokud U < U (m n), zamítáme nulovou hypotézu o shodě hodnot sledovaných znaků.

14 Jestliže budeme hodnotit soubory o větším rozsahu a nenalezneme kritickou hodnotu v tabulkách, je možné použít normální aproximace, kdy testové kritérium stanovíme podle vzorce kde Ux je menší součet pořadových čísel. Pokud u0 u, nulovou hypotézu o shodě hodnot znaku na dané hladině významnosti zamítneme u je kritická hodnota rozdělení N(0; 1).

15 Příklad Vyhodnoťte s použitím neparametrického testu průkaznost rozdílu mezi hodnotami hmotnosti celé rostliny kukuřice v kg stejné odrůdy před sklizní, kdy varianta A jsou rostliny pěstované z neozářených semen a varianta B rostliny ze semen ozářených RTG zářením. U každé varianty bylo náhodně vybráno a zváženo 10 rostlin.

16 Varianta A: Tx = 73 Varianta B: Ty = 137
T = min (Tx, Ty) = 73 T0,05 (10; 10) = 78 T < T  H0 se zamítá (podle W-W testu) U = min (Ux, Uy) = 18 U0,05 (10; 10) = 23 U < U  H0 se zamítá

17 Wilcoxonův test (jednovýběrový)
je neparametrickou obdobou párového t-testu pro závislé výběry, který slouží k ověření hypotézy o shodě úrovně ve dvou souborech, z nichž byly pořízeny párové (závislé) výběry. Postup stanovení testového kritéria: Určíme hodnoty diferencí di mezi párovými hodnotami znaku (di = xi – yi). Nenulovým diferencím v absolutní hodnotě přiřadíme vzestupně pořadová čísla, která rozdělíme do dvou skupin podle znaménka diferencí di (shodným diferencím dáváme průměrné pořadí).

18 Sečteme pořadová čísla pro diference záporné W– a diference kladné W+.
Menší ze součtu pořadových čísel je pak testovým kritériem W, tzn. W = min (W+ ; W– ). Následně vyhledáme kritickou hodnotu v tabulkách pro Wilcoxonův test pro zvolenou hladinu významnosti  a n - počet nenulových diferencí. Jestliže W  W , přijímáme nulovou hypotézu o nevýznamnosti rozdílu hodnot sledovaného znaku.

19 Tabulka kritických hodnot W je konstruována pro n  25.
Při větších rozsazích se užívá poznatku, že statistika W má za platnosti H0 asymptoticky normální rozdělení Pro velké výběry, přibližně pro n  25, lze pro výpočet testového kritéria použít vztah Bude-li uw  u, zamítáme nulovou hypotézu na dané hladině významnosti.

20 Znaménkový test je nejjednodušší neparametrickou obdobou párového t-testu. Při jeho použití je testovým kritériem Z pouze menší počet z „+“ a „–“ znamének u diferencí di mezi párovými hodnotami znaku (hodnoty di = 0 se vynechávají), tzn. Z = min (+ ; –). Pokud Z  Z (n) , přijímá se alternativní hypotéza (pro n - počet znamének a hladinu významnosti ).

21 Testovací statistika má pak tvar
V případě velkých souborů je možné použít asymptoticky platný test na základě aproximace pomocí normálního rozdělení náhodné proměnné. Testovací statistika má pak tvar Bude-li uZ  u, zamítáme nulovou hypotézu na dané hladině významnosti. Pozn.: Test znaménkový a test Wilcoxonův (jednovýběrový) se dá také použít jako klasický jednovýběrový test, kdy zjišťujeme rozdíly naměřených hodnot vzhledem k předpokládané hodnotě (nejčastěji mediánu). Diference di se potom určují jako rozdíl hodnoty xi a stanoveného mediánu (či jiné konstantní hodnoty).

22 Příklad U rostlin rajčat byl hodnocen počet nově nasazených plodů na 1 rostlině poprvé v červenci a na stejných rostlinách podruhé v srpnu. Ve výběrovém šetření bylo hodnoceno 9 náhodně vybraných rostlin. S použitím neparametrického testu ověřte, zda výsledky prvního měření jsou průkazně rozdílné od výsledků druhého měření.

23 H0: počet plodů v červenci je stejný jako v srpnu
H1: počet plodů v červenci se odlišuje od počtu plodů v srpnu W+ = 38,5 W– = 6,5 W = min (W+ ; W– ) = 6,5 W0,05 (9) = 6 W  W  přijímáme nulovou hypotézu a rozdíl v počtu plodů mezi sledovanými měsíci lze prohlásit za statisticky nevýznamný

24 H0: F1(x) = F2(x) = … = Fk(x) pro všechna x.
Kruskal – Wallisův test je neparametrickou obdobou analýzy rozptylu jednoduchého třídění. Slouží k ověření nulové hypotézy H0, že k > 2 nezávislých náhodných výběrů o rozsazích n1, n2, …, nk pochází z jednoho základního souboru. Předpokládáme, že tyto náhodné výběry byly pořízeny ze základních souborů se spojitými distribučními funkcemi F1(x), F2(x), …, Fk(x). Nulovou hypotézu H0 můžeme zapsat takto: H0: F1(x) = F2(x) = … = Fk(x) pro všechna x.

25 Postup při stanovení testového kritéria:
Máme k dispozici k výběrových souborů o četnostech n1, n2, …, nk. Všechny výběrové soubory sloučíme do jediného souboru. Každé hodnotě souboru přiřadíme vzestupně pořadové číslo, stejným hodnotám pak pořadí průměrné. Následně sečteme pořadová čísla jednotlivých pozorování pro každý původní výběrový soubor zvlášť a získáme součty T1, T2, …, Tk (Ti ; i = 1, …, k, je tedy součet pořadových čísel pro i-tý výběr).

26 Testové kritérium má tvar
kde n = n1 + n2 + … + nk. Statistika KW má za platnosti H0 při ni   asymptoticky 2 – rozdělení o k-1 stupních volnosti. Pokud , přijímáme hypotézu alternativní, podle které se hodnoty nejméně dvou porovnávaných výběrových souborů od sebe průkazně liší.

27 Jestliže se v posloupnosti zjištěných údajů vyskytnou shodné hodnoty, kterým se přiřazuje průměrné pořadí, je nutno hodnotu KW dělit korekčním faktorem kde p je počet tříd se stejným pořadím a ti počet pořadí v i-té třídě. Opravené testové kritérium se stanoví jako

28 V případě, že zamítneme nulovou hypotézu, tvrdíme, že všechny výběry nepocházejí z téhož rozdělení.
Obvykle pak ve druhé etapě statistického zpracování řešíme otázku, které výběry se od sebe statisticky významně liší. K tomuto lze použít postupy, které se souhrnně nazývají neparametrické metody mnohonásobného porovnávání. Pracujeme-li s vyváženým pokusným plánem, tzn. má-li všech k výběrů stejný rozsah (platí-li n1 = n2 = … = nk = N), můžeme Kruskal – Wallisův test doplnit Neményiho metodou mnohonásobného srovnávání.

29 Je-li diference Ti – Tj větší nebo rovna kritické hodnotě D pro Neményiho metodu, zamítá se hypotéza o neprůkaznosti diference, tzn. že i-tý a j-tý výběr pocházejí z téhož rozdělení. Tabulkové hodnoty se hledají pro hladinu významnosti , pro k počet porovnávaných tříd a N opakování v každé třídě (n1 = n2 = … = nk = N). Tímto postupem zhodnotíme diferencí Ti – Tj.

30 Pokud rozsahy jednotlivých výběrových souborů nejsou stejné (nevyvážený plán), můžeme zjistit, které výběry se od sebe statisticky významně liší, pomocí přibližné Dunnovy metody mnohonásobného srovnávání. Jestliže kde je kritická hodnota rozdělení N(0; 1), zamítáme na hladině významnosti  hypotézu, že i-tý výběr (s rozsahem ni) a j-tý výběr (s rozsahem nj) pocházejí z téhož rozdělení.

31 Příklad V polním pokusu byly ověřovány čtyři varianty hnojení silážní kukuřice rozdílnou dávkou NPK v hnojivech, označené jako H1 až H4. Každá varianta byla ověřována na 8 parcelách s výnosem sklizené hmoty v tunách z parcely, uvedeným v tabulce dat. Ověřte, zda se výnosy u jednotlivých variant hnojení průkazně liší. H0: výnosy jednotlivých variant jsou shodné H1: výnosy jednotlivých variant jsou rozdílné

32

33 Vzhledem k výskytu stejných údajů (bylo použito průměrné pořadí) je vhodné opravit testové kritérium korekčním faktorem: Opravené testové kritérium KW = 22,446  2  na hladině významnosti  = 0,05 i 0,01 přijímáme alternativní hypotézu, podle které se průkazně liší hodnoty výnosu nejméně ve 2 třídách.

34 Podrobnější vyhodnocení Neményiho metodou:
Tabulka diferencí mezi součty pořadí pro jednotlivé varianty hnojení (výnosy kukuřice) Ti – Tj D0,05 = 96,4 (N = 8, K = 4) D0,01 = 116,8 (N = 8, K = 4) Statisticky významně se liší hodnoty výnosů kukuřice mezi variantami hnojení H2 – H4 a to na hladině významnosti  = 0,01 (diference Ti – Tj jsou označeny xx). Na hladině významnosti  = 0,05 se dále statisticky významně liší hodnoty výnosů kukuřice mezi variantami hnojení H1 – H4 a H2 – H3.

35 Testy extrémních odchylek hodnot znaku
V řadě pozorovaných hodnot se někdy objeví hodnota extrémně se lišící od ostatních, tzn. výrazně vybočuje z rozpětí ostatních naměřených hodnot. Je třeba posoudit, zda je tato odchylka pouze náhodná nebo zda je uvedená hodnota zatížena „hrubou chybou“. Pro objektivní posouzení této otázky existuje skupina testů, které se nazývají testy extrémních odchylek. Dixonův test Pozorovaná hodnota, která se extrémně liší od ostatních, je zřejmě buď nejmenší hodnotou (x1) nebo největší hodnotou (xn).

36 Nulová hypotéza H0 tvrdí, že (x1), resp
Nulová hypotéza H0 tvrdí, že (x1), resp. (xn), je vybrána ze stejného normálně rozděleného základního souboru jako ostatní hodnoty. Pro posouzení, zda hodnota (x1) nebo hodnota (xn) je zatížena hrubou chybou, užíváme testovacího kritéria kde x2 je druhá nejmenší pozorovaná hodnota a xn-1 je předposlední hodnota v řadě pozorování, uspořádaných vzestupně podle velikosti.

37 Jestliže vypočtená hodnota Q1, resp
Jestliže vypočtená hodnota Q1, resp. Qn , překročí kritickou hodnotu Q1 = Qn (nalezenou v tabulkách pro Dixonův test, hladinu významnosti  a n rozsah souboru), zamítáme nulovou hypotézu na hladině významnosti  a hodnotu (x1), resp. (xn), jako údaj zkreslený hrubou chybou, ze souboru vyloučíme. Tzn. že nulová hypotéza se zamítá, pokud platí Q1 (Qn)  Q (n).

38 Příklad Bylo provedeno 5 měření vlhkosti zrna jarního ječmene s těmito výsledky (v %): 18, , , , ,4. Hodnota 19,6 vyvolává v této řadě údajů podezření, že je ovlivněna nějakou hrubou chybou. Dixonovým testem budeme testovat hypotézu, že hodnota 19,6 není zatížena hrubou chybou. Protože Q5 = 0,75 > Q (5) = 0,642, zamítáme nulovou hypotézu na hladině významnosti 0,05 a hodnotu 19,6 ze souboru vyloučíme.

39 Testy náhodnosti Statistické metody jsou vesměs založeny na předpokladu, že analyzované výběrové soubory jsou náhodnými výběry, tzn. že daná pozorování x1, …, xn jsou realizací nezávislých a stejně rozdělených náhodných veličin X1, X2, …, Xn. Předpoklad náhodnosti výběru bývá v mnoha případech oprávněn, někdy je však nutné, aby byl testován. Příslušné testy se nazývají testy náhodnosti. Jednoduchým a často užívaným je test založený na tzv. bodech zvratu.

40 Řekněme, že číslo xi (2  i  n – 1) je bodem zvratu v posloupnosti různých čísel x1, …, xn, jestliže platí buď xi – 1 < xi > xi + 1 nebo xi – 1 > xi < xi + 1. Nechť Z je celkový počet bodů zvratu v posloupnosti náhodných veličin X1, …, Xn. Za platnosti hypotézy, že jde o posloupnost nezávislých náhodných veličin se stejným spojitým rozdělením má veličina při n   asymptoticky normální rozdělení N (0; 1). Této veličiny se užívá jako testového kritéria pro test uvedené nulové hypotézy.

41 Jestliže U  u, kde u je kritická hodnota normálního rozdělení, je nutno hypotézu o náhodnosti výběru zamítnout. Obvyklým postupem lze test, založený na bodech zvratu, konstruovat též jako jednostranný. Příklad Pro určité experimenty se používají pokusné myši s předem vymezenou hmotností. Do výběru bylo zařazeno prvních 30 zvířat, která po otevření klece sama vyběhla. Jejich hmotnosti (v gramech) po řadě byly:

42 Na hladině významnosti  = 0,05 je třeba ověřit hypotézu, že takový výběr je náhodný.
V dané posloupnosti 30 čísel je 18 bodů zvratu: Použitím vzorce vypočteme hodnotu testového kritéria U Protože U = 0,2978 < u0,05 = 1,96, nemůžeme nulovou hypotézu o náhodnosti výběru zamítnout.