Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Statistické metody a hodnocení morfologických dat Pavel Trávníček BÚ AV ČR, PřF UK

Podobné prezentace


Prezentace na téma: "Statistické metody a hodnocení morfologických dat Pavel Trávníček BÚ AV ČR, PřF UK"— Transkript prezentace:

1 Statistické metody a hodnocení morfologických dat Pavel Trávníček BÚ AV ČR, PřF UK

2 Fenetické metody Zpravidla mnohorozměrná data sestávající z předem definovaných znaků Studované objekty jsou posuzovány na základě podobnosti (resp. vzdálenosti) těchto znaků Všechny znaky mají stejnou váhu a nejsou rozlišovány homologické a nehomologické znaky

3 Zpracování mnohorozměrných dat Shlukové analýzy (UPGMA, SL, WARD) Ordinační metody (PCA, PCoA) Diskriminační analýzy (CDA, Klasifikační DA)

4 Znaky Kvalitativní  binární  vícestavové Semikvantitativní (odhadové stupnice) Kvantitativní  nespojité (počty)  spojité (metriky)

5 Znaky – jaké zahrnout? Čím více tím lépe Všechny diagnostické Pokud možno kvantitativní či binární Nezávislé na prostředí Znaky s normálním rozdělením

6 Transformace dat Logaritmická transformace (logarithmic transformation): Naměřené hodnoty se nahrazují jejich logaritmem x’ ij = log c x ij nebo x’ ij = log c (x ij + konst.)

7 Standardizace dat Centrování (centring, standardizace na průměr rovný nule) x’ ij = x ij – x i Centrování nemění jednotky, ve kterých jsou znaky měřené, mění se jen poloha nulového bodu v soustavě souřadnic. Standardizace směrodatnou odchylkou (standardization by standard deviation) kde s i je směrodatná odchylka znaku i doporučuje se použít v případech, kdy jsou znaky měřené v odlišných škálách a jednotkách Standardizace rozpětím (standardization by range, ranging) pro měření ve stejném měřítku, ale s velkými rozdíly hodnot (převod do intervalu [0,1])

8 Koeficienty vyjadřující vztahy mezi objekty nebo znaky (resemblance coefficients) koeficienty vzdálenosti pro kvantitativní a binární znaky (metric distances) koeficienty podobnosti pro binární znaky (binary similarity coefficients) koeficienty pro smíšená data (coefficients for mixed data) korelační koeficienty (correlation coefficients)

9 Metriky (vzdálenosti) Euklidovská vzdálenost (Euclidean distance): EU=c kde x ij je hodnota znaku i pro objekt j, x ik je hodnota znaku i pro objekt k, n je celkový počet znaků  Manhattanská metrika (City block) CB=a+b

10 Koeficienty podobnosti pro binární data Koeficient jednoduché shody (simple matching): Jaccardův koeficient: Nei & Li (1979): Link et al. (1995): genetické vzdálenosti podle Nei & Li (1979), Link et al. (1995) využívané při NJ, PCoA odpovídají také tomuto typu koeficientů object 2 object ab 0cd

11 Koeficienty pro smíšená data Gowerův koeficient: a) pro binární znaky: w ijk = 1 a s ijk = 0 pokud x ik  x jk (hodnoty znaku k pro objekty i a j) w ijk = s ijk = 1 pokud x ik = x jk = 1 nebo pokud x ik = x jk = 0 a negativní shoda se bere do úvahy (odpovídá koeficientu jednoduché shody) w ijk = s ijk = 0 pokud x ik = x jk = 0 a negativní shoda se nebere do úvahy (odpovídá Jaccardovu koeficientu) b) pro nominální znaky: w ijk = 1 pokud x ik a x jk jsou známé; pak s ijk = 0 pokud x ik  x jk ; s ijk = 1 pokud x ik = x jk (počet stavů se nebere do úvahy) c) pro kvantitativní znaky: w ijk = 1 pokud x ik a x jk jsou oba známé, a s ijk = 1 – {|x ik - x jk | / (rozpětí znaku k)} (odpovídá Manhattanské metrice s daty stadardizovanými na rozpětí) i,j – objekty charakterizované znakem k, n – celkový počet znaků, w ijk – váha – (1,0) je-li možné srovnat hodnoty znaku k u objektů i,j s ijk – skóre pro znak k

12 Korelační koeficienty Pearsonův korelační koeficient n počet objektů, x i1 hodnota znaku 1 pro objekt i lineární korelace, předpokládá normální rozdělení dat Spearmanův korelační koeficient (rank koeficient, koeficient pořadí) : do úvahy se neberou konkrétní hodnoty znaků ale pořadí objektů, kde d i je rozdíl v pořadí mezi objekty Kovariance kovariance je podobná korelačnímu koeficientu, ale není standardizovaná vzhledem k rozdílným měřítkům znaků

13 Shluková analýza Shluk (klastr, cluster) je skupina objektů, které uvnitř nějaké větší skupiny nemají ani nahodilý ani rovnoměrný výskyt a jejich vzájemná vzdálenost resp. nepodobnost je menší než vzdálenost resp. nepodobnost s objekty, které patří do jiných shluků. Těžiště (centroid) shluku je hypotetický (nikoliv nutně existující) prvek, jehož souřadnice ve znakovém prostoru jsou dány průměrnými hodnotami souřadnic jednotlivých objektů. Metody (SAHN – sekvenční/simultánní, aglomerativní/divizivní, hierarchické/nehierarchické, nepřekrývající/překrývající se )  Minimalizace vzdáleností mezi shluky (SL, UPGMA)  Optimalizace homogenity shluků (Ward)

14 SL (single linkage), metoda nejbližšího souseda Vzdálenost skupin (na počátku objektů) je definována jako vzdálenost mezi jejich nejbližšími objekty

15 UPGMA (unweighted pair-group method using arithmetic averages), metoda průměrné vzdálenosti Vzdálenost skupin (na počátku objektů) je definována jako průměr vzdáleností mezi všemi páry OTU ve skupinách

16 Wardova metoda (Ward’s method) Metoda založená na optimalizaci homogenity shluků – minimalizace přírůstku celkového vnitroskupinového součtu čtverců odchylek od shlukového průměru (centroidu)

17 SL – m. nejbližšího souseda UPGMA – m. průměrné vzdálenosti Wardova metoda AB A A A B B

18 Ordinační metody Objekty (OTU) jsou charakterizované p znaky a jejich vzájemnou polohu (blízkost / podobnost) lze odvodit z jejich vzájemné polohy v p rozměrném prostoru (každý rozměr prostoru je dán jedním znakem) Je-li znaků p > 3, pak je pro vizualizaci a interpretaci dat nutné snížit počet rozměrů p s co nejnižší ztrátou informace Ordinace v novém, redukovaném prostoru

19 PCA – Principal Component(s) Analysis, Analýza hlavních komponent Původní soubor pozorovaných znaků je nahrazen souborem nových, vzájemně nekorelovaných znaků První hlavní komponenta (PC1) je vedena ve směru největší variability mezi OTU, druhá (PC2) pak ve směru největší variability ve směru kolmém k PC1, třetí … Vzájemná pozice objektů (OTU) je v původním i novém prostoru stejná – jsou zachovány Euklidovské distance

20 PCA – požadavky a typy Lze použít kvantitativní, semikvantitativní i binární data Jakkoli je lepší zajistit mnohorozměrné normální rozdělení, metoda je natolik robustní, že není striktně vyžadováno Počet objektů (OTU) vždy alespoň o 1 větší než je počet znaků, obvykle se doporučuje aby počet OTU byl větší než druhá mocnina počtu znaků není-li splněno je lépe použít PCoA Centrovaná PCA – vychází z kovarianční matice znaků (vyžaduje měření ve stejných jednotkách) Standardizovaná PCA – vychází z korelační matice znaků (přeškálování původních znaků na jednotkový rozptyl = standardizace) Necentrovaná PCA – vychází ze skalárních součinů – používá se v některých ekologických aplikacích nikoli v taxonomii

21 PCA – výstupy Komponentní skóre – souřadnice objektů v novém prostoru – lze je interpretovat z ordinačního diagramu, nebo použít pro další analýzy (např. shlukové) Vlastní vektory – směr vektorů vyjadřující vliv původních znaků na hlavní komponenty (viz Biploty) Vlastní čísla (eigenvalues) – míra variability původního souboru vyjádřená danou hlavní komponentou. Důležitější je procentní vyjádření – ukazuje na procento vyjádřené variability původního souboru danou komponentní osou (též kumulativní % pro více hlavních komponent) Ordinace objektů – grafický výstup znázorňující OTU v novém prostoru z hlavních komponent Biploty – společné znázornění objektů i vektorů původních znaků – čím ostřejší úhel a větší délka vektoru k hlavní komponentě, tím větší vliv daného znaku na variabilitu vysvětlenou touto komponentou Odlehlé objekty (outliers) - PCA je dobré v prvním sledu využít k odhalení odlehlých, v souboru atypických objektů a zvážit jejich vyloučení (určit příčinu jejich odlehlosti)

22 PCoA – Principal Coordinate(s) Analysis, Analýza hlavních koordinát Rozmístění objektů v novém prostoru je definováno hlavními koordinátami a jejich souřadnice v tomto prostoru nejsou lineárně závislé na původních znacích (na rozdíl od PCA) Vzájemné (eulidovské) vzdálenosti objektů odrážejí vztahy mezi původními objekty, které jsou měřené libovolným koeficinetem podobnosti nebo vzdálenosti Metodu je možné použít pro binární znaky, vícestavové kvalitativní znaky a smíšená data (nejčastější případ v taxonomii) Lze použít i tehdy, převyšuje-li počet znaků počet objektů Postup: primární matice dat sekundární matice vzdáleností symetrická matice (podobná kovarianční či korelační z PCA) výpočet vlastních čísel, vektorů a komponentních skóre

23 Diskriminační analýza (DA) Zatímco ordinační a shlukovací metody jsou vhodné k vytváření hypotéz, diskriminační analýza umožňuje jejich testování Interpretace rozdílů – kanonická DA (CDA)  Zda a jak dobře je možné předem stanovené skupiny odlišit na základě znaků, které máme k dispozici  Které znaky přispívají k tomuto odlišení největší mírou Identifikace objektů – klasifikační DA  Odvození jedné či více rovnic za účelem identifikace objektů Zjištění znaků odlišujících skupiny, a nebo zařazení OTU do skupin

24 DA - požadavky Kvantitativní nebo binární znaky (vícestavové nutné převést na binární) Žádný ze znaků nesmí být lineární kombinací jiného či jiných znaků Nelze současně použít 2 nebo více silně korelovaných znaků Kovarianční matice pro jednotlivé skupiny musí být přibližně shodné Znaky charakterizující každou skupinu by měly splňovat kritérium mnohorozměrného normálního rozdělení (nicméně lze použít i data kvalitativní, tj. binární či kvantitativní, které tento požadavek nesplňují – jen výsledky statistických testů je nutné brát s rezervou) Počet dat: minimálně 2 skupiny, v každé skupině minimálně 2 objekty, počet znaků menší než počet objektů (nejlépe v každé skupině) Žádný znak by neměl být v některé skupině konstantní

25 CDA – Canonical Discriminant Analysis, Kanonická diskriminační analýza Umožňuje sledovat vztahy mezi objekty v prostoru definovaném kanonickými osami Ordinační metoda, která maximalizuje rozdíly mezi skupinami PCA, PCoA DA Předem stanovené skupiny ne ano Vysvětlení maximální variability celkovémeziskupinové Vážení znaků ne ano

26 CDA – Interpretace výstupů Relativní pozice objektů

27 CDA – Interpretace výstupů Celkové strukturní koeficienty (Total canonical structure) The CANDISC Procedure Total Canonical Structure Variable Can1 v v v v v v v v v v v v v v v v v v v v v v v v v v v v v

28 CDA – Úskalí Pozor na nejednoznačně zařaditelné objekty A B C A C B A B C

29 Klasifikační DA Hledání identifikačního (klasifikačního) kritéria  Skupina objektů známého zařazení (training set) odvození klasifikačního kritéria (klas. funkce) zařazení objektů neznámého postavení Zjištění účinnosti klasifikačního kritéria  Testuje se na stejném souboru dat jaký sloužil k odvození klasifikační funkce = resubstituce (resubstitution)  Máme-li menší počet objektů je vhodnější použití křížového ověření (cross- validation) – ze souboru o n objektech se vybere n-1 objektů, které použijeme jako tréninkový soubor klasifikační funkce se použije na zařazení vypuštěného případu. Celé se opakuje n-krát

30 Klasifikační DA – odvození klasifikačního pravidla Kanonická diskriminační funkce  Objekty se klasifikují na základě jejich skóre na kanonické diskriminační funkci, nebo na základě jejich projekce do kanonického prostoru Klasifikační funkce: 12LFT + 2DFT-2LTW-23 kladné hodnoty = B. pendula záporné hodnoty = B. pubescens Klasifikovaný objekt se zobrazí do kanonického prostoru, který je vymezen na základě DA objektů o známé příslušnosti

31 Klasifikační DA – odvození klasifikačního pravidla Výpočet lineární klasifikační funkce pro každou skupinu  Pro každou skupinu objektů se vypočítá samostatná lineární klasifikační funkce.  Dále se vypočítá klasifikační skóre neznámého (klasifikovaného) objektu pro každou z těchto funkcí.  Objekt bude zařazen do skupiny, pro kterou klasifikační skóre dosáhne nejvyšší hodnoty. Klasifikační pravidla založená na pravděpodobnostních modelech  Lineární diskriminační funkce  Kvadratické diskriminační funkce  Neparametrické metody – např. k-nejbližších sousedů (k-nearest neighbors)


Stáhnout ppt "Statistické metody a hodnocení morfologických dat Pavel Trávníček BÚ AV ČR, PřF UK"

Podobné prezentace


Reklamy Google