Statistické metody a hodnocení morfologických dat

Prezentace na téma: "Statistické metody a hodnocení morfologických dat"— Transkript prezentace:

1 Statistické metody a hodnocení morfologických dat
Pavel Trávníček BÚ AV ČR, PřF UK

2 Fenetické metody Zpravidla mnohorozměrná data sestávající z předem definovaných znaků Studované objekty jsou posuzovány na základě podobnosti (resp. vzdálenosti) těchto znaků Všechny znaky mají stejnou váhu a nejsou rozlišovány homologické a nehomologické znaky

3 Zpracování mnohorozměrných dat
Shlukové analýzy (UPGMA, SL, WARD) Ordinační metody (PCA, PCoA) Diskriminační analýzy (CDA, Klasifikační DA)

4 Znaky Kvalitativní Semikvantitativní (odhadové stupnice) Kvantitativní
binární vícestavové Semikvantitativní (odhadové stupnice) Kvantitativní nespojité (počty) spojité (metriky)

5 Znaky – jaké zahrnout? Čím více tím lépe Všechny diagnostické
Pokud možno kvantitativní či binární Nezávislé na prostředí Znaky s normálním rozdělením

6 Transformace dat Logaritmická transformace (logarithmic transformation): Naměřené hodnoty se nahrazují jejich logaritmem x’ij = logc xij nebo x’ij = logc (xij + konst.)

7 Standardizace dat Centrování (centring, standardizace na průměr rovný nule) x’ij = xij – xi Centrování nemění jednotky, ve kterých jsou znaky měřené, mění se jen poloha nulového bodu v soustavě souřadnic. Standardizace směrodatnou odchylkou (standardization by standard deviation) kde si je směrodatná odchylka znaku i doporučuje se použít v případech, kdy jsou znaky měřené v odlišných škálách a jednotkách Standardizace rozpětím (standardization by range, ranging) pro měření ve stejném měřítku, ale s velkými rozdíly hodnot (převod do intervalu [0,1])

8 Koeficienty vyjadřující vztahy mezi objekty nebo znaky (resemblance coefficients)
koeficienty vzdálenosti pro kvantitativní a binární znaky (metric distances) koeficienty podobnosti pro binární znaky (binary similarity coefficients) koeficienty pro smíšená data (coefficients for mixed data) korelační koeficienty (correlation coefficients)

9 Metriky (vzdálenosti)
Euklidovská vzdálenost (Euclidean distance): EU=c kde xij je hodnota znaku i pro objekt j, xik je hodnota znaku i pro objekt k, n je celkový počet znaků Manhattanská metrika (City block) CB=a+b

10 Koeficienty podobnosti pro binární data
Koeficient jednoduché shody (simple matching): Jaccardův koeficient: Nei & Li (1979): Link et al. (1995): genetické vzdálenosti podle Nei & Li (1979), Link et al. (1995) využívané při NJ, PCoA odpovídají také tomuto typu koeficientů object 2 object 1 1 a b c d

11 Koeficienty pro smíšená data
i,j – objekty charakterizované znakem k, n – celkový počet znaků, wijk – váha – (1,0) je-li možné srovnat hodnoty znaku k u objektů i,j sijk – skóre pro znak k Gowerův koeficient: pro binární znaky: wijk = 1 a sijk = 0 pokud xik  xjk (hodnoty znaku k pro objekty i a j) wijk = sijk = 1 pokud xik = xjk = 1 nebo pokud xik = xjk = 0 a negativní shoda se bere do úvahy (odpovídá koeficientu jednoduché shody) wijk = sijk = 0 pokud xik = xjk = 0 a negativní shoda se nebere do úvahy (odpovídá Jaccardovu koeficientu) pro nominální znaky: wijk = 1 pokud xik a xjk jsou známé; pak sijk = 0 pokud xik  xjk; sijk = 1 pokud xik = xjk (počet stavů se nebere do úvahy) pro kvantitativní znaky: wijk = 1 pokud xik a xjk jsou oba známé, a sijk = 1 – {|xik - xjk| / (rozpětí znaku k)} (odpovídá Manhattanské metrice s daty stadardizovanými na rozpětí)

12 Korelační koeficienty
Pearsonův korelační koeficient n počet objektů, xi1 hodnota znaku 1 pro objekt i lineární korelace, předpokládá normální rozdělení dat Spearmanův korelační koeficient (rank koeficient, koeficient pořadí): do úvahy se neberou konkrétní hodnoty znaků ale pořadí objektů, kde di je rozdíl v pořadí mezi objekty Kovariance kovariance je podobná korelačnímu koeficientu, ale není standardizovaná vzhledem k rozdílným měřítkům znaků

13 Shluková analýza Shluk (klastr, cluster) je skupina objektů, které uvnitř nějaké větší skupiny nemají ani nahodilý ani rovnoměrný výskyt a jejich vzájemná vzdálenost resp. nepodobnost je menší než vzdálenost resp. nepodobnost s objekty, které patří do jiných shluků. Těžiště (centroid) shluku je hypotetický (nikoliv nutně existující) prvek, jehož souřadnice ve znakovém prostoru jsou dány průměrnými hodnotami souřadnic jednotlivých objektů. Metody (SAHN – sekvenční/simultánní, aglomerativní/divizivní, hierarchické/nehierarchické, nepřekrývající/překrývající se) Minimalizace vzdáleností mezi shluky (SL, UPGMA) Optimalizace homogenity shluků (Ward)

14 SL (single linkage), metoda nejbližšího souseda
Vzdálenost skupin (na počátku objektů) je definována jako vzdálenost mezi jejich nejbližšími objekty

15 UPGMA (unweighted pair-group method using arithmetic averages), metoda průměrné vzdálenosti
Vzdálenost skupin (na počátku objektů) je definována jako průměr vzdáleností mezi všemi páry OTU ve skupinách

16 Wardova metoda (Ward’s method)
Metoda založená na optimalizaci homogenity shluků – minimalizace přírůstku celkového vnitroskupinového součtu čtverců odchylek od shlukového průměru (centroidu)

17 SL – m. nejbližšího souseda
UPGMA – m. průměrné vzdálenosti A B Wardova metoda B A

18 Ordinační metody Objekty (OTU) jsou charakterizované p znaky a jejich vzájemnou polohu (blízkost / podobnost) lze odvodit z jejich vzájemné polohy v p rozměrném prostoru (každý rozměr prostoru je dán jedním znakem) Je-li znaků p > 3, pak je pro vizualizaci a interpretaci dat nutné snížit počet rozměrů p s co nejnižší ztrátou informace Ordinace v novém, redukovaném prostoru

19 PCA – Principal Component(s) Analysis, Analýza hlavních komponent
Původní soubor pozorovaných znaků je nahrazen souborem nových, vzájemně nekorelovaných znaků První hlavní komponenta (PC1) je vedena ve směru největší variability mezi OTU, druhá (PC2) pak ve směru největší variability ve směru kolmém k PC1, třetí … Vzájemná pozice objektů (OTU) je v původním i novém prostoru stejná – jsou zachovány Euklidovské distance

20 PCA – požadavky a typy Lze použít kvantitativní, semikvantitativní i binární data Jakkoli je lepší zajistit mnohorozměrné normální rozdělení, metoda je natolik robustní, že není striktně vyžadováno Počet objektů (OTU) vždy alespoň o 1 větší než je počet znaků, obvykle se doporučuje aby počet OTU byl větší než druhá mocnina počtu znaků není-li splněno je lépe použít PCoA Centrovaná PCA – vychází z kovarianční matice znaků (vyžaduje měření ve stejných jednotkách) Standardizovaná PCA – vychází z korelační matice znaků (přeškálování původních znaků na jednotkový rozptyl = standardizace) Necentrovaná PCA – vychází ze skalárních součinů – používá se v některých ekologických aplikacích nikoli v taxonomii

21 PCA – výstupy Komponentní skóre – souřadnice objektů v novém prostoru – lze je interpretovat z ordinačního diagramu, nebo použít pro další analýzy (např. shlukové) Vlastní vektory – směr vektorů vyjadřující vliv původních znaků na hlavní komponenty (viz Biploty) Vlastní čísla (eigenvalues) – míra variability původního souboru vyjádřená danou hlavní komponentou. Důležitější je procentní vyjádření – ukazuje na procento vyjádřené variability původního souboru danou komponentní osou (též kumulativní % pro více hlavních komponent) Ordinace objektů – grafický výstup znázorňující OTU v novém prostoru z hlavních komponent Biploty – společné znázornění objektů i vektorů původních znaků – čím ostřejší úhel a větší délka vektoru k hlavní komponentě, tím větší vliv daného znaku na variabilitu vysvětlenou touto komponentou Odlehlé objekty (outliers) - PCA je dobré v prvním sledu využít k odhalení odlehlých, v souboru atypických objektů a zvážit jejich vyloučení (určit příčinu jejich odlehlosti)

22 PCoA – Principal Coordinate(s) Analysis, Analýza hlavních koordinát
Rozmístění objektů v novém prostoru je definováno hlavními koordinátami a jejich souřadnice v tomto prostoru nejsou lineárně závislé na původních znacích (na rozdíl od PCA) Vzájemné (eulidovské) vzdálenosti objektů odrážejí vztahy mezi původními objekty, které jsou měřené libovolným koeficinetem podobnosti nebo vzdálenosti Metodu je možné použít pro binární znaky, vícestavové kvalitativní znaky a smíšená data (nejčastější případ v taxonomii) Lze použít i tehdy, převyšuje-li počet znaků počet objektů Postup: primární matice dat sekundární matice vzdáleností symetrická matice (podobná kovarianční či korelační z PCA) výpočet vlastních čísel, vektorů a komponentních skóre

23 Diskriminační analýza (DA)
Zatímco ordinační a shlukovací metody jsou vhodné k vytváření hypotéz, diskriminační analýza umožňuje jejich testování Interpretace rozdílů – kanonická DA (CDA) Zda a jak dobře je možné předem stanovené skupiny odlišit na základě znaků, které máme k dispozici Které znaky přispívají k tomuto odlišení největší mírou Identifikace objektů – klasifikační DA Odvození jedné či více rovnic za účelem identifikace objektů Zjištění znaků odlišujících skupiny, a nebo zařazení OTU do skupin

24 DA - požadavky Kvantitativní nebo binární znaky (vícestavové nutné převést na binární) Žádný ze znaků nesmí být lineární kombinací jiného či jiných znaků Nelze současně použít 2 nebo více silně korelovaných znaků Kovarianční matice pro jednotlivé skupiny musí být přibližně shodné Znaky charakterizující každou skupinu by měly splňovat kritérium mnohorozměrného normálního rozdělení (nicméně lze použít i data kvalitativní, tj. binární či kvantitativní, které tento požadavek nesplňují – jen výsledky statistických testů je nutné brát s rezervou) Počet dat: minimálně 2 skupiny, v každé skupině minimálně 2 objekty, počet znaků menší než počet objektů (nejlépe v každé skupině) Žádný znak by neměl být v některé skupině konstantní

25 CDA – Canonical Discriminant Analysis, Kanonická diskriminační analýza
Umožňuje sledovat vztahy mezi objekty v prostoru definovaném kanonickými osami Ordinační metoda, která maximalizuje rozdíly mezi skupinami PCA, PCoA DA Předem stanovené skupiny ne ano Vysvětlení maximální variability celkové meziskupinové Vážení znaků ne ano

26 CDA – Interpretace výstupů
Relativní pozice objektů

27 CDA – Interpretace výstupů
Celkové strukturní koeficienty (Total canonical structure) The CANDISC Procedure Total Canonical Structure Variable Can1 v v v v v v v v v v v v v v v v v v v v v v v v v v v v v

28 CDA – Úskalí Pozor na nejednoznačně zařaditelné objekty A C A B C B A

29 Klasifikační DA Hledání identifikačního (klasifikačního) kritéria
Skupina objektů známého zařazení (training set) odvození klasifikačního kritéria (klas. funkce) zařazení objektů neznámého postavení Zjištění účinnosti klasifikačního kritéria Testuje se na stejném souboru dat jaký sloužil k odvození klasifikační funkce = resubstituce (resubstitution) Máme-li menší počet objektů je vhodnější použití křížového ověření (cross-validation) – ze souboru o n objektech se vybere n-1 objektů, které použijeme jako tréninkový soubor klasifikační funkce se použije na zařazení vypuštěného případu. Celé se opakuje n-krát

30 Klasifikační DA – odvození klasifikačního pravidla
Kanonická diskriminační funkce Objekty se klasifikují na základě jejich skóre na kanonické diskriminační funkci, nebo na základě jejich projekce do kanonického prostoru Klasifikační funkce: 12LFT + 2DFT-2LTW-23 kladné hodnoty = B. pendula záporné hodnoty = B. pubescens Klasifikovaný objekt se zobrazí do kanonického prostoru, který je vymezen na základě DA objektů o známé příslušnosti

31 Klasifikační DA – odvození klasifikačního pravidla
Výpočet lineární klasifikační funkce pro každou skupinu Pro každou skupinu objektů se vypočítá samostatná lineární klasifikační funkce. Dále se vypočítá klasifikační skóre neznámého (klasifikovaného) objektu pro každou z těchto funkcí. Objekt bude zařazen do skupiny, pro kterou klasifikační skóre dosáhne nejvyšší hodnoty. Klasifikační pravidla založená na pravděpodobnostních modelech Lineární diskriminační funkce Kvadratické diskriminační funkce Neparametrické metody – např. k-nejbližších sousedů (k-nearest neighbors)