Princip maximální entropie

Slides:



Advertisements
Podobné prezentace
Statistické testy z náhodného výběru vyvozuji závěry ohledně základního souboru často potřebuji porovnat dva výběry mezi sebou, porovnat průměr náhodného.
Advertisements

Analýza experimentu pro robustní návrh
Testování parametrických hypotéz
Jednovýběrové testy parametrickch hypotéz
Testování neparametrických hypotéz
A5M33IZS – Informační a znalostní systémy Testování modelů.
Testování statistických hypotéz
Statistické metody v ochraně kulturního dědictví
Lineární model posteriorní hustota pravděpodobnosti lineární model:
Kalmanuv filtr pro zpracování signálů a navigaci
Cvičení 6 – 25. října 2010 Heteroskedasticita
4EK211 Základy ekonometrie Autokorelace Cvičení /
Lineární regresní analýza Úvod od problému
SEM 12. Přednáška Petr Soukup.
3. PRINCIP MAXIMÁLNÍ VĚROHODNOSTI
Úvod do regresní analýzy
ANALÝZA VZTAHU DVOU SPOJITÝCH VELIČIN
Pravděpodobnost a statistika opakování základních pojmů
Základy ekonometrie Cvičení září 2010.
Základy ekonometrie Cvičení 3 4. října 2010.
Odhady parametrů základního souboru. A) GNR B) neznámé r. ZS (přesné parametry) : ,   VS (odhady parametrů): x, s x.
Data s diskrétním rozdělením
Lineární regresní model Statistická inference Tomáš Cahlík 4. týden.
Lineární regrese.
REGIONÁLNÍ ANALÝZA Cvičení 3 Evropský sociální fond
Lineární regresní analýza
Další spojitá rozdělení pravděpodobnosti
Ekonometrie „ … ekonometrie je kvantitativní ekonomická disciplína, která se zabývá především měřením v ekonomice na základě analýzy reálných statistických.
Odhad metodou maximální věrohodnost
Experimentální fyzika I. 2
Pohled z ptačí perspektivy
Princip maximální entropie
Náhodné výběry a jejich zpracování Motto: Chceme-li vědět, jak chutná víno v sudu, nemusíme vypít celý sud. Stačí jenom malý doušek a víme na čem jsme.
Fitování Konstrukce křivky (funkce), která co nejlépe odpovídá naměřeným hodnotám. - může podléhat dodatečným podmínkám Lineární vs. nelineární regrese.
2. Vybrané základní pojmy matematické statistiky
8. Kontingenční tabulky a χ2 test
Normální rozdělení a ověření normality dat
Hodnoty tP pro různé pravděpodobnosti P
PSY717 – statistická analýza dat
V experimentu měníme hodnotu jedné nebo několika veličin x i a studujeme závislost veličiny y. - např. měníme, ostatní x i bereme jako parametry ( , ,
Hustota pravděpodobnosti – případ dvou proměnných
Problém majáku předpokládáme, že l známe  x0x0 xixi l chceme najít odhad x 0 (věrohodnost) maximální věrohodnost.
Poissonovo rozdělení diskrétní náhodné veličiny
Úvod do praktické fyziky Seminář pro I.ročník F J. Englich, ZS 2003/04.
Aplikovaná statistika 2. Veronika Svobodová
Aritmetický průměr - střední hodnota
Přenos nejistoty Náhodná veličina y, která je funkcí náhodných proměnných xi: xi se řídí rozděleními pi(xi) → můžeme najít jejich střední hodnoty mi a.
IV..
Popisné charakteristiky statistických souborů. ZS - přesné parametry (nelze je měřením zjistit) VS - výběrové charakteristiky (slouží jako odhad skutečných.
Statistické metody pro prognostiku Luboš Marek Fakulta informatiky a statistiky Vysoká škola ekonomická v Praze.
Testování hypotéz Testování hypotéz o rozdílu průměrů  t-test pro nezávislé výběry  t-test pro závislé výběry.
Základy zpracování geologických dat R. Čopjaková.
Ověření modelů a modelování Kateřina Růžičková. Posouzení kvality modelu Ověření (verifikace) ● kvalitativní hodnocení správnosti modelu ● zda model přijatelně.
Interpolace funkčních závislostí
Stručný přehled modelových rozložení I.
t-test Počítání t-testu t statistika Měření velikosti efektu
Úvod do praktické fyziky
Základy zpracování geologických dat Rozdělení pravděpodobnosti
Regresní analýza výsledkem regresní analýzy je matematický model vztahu mezi dvěma nebo více proměnnými snažíme se z jedné proměnné nebo lineární kombinace.
Úvod do statistického testování
4. Metoda nejmenších čtverců
ANALÝZA A KLASIFIKACE DAT
Rozdělení pravděpodobnosti
7. Kontingenční tabulky a χ2 test
Interpolace funkčních závislostí
Testování hypotéz H0 – nulová hypotéza
Základy statistiky.
Náhodné výběry a jejich zpracování
Testování hypotéz - pojmy
Princip max. věrohodnosti - odhad parametrů
Transkript prezentace:

Princip maximální entropie zobecněná entropie (Jaynes 1963) entropie (Shannon 1948) princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií m(x) Lebesqueova míra zaručuje invarianci entropie při transformaci

Princip maximální entropie normalizační podmínka Lagrangeovy multiplikátory pokud jsou všechny výsledky stejně pravděpodobné

Princip maximální entropie známe odhad střední hodnoty m Lagrangeovy multiplikátory

Princip maximální entropie známe odhad střední hodnoty m a rozptylu s2 Lagrangeovy multiplikátory

Princip maximální entropie procedura aktualizace informace: pokud získáme novou hodnotu vazby 1. přenásobit p(x) faktorem 2. renormalizovat p(x) princip maximální entropie

Princip maximální entropie je známo m a s měřené veličiny apriorní hustota pravděpodobnosti je Gaussián jsou známy chyby si naměřených hodnot věrohodnost je Gaussián

Metoda nejmenších čtverců bylo provedeno N měření veličiny m s různou přesností jaký je nejlepší odhad veličiny m? princip maximální entropie Gaussián (m je parametr polohy)

Zobecněná metoda nejmenších čtverců pozorovatelné: J  1 teoretický model: zpravidla M < J parametry: M  1 apriorní informace: - odhad vektoru parametrů: M  1 - kovarianční matice: M  M apriorní hustota pravděpodobnosti: posteriorní informace: - naměřená data: J  1 - kovarianční matice: J  J věrohodnost:

Zobecněná metoda nejmenších čtverců posteriorní hustota pravděpodobnosti:

Testování hypotéz H0 – nulová hypotéza přijetí odmítnutí H1, H2 .... – alternativní hypotézy t 1 2 3 4 5 6 7 8 9 10 g(t) 0.00 0.02 0.04 0.06 0.08 0.10 testovací statistika t(x) chyba 1. druhu signifikance chyba 2. druhu 1-b : síla testu

Testování hypotéz křemen vs. opál opál: r = 2.2 g cm-3 ) 1.6 1.8 2.0 2.2 2.4 2.6 2.8 3.0 3.2 3.4 0.0 0.5 1.0 1.5 2.5 1. opál: r  2.50 g cm-3  a = 5% b = 36% 2. opál: r  2.45 g cm-3  a = 10% b = 24% křemen opál křemen: r = 2.6 g cm-3 chyba měření hustoty: 0.2 g cm-3

Nový efekt ??? signál: ns, Poissonovo rozdělení, E[ns] = ns 2 q 112 114 116 118 120 122 124 126 128 130 counts 4 6 8 10 signál: ns, Poissonovo rozdělení, E[ns] = ns pozadí: nb, Poissonovo rozdělení, E[nb] = nb nulová hypotéza: Není tam žádný efekt  nb = 0 např. nb = 0.5 nm= 5  P = 1.7  10-4

Nový efekt ??? 2 q 112 114 116 118 120 122 124 126 128 130 counts 4 6 8 10

Nový efekt ??? zbinování 2 q ( ) counts 112 114 116 118 120 122 124 126 128 130 counts 25 30 35 40 45 50 zbinování

Normální rozdělení: Jsou dvě čísla stejná ? T1 = (202  3) oC T2 = (209  4) oC DT = (7  5) oC DT = 1.4 s P(|DT |)  1.4 s = 16 %

Normální rozdělení: sada naměřených hodnot ohnisková vzdálenost f 1.62 1.60 1.58 1.56 1.54 1.530  0.008 f (mm) 1.52 1.51  0.01 D f = 0.02  0.01 1.50 D f = 2 s 1.48 1.46 1.44 1.42 2 4 6 8 10 12 číslo měření

Normální rozdělení: sada naměřených hodnot slitina 1 slitina 2 číslo měření 2 4 6 8 10 12 s (MPa) 150 155 160 165 170 175 (162  2) MPa t : výběr ze studentova rozdělení (156  1) MPa

Studentovo t rozdělení studentovo rozdělení s n stupni volnosti gama funkce

Studentovo t rozdělení studentovo rozdělení s n stupni volnosti x -4 -2 2 4 0.0 0.1 0.2 0.3 0.4 0.5 n = 100 n = 10 N(0,1) n = 1

Normální rozdělení: sada naměřených hodnot slitina 1 slitina 2 číslo měření 2 4 6 8 10 12 s (MPa) 150 155 160 165 170 175 t : výběr ze studentova rozdělení (162  2) MPa (156  1) MPa

Fisherovo F rozdělení jsou rozptyly dvou sad naměřených hodnot stejné? velká N 

c2 test kvality fitu x1, x2, ... xN závislé proměnné y1, y2, ... yN naměřené hodnoty parametry: q1, q2, ... qm modelová funkce: testovací statistika:

Rozdělení c2 gama funkce n – počet stupňů volnosti n = 1 n = 2 n = 3 x 1 2 3 4 5 0.0 0.1 0.2 0.3 0.4 0.5 n = 1 n = 2 n – počet stupňů volnosti n = 3 n = 4

c2 test kvality fitu x1, x2, ... xN závislé proměnné 10 20 30 40 y 0.00 0.02 0.04 0.06 0.08 0.10 y1, y2, ... yN naměřené hodnoty parametry: q1, q2, ... qm modelová funkce: testovací statistika: c2 na počet stupňů volnosti c2/ (N-m)

c2 test kvality fitu m = 2, c2 = 47.04 m = 3, c2 = 36.47 c2 / (N-m) = 1.51 c2 / (N-m) = 5.88 c2 / (N-m) = 5.21 P = 5.0  10-6 P = 1.4  10-5 P = 0.68 x -60 -40 -20 20 40 60 y -1e+5 -5e+4 5e+4 1e+5 2e+5 m = 5, c2 = 8.60 c2 / (N-m) = 1.72 P = 0.64 m = 9, c2 = 7.56 c2 / (N-m) = 0.84 P = 0.53

c2 test kvality fitu – binovaná data q 61 62 63 64 65 counts 1000 10000 residua (s) -3 -2 -1 1

Kolmogorův test index lomu skla N = 1.5192 odhadnutá chyba měření 6  10-4 N 1.517 1.518 1.519 1.520 1.521 1.522 y 0.0 0.2 0.4 0.6 0.8 1.0 7 hodnot