Princip maximální entropie

Prezentace na téma: "Princip maximální entropie"— Transkript prezentace:

1 Princip maximální entropie
zobecněná entropie (Jaynes 1963) entropie (Shannon 1948) princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií m(x) Lebesqueova míra zaručuje invarianci entropie při transformaci

2 Princip maximální entropie
normalizační podmínka Lagrangeovy multiplikátory pokud jsou všechny výsledky stejně pravděpodobné

3 Princip maximální entropie
známe odhad střední hodnoty m Lagrangeovy multiplikátory

4 Princip maximální entropie
známe odhad střední hodnoty m a rozptylu s2 Lagrangeovy multiplikátory

5 Princip maximální entropie
procedura aktualizace informace: pokud získáme novou hodnotu vazby 1. přenásobit p(x) faktorem 2. renormalizovat p(x) princip maximální entropie

6 Princip maximální entropie
je známo m a s měřené veličiny apriorní hustota pravděpodobnosti je Gaussián jsou známy chyby si naměřených hodnot věrohodnost je Gaussián

7 Metoda nejmenších čtverců
bylo provedeno N měření veličiny m s různou přesností jaký je nejlepší odhad veličiny m? princip maximální entropie Gaussián (m je parametr polohy)

8 Zobecněná metoda nejmenších čtverců
pozorovatelné: J  1 teoretický model: zpravidla M < J parametry: M  1 apriorní informace: - odhad vektoru parametrů: M  1 - kovarianční matice: M  M apriorní hustota pravděpodobnosti: posteriorní informace: - naměřená data: J  1 - kovarianční matice: J  J věrohodnost:

9 Zobecněná metoda nejmenších čtverců
posteriorní hustota pravděpodobnosti:

10 Testování hypotéz H0 – nulová hypotéza
přijetí odmítnutí H1, H – alternativní hypotézy t 1 2 3 4 5 6 7 8 9 10 g(t) 0.00 0.02 0.04 0.06 0.08 0.10 testovací statistika t(x) chyba 1. druhu signifikance chyba 2. druhu 1-b : síla testu

11 Testování hypotéz křemen vs. opál opál: r = 2.2 g cm-3
) 1.6 1.8 2.0 2.2 2.4 2.6 2.8 3.0 3.2 3.4 0.0 0.5 1.0 1.5 2.5 1. opál: r  2.50 g cm-3  a = 5% b = 36% 2. opál: r  2.45 g cm-3  a = 10% b = 24% křemen opál křemen: r = 2.6 g cm-3 chyba měření hustoty: 0.2 g cm-3

12 Nový efekt ??? signál: ns, Poissonovo rozdělení, E[ns] = ns
2 q 112 114 116 118 120 122 124 126 128 130 counts 4 6 8 10 signál: ns, Poissonovo rozdělení, E[ns] = ns pozadí: nb, Poissonovo rozdělení, E[nb] = nb nulová hypotéza: Není tam žádný efekt  nb = 0 např. nb = 0.5 nm= 5  P = 1.7  10-4

13 Nový efekt ??? 2 q 112 114 116 118 120 122 124 126 128 130 counts 4 6 8 10

14 Nový efekt ??? zbinování 2 q ( ) counts 112 114 116 118 120 122 124
126 128 130 counts 25 30 35 40 45 50 zbinování

15 Normální rozdělení: Jsou dvě čísla stejná ?
T1 = (202  3) oC T2 = (209  4) oC DT = (7  5) oC DT = 1.4 s P(|DT |)  1.4 s = 16 %

16 Normální rozdělení: sada naměřených hodnot
ohnisková vzdálenost f 1.62 1.60 1.58 1.56 1.54 1.530  0.008 f (mm) 1.52 1.51  0.01 D f = 0.02  0.01 1.50 D f = 2 s 1.48 1.46 1.44 1.42 2 4 6 8 10 12 číslo měření

17 Normální rozdělení: sada naměřených hodnot
slitina 1 slitina 2 číslo měření 2 4 6 8 10 12 s (MPa) 150 155 160 165 170 175 (162  2) MPa t : výběr ze studentova rozdělení (156  1) MPa

18 Studentovo t rozdělení
studentovo rozdělení s n stupni volnosti gama funkce

19 Studentovo t rozdělení
studentovo rozdělení s n stupni volnosti x -4 -2 2 4 0.0 0.1 0.2 0.3 0.4 0.5 n = 100 n = 10 N(0,1) n = 1

20 Normální rozdělení: sada naměřených hodnot
slitina 1 slitina 2 číslo měření 2 4 6 8 10 12 s (MPa) 150 155 160 165 170 175 t : výběr ze studentova rozdělení (162  2) MPa (156  1) MPa

21 Fisherovo F rozdělení jsou rozptyly dvou sad naměřených hodnot stejné?
velká N 

22 c2 test kvality fitu x1, x2, ... xN závislé proměnné
y1, y2, ... yN naměřené hodnoty parametry: q1, q2, ... qm modelová funkce: testovací statistika:

23 Rozdělení c2 gama funkce n – počet stupňů volnosti n = 1 n = 2 n = 3
x 1 2 3 4 5 0.0 0.1 0.2 0.3 0.4 0.5 n = 1 n = 2 n – počet stupňů volnosti n = 3 n = 4

24 c2 test kvality fitu x1, x2, ... xN závislé proměnné
10 20 30 40 y 0.00 0.02 0.04 0.06 0.08 0.10 y1, y2, ... yN naměřené hodnoty parametry: q1, q2, ... qm modelová funkce: testovací statistika: c2 na počet stupňů volnosti c2/ (N-m)

25 c2 test kvality fitu m = 2, c2 = 47.04 m = 3, c2 = 36.47
c2 / (N-m) = 1.51 c2 / (N-m) = 5.88 c2 / (N-m) = 5.21 P = 5.0  10-6 P = 1.4  10-5 P = 0.68 x -60 -40 -20 20 40 60 y -1e+5 -5e+4 5e+4 1e+5 2e+5 m = 5, c2 = 8.60 c2 / (N-m) = 1.72 P = 0.64 m = 9, c2 = 7.56 c2 / (N-m) = 0.84 P = 0.53

26 c2 test kvality fitu – binovaná data
q 61 62 63 64 65 counts 1000 10000 residua (s) -3 -2 -1 1

27 Kolmogorův test index lomu skla N = 1.5192
odhadnutá chyba měření 6  10-4 N 1.517 1.518 1.519 1.520 1.521 1.522 y 0.0 0.2 0.4 0.6 0.8 1.0 7 hodnot