MARKOVSKÉ ŘETĚZCE.

Prezentace na téma: "MARKOVSKÉ ŘETĚZCE."— Transkript prezentace:

1 MARKOVSKÉ ŘETĚZCE

2 Stochastické modely Pravděpodobnostní charakteristiky tohoto procesu
jednorozměrné rozdělení pravděpodobností stavů X(x1, t1) = P{X(t1) < x1} vícerozměrná rozdělení pravděpodobností stavů X(x1, …, xm; t1, …, tm) = P{X(t1) < x1, …, X(tm) < xm} střední hodnota rozptyl korelační koeficient

3 Stochastické modely

4 Stochastické procesy Stochastický proces - náhodná funkce
X(t) = X(e, t) s charakteristikou P(X(t) = e) Průsek stochastického procesu Realizace stochastického procesu t0 T E

5 Markovské řetězce Markovův řetězec je diskrétní řetězec, který splňuje markovskou vlastnost, tj. pro každé m = 2, 3, … a pro všechny možné stavy platí vztah P{Xm = em | Xm-1 = em-1, …, X1 = e1 } = = P{Xm = em | Xm-1 = em-1 }. n n n n + 2

6 Pravděpodobnosti přechodů
Podmíněná pravděpodobnost pijm = P{Xm = j | Xm-1 = i } se nazývá pravděpodobností přechodu M. řetězce ze stavu i do stavu j v m-tém kroku. Matice pravděpodobností přechodu v m-tém kroku T = (pij), resp. Tm = (pijm) Homogenní řetězec - nezávisí na umístění v čase Nehomogenní řetězec - závisí na umístění v čase

7 Maticové vyjádření Markovovy rovnice:
Markovská rovnice Maticové vyjádření Markovovy rovnice: T(n) = Tn. i j

8 Absolutní pravděpodobnosti
Pravděpodobnosti jednotlivých stavů M. řetězce v kroku n se nazývají absolutní pravděpodobnosti stavů v okamžiku n pn = (p1n , p2n, p3n , … ). Absolutní pravděpodobnosti stavů v okamžiku 0 se nazývají počáteční pravděpodobnosti stavů p0 = (p10 , p20, p30 , …)

9 Markovova věta Výpočet absolutních pravděpodobností
Vektorově lze tyto vztahy zapsat takto: pn  = p0 Tn = pm Tn-m =  pn-1T i j

10 Limitní pravděpodobnosti
Ergodický Markovský řetězec: lim pj(n) = pj, j = 1, 2, …, r Výpočet za pomoci řešení soustavy lineárních rovnic (Markovská soustava rovnic):

11 Chování ergodického řetězce

12 Druhy stavů Markovského řetězce
Uzavřená množina stavů - pravděpodobnost odchodu je rovna 0 Absorbční stav - uzavřená množina stavů má jediný prvek Trvalý stav - s pravděpodobností 1 se do něj systém vrátí Trvalý nulový stav – v nekonečném středním počtu kroků Trvalý nenulový stav – v konečném středním počtu kroků Přechodný stav - pravděpodobnost návratu je menší než 1 Periodický stav - návrat za počet kroků s periodou Ergodický stav - je trvalý, není nulový a není periodický

13 Modely absorpčních řetězců
Markovský řetězec obsahující vedle přechodových stavů i stavy absorpční (konečné). tvar modelu: Pravděpodobnosti přechodů do absorpčních stavů:

14 Doba přechodu do daného stavu
Je náhodná veličina se střední hodnotou a rozptylem, která vyjadřuje v časových jednotkách dobu návratu do daného stavu. Střední doba přechodu do daného stavu: Fundamentální matici Z je možné využít pro výpočet středního počtu průchodů určitým stavem: