MARKOVSKÉ ŘETĚZCE

Stochastické modely Pravděpodobnostní charakteristiky tohoto procesu jednorozměrné rozdělení pravděpodobností stavů X(x1, t1) = P{X(t1) < x1} vícerozměrná rozdělení pravděpodobností stavů X(x1, …, xm; t1, …, tm) = P{X(t1) < x1, …, X(tm) < xm} střední hodnota rozptyl korelační koeficient

Stochastické modely

Stochastické procesy Stochastický proces - náhodná funkce X(t) = X(e, t) s charakteristikou P(X(t) = e) Průsek stochastického procesu Realizace stochastického procesu t0 T E

Markovské řetězce Markovův řetězec je diskrétní řetězec, který splňuje markovskou vlastnost, tj. pro každé m = 2, 3, … a pro všechny možné stavy platí vztah P{Xm = em | Xm-1 = em-1, …, X1 = e1 } = = P{Xm = em | Xm-1 = em-1 }. n -1 n n + 1 n + 2

Pravděpodobnosti přechodů Podmíněná pravděpodobnost pijm = P{Xm = j | Xm-1 = i } se nazývá pravděpodobností přechodu M. řetězce ze stavu i do stavu j v m-tém kroku. Matice pravděpodobností přechodu v m-tém kroku T = (pij), resp. Tm = (pijm) Homogenní řetězec - nezávisí na umístění v čase Nehomogenní řetězec - závisí na umístění v čase

Maticové vyjádření Markovovy rovnice: Markovská rovnice Maticové vyjádření Markovovy rovnice: T(n) = Tn. i j

Absolutní pravděpodobnosti Pravděpodobnosti jednotlivých stavů M. řetězce v kroku n se nazývají absolutní pravděpodobnosti stavů v okamžiku n pn = (p1n , p2n, p3n , … ). Absolutní pravděpodobnosti stavů v okamžiku 0 se nazývají počáteční pravděpodobnosti stavů p0 = (p10 , p20, p30 , …)

Markovova věta Výpočet absolutních pravděpodobností Vektorově lze tyto vztahy zapsat takto: pn  = p0 Tn = pm Tn-m =  pn-1T i j

Limitní pravděpodobnosti Ergodický Markovský řetězec: lim pj(n) = pj, j = 1, 2, …, r Výpočet za pomoci řešení soustavy lineárních rovnic (Markovská soustava rovnic):

Chování ergodického řetězce

Druhy stavů Markovského řetězce Uzavřená množina stavů - pravděpodobnost odchodu je rovna 0 Absorbční stav - uzavřená množina stavů má jediný prvek Trvalý stav - s pravděpodobností 1 se do něj systém vrátí Trvalý nulový stav – v nekonečném středním počtu kroků Trvalý nenulový stav – v konečném středním počtu kroků Přechodný stav - pravděpodobnost návratu je menší než 1 Periodický stav - návrat za počet kroků s periodou Ergodický stav - je trvalý, není nulový a není periodický

Modely absorpčních řetězců Markovský řetězec obsahující vedle přechodových stavů i stavy absorpční (konečné). tvar modelu: Pravděpodobnosti přechodů do absorpčních stavů:

Doba přechodu do daného stavu Je náhodná veličina se střední hodnotou a rozptylem, která vyjadřuje v časových jednotkách dobu návratu do daného stavu. Střední doba přechodu do daného stavu: Fundamentální matici Z je možné využít pro výpočet středního počtu průchodů určitým stavem: