Markovské řetězce Definice Markovského řetězce Matice přechodu Markovkého řetězce Stavy Markovského řetězce Chapman-Kolgomorovova rovnice Ergodický princip Výpočet ergodických pravděpodobností Střední doba prvního přechodu Absorbční řetězce Střední počet průchodů transientními stavy Pravděpodobnosti přechodů do absorbčních stavů

Základní charakteristiky Bernouliova poslopnost –úplná beznáslednost Markovská vlastnost Markovská vlastnost: Výsledek m-tého pokusu závisí pouze na výsledku m-1 pokusu. Stav systému v okamžiku n závisí pouze na stavu systému v okamžiku n-1

Definice pij (m) je podmíněná pravděpodobnost přechodu daného systému při m-tém pokusu ze stavu i do stavu j. Hodnoty 1,2,3 a jevy s1, s2, s3 nazýváme stavy příslušného Markovského řetězce. Matice přechodu Markovského řetězce je sestavena z podmíněných pravděpodobností přechodů.: Markovský řetězec je homogenní, když podmíněné pravděpodobnosti přechodu pij (m) nezávisejí na m, tj. pro všechna i,j platí:

Poznámky Homogenní Markovský řetězec nezávisí na počtu kroků, tj. na čase, tj. nestárne Rozdělení pravděpodobnosti pij zjišťujeme statistickým šetřením. Je třeba znát počáteční stav systému X0- pevný nebo náhodný. Markovský řetězec je stochastický proces diskrétní v čase i v jevech Matice T je stochastická matice. Pro pij platí: Homogenní Markovský řetězec je soustava pravděpodobností, která je určena: Počátečním stavem (pravděpodobností) Rozdělením pravděpodobností přechodu Maticí přechodu

Základní charakteristiky Matice přechodu Markovského řetězce: Matice P je sestavena z podmíněných pravděpodobností přechodu. Absolutní pravděpodobnosti vyjadřují pravděpodobnosti jednotlivých stavů v okamžiku n.

Chapman-Kolgomorovova rovnice xj Xk Xj+1 Xj+2 Xj+3 Xi l kroků (n-1) krok j k i n kroků

Výpočty absolutních pravděpodobností Přechod po n krocích ze stavu j do stavu k prochází stavem i po l krocích. Pro jakékoliv i je pravděpodobnost přechodu ze stavu i do stavu j po l krocích a dále do stavu k po n-l krocích rovna součinu . … matice přechodu za n kroků (n-kroková matice přechodu)

Příklad 1: Oprava stroje Stroj může být buď v provozu (stav P) nebo v opravě (stav O). Pravděpodobnost, že se stroj během dne porouchá je 0,2. Pravděpodobnost, že stroj bude během dne opraven je 0,7. Na začátku sledování je stroj v provozu. Jaká je pravděpodobnost, že stroj bude v provozu na začátku pátého dne? Matice přechodu (podmíněných pravděpodobností) -P P O 0,8 0,2 1 0,7 0,3 Vektor počátečních pravděpodobností

Příklad 1: Oprava stroje

Možné stavy Markovských řetězců Absorpční stav pokud se do něj Markovský řetězec jednou dostal, nemůže se dostat do jiného stavu Trvalý stav systém se do něj vrací s pravděpodobností 1 Přechodný stav pravděpodobnost návratu do tohoto stavu je menší než 1 Trvalý nulový stav trvalý stav se nazývá nulový, jestliže počet kroků pro návrat má nekonečně velkou střední hodnotu (nazývá se také rekurentní nulový) Trvalý nenulový stav trvalý stav, pro než má počet kroků pro návrat konečnou střední hodnotu pokud návrat může nastat kdykoliv, jedná se o ergodický stav pokud návrat může nastat po určitém počtu kroků, jedná se o periodický stav Ergodický stav stav, který je trvalý, není nulový a není periodický Nepodstatný stav přechod ze stavu si do stavu sj je možný přechod opačným směrem není možný Podstatný stav stav, který není nepodstatný vzájemně dosažitelné stavy jsou sousledné Uzavřená třída skupina vzájemně dosažitelných stavů Regulární řetězec všechny stavy jsou ergodické a tvoří jednu uzavřenou třídu takový řetězec je nerozložitelný Rozložitelný řetězec změnou pořadí stavů lze vytvořit jednotkovou submatici nebo submatice

Výpočet ergodických pravděpodobností Do Markovovy rovnice dosadíme: Vzhledem k n konstanta, prvek matice P Zlimitováno: Pro praktický výpočet přidáváme:

Příklad 1 -pokračování

Střední doba prvního přechodu Ve stavu si systém setrvá s pravděpodobností pii jednu časovou jednotku. S pravděpodobností pij přejde do stavu sk a nejkratší doba k návratu je mjk. (1 přechod =1 časová jednotka) Cesty si do stavu (nebo návraty do si) sj mohou jít přes několik stavů k: Střední dobu prvého návratu do stavu si: Střední dobu prvého přechodu ze stavu si do stavu sj :

Střední doba prvního přechodu Si Sj a) přímo b) přes stavy k Si Sj Sk K=1 K=3 K=2 K=4

Výpočet pomocí fundamentální matice E…jednotková matice P… matice přechodu A…limitní matice (řádky jsou vektory lim pravděpodobností) I… matice složená ze samých jedniček Z…fundamentální matice …prvky na hlavní diagonále se shodují s maticí Z, ostatní jsou nuly …prvky na hlavní diagonále se rovnají

Příklad 1: Střední doba přechodu ze stavu v provozu do stavu v opravě Příklad 1: Střední doba přechodu ze stavu v provozu do stavu v opravě. Výpočet pomocí fundamentální matice

Absorbční řetězce Absorbční stavy Přechodové stavy Absorbční stavy

Výpočty pro absorbční řetězce Fundamentální matice Střední doba strávená v přechodových stavech Pravděpodobnost přechodu do absorbčních stavů Součet řádku fundamentální matice

Příklad 2: Absorbční řetězec Firma vlastní 10 přístrojů, které se mohou dostat do následujících stavů: P…v provozu O… v opravě N… na prodej Š…do šrotu N Š P O 1 0,05 0,8 0,15 0,7 0,2

Pravděpodobnost, že se dostane do absorbčního stavu Průměrná doba setrvání v provozu Pravděpodobnost, že se dostane do absorbčního stavu N Š P 0,86 0,13 O 0,81 0,18

Modely prosté obnovy ai ri T… V pravděpodobnost selhání jednotky v i-tém období ri pravděpodobnost dožití konce i-tého období T… maximální životnost V průměrná životnost

Matice přechodu Průměrná věková struktura

Příklad 3 Firma vlastní 10 vozidel. Nakupuje vždy nové a používá je maximálně 4 roky. Při vyřazení vozidla se ihned koupí nové. Pravděpodobnosti dožití a selhání (vyřazení – byly zadané) jsou v tabulce: Rok ai ri 1 0,1 0,9 2 0,8 3 0,3 0,5 4

Matice přechodu 1 2 3 4 Suma 0,1 0,9 0,1/0,9 0,8/0,9 0,3/0,8 0,5/0,8 0,5/0,5

Matice přechodu 1 2 3 4 Suma 0,1 0,9 0,111 0,888 0,375 0,625

stáří Počet vozů (Zaokrouhleno) 1 3 – počet obnovených 2 3 4 Průměrná životnost stáří Počet vozů (Zaokrouhleno) 1 3 – počet obnovených 2 3 4