Markovské řetězce Definice Markovského řetězce

Prezentace na téma: "Markovské řetězce Definice Markovského řetězce"— Transkript prezentace:

1 Markovské řetězce Definice Markovského řetězce
Matice přechodu Markovkého řetězce Stavy Markovského řetězce Chapman-Kolgomorovova rovnice Ergodický princip Výpočet ergodických pravděpodobností Střední doba prvního přechodu Absorbční řetězce Střední počet průchodů transientními stavy Pravděpodobnosti přechodů do absorbčních stavů

2 Základní charakteristiky
Bernouliova poslopnost –úplná beznáslednost Markovská vlastnost Markovská vlastnost: Výsledek m-tého pokusu závisí pouze na výsledku m-1 pokusu. Stav systému v okamžiku n závisí pouze na stavu systému v okamžiku n-1

3 Definice pij (m) je podmíněná pravděpodobnost přechodu daného systému při m-tém pokusu ze stavu i do stavu j. Hodnoty 1,2,3 a jevy s1, s2, s3 nazýváme stavy příslušného Markovského řetězce. Matice přechodu Markovského řetězce je sestavena z podmíněných pravděpodobností přechodů.: Markovský řetězec je homogenní, když podmíněné pravděpodobnosti přechodu pij (m) nezávisejí na m, tj. pro všechna i,j platí:

4 Poznámky Homogenní Markovský řetězec nezávisí na počtu kroků, tj. na čase, tj. nestárne Rozdělení pravděpodobnosti pij zjišťujeme statistickým šetřením. Je třeba znát počáteční stav systému X0- pevný nebo náhodný. Markovský řetězec je stochastický proces diskrétní v čase i v jevech Matice T je stochastická matice. Pro pij platí: Homogenní Markovský řetězec je soustava pravděpodobností, která je určena: Počátečním stavem (pravděpodobností) Rozdělením pravděpodobností přechodu Maticí přechodu

5 Základní charakteristiky
Matice přechodu Markovského řetězce: Matice P je sestavena z podmíněných pravděpodobností přechodu. Absolutní pravděpodobnosti vyjadřují pravděpodobnosti jednotlivých stavů v okamžiku n.

6 Chapman-Kolgomorovova rovnice
xj Xk Xj+1 Xj+2 Xj+3 Xi l kroků (n-1) krok j k i n kroků

7 Výpočty absolutních pravděpodobností
Přechod po n krocích ze stavu j do stavu k prochází stavem i po l krocích. Pro jakékoliv i je pravděpodobnost přechodu ze stavu i do stavu j po l krocích a dále do stavu k po n-l krocích rovna součinu . … matice přechodu za n kroků (n-kroková matice přechodu)

8 Příklad 1: Oprava stroje
Stroj může být buď v provozu (stav P) nebo v opravě (stav O). Pravděpodobnost, že se stroj během dne porouchá je 0,2. Pravděpodobnost, že stroj bude během dne opraven je 0,7. Na začátku sledování je stroj v provozu. Jaká je pravděpodobnost, že stroj bude v provozu na začátku pátého dne? Matice přechodu (podmíněných pravděpodobností) -P P O 0,8 0,2 1 0,7 0,3 Vektor počátečních pravděpodobností

9 Příklad 1: Oprava stroje

10 Možné stavy Markovských řetězců
Absorpční stav pokud se do něj Markovský řetězec jednou dostal, nemůže se dostat do jiného stavu Trvalý stav systém se do něj vrací s pravděpodobností 1 Přechodný stav pravděpodobnost návratu do tohoto stavu je menší než 1 Trvalý nulový stav trvalý stav se nazývá nulový, jestliže počet kroků pro návrat má nekonečně velkou střední hodnotu (nazývá se také rekurentní nulový) Trvalý nenulový stav trvalý stav, pro než má počet kroků pro návrat konečnou střední hodnotu pokud návrat může nastat kdykoliv, jedná se o ergodický stav pokud návrat může nastat po určitém počtu kroků, jedná se o periodický stav Ergodický stav stav, který je trvalý, není nulový a není periodický Nepodstatný stav přechod ze stavu si do stavu sj je možný přechod opačným směrem není možný Podstatný stav stav, který není nepodstatný vzájemně dosažitelné stavy jsou sousledné Uzavřená třída skupina vzájemně dosažitelných stavů Regulární řetězec všechny stavy jsou ergodické a tvoří jednu uzavřenou třídu takový řetězec je nerozložitelný Rozložitelný řetězec změnou pořadí stavů lze vytvořit jednotkovou submatici nebo submatice

11 Výpočet ergodických pravděpodobností
Do Markovovy rovnice dosadíme: Vzhledem k n konstanta, prvek matice P Zlimitováno: Pro praktický výpočet přidáváme:

12 Příklad 1 -pokračování

13 Střední doba prvního přechodu
Ve stavu si systém setrvá s pravděpodobností pii jednu časovou jednotku. S pravděpodobností pij přejde do stavu sk a nejkratší doba k návratu je mjk. (1 přechod =1 časová jednotka) Cesty si do stavu (nebo návraty do si) sj mohou jít přes několik stavů k: Střední dobu prvého návratu do stavu si: Střední dobu prvého přechodu ze stavu si do stavu sj :

14 Střední doba prvního přechodu
Si Sj a) přímo b) přes stavy k Si Sj Sk K=1 K=3 K=2 K=4

15 Výpočet pomocí fundamentální matice
E…jednotková matice P… matice přechodu A…limitní matice (řádky jsou vektory lim pravděpodobností) I… matice složená ze samých jedniček Z…fundamentální matice …prvky na hlavní diagonále se shodují s maticí Z, ostatní jsou nuly …prvky na hlavní diagonále se rovnají

16 Příklad 1: Střední doba přechodu ze stavu v provozu do stavu v opravě
Příklad 1: Střední doba přechodu ze stavu v provozu do stavu v opravě. Výpočet pomocí fundamentální matice

17

18 Absorbční řetězce Absorbční stavy Přechodové stavy Absorbční stavy

19 Výpočty pro absorbční řetězce
Fundamentální matice Střední doba strávená v přechodových stavech Pravděpodobnost přechodu do absorbčních stavů Součet řádku fundamentální matice

20 Příklad 2: Absorbční řetězec
Firma vlastní 10 přístrojů, které se mohou dostat do následujících stavů: P…v provozu O… v opravě N… na prodej Š…do šrotu N Š P O 1 0,05 0,8 0,15 0,7 0,2

21 Pravděpodobnost, že se dostane do absorbčního stavu
Průměrná doba setrvání v provozu Pravděpodobnost, že se dostane do absorbčního stavu N Š P 0,86 0,13 O 0,81 0,18

22 Modely prosté obnovy ai ri T… V
pravděpodobnost selhání jednotky v i-tém období ri pravděpodobnost dožití konce i-tého období T… maximální životnost V průměrná životnost

23 Matice přechodu Průměrná věková struktura

24 Příklad 3 Firma vlastní 10 vozidel. Nakupuje vždy nové a používá je maximálně 4 roky. Při vyřazení vozidla se ihned koupí nové. Pravděpodobnosti dožití a selhání (vyřazení – byly zadané) jsou v tabulce: Rok ai ri 1 0,1 0,9 2 0,8 3 0,3 0,5 4

25 Matice přechodu 1 2 3 4 Suma 0,1 0,9 0,1/0,9 0,8/0,9 0,3/0,8 0,5/0,8 0,5/0,5

26 Matice přechodu 1 2 3 4 Suma 0,1 0,9 0,111 0,888 0,375 0,625

27 stáří Počet vozů (Zaokrouhleno) 1 3 – počet obnovených 2 3 4
Průměrná životnost stáří Počet vozů (Zaokrouhleno) 1 3 – počet obnovených 2 3 4