APLIKACE MATEMATIKY A FYZIKY A Matematická část 2 APLIKACE MATEMATIKY A FYZIKY A Matematická část 2. Stacionární NF, náhodné procesy RNDr. Radovan Potůček, Ph.D., K-215, FVT UO, KŠ 5B/11, Radovan.Potucek@unob.cz, tel. 443056

Stacionární a nestacionární náhodné funkce -------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 2/22 Stacionární a nestacionární náhodné funkce V praxi je významný případ, kdy základní číselné charakteristiky, tj. střední hodnota a rozptyl, na čase nezávisí a korelační funkce 𝐾 𝑋 𝑡 1 , 𝑡 2 je funkcí jen rozdílu obou časů 𝑡 2 − 𝑡 1 . Náhodné procesy s těmito vlastnostmi se nazývají stacionární. Náhodná funkce se nazývá stacionární v užším smyslu (NF je striktně stacionární), jestliže zákon rozdělení libovolného řádu 𝑛 se nemění při posunutí 𝑛-tice 𝑡 1 , 𝑡 2 ,…, 𝑡 𝑛 o konstantní čas ℎ (nastává tzv. časová invariantnost) Pro 𝑛-tou distribuční funkci platí: 𝐹 𝑛 𝑥 1 ,…, 𝑥 𝑛 , 𝑡 1 ,…, 𝑡 𝑛 = 𝐹 𝑛 𝑥 1 ,…, 𝑥 𝑛 , 𝑡 1 +ℎ,…, 𝑡 𝑛 +ℎ . 1. distribuční funkce 𝐹 1 𝑥 1 , 𝑡 1 tedy nezávisí na čase 𝑡 1 a 2. distribuční funkce 𝐹 2 𝑥 1 , 𝑥 2 , 𝑡 1 , 𝑡 2 závisí jen na rozdílu časů 𝜏= 𝑡 2 − 𝑡 1 , takže 𝐹 1 𝑥 1 , 𝑡 1 = 𝐹 1 𝑥 1 a 𝐹 2 𝑥 1 , 𝑥 2 , 𝑡 1 , 𝑡 2 = 𝐹 2 𝑥 1 , 𝑥 2 ,𝜏 .

𝜇 𝑋 𝑡 = 𝜇 𝑋 ≡konst. a 𝐾 𝑋 𝑡 1 , 𝑡 2 =𝐾 𝜏 . -------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 3/22 Lze říci, že náhodná funkce je stacionární v užším slova smyslu, jestliže její libovolné pravděpodobnostní charakteristiky nezávisejí na poloze počátku časové osy, ale pouze na délkách čas. intervalů. Z praktického hlediska často nahlížíme na pojem stacionarity v tzv. širším slova smyslu, kdy stačí, aby se s nezávisle proměnnou neměnily pouze statistické momenty 1. a 2. řádu, tj. střední hodnota, rozptyl a korelační funkce. Náhodná funkce se nazývá stacionární v širším smyslu (NF je slabě stacionární), jestliže její střední hodnota 𝜇 𝑋 𝑡 nezávisí na čase a korelační funkce 𝐾 𝑋 𝑡 1 , 𝑡 2 je funkcí rozdílu časů 𝑡 2 − 𝑡 1 , tj. 𝜇 𝑋 𝑡 = 𝜇 𝑋 ≡konst. a 𝐾 𝑋 𝑡 1 , 𝑡 2 =𝐾 𝜏 . Poznamenejme, že pokud je NF 𝑋(𝑡) stacionární v užším smyslu, pak je stacionární i v širším slova smyslu, ale opak obecně neplatí. .

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 4/22 Nestacionární NF jsou oproti stacionárním NF charakteristické tím, že že má určitou tendenci rozvoje v čase, jak ilustrují obrázky: Stacionaritu NF prakticky ověřujeme tak, že provedeme statistický odhad charakteristik: - danou realizaci rozdělíme na dílčí úseky a zjišťujeme, zda dílčí střední hodnoty 𝝁 𝑿 𝒕 nabývají přibližně stejných hodnot - zjistíme, zda v korelační matici 𝑲 jsou přibližně stejné hodnoty na rovnoběžkách s hlavní diagonálou.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 5/22 Říkáme, že slabě stacionární náhodná funkce 𝑋(𝑡) má ergodickou vlastnost (neboli že náhodný proces je ergodický), jestliže pro její střední hodnotu a korelační funkci platí 𝜇 𝑋 = lim 𝑇→∞ 1 𝑇 0 𝑇 𝑥 𝑡 d𝑡 , 𝐾 𝑋 𝜏 = lim 𝑇→∞ 1 𝑇 0 𝑇 𝑥 𝑡+𝜏 − 𝜇 𝑋 ∙ 𝑥 𝑡 − 𝜇 𝑋 d𝑡, tzn. že tyto charakteristiky můžeme spočítat (odhadnout) pomocí jediné libovolné realizace 𝑥(𝑡) NF 𝑋(𝑡). Odhad bude tím věrohodnější, čím delší bude interval 0,𝑇 . Postačující podmínkou ergodičnosti stacionární NF 𝑋(𝑡) je lim 𝜏→∞ 𝐾 𝑋 𝜏 =0.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 6/22 NF na prvním obrázku je ergodický, zatímco NF na druhém obrázku není ergodický: Poznamenejme, že v případě diskrétního náhodného procesu odhadujeme jeho střední hodnotu užitím vztahu 𝜇 𝑋 = lim 𝑛→∞ 1 𝑛 𝑘=1 𝑛 𝑥 𝑡 𝑘 .

Markovovy procesy – základní pojmy -------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 7/22 Markovovy procesy – základní pojmy Před definicí Markovovy vlastnosti připomeňme, že podmíněná pravděpodobnost 𝑃(𝐴|𝐵) je definována vztahem 𝑃 𝐴 𝐵 = 𝑃(𝐴∩𝐵) 𝑃(𝐵) , odkud pro pravděpodobnost průniku dvou jevů dostáváme, že 𝑃 𝐴∩𝐵 =𝑃 𝐵 ∙𝑃 𝐴 𝐵 =𝑃 𝐴 ∙𝑃 𝐵 𝐴 . Uvažujme náhodný proces (NF) 𝑋(𝑡), 𝑡∈𝑇, který nabývá hodnot 𝑖∈𝐼⊂ 0,1,2,… , přičemž 𝐼 je tzv. množina stavů daného procesu. Zápisem 𝑋 𝑡 =𝑖 označujeme jev, že náhodný proces je v čase 𝑡 ve stavu 𝑖, tj. diskrétní náhodná proměnná 𝑋(𝑡) nabyla hodnoty 𝑖.

𝑃 𝑋 𝑡 𝑛 = 𝑖 𝑛 |(𝑋 𝑡 𝑛−1 = 𝑖 𝑛−1 )∩(𝑋 𝑡 𝑛−2 = 𝑖 𝑛−2 )∩⋯∩(𝑋 𝑡 1 = 𝑖 1 ) -------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 8/22 Markovův proces Náhodný proces 𝑋 𝑡 , kde 𝑡∈𝑇, jehož množina stavů 𝐼 je diskrétní, nazveme Markovovým procesem, jestliže splňuje tyto podmínky: Pro každé 𝑖∈𝐼 existuje 𝑡∈𝑇 takové, že 𝑃 𝑋 𝑡 =𝑖 >0. Pro libovolné časové okamžiky 0≤ 𝑡 1 < 𝑡 2 <⋯< 𝑡 𝑛 ∈𝑇 a pro libovolné stavy 𝑖 1 , 𝑖 2 ,…, 𝑖 𝑛 ∈𝐼, kde 𝑛≥2, platí tzv. Markovova vlastnost 𝑃 𝑋 𝑡 𝑛 = 𝑖 𝑛 |(𝑋 𝑡 𝑛−1 = 𝑖 𝑛−1 )∩(𝑋 𝑡 𝑛−2 = 𝑖 𝑛−2 )∩⋯∩(𝑋 𝑡 1 = 𝑖 1 ) =𝑃 𝑋 𝑡 𝑛 = 𝑖 𝑛 |𝑋 𝑡 𝑛−1 = 𝑖 𝑛−1 , přičemž předpokládáme, že 𝑃 𝑘=1 𝑛 𝑋 𝑡 𝑠 =𝑖 >0. Podmínka 1. vyjadřuje skutečnost, že v každém ze svých stavů se náh. proces v některém čase 𝑡 vyskytne s kladnou pravděpodobností.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ------ 9/22 Markovova vlastnost 2. říká, že podmíněná pravděpodobnost toho, že proces je v čase 𝑡 𝑛 ve stavu 𝑖 𝑛 , závisí jen na tom, v jakém stavu byl v čase 𝑡 𝑛−1 a nezávisí na stavech v dřívějších časech, tedy na tom, jakým způsobem se náhodný proces do stavu 𝑖 𝑛−1 dostal. Rozdělení pravděpodobnosti Markovova procesu je popsáno tzv. absolutními pravděpodobnostmi 𝑝 𝑖 𝑡 =𝑃 𝑋 𝑡 =𝑖 , pro které platí rovnost 𝑖∈𝐼 𝑝 𝑖 𝑡 = 1 pro všechna 𝑡∈𝑇.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 10/22 K základním charakteristikám Markovových procesů patří tzv. pravděpodobnosti přechodu ze stavu 𝑖 v čase 𝑡 1 do stavu 𝑗 v čase 𝑡 2 , které definujeme pomocí podmíněných pravděpodobností. Pravděpodobnosti přechodu Markovova procesu 𝑋(𝑡) s diskrétní množinou stavů 𝐼 a množinou časů 𝑇, které označujeme 𝑝 𝑖𝑗 𝑡 1 , 𝑡 2 , jsou pro libovolná 𝑖,𝑗∈𝐼 a libovolná 𝑡 1 , 𝑡 2 ∈𝑇, přičemž 𝑡 1 < 𝑡 2 , definovány vztahem 𝑝 𝑖𝑗 𝑡 1 , 𝑡 2 =𝑃(𝑋 𝑡 2 =𝑗|𝑋 𝑡 1 =𝑖). Pro pravděpodobnosti přechodu platí rovnost 𝑗∈𝐼 𝑝 𝑖𝑗 𝑡 1 , 𝑡 2 = 1 pro všechna 𝑖∈𝐼.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 11/22 Věta 1. Uvažujme Markovův proces 𝑋(𝑡) s množinou stavů 𝐼 a množinou časů 𝑇. Pro libovolné stavy 𝑖,𝑗∈𝐼 a časy 𝑡 1 , 𝑡 2 , 𝑡 3 ∈𝑇, kde 𝑡 1 < 𝑡 2 < 𝑡 3 , platí: (1) 𝑝 𝑗 𝑡 2 = 𝑖∈𝐼 𝑝 𝑖 ( 𝑡 1 )∙ 𝑝 𝑖𝑗 ( 𝑡 1 , 𝑡 2 ) , (2) 𝑝 𝑖𝑗 𝑡 1 , 𝑡 3 = 𝑘∈𝐼 𝑝 𝑖𝑘 ( 𝑡 1 , 𝑡 2 )∙ 𝑝 𝑘𝑗 ( 𝑡 2 , 𝑡 3 ) . Důkaz: (1) Protože sjednocení jevů 𝑖∈𝐼 𝑋 𝑡 1 =𝑖 je jistý jev, protože pravděpodobnost sjednocení neslučitelných jevů

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 12/22 je součet pravděpodobností a protože jevy 𝑋 𝑡 2 =𝑗 a 𝑋 𝑡 1 =𝑖 jsou závislé, pak lze psát: 𝑝 𝑗 𝑡 2 =𝑃 𝑋 𝑡 2 =𝑗 =𝑃 𝑋 𝑡 2 =𝑗 ∩ 𝑖∈𝐼 𝑋 𝑡 1 =𝑖 =𝑃 𝑖∈𝐼 (𝑋 𝑡 2 =𝑗)∩(𝑋 𝑡 1 =𝑖) = 𝑖∈𝐼 𝑃 𝑋 𝑡 1 =𝑖 ∙𝑃 𝑋( 𝑡 2 =𝑗 𝑋 𝑡 1 =𝑖 = 𝑖∈𝐼 𝑝 𝑖 𝑡 1 ∙ 𝑝 𝑖𝑗 𝑡 1 , 𝑡 2 . Rovnost (2) lze dokázat analogicky.

𝑝 𝑖𝑗 𝑡,𝑡+1 = 𝑝 𝑖𝑗 1 = 𝑝 𝑖𝑗 ≡𝑘𝑜𝑛𝑠𝑡., -------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 13/22 Homogenní Markovovy řetězce Markovovým řetězcem nazýváme Markovův proces 𝑋(𝑡) s diskrétním parametrem (časem) 𝑡∈𝑇= 0,1,2,… . Markovův řetězec je tedy tvořen posloupností náhodných proměnných 𝑋 0 , 𝑋 1 , 𝑋 2 , … . Markovův řetězec se nazývá homogenní Markovův řetězec, jestliže pro všechna 𝑡∈𝑇, 𝑖,𝑗∈𝐼 platí 𝑝 𝑖𝑗 𝑡,𝑡+1 = 𝑝 𝑖𝑗 1 = 𝑝 𝑖𝑗 ≡𝑘𝑜𝑛𝑠𝑡., tedy když pravděpodobnost přechodu ze stavu 𝑖 do 𝑗 pro „sousední“ časy je konstantní a nezávisí na čase 𝑡. Poznamenejme, že konstantní jsou i pravděpodobnosti přechodu ze stavu 𝑖 do 𝑗 nejen po 1 kroku, ale i po 𝑛 krocích, tj. platí 𝑝 𝑖𝑗 𝑡,𝑡+𝑛 = 𝑝 𝑖𝑗 𝑛 ≡𝑘𝑜𝑛𝑠𝑡.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 14/22 Pravděpodobnosti přechodu, tj. konstanty 𝑝 𝑖𝑗 , sestavíme do tzv. matice pravděpodobností přechodu (po 1 kroku) 𝑃. V případě, kdy množina stavů homogenního Markovova řetězce je konečná, tj. 𝐼= 0,1,2,…,𝑛 , má matice pravděpodobností přechodu tvar 𝑃= 𝑝 00 𝑝 01 ⋯ 𝑝 0𝑛 𝑝 10 𝑝 11 ⋯ 𝑝 1𝑛 ⋮ ⋮ ⋱ ⋮ 𝑝 𝑛0 𝑝 𝑛1 ⋯ 𝑝 𝑛𝑛 . Jsou-li v homogenním Markovově řetězci zadány pravděpodobnosti přechodu 𝑝 𝑖𝑗 a absolutní pravděpodobnosti 𝑝 𝑖 (𝑡) v určitém čase 𝑡, lze vypočítat absolutní pravděpodobnosti 𝑝 𝑗 (𝑡+1) v následujícím čase 𝑡+1 jako řešení soustavy rovnic 𝑝 𝑗 𝑡+1 = 𝑗∈𝐼 𝑝 𝑖 𝑡 ∙ 𝑝 𝑖𝑗 , pro všechna 𝑗∈𝐼.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 15/22 Věta 2. Označme vektor absolutních pravděpodobností v čase 𝑡 𝒑 𝑡 = 𝑝 0 (𝑡) 𝑝 1 (𝑡) ⋮ 𝑝 𝑛 (𝑡) a nechť 𝑃 je matice pravděpodobností přechodu. Potom platí: 𝒑 𝑡+1 = 𝑃 T ∙𝒑(𝑡), kde 𝑡=0,1,2,… . Důkaz: Plyne ze vztahu (1) ve Větě 1 𝑝 𝑗 𝑡 2 = 𝑖∈𝐼 𝑝 𝑖 ( 𝑡 1 )∙ 𝑝 𝑖𝑗 ( 𝑡 1 , 𝑡 2 ) , kde volíme 𝑡 1 =𝑡, 𝑡 2 =𝑡+1 a kde 𝑝 𝑖𝑗 𝑡 1 , 𝑡 2 = 𝑝 𝑖𝑗 ≡𝑘𝑜𝑛𝑠𝑡.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 16/22 Poznamenejme, že pořadí činitelů 𝑃 T ∙𝒑(𝑡) na pravé straně rovnice 𝒑 𝑡+1 = 𝑃 T ∙𝒑(𝑡), je dáno rovností typů matice a sloupcových vektorů 𝑛 1 =𝑛/𝑛∙𝑛/1 a protože se v sumě 𝑖∈𝐼 𝑝 𝑖 ( 𝑡 1 )∙ 𝑝 𝑖𝑗 mění první index 𝑖 u prvků matice 𝑃= 𝑝 𝑖𝑗 , jedná se o násobení sloupcem matice 𝑃 neboli o násobení řádkem matice 𝑃 T .

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 17/22 Jestliže chceme sledovat chování absolutních pravděpodobností 𝒑(𝑡) když čas 𝑡 neomezeně roste, tj. po odeznění vlivu počátečních podmínek daných počátečním vektorem absolutních pravděpodobností 𝒑(0), budeme určovat absolutní pravděpodobnosti 𝑝 𝑗 nezávislé na čase. Tyto pravděpodobnosti 𝑝 𝑗 jsou zřejmě dány vztahem 𝑝 𝑗 = lim 𝑡→∞ 𝑝 𝑖𝑗 (𝑡) , který reprezentuje skutečnost, že pravděpodobnost přechodu z libovolného stavu 𝑖 do stavu 𝑗 se po delším čase (po mnoha krocích) ustaluje a blíží se konstantě 𝑝 𝑗 . Tyto limity existují, pokud existuje přirozené číslo 𝑟 takové, že 𝑟-tá mocnina matice pravděpodobností přechodu 𝑃 (včetně 𝑃 1 =𝑃) má alespoň jeden sloupec kladný.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 18/22 Pokud tedy limity 𝑝 𝑗 = lim 𝑡→∞ 𝑝 𝑖𝑗 (𝑡) existují, nazývají se limitní (stacionární) pravděpodobnosti. Vektor limitních pravděpodobností budeme označovat 𝒑 𝑠 , tj. 𝒑 𝑠 = 𝑝 0 𝑝 1 ⋮ 𝑝 𝑛 . Poznamenejme, že počet složek tohoto vektoru nemusí být konečný, ale může být i spočetný, a že jeho složky zřejmě splňují, podobně jako absolutní pravděpodobnosti 𝑝 𝑖 (𝑡), rovnost 𝑗∈𝐼 𝑝 𝑗 = 1 .

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 19/22 Výpočet limitních (stacionárních) pravděpodobností: Ve vztahu (2) ve Větě 1 𝑝 𝑖𝑗 𝑡 1 , 𝑡 3 = 𝑘∈𝐼 𝑝 𝑖𝑘 ( 𝑡 1 , 𝑡 2 )∙ 𝑝 𝑘𝑗 ( 𝑡 2 , 𝑡 3 ) zvolíme 𝑡 2 − 𝑡 1 =𝑛 a 𝑡 3 − 𝑡 2 =1, takže 𝑡 3 − 𝑡 1 =𝑛+1. Potom lze vztah (2) zapsat ve tvaru 𝑝 𝑖𝑗 𝑛+1 = 𝑘∈𝐼 𝑝 𝑖𝑘 (𝑛)∙ 𝑝 𝑘𝑗 (1) , takže limitním přechodem pro 𝑛→∞ s využitím vztahu 𝑝 𝑗 = lim 𝑡→∞ 𝑝 𝑖𝑗 (𝑡) dostáváme vztah 𝑝 𝑗 = 𝑘∈𝐼 𝑝 𝑘 ∙ 𝑝 𝑘𝑗 pro všechna 𝑗∈𝐼 .

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 20/22 Neznámé limitní pravděpodobnosti 𝑝 0 , 𝑝 1 ,…, 𝑝 𝑛 tak získáme jako řešení soustavy lineárních algebraických rovnic 𝑝 𝑗 = 𝑘∈𝐼 𝑝 𝑘 ∙ 𝑝 𝑘𝑗 , 𝑗∈𝐼 , 𝑗∈𝐼 𝑝 𝑗 =1. Tuto soustavu lze přehledně zapsat v maticovém tvaru 𝒑 𝑠 = 𝑃 T ∙ 𝒑 𝑠 , 𝑝 0 + 𝑝 1 +…+ 𝑝 𝑛 =1 nebo pomocí jednotkové matice 𝐸 a nulového vektoru 𝟎 ve tvaru 𝐸− 𝑃 T ∙𝒑 𝑠 =𝟎 , 𝑝 0 + 𝑝 1 +…+ 𝑝 𝑛 =1.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 21/22 Příklad: Nechť 𝑋 𝑡 je homogenní Markovův řetězec s množinou stavů 𝐼= 0,1 , kde stav 0 označuje, že strojní zařízení je mimo provoz (z důvodu údržby nebo opravy) a stav 1 označuje, že strojní zařízení je v provozu, a s počátečním rozdělením absolutních pravděpodobností 𝑝 0 0 =0,8 a 𝑝 1 0 =0,2, tj, jen ve 20% případů je zařízení v čase 0 v provozu. Nechť matice pravděpodobností přechodu 𝑃= 0,6 0,4 0,3 0,7 . Určete: a) absolutní pravděpodobnosti v časech 𝑡=1 a 𝑡=2, b) limitní (stacionární) pravděpodobnosti.

-------- Aplikace matematiky a fyziky A – Stacionární NF, náhodné procesy ----- 22/22 Řešení: a) V časech 𝑡=1 a 𝑡=2 jsou absolutních pravděpodobnosti 𝒑 1 = 𝑃 T 𝒑 0 = 0,6 0,3 0,4 0,7 ∙ 0,8 0,2 = 0,54 0,46 , 𝒑 2 = 𝑃 T 2 𝒑 0 = 𝑃 T 𝒑 1 = 0,6 0,3 0,4 0,7 ∙ 0,54 0,46 = 0,462 0,538 . b) Soustava rovnic 𝐸− 𝑃 T ∙𝒑 𝑠 =𝟎 , 𝑝 0 + 𝑝 1 =1 má tvar 0,4 −0,3 −0,4 0,3 ∙ 𝑝 0 𝑝 1 = 0 0 , 𝑝 0 + 𝑝 1 =1, tedy tvar 4 𝑝 0 −3 𝑝 1 =0, 𝑝 0 + 𝑝 1 =1, odkud 4 𝑝 0 −3 1− 𝑝 0 =0, takže 𝑝 0 =3/7 a 𝑝 1 =4/7, tj. vektor limitních pravděpodobností 𝒑 𝑠 ≐ 0,429;0,571 T .