Tázací zájmena a Plně Pravděpodobnostní Návrh rozhodovacích strategií Miroslav Kárný Adaptivní systémy, ÚTIA AV ČR

Prezentace na téma: "Tázací zájmena a Plně Pravděpodobnostní Návrh rozhodovacích strategií Miroslav Kárný Adaptivní systémy, ÚTIA AV ČR"— Transkript prezentace:

1 Tázací zájmena a Plně Pravděpodobnostní Návrh rozhodovacích strategií Miroslav Kárný Adaptivní systémy, ÚTIA AV ČR school@utia.cas.cz

2 Tázací zájmena Výzkum klade a zodpovídá tyto otázky… Výzkum klade a zodpovídá tyto otázky… Co Co Proč Proč Jak Jak Kdo Kdo Kdy Kdy Kde Kde Za co Za co Pro koho Pro koho … … Ideálně, základní výzkum se soustřeďuje na ty žluté Ideálně, základní výzkum se soustřeďuje na ty žluté

3 Tázání o tomto semináři shrnutí stavu PPN shrnutí stavu PPN Co Co Proč Proč Jak Jak Ideálně, prosím o přerušení v kterémkoliv okamžiku Ideálně, prosím o přerušení v kterémkoliv okamžiku načrtnout les mizící za stromy a podnítit polemiku načrtnout les mizící za stromy a podnítit polemiku shora dolů bez detailů, ale s vědomím souvislostí shora dolů bez detailů, ale s vědomím souvislostí

4 Co to vlastně děláme Vývoj ucelené aplikovatelné teorie dynamického rozhodování za neurčitosti Seminář je zaměřen žlutě s plným vědomím, že bez návazností a vzájemného ovlivňování bílým žluté hyne vývoj částí celku ve zvoleném rámci specialisovaná řešení v rámci určeném cílovým využitím algoritmizaci analýzu formální či simulační programové realizace konkrétní využití v různé míře obecnosti

5 Co je dynamické rozhodování za neurčitosti? účelově vymezená část světa návrh slibující nejlepší dosažení cílů volená strategie generující akce akcedata strategie vliv zbytku světa adaptační vazby cíle, znalosti, omezení transformace do jazyka návrhu cíle, znalosti, omezení vazby k sousedům 1 2 zpracování adaptačních vazeb 3 vazby, kterým rozumí 4

6 Proč je to zábavná a těžká poznávací a tvořící výzva je to zábavná a těžká poznávací a tvořící výzva má to extrémně široký aplikační potenciál má to extrémně široký aplikační potenciál AS dosud mají náskok proti světové konkurenci AS dosud mají náskok proti světové konkurenci představuje to smysluplný program základního výzkumu představuje to smysluplný program základního výzkumu umožňuje to využít všech typů schopností, které se v AS vyskytují a mohou či by měly se vyskytnout umožňuje to využít všech typů schopností, které se v AS vyskytují a mohou či by měly se vyskytnout potenciálně to je generátor problémů, projektů, studentských úloh i peněz potenciálně to je generátor problémů, projektů, studentských úloh i peněz respektuje to, že nejsme přehnaně závislí na úzkých oborových znalostech, v nichž nejsme konkurence schopni respektuje to, že nejsme přehnaně závislí na úzkých oborových znalostech, v nichž nejsme konkurence schopni

7 Jak návrh strategie slibující dosažení cílů chování B složené z dat, akcí a vnitřních uvažovaných veličin je úplnou charakterizací uzavřeného rozhodovacího obvodu chování B složené z dat, akcí a vnitřních uvažovaných veličin je úplnou charakterizací uzavřeného rozhodovacího obvodu cíle znamenají částečné uspořádaní možných chování, které je možno zúplnit dodefinováním vnitřních veličin cíle znamenají částečné uspořádaní možných chování, které je možno zúplnit dodefinováním vnitřních veličin systematický návrh vyžaduje numerické vyjádření tohoto uspořádání pomocí ztráty systematický návrh vyžaduje numerické vyjádření tohoto uspořádání pomocí ztráty návrh musí úplně uspořádat srovnávané strategie návrh musí úplně uspořádat srovnávané strategie chování je určeno zvolenou strategií jen částečně: abstraktní doplněk nutný k jeho dodefinování je neurčitostí, tj. ztráta indexovaná zkoumanou strategií je funkcí neurčitosti chování je určeno zvolenou strategií jen částečně: abstraktní doplněk nutný k jeho dodefinování je neurčitostí, tj. ztráta indexovaná zkoumanou strategií je funkcí neurčitosti úplné uspořádání strategií úplně uspořádává tyto funkce, a za předpokladu lokální aditivity je toto uspořádání popsané integrálním funkcionálem určeným pravděpodobnostní mírou na neurčitostech a funkcí užitku tvarujícím ztráty úplné uspořádání strategií úplně uspořádává tyto funkce, a za předpokladu lokální aditivity je toto uspořádání popsané integrálním funkcionálem určeným pravděpodobnostní mírou na neurčitostech a funkcí užitku tvarujícím ztráty 1

8 Jak návrh strategie slibující dosažení cílů úhrnem: nejlepší strategie minimalizuje očekávanou hodnotu užitku závislého na ztrátě a neurčitosti (zobecněn Bayes) úhrnem: nejlepší strategie minimalizuje očekávanou hodnotu užitku závislého na ztrátě a neurčitosti (zobecněn Bayes) zadáme-li místo dvojice (užitek, ztráta) model uzavřeného obvodu s optimální strategií (ideál), pak dosti obecně zadáme-li místo dvojice (užitek, ztráta) model uzavřeného obvodu s optimální strategií (ideál), pak dosti obecně „Ostře“ obecnější než bayesovské rozhodování! Zdůrazňuje, že smysluplné optimalizované kritérium je podstatným způsobem diktováno naším modelem světa! Optimální strategie minimalizuje Kulback-Leiblerovu divergenci (KLD) na strategii závislého modelu uzavřeného obvodu k ideálu (KLD) na strategii závislého modelu uzavřeného obvodu k ideálu  plně pravděpodobnostní návrh  plně pravděpodobnostní návrh 1

9 Jak transformovat adaptační vazby, znalosti, cíle a omezení do jazyka návrhu PPN znalosti i cíle popsány stejným pravděpodobnostním jazykem PPN znalosti i cíle popsány stejným pravděpodobnostním jazykem data zpracovávána standardně bayesovsky data zpracovávána standardně bayesovsky znalosti a cíle vyjadřitelné jako fiktivní data zpracovávány stejně znalosti a cíle vyjadřitelné jako fiktivní data zpracovávány stejně ostatní znalosti, cíle a vazby lze systematicky vyjádřit jako marginální a podmíněné distribuce, které je nutno ostatní znalosti, cíle a vazby lze systematicky vyjádřit jako marginální a podmíněné distribuce, které je nutno * aproximovat * aproximovat ** rozšiřovat na prostoru chování ** rozšiřovat na prostoru chování Obecná řešení úloh *, ** plynou z abstraktních PPN úloh * min_{aproximující} KLD( aproximovaný || aproximující) ** min_{rozšiřované splňující znalost}KLD( rozšiřovaný || apriorní) 2

10 Jak zpracovat adaptační vazby, bez zatěžování uživatele neznámým automatizovaným získávání znalostí a zpřesňování cílů využitím nástrojů *, ** automatizovaným získávání znalostí a zpřesňování cílů využitím nástrojů *, ** kombinací marginálních a podmíněných distribucí formulovanou a řešenou jako specifická úloha rozšiřování kombinací marginálních a podmíněných distribucí formulovanou a řešenou jako specifická úloha rozšiřování standardní bayesovskou projekcí do nižších rozměrů standardní bayesovskou projekcí do nižších rozměrů Klíčový obecný nedořešený problém Jak automaticky kombinovat výše uvedené distribuce mají-li různé reprezentace (analytické, tabulkové, simulační) 3

11 Je co dělat ? obecná vrstva je strukturou s mnoha dírami, které mohou vést na jiné cesty (např. popisům a la kvantová mechanika) obecná vrstva je strukturou s mnoha dírami, které mohou vést na jiné cesty (např. popisům a la kvantová mechanika) řada řešení není dostatečně obecná (diskrétní svět a index čas) řada řešení není dostatečně obecná (diskrétní svět a index čas) rozpracování mimo gaussovský a markovský svět je v plenkách rozpracování mimo gaussovský a markovský svět je v plenkách využití toho, že lidé leccos ví (odkoukávají od přírody) vývoj částí celku ve zvoleném rámci specialisovaná řešení v rámci určeném cílovým využitím algoritmizace analýza formální či simulační programové realizace konkrétní využití různé obecnosti 4