Logika a umělá inteligence pro multi-agentní systémy Mobilní agent řízený neuronovou sítí.

Prezentace na téma: "Logika a umělá inteligence pro multi-agentní systémy Mobilní agent řízený neuronovou sítí."— Transkript prezentace:

1 Logika a umělá inteligence pro multi-agentní systémy Mobilní agent řízený neuronovou sítí

2 Umělé neuronové sítě - ANN Umělé neuronové sítě  Konstruovány dle biologické předlohy  Podobná struktura; síť tvořená buňkami (neurony) a spojená vazbami (synapse) Učení neuronové sítě  Učení s učitelem  Učení bez učitele

3 Dopředné neuronové sítě Hierarchická struktura  Neurony jsou řazeny do vrstev  Neuronová síť „odpálením“ převádí vstupní vektor na vektor výstupní Učení s učitelem  Trénovací množina  Backpropagation y0y0 y1y1 x0x0 x1x1

4 Využití dopředných sítí Základní řízení vozidla  Sledování cesty (jízdního pruhu)  Jízda přiměřenou rychlostí  Vyhnutí se překážce Pokročilé řízení  Vyhnutí se jedoucímu vozidlu  Předjíždění

5 Základní řízení - Předpoklady/Požadavky Simulační prostředí  Spojitý prostor (2D nebo 3D)  Vozidla, jež agenti ovládají, jsou simulována jako dle reálných fyzikálních dějů Mobilní agenti  Agent má k dispozici senzory, pomocí kterých monitoruje prostor kolem sebe  Každý agent je vybaven neuronovou sítí, která převádí data ze senzorů na pokyny k řízení vozidla

6 Základní řízení - Realizace Definice vstupů  Rychlost vozidla  Poloha vůči vodící křivce  Tvar cesty před vozidlem Definice výstupů  Míra sešlápnutí plynu  Otočení volantem

7 Základní řízení – Trénovací množina Trénovací množina (TM)  Prvky TM jsou dvojice (vstup, očekávaný výstup)  TM musí být bezesporná (na stejné vstupy musí být stejný výstup)  Prvky TM musí dostatečně pokrývat vstupní prostor Konstrukce trénovací množiny  Vlastní nástroj

8 Základní řízení - TrainsetGen

9 Základní řízení – Konstrukce TM

10 Základní řízení – Simulátor Simulátor TORCS  Pokročilý fyzikální model  Implementace vlastního řidiče  Definice vlastního prostředí  Interakce mezi vozidly  Vhodná vizualizace

11 Základní řízení - Ukázka

12 Pokročilé řízení Problémy  Spojitý model  Definice vstupů vhodných pro vyhýbaní se a předjíždění  Konstrukce trénovací množiny Možná řešení  Hierarchické ANN  Učení ze zachycovaných dat o průjezdech  NEAT, rtNEAT

13 Pokročilé řízení II Hierarchické ANN  Vrstva sítí pro základní řízení  Vrstva sítí s pro diagnostiku Sledování cesty PředjížděníVyhýbání Vozidlo Směrovací síť Diagnostika překážekDiagnostika okolních vozidel (0.2, 0.8, 0.0) (plyn, volant) (auto, 20m,vlevo)

14 Pokročilé řízení III Učení ze zachycovaných dat  TM je konstruována z dat zachycených při průjezdu trati člověkem  Problém s bezesporností TM  Sporné prvky TM je možno střídavě při učení ignorovat  Mnoho prvků TM  Velmi dlouhá doba učení

15 Pokročilé řízení IV NEAT  NeuroEvolution of Augmenting Topologies  Struktura sítě podléhá evoluci  Nutnost definovat fitness funkci rtNEAT  Modifikace NEAT pro učení v reálném čase  Možnost učení řízení přímo v simulátoru

16 Závěry Využití ANN  Vhodné zejména pro intuitivní úkoly  Možná kombinace s jinými přístupy Nevýhody  Složitější chování se velmi těžko trénuje  Natrénovaná síť je černou skříňkou  Citlivost na počáteční podmínky

17 Diskuze Reference  TORCS http://torcs.orghttp://torcs.org  Reynolds, C. W., Steering Behaviors For Autonomous Characters. Proceedings of Game Developers Conference 1999 held in San Jose, California. Miller Freeman Game Group, San Francisco, California. Pages 763-782.  Kenneth O. Stanley and Risto Miikkulainen, Efficient Reinforcement Learning Through Evolving Neural Network Topologies. Proceedings of the Genetic and Evolutionary Computation Conference (GECCO-2002).  Kenneth O. Stanley, Bobby D. Bryant and Risto Miikkulainen, Evolving Neural Network Agents in the NERO Video Game. Proceedings of the IEEE 2005 Symposium on Computational Intelligence and Games (CIG'05). Piscataway, NJ: IEEE, 2005