Logika a umělá inteligence pro multi-agentní systémy Mobilní agent řízený neuronovou sítí

Umělé neuronové sítě - ANN Umělé neuronové sítě  Konstruovány dle biologické předlohy  Podobná struktura; síť tvořená buňkami (neurony) a spojená vazbami (synapse) Učení neuronové sítě  Učení s učitelem  Učení bez učitele

Dopředné neuronové sítě Hierarchická struktura  Neurony jsou řazeny do vrstev  Neuronová síť „odpálením“ převádí vstupní vektor na vektor výstupní Učení s učitelem  Trénovací množina  Backpropagation y0y0 y1y1 x0x0 x1x1

Využití dopředných sítí Základní řízení vozidla  Sledování cesty (jízdního pruhu)  Jízda přiměřenou rychlostí  Vyhnutí se překážce Pokročilé řízení  Vyhnutí se jedoucímu vozidlu  Předjíždění

Základní řízení - Předpoklady/Požadavky Simulační prostředí  Spojitý prostor (2D nebo 3D)  Vozidla, jež agenti ovládají, jsou simulována jako dle reálných fyzikálních dějů Mobilní agenti  Agent má k dispozici senzory, pomocí kterých monitoruje prostor kolem sebe  Každý agent je vybaven neuronovou sítí, která převádí data ze senzorů na pokyny k řízení vozidla

Základní řízení - Realizace Definice vstupů  Rychlost vozidla  Poloha vůči vodící křivce  Tvar cesty před vozidlem Definice výstupů  Míra sešlápnutí plynu  Otočení volantem

Základní řízení – Trénovací množina Trénovací množina (TM)  Prvky TM jsou dvojice (vstup, očekávaný výstup)  TM musí být bezesporná (na stejné vstupy musí být stejný výstup)  Prvky TM musí dostatečně pokrývat vstupní prostor Konstrukce trénovací množiny  Vlastní nástroj

Základní řízení - TrainsetGen

Základní řízení – Konstrukce TM

Základní řízení – Simulátor Simulátor TORCS  Pokročilý fyzikální model  Implementace vlastního řidiče  Definice vlastního prostředí  Interakce mezi vozidly  Vhodná vizualizace

Základní řízení - Ukázka

Pokročilé řízení Problémy  Spojitý model  Definice vstupů vhodných pro vyhýbaní se a předjíždění  Konstrukce trénovací množiny Možná řešení  Hierarchické ANN  Učení ze zachycovaných dat o průjezdech  NEAT, rtNEAT

Pokročilé řízení II Hierarchické ANN  Vrstva sítí pro základní řízení  Vrstva sítí s pro diagnostiku Sledování cesty PředjížděníVyhýbání Vozidlo Směrovací síť Diagnostika překážekDiagnostika okolních vozidel (0.2, 0.8, 0.0) (plyn, volant) (auto, 20m,vlevo)

Pokročilé řízení III Učení ze zachycovaných dat  TM je konstruována z dat zachycených při průjezdu trati člověkem  Problém s bezesporností TM  Sporné prvky TM je možno střídavě při učení ignorovat  Mnoho prvků TM  Velmi dlouhá doba učení

Pokročilé řízení IV NEAT  NeuroEvolution of Augmenting Topologies  Struktura sítě podléhá evoluci  Nutnost definovat fitness funkci rtNEAT  Modifikace NEAT pro učení v reálném čase  Možnost učení řízení přímo v simulátoru

Závěry Využití ANN  Vhodné zejména pro intuitivní úkoly  Možná kombinace s jinými přístupy Nevýhody  Složitější chování se velmi těžko trénuje  Natrénovaná síť je černou skříňkou  Citlivost na počáteční podmínky

Diskuze Reference  TORCS  Reynolds, C. W., Steering Behaviors For Autonomous Characters. Proceedings of Game Developers Conference 1999 held in San Jose, California. Miller Freeman Game Group, San Francisco, California. Pages  Kenneth O. Stanley and Risto Miikkulainen, Efficient Reinforcement Learning Through Evolving Neural Network Topologies. Proceedings of the Genetic and Evolutionary Computation Conference (GECCO-2002).  Kenneth O. Stanley, Bobby D. Bryant and Risto Miikkulainen, Evolving Neural Network Agents in the NERO Video Game. Proceedings of the IEEE 2005 Symposium on Computational Intelligence and Games (CIG'05). Piscataway, NJ: IEEE, 2005