Neuronové sítě Jakub Krátký

Obsah prezentace Definice Charakteristika umělých neuronových sítí Základní aplikační oblasti Perceptron Minsky-Papertův omyl Jednovrstvé sítě Vícevrstvé sítě Zdroje

Definice neuronových sítí Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.

Charakteristika umělých neuronových sítí Umělé neuronové sítě (ANN) se snaží napodobit funkci biologické mozkové tkáně Schopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejmé Schopnost řešit silně nelineární úlohy Schopnost učit se a generalizovat své znalosti

Základní aplikační oblasti Klasifikace Regrese Predikce Asociace Optimalizace Filtrace shluková analýza komprese dat

Perceptron Tvořen jediným neuronem Lineární separátor y – výstup (aktivita) neuronu S – nelineární přenosová funkce xi – hodnota i-tého vstupu wi – hodnota i-té synaptické váhy Θ – práh neuronu (posunutí) Výraz v závorce – vnitřní potenciál

Základní typy aktivačních funkcí

Minsky-Papertův omyl

Jednovrstvé sítě I – Hopfieldova síť Zpětnovazební (rekurentní) síť Vybavuje nejbližšího souseda (autoasociativní), není klasifikátorem! Učí se Hebbovsky Typicky binární vstupy Učení jednorázové (zapamatování vstupních vzorů), vybavování iterační Síť má tolik neuronů, kolik má vstupů Počet naučitelných vzorů ≈ 15% počtu vstupů

Jednovrstvé sítě I – Hopfieldova síť Výstup neuronu je připojen na vstupy všech ostatních neuronů, avšak ne na svůj vlastní Mezi každými dvěma neurony existuje vzájemné a identické propojení

Jednovrstvé sítě I – Hopfieldova síť Učení vybavování

Jednovrstvé sítě II – Kohonenova SOM – Self Organizing Maps Učení bez učitele, samoorganizuje se Je bez výstupu Provádí shlukovou analýzu Není klasifikátorem

Jednovrstvé sítě II – Kohonenova Učení iterační pomocí okolí a laterální inhibice

Jednovrstvé sítě II – Kohonenova

Vícevrstvé sítě I – ML perceptron Nejrozšířenější a nejpoužívanější síť Iterační metoda učení s učitelem Jednorázové vybavování Trénovací, testovací a validační množina

Vícevrstvé sítě I – ML perceptron Nejpoužívanější metoda učení – backpropagation => zpětné šíření chyby Gradientní metoda Aktivační funkce musí být spojitá a diferencovatelná, typicky sigmoida Učení je ukončeno ve chvíli, kdy globální chyba klesne pod předem stanovenou mez Problém uváznutí v lokálním extrému a přeučení (over-fitting)

Vícevrstvé sítě II – RBF Radial Basis Function (RBF), síť radiálních jednotek Dva typy neuronů: radiální a perceptronového typu (nejčastěji lineární) Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresí Síť se učí velmi rychle Vhodná jak pro klasifikaci, tak pro regresi

Vícevrstvé sítě II – RBF Postsynaptický potenciál Aktivační funkce Adaptace vah

Vícevrstvé sítě III - GAME Při učení roste podle dat Vybírá nejlepší jednotky pomocí genetického algoritmu Heterogenní jednotky (lineární, sigmoidní, polynomiální, malé neuronové sítě,..) Každá jednotka počet vstupů roven číslu vrstvy

Zdroje http://gerstner.felk.cvut.cz/biolab/33KP/prednasky_ann/prezentace_ns.ppt http://service.felk.cvut.cz/courses/36NAN/ Mařík V., Štěpánková O., Lažanský J. a kol.: Umělá inteligence 4. Academia, Praha, 2003 Šnorek, M., Jiřina, M.: Neuronové sítě a neuropočítače. Skripta ČVUT, Praha 1997