Neuronové sítě Jakub Krátký.

Prezentace na téma: "Neuronové sítě Jakub Krátký."— Transkript prezentace:

1 Neuronové sítě Jakub Krátký

2 Obsah prezentace Definice Charakteristika umělých neuronových sítí
Základní aplikační oblasti Perceptron Minsky-Papertův omyl Jednovrstvé sítě Vícevrstvé sítě Zdroje

3 Definice neuronových sítí
Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.

4 Charakteristika umělých neuronových sítí
Umělé neuronové sítě (ANN) se snaží napodobit funkci biologické mozkové tkáně Schopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejmé Schopnost řešit silně nelineární úlohy Schopnost učit se a generalizovat své znalosti

5 Základní aplikační oblasti
Klasifikace Regrese Predikce Asociace Optimalizace Filtrace shluková analýza komprese dat

6 Perceptron Tvořen jediným neuronem Lineární separátor
y – výstup (aktivita) neuronu S – nelineární přenosová funkce xi – hodnota i-tého vstupu wi – hodnota i-té synaptické váhy Θ – práh neuronu (posunutí) Výraz v závorce – vnitřní potenciál

7 Základní typy aktivačních funkcí

8 Minsky-Papertův omyl

9 Jednovrstvé sítě I – Hopfieldova síť
Zpětnovazební (rekurentní) síť Vybavuje nejbližšího souseda (autoasociativní), není klasifikátorem! Učí se Hebbovsky Typicky binární vstupy Učení jednorázové (zapamatování vstupních vzorů), vybavování iterační Síť má tolik neuronů, kolik má vstupů Počet naučitelných vzorů ≈ 15% počtu vstupů

10 Jednovrstvé sítě I – Hopfieldova síť
Výstup neuronu je připojen na vstupy všech ostatních neuronů, avšak ne na svůj vlastní Mezi každými dvěma neurony existuje vzájemné a identické propojení

11 Jednovrstvé sítě I – Hopfieldova síť
Učení vybavování

12 Jednovrstvé sítě II – Kohonenova
SOM – Self Organizing Maps Učení bez učitele, samoorganizuje se Je bez výstupu Provádí shlukovou analýzu Není klasifikátorem

13 Jednovrstvé sítě II – Kohonenova
Učení iterační pomocí okolí a laterální inhibice

14 Jednovrstvé sítě II – Kohonenova

15 Vícevrstvé sítě I – ML perceptron
Nejrozšířenější a nejpoužívanější síť Iterační metoda učení s učitelem Jednorázové vybavování Trénovací, testovací a validační množina

16 Vícevrstvé sítě I – ML perceptron
Nejpoužívanější metoda učení – backpropagation => zpětné šíření chyby Gradientní metoda Aktivační funkce musí být spojitá a diferencovatelná, typicky sigmoida Učení je ukončeno ve chvíli, kdy globální chyba klesne pod předem stanovenou mez Problém uváznutí v lokálním extrému a přeučení (over-fitting)

17 Vícevrstvé sítě II – RBF
Radial Basis Function (RBF), síť radiálních jednotek Dva typy neuronů: radiální a perceptronového typu (nejčastěji lineární) Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresí Síť se učí velmi rychle Vhodná jak pro klasifikaci, tak pro regresi

18 Vícevrstvé sítě II – RBF
Postsynaptický potenciál Aktivační funkce Adaptace vah

19 Vícevrstvé sítě III - GAME
Při učení roste podle dat Vybírá nejlepší jednotky pomocí genetického algoritmu Heterogenní jednotky (lineární, sigmoidní, polynomiální, malé neuronové sítě,..) Každá jednotka počet vstupů roven číslu vrstvy

20 Zdroje Mařík V., Štěpánková O., Lažanský J. a kol.: Umělá inteligence 4. Academia, Praha, 2003 Šnorek, M., Jiřina, M.: Neuronové sítě a neuropočítače. Skripta ČVUT, Praha 1997