Neuronové sítě Jiří Iša

Prezentace na téma: "Neuronové sítě Jiří Iša"— Transkript prezentace:

1 Neuronové sítě Jiří Iša jiri.isa@matfyz.cz http://jiri.isa.matfyz.cz

2 O čem bude řeč? - O historii neuronových sítí. - O různých typech neuronových sítí a způsobu jejich použití. Co se nestane? - Nestane te se odborníky na neuronové sítě. Co se dozvíte? - Budete umět naprogramovat jednoduchou neuronovou síť. Dnešní presentace

3 Jak vypadá neuron Axon (dlouhý výběžek) - délka až 2m Dendrity (krátké výběžky) - mohou jich být až desítky tisíc Tělo (soma) Neuron přijímá dendrity elektrochemické signály od okolních neuronů a reaguje na ně na svém axonu.

4 1943 – McCulloch, Pitts bipolární vstup jednoduchá prahová funkce žádný algoritmus učení zvládá jednoduché logické funkce Př: AND První matematický model 1  wixiwixi w3w3 w2w2 w1w1 x1x1 x2x2 x3x3 y w0w0 sgn(t) t = 1 1

5 První učící algoritmus 1949 – Donald Hebb Motivováno neurofyziologickým zákonem: Změna neurosynaptické váhy je úměrná souhlasné aktivitě neuronů. Matematicky: w i =  *  t (x i t * d t ) kde: x je vstup, d je požadovaný výstup

6 Neurořidič - Hebb JL JR JP PL PR PP RR RP ? +1 -1 -1 -1 -1 -1 -1 -1 | +1 +1 +1 -1 -1 +1 -1 +1 +1 -1 -1 +1 -1 +1 -1 +1 +1 -1 | -1 -1 -1 +1 +1 -1 -1 -1 -1 -1 -1 -1 -1 +1 +1 -1 -1 | +1 -1 +1 +1 +1 -1 +1 -1 +1 -1 +1 +1 -1 -1 +1 +1 -1 | -1 -1 -1 -1 -1 +1 +1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 | +1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 +1 +1 -1 -1 | +1 -1 +1 -1 +1 -1 +1 -1 +1 -1 +1 +1 -1 -1 +1 -1 +1 | -1 -1 +1 -1 +1 -1 +1 +1 -1 -1 +1 -1 +1 -1 +1 +1 -1 | -1 0 2 4 -2 0 -4 4 -6 + 2 - 14 +14 - 14 + 8 +14 - 6 - 14 +1 +1 -1 + 2

7 Perceptron 1957 - Frank Rossenblatt reálný obor vstupních hodnot lineární přenosová funkce F. Rossenblatt dokázal, že jím navržené pravidlo nalezne (existuje-li) po konečném počtu kroků, správné nastavení vektoru vah a úspěšně demonstroval jeho použití na rozpoznávání znaků

8 Delta pravidlo Úkol - minimalizace chyby E: E t = 1/2 *  i (y i t - d i t ) 2 Postup - gradientní metoda:  E t /  w i t = x i t * (y i t - d i t ) w i t+1 = w i t -  *  E t /  w i t = w i t -  * x i t * (y t – d t ) ... rychlost učení  (0, 1) d... požadovaný výstup y... skutečný (získaný) výstup

9 Neurořidič - Delta Vstupy {-1, 1}Příslušné váhy Předsevzetí{1} -30,86 Jedu doleva? 1,71 Jedu rovně? 8,57 Jedu doprava? 31,71 Je vpravo vozidlo zatáčející vlevo? - 4,29 Je vpravo vozidlo jedoucí rovně? - 3,42 Je vpravo vozidlo zatáčející vpravo? - 19,71 Je proti mě vozidlo jedoucí rovně? - 20,57 Je proti mě vozidlo zatáčející vpravo? - 21,43

10 1969 - Pánové Minsky a Pappert potřebovali grant. Linearita perceptronu - AND: Potíž – XOR: Učící algoritmus pro vícevrstvou síť v té době neznámý Důsledek: Téměř deset let žádné granty pro neurovědce Historická katastrofa [1,1] [0,1] [0,0][1,0] {1} {0}

11 Vstupem neuronu jsou výstupy neuronů v předchozí vrstvě (kromě vstupních neuronů) Žádné zpětné hrany z k =  v jk * y j ) y j =  (  w ij * x i ) Vícevrstvá síť VSTUPYVSTUPY VÝSTUPYVÝSTUPY Mezivrstva x yz

12 Backpropagation Česky: Algoritmus zpětného šíření chyby Princip - opět gradientní metoda jenom ta celková funkce je složitější Proč se říká „Backpropagation nefunguje“ ? Protože může dojít k nalezení lokálního minima

13 Samoorganizační mapa 1982 - Kohonen učení bez učitele Trpaslíci v parku Sedí trpaslíci v parku na lavičce a jsou smutní. Proč? Inu, protože si s nimi žádní lidé, a co jich jen chodí okolo, nechtějí povídat. Jak to jen udělat? „Budeme se snažit vypadat jako oni,“ rozhodnou se trpaslíci.

14 Trpaslíci & stavový prostor ženymuži tmavooděncitmavooděnci světlooděncisvětlooděnci

15 ● Paralelní hledání optimálního nastavení Genetické algoritmy 137854137854 546532546532 + 137432137432 mutace překřížení

16 Literatura ● Teoretické otázky neuronových sítí - Jiří Šíma, Roman Neruda; MatfyzPress 1996 ● Umělá inteligence I - Vladimír Mařík, Olga Štěpánková, Jiří Lažanský ● www.google.com ● http://citeseer.nj.nec.com/cs