Neuronové sítě Jiří Iša

O čem bude řeč? - O historii neuronových sítí. - O různých typech neuronových sítí a způsobu jejich použití. Co se nestane? - Nestane te se odborníky na neuronové sítě. Co se dozvíte? - Budete umět naprogramovat jednoduchou neuronovou síť. Dnešní presentace

Jak vypadá neuron Axon (dlouhý výběžek) - délka až 2m Dendrity (krátké výběžky) - mohou jich být až desítky tisíc Tělo (soma) Neuron přijímá dendrity elektrochemické signály od okolních neuronů a reaguje na ně na svém axonu.

1943 – McCulloch, Pitts bipolární vstup jednoduchá prahová funkce žádný algoritmus učení zvládá jednoduché logické funkce Př: AND První matematický model 1  wixiwixi w3w3 w2w2 w1w1 x1x1 x2x2 x3x3 y w0w0 sgn(t) t = 1 1

První učící algoritmus 1949 – Donald Hebb Motivováno neurofyziologickým zákonem: Změna neurosynaptické váhy je úměrná souhlasné aktivitě neuronů. Matematicky: w i =  *  t (x i t * d t ) kde: x je vstup, d je požadovaný výstup

Neurořidič - Hebb JL JR JP PL PR PP RR RP ? | | | | | | | |

Perceptron Frank Rossenblatt reálný obor vstupních hodnot lineární přenosová funkce F. Rossenblatt dokázal, že jím navržené pravidlo nalezne (existuje-li) po konečném počtu kroků, správné nastavení vektoru vah a úspěšně demonstroval jeho použití na rozpoznávání znaků

Delta pravidlo Úkol - minimalizace chyby E: E t = 1/2 *  i (y i t - d i t ) 2 Postup - gradientní metoda:  E t /  w i t = x i t * (y i t - d i t ) w i t+1 = w i t -  *  E t /  w i t = w i t -  * x i t * (y t – d t ) ... rychlost učení  (0, 1) d... požadovaný výstup y... skutečný (získaný) výstup

Neurořidič - Delta Vstupy {-1, 1}Příslušné váhy Předsevzetí{1} -30,86 Jedu doleva? 1,71 Jedu rovně? 8,57 Jedu doprava? 31,71 Je vpravo vozidlo zatáčející vlevo? - 4,29 Je vpravo vozidlo jedoucí rovně? - 3,42 Je vpravo vozidlo zatáčející vpravo? - 19,71 Je proti mě vozidlo jedoucí rovně? - 20,57 Je proti mě vozidlo zatáčející vpravo? - 21,43

Pánové Minsky a Pappert potřebovali grant. Linearita perceptronu - AND: Potíž – XOR: Učící algoritmus pro vícevrstvou síť v té době neznámý Důsledek: Téměř deset let žádné granty pro neurovědce Historická katastrofa [1,1] [0,1] [0,0][1,0] {1} {0}

Vstupem neuronu jsou výstupy neuronů v předchozí vrstvě (kromě vstupních neuronů) Žádné zpětné hrany z k =  v jk * y j ) y j =  (  w ij * x i ) Vícevrstvá síť VSTUPYVSTUPY VÝSTUPYVÝSTUPY Mezivrstva x yz

Backpropagation Česky: Algoritmus zpětného šíření chyby Princip - opět gradientní metoda jenom ta celková funkce je složitější Proč se říká „Backpropagation nefunguje“ ? Protože může dojít k nalezení lokálního minima

Samoorganizační mapa Kohonen učení bez učitele Trpaslíci v parku Sedí trpaslíci v parku na lavičce a jsou smutní. Proč? Inu, protože si s nimi žádní lidé, a co jich jen chodí okolo, nechtějí povídat. Jak to jen udělat? „Budeme se snažit vypadat jako oni,“ rozhodnou se trpaslíci.

Trpaslíci & stavový prostor ženymuži tmavooděncitmavooděnci světlooděncisvětlooděnci

● Paralelní hledání optimálního nastavení Genetické algoritmy mutace překřížení

Literatura ● Teoretické otázky neuronových sítí - Jiří Šíma, Roman Neruda; MatfyzPress 1996 ● Umělá inteligence I - Vladimír Mařík, Olga Štěpánková, Jiří Lažanský ● ●