Neuronové sítě.

Prezentace na téma: "Neuronové sítě."— Transkript prezentace:

1 Neuronové sítě

2 Biologická motivace neuron

3 Lidský mozek Lidský mozek obsahuje asi 1011 neuronů.
Buněčné jádro (soma) má velikost jen 1 až 3 mm. Délka dendritu bývá 1 až 3 mm. Bývá jich 100 až Délka axonů bývá i delší než 1 m. Mozek spotřebovává 2030 % energie těla, i když představuje jen asi 2 % váhy.

4 Neuron Snímek neuronu v elektronovém mikroskopu

5 Formální neuron

6 Matematický popis

7 Přenosová funkce skoková

8 Přenosová funkce sigmoidní

9 Topologie sítě I1 O7 I2

10 Vrstvené sítě Vrstvená síť typu m – k1 – k2 – ... – kr – n
se vstupní vrstvou dimenze m s výstupní vrstvou dimenze n s r skrytými vrstvami. Příklad: síť

11 Neuronová síť je určena
Topologií Váhami synapsí Prahem neuronů Přenosovou funkcí

12 Proces učení neuronových sítí
Pro učení (trénování NS) je třeba mít dostatek reprezentativních příkladů Trénovací, výběrová, testovací množina Na začátku učení bývají váhy nejčastěji nastaveny na náhodná čísla Proces učení se snaží minimalizovat odchylku (chybu) mezi skutečným (aktuálním) a požadovaným výstupem Každá neuronová síť má jiný algoritmus učení, vesměs jsou to ale iterační procesy

13 Hopfieldova asociativní paměť

14 Topologie sítě 1 vrstva zároveň vstupní i výstupní mezi neurony existují všechny spoje (kromě smyček)

15 Motivace Rozpoznávání obrazu
Každý neuron nabývá jednoho ze dvou stavů {0,1}. Každý neuron odpovídá pixelu rastrového obrázku. Stav 0 odpovídá bílé barvě, stav 1 černé barvě

16 Další parametry sítě Přenosová funkce skoková
F(U) = 1 pro U>Θ F(U) = 0 pro U<=Θ Váhy synapsí se určují při učení Prahy neuronů Θi = ½ Σj wij

17 Učení sítě = nastavení vah
t vzorů (n složkové vektory) wij = 0 pro i=j Pro i<>j inicializuj wij=0 Pro každý vzor v1,v2,…,vn proveď wij = wij + (2vi-1)(2vj-1)

18 Vybavování Vstupní vzor x1,x2,…,xn
První iterace y(0)=y1(0),y2(0),…,yn(0) Další iterace Spočti vstup pro i=tý neuron ui(t+1)=Σj wij.yj(t) Podle přenosové funkce urči yi(t+1) = 1 pro ui(t+1) > Θi yi(t+1) = 0 pro ui(t+1) <= Θi

19 Energetická funkce E(t) = -½ ΣiΣj wij yi(t)yj(t) –Σi Θiyi(t)
Během vybavování její hodnota klesá Vybavování končí v lokálním minimu energetické funkce Toto minimum může odpovídat naučeným vzorům Nebo vzorům k ním inverzním Nebo vzorům falešným „fantomům“

20 Příklad Obrázek velikosti 2x2 pixely. Síť má 4 neurony 1 vzory 1

21 Příklad – stanovení vah
Pokud má vzor na i-tém a j=tém poli stejnou hodnotu, přičítám 1, pokud má různou odečítám 1 Původní matice vah

22 Příklad – stanovení vah
Váhy po naučení vzoru (1,0,0,0) -1 1

23 Prahy Θ Θ1 = -3/2 Θ2 = 1/2 Θ3 = 1/2 Θ4 = 1/2

24 Vybavování Vzor (0,0,0,0) y(0) = (0,0,0,0) E(0) = 0 1.krok 2.krok
u(1)=(0,0,0,0) y(1)=(1,0,0,0) E(1) = /2 = -3/2 2.krok u(2)=(0,-1,-1,-1) y(2)=(1,0,0,0) E(2)=-3/2 Rozeznán vzor v