Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Neuronové sítě. Biologická motivace neuron Lidský mozek Lidský mozek obsahuje asi 10 11 neuronů. Buněčné jádro (soma) má velikost jen 1 až 3  m. Délka.

Podobné prezentace


Prezentace na téma: "Neuronové sítě. Biologická motivace neuron Lidský mozek Lidský mozek obsahuje asi 10 11 neuronů. Buněčné jádro (soma) má velikost jen 1 až 3  m. Délka."— Transkript prezentace:

1 Neuronové sítě

2 Biologická motivace neuron

3 Lidský mozek Lidský mozek obsahuje asi neuronů. Buněčné jádro (soma) má velikost jen 1 až 3  m. Délka dendritu bývá 1 až 3 mm. Bývá jich 100 až Délka axonů bývá i delší než 1 m. Mozek spotřebovává 20  30 % energie těla, i když představuje jen asi 2 % váhy.

4 Neuron Snímek neuronu v elektronovém mikroskopu

5 Srovnání počítač x mozek PočítačLidský mozek Výpočetní jednotka1 CPU10 11 buněk Paměť 10 9 bitů RAM, bitů na disku neuronů, synapsí Délka cyklu10 -8 sekundy10 -3 sekundy Šířka pásma10 9 bitů za sekundu bitů za sekundu Rychlost obnovy 10 9 výpočetních elementů neuronů za sekundu

6 Formální neuron

7 Matematický popis

8 Přenosová funkce skoková

9 Přenosová funkce sigmoidní

10 I2 I1 O7 Topologie sítě

11 Vrstvené sítě Vrstvená síť typu m – k 1 – k 2 –... – k r – n – se vstupní vrstvou dimenze m – s výstupní vrstvou dimenze n – s r skrytými vrstvami. Příklad: síť

12 Neuronová síť je určena Topologií Váhami synapsí Prahem neuronů Přenosovou funkcí

13 Proces učení neuronových sítí Pro učení (trénování NS) je třeba mít dostatek reprezentativních příkladů Trénovací, výběrová, testovací množina Na začátku učení bývají váhy nejčastěji nastaveny na náhodná čísla Proces učení se snaží minimalizovat odchylku (chybu) mezi skutečným (aktuálním) a požadovaným výstupem Každá neuronová síť má jiný algoritmus učení, vesměs jsou to ale iterační procesy

14 Hopfieldova asociativní paměť

15 Topologie sítě 1 vrstva zároveň vstupní i výstupní mezi neurony existují všechny spoje (kromě smyček)

16 Motivace Rozpoznávání obrazu – Každý neuron nabývá jednoho ze dvou stavů {0,1}. – Každý neuron odpovídá pixelu rastrového obrázku. – Stav 0 odpovídá bílé barvě, stav 1 černé barvě

17 Další parametry sítě Přenosová funkce skoková – F(U) = 1 pro U>Θ – F(U) = 0 pro U<=Θ Váhy synapsí se určují při učení Prahy neuronů Θ i = ½ Σ j w ij

18 Učení sítě = nastavení vah t vzorů (n složkové vektory) w ij = 0 pro i=j Pro i<>j – inicializuj w ij =0 – Pro každý vzor v 1,v 2,…,v n proveď w ij = w ij + (2v i -1)(2v j -1)

19 Vybavování Vstupní vzor x 1,x 2,…,x n První iterace y(0)=y 1 (0),y 2 (0),…,y n (0) Další iterace – Spočti vstup pro i=tý neuron u i (t+1)=Σ j w ij.y j (t) Podle přenosové funkce urči y i (t+1) = 1 pro u i (t+1) > Θ i y i (t+1) = 0 pro u i (t+1) <= Θ i

20 Energetická funkce E(t) = -½ Σ i Σ j w ij y i (t)y j (t) –Σ i Θ i y i (t) Během vybavování její hodnota klesá Vybavování končí v lokálním minimu energetické funkce Toto minimum může odpovídat naučeným vzorům Nebo vzorům k ním inverzním Nebo vzorům falešným „fantomům“

21 Příklad Obrázek velikosti 2x2 pixely. Síť má 4 neurony 1 vzory v = (1,0,0,0) 10 00

22 Příklad – stanovení vah Pokud má vzor na i-tém a j=tém poli stejnou hodnotu, přičítám 1, pokud má různou odečítám 1 Původní matice vah

23 Příklad – stanovení vah Váhy po naučení vzoru (1,0,0,0)

24 Prahy Θ Θ 1 = -3/2 Θ 2 = 1/2 Θ 3 = 1/2 Θ 4 = 1/2

25 Vybavování Vzor (0,0,0,0) y(0) = (0,0,0,0) E(0) = 0 1.krok – u(1)=(0,0,0,0) – y(1)=(1,0,0,0) E(1) = /2 = -3/2 2.krok – u(2)=(0,-1,-1,-1) – y(2)=(1,0,0,0) E(2)=-3/2 Rozeznán vzor v


Stáhnout ppt "Neuronové sítě. Biologická motivace neuron Lidský mozek Lidský mozek obsahuje asi 10 11 neuronů. Buněčné jádro (soma) má velikost jen 1 až 3  m. Délka."

Podobné prezentace


Reklamy Google