Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Neuronové sítě Marcel Jiřina. 2 Neuronové sítě Inspirovány poznatky o neuronech a nervových sítích živých organizmů Schopnost extrahovat a reprezentovat.

Podobné prezentace


Prezentace na téma: "Neuronové sítě Marcel Jiřina. 2 Neuronové sítě Inspirovány poznatky o neuronech a nervových sítích živých organizmů Schopnost extrahovat a reprezentovat."— Transkript prezentace:

1 Neuronové sítě Marcel Jiřina

2 2 Neuronové sítě Inspirovány poznatky o neuronech a nervových sítích živých organizmů Schopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejmé Schopnost řešit silně nelineární úlohy Schopnost učit se Schopnost zevšeobecňovat Využití pro klasifikaci, regresi a predikci časových řad

3 3 Biologická inspirace

4 4

5 5 Tvar impulsu vysílaných do axonu

6 6 Biologická inspirace Synapse (elektrická, chemická)

7 7 Biologická inspirace

8 8 Paměť a její mechanizmy  Reflexní paměť – více podnětů  Deklarativní paměť – asociačního charakteru Paměťové mechanismy  Krátkodobý paměťový mechanismus  Střednědobý paměťový mechanismus  Dlouhodobý paměťový mechanismus Principy učení  Asociativní učení  Neasociativní učení

9 9 Umělá neuronová síť Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.

10 10 Model neuronu neuron je základní výpočetní jednotkou neuronových sítí

11 11 Model neuronu obsahuje několik vstupů, které jsou ohodnoceny vahami a jeden výstup v neuronu pobíhají dva procesy:  výpočet (post-synaptického) potenciálu  výpočet hodnoty výstupu pomocí aktivační funkce, nejčastěji tzv. sigmoidy

12 12 Struktura sítě pro větší výpočetní sílu se neurony uspořádávají do sítí neuronů

13 13 Typy neuronových sítí Existuje celá řada typů neuronových sítí Každý typ se hodí pro jinou třídu úloh Základními úlohami neuronových sítí jsou klasifikace a regrese (aproximace) Podle přítomnosti „učitele“ můžeme neuronové sítě dělit na sítě s učitelem a bez učitele

14 14 Typy neuronových sítí Existuje celá řada neuronových sítí, např.  Vícevrstvá perceptonová síť (MLP)  Hopfieldova síť  Kohonenovy samoorganizující se mapy  Síť RBF ... Každá neuronová síť je vhodná pro jiné třídy úloh. Některé neuronové sítě se mohou vzájemně doplňovat.

15 15 Proces učení neuronových sítí Pro učení (trénování NS) je třeba mít dostatek reprezentativních příkladů Trénovací, výběrová, testovací množina Na začátku učení bývají váhy nejčastěji nastaveny na náhodná čísla Proces učení se snaží minimalizovat odchylku (chybu) mezi skutečným (aktuálním) a požadovaným výstupem Každá neuronová síť má jiný algoritmus učení, vesměs jsou to ale iterační procesy

16 16 Návrh neuronové sítě Pro řešení každé úohy musí být navržena jedinečná neuronová síť Otázka vhodného výběru sítě Výběr struktury sítě, tj. počet vstupů, výstupů, vrstev, skrytých neuronů, typ aktivačních funkcí, atd. Výběr trénovacího algoritmu Problém over-sizing, over-learning (over-fitting)

17 17 Vícevrstvá perceptonová síť Nejrozšířenější a nejpoužívanější síť Jak pro klasifikaci tak pro regresi (a tedy i predikci časových řad) Síť s učitelem Aktivační funkcí je nejčastěji sigmoida Otázka výběru počtu vrstev a počtu neuronů Kromě základního algoritmu backpropagation existuje řada sofistikovaných metod učení, např. metoda sdružených gradientů, Levenbergova-Marquardtova metoda atd.

18 18 Vícevrstvá perceptonová síť K nevýhodám sítě patří obtížné řešení problému lokálních minim a poměrně dlouhá doba učení Zlepšení pomocí momentu, šumu, dalších neuronů

19 19 Vícevrstvá perceptonová síť

20 20 Vícevrstvá perceptonová síť Věta (Kolmogorovova, 1957) Nechť n > 1 je přirozené číslo a f je spojitá reálná funkce. Potom lze tuto funkci reprezentovat vztahem kde a jsou spojité funkce jedné proměnné. libovolnou rozumnou, tj. spojitou, funkci lze zapsat (reprezentovat) s pomocí do sebe vnořených funkcí jediné proměnné.

21 21 Vícevrstvá perceptonová síť Příklad trénování vícevrstvé perceptronové sítě x1x2třída

22 22 Vícevrstvá perceptonová síť

23 23 Vícevrstvá perceptonová síť

24 24 Vícevrstvá perceptonová síť

25 25 Vícevrstvá perceptonová síť

26 26 Vícevrstvá perceptonová síť

27 27 Vícevrstvá perceptonová síť Metody zlepšující chování sítě  Velikost parametru učení  Moment  Šum  Přidání neuronů

28 28 Síť RBF Radial Basis Function (RBF), síť radiálních jednotek Pevný počet vrstev Dva typy neuronů: radiální a perceptronového typu (nejčastěji lineární) Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresí

29 29 Síť RBF Síť se učí velmi rychle Vhodná jak pro klasifikaci, tak pro regresi

30 30 Síť RBF Postsynaptický potenciál Aktivační funkce Adaptace vah

31 31 Síť RBF Příklad: Např. bod se transformoval na

32 32 Kohonenova síť Kohonenova síť (SOM, SOFM) Bez učitele, provádí proto pouze analýzu vstupních dat, přesněji druh shlukové analýzy Obsahuje jedinou vrstvu radiálních neuronů, které mohou být uspořádaný to tzv. mřížky Síť je možné rozšířit tak, aby byla schopna klasifikace (Learning Vector Quantization – LVQ)

33 33 Kohonenova síť Struktura Kohonenovy sítě

34 34 Kohonenova síť

35 35 Kohonenova síť Proces učení (adaptace vah)

36 36 Kohonenova síť Vzdálenosti vzoru k neuronům Výběr nejbližšího neuronu Adaptace vah

37 37 Kohonenova síť Adaptační funkce

38 38 Kohonenova síť

39 39 Kohonenova síť Kohonenovu neuronovou síť lze rozšířit tak, aby mohla klasifikovat → učící vektorová kvantizace (Learning Vector Quantization – LVQ) LVQ1, LVQ2, LVQ3 Princip spočívá v přiřazení ohodnocení třídy neuronům na základě četností, s jakou se vyskytují v dominantní skupině.

40 40 Hopfieldova síť Navržena J. Hopfieldem v roce 1982 Autoasociativní paměť Pracuje s bipolárními (binárními) hodotami vstupů/výstupů Spojitá varianta Hopfieldovy sítě se používá pro řešení optimalizačních problémů

41 41 Hopfieldova síť

42 42 Hopfieldova síť Učení Vybavování

43 43 Hopfieldova síť Učení

44 44 Hopfieldova síť Vybavování

45 45 Hopfieldova síť Příklad

46 46 Technické realizace umělých neuronových sítí

47 47 Technické realizace umělých neuronových sítí

48 48 Technické realizace umělých neuronových sítí Neuronové čipy (neuročipy)

49 49 Technické realizace umělých neuronových sítí Optické realizace neuronových sítí

50 50 Technické realizace umělých neuronových sítí Holografický klasifikátor (autoasociativní paměť)

51 51 Softwarové prostředky pro NS Matlab Neural Network Toolbox

52 52 Softwarové prostředky pro NS

53 53 Softwarové prostředky pro NS

54 54 Softwarové prostředky pro NS x = [ ]; y = [ ]; net = newff([0,8],[10,1],{'logsig','purelin'},'traingd'); net.trainParam.epochs = 2000; net.trainParam.goal = 0.001; net = train(net,x,y);

55 55 Softwarové prostředky pro NS y2 = sim(net,x) plot(x,y,'bo',x,y2,'r*')

56 56 Softwarové prostředky pro NS

57 57 Softwarové prostředky pro NS Statistica Neural Networks

58 58 Softwarové prostředky pro NS Statistica Neural Networks

59 59 Literatura české učebnice Mařík V., Štěpánková O., Lažanský J. a kol.: Umělá inteligence 4. Academia, Praha, Šíma J., Neruda R.: Teoretické otázky neuronových sítí. Matfyzpress, Praha, zahraniční učebnice Bishop C. M.: Neural Networks for Pattern Recognition. Oxford University Press, NewYork, Fausett, L.: Fundamentals of Neural Networks. Prentice Hall, New York, Hassoun M. H.: Fundamentals of Artificial Neural Networks. The MIT Press, Cambridge, Massachusetts, London, Haykin, S.: Neural Networks: A Comprehensive Foundation. Macmillan Publishing, New York, Rojas R.: Neural Networks: A Systematic Introduction. Springer-Verlag, Berlín, Heidelberg, New York, 1996.


Stáhnout ppt "Neuronové sítě Marcel Jiřina. 2 Neuronové sítě Inspirovány poznatky o neuronech a nervových sítích živých organizmů Schopnost extrahovat a reprezentovat."

Podobné prezentace


Reklamy Google