Neuronové sítě Marcel Jiřina.

Prezentace na téma: "Neuronové sítě Marcel Jiřina."— Transkript prezentace:

1 Neuronové sítě Marcel Jiřina

2 Neuronové sítě Inspirovány poznatky o neuronech a nervových sítích živých organizmů Schopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejmé Schopnost řešit silně nelineární úlohy Schopnost učit se Schopnost zevšeobecňovat Využití pro klasifikaci, regresi a predikci časových řad

3 Biologická inspirace

4 Biologická inspirace

5 Tvar impulsu vysílaných do axonu
Biologická inspirace Tvar impulsu vysílaných do axonu

6 Biologická inspirace Synapse (elektrická, chemická)

7 Biologická inspirace

8 Biologická inspirace Paměť a její mechanizmy Paměťové mechanismy
Reflexní paměť – více podnětů Deklarativní paměť – asociačního charakteru Paměťové mechanismy Krátkodobý paměťový mechanismus Střednědobý paměťový mechanismus Dlouhodobý paměťový mechanismus Principy učení Asociativní učení Neasociativní učení

9 Umělá neuronová síť Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.

10 Model neuronu neuron je základní výpočetní jednotkou neuronových sítí

11 Model neuronu obsahuje několik vstupů, které jsou ohodnoceny vahami a jeden výstup v neuronu pobíhají dva procesy: výpočet (post-synaptického) potenciálu výpočet hodnoty výstupu pomocí aktivační funkce, nejčastěji tzv. sigmoidy

12 Struktura sítě pro větší výpočetní sílu se neurony uspořádávají do sítí neuronů

13 Typy neuronových sítí Existuje celá řada typů neuronových sítí
Každý typ se hodí pro jinou třídu úloh Základními úlohami neuronových sítí jsou klasifikace a regrese (aproximace) Podle přítomnosti „učitele“ můžeme neuronové sítě dělit na sítě s učitelem a bez učitele

14 Typy neuronových sítí Existuje celá řada neuronových sítí, např.
Vícevrstvá perceptonová síť (MLP) Hopfieldova síť Kohonenovy samoorganizující se mapy Síť RBF ... Každá neuronová síť je vhodná pro jiné třídy úloh. Některé neuronové sítě se mohou vzájemně doplňovat.

15 Proces učení neuronových sítí
Pro učení (trénování NS) je třeba mít dostatek reprezentativních příkladů Trénovací, výběrová, testovací množina Na začátku učení bývají váhy nejčastěji nastaveny na náhodná čísla Proces učení se snaží minimalizovat odchylku (chybu) mezi skutečným (aktuálním) a požadovaným výstupem Každá neuronová síť má jiný algoritmus učení, vesměs jsou to ale iterační procesy

16 Návrh neuronové sítě Pro řešení každé úohy musí být navržena jedinečná neuronová síť Otázka vhodného výběru sítě Výběr struktury sítě, tj. počet vstupů, výstupů, vrstev, skrytých neuronů, typ aktivačních funkcí, atd. Výběr trénovacího algoritmu Problém over-sizing, over-learning (over-fitting)

17 Vícevrstvá perceptonová síť
Nejrozšířenější a nejpoužívanější síť Jak pro klasifikaci tak pro regresi (a tedy i predikci časových řad) Síť s učitelem Aktivační funkcí je nejčastěji sigmoida Otázka výběru počtu vrstev a počtu neuronů Kromě základního algoritmu backpropagation existuje řada sofistikovaných metod učení, např. metoda sdružených gradientů, Levenbergova-Marquardtova metoda atd.

18 Vícevrstvá perceptonová síť
K nevýhodám sítě patří obtížné řešení problému lokálních minim a poměrně dlouhá doba učení Zlepšení pomocí momentu, šumu, dalších neuronů

19 Vícevrstvá perceptonová síť

20 Vícevrstvá perceptonová síť
Věta (Kolmogorovova, 1957) Nechť n > 1 je přirozené číslo a f je spojitá reálná funkce. Potom lze tuto funkci reprezentovat vztahem kde a jsou spojité funkce jedné proměnné. libovolnou rozumnou, tj. spojitou, funkci lze zapsat (reprezentovat) s pomocí do sebe vnořených funkcí jediné proměnné.

21 Vícevrstvá perceptonová síť
Příklad trénování vícevrstvé perceptronové sítě x1 x2 třída 0.8680 0.2640 1 0.1790 0.4230 0.6940 0.1630 0.5380 0.6450 0.6230 0.0030 0.7870 0.2680 0.4610 0.3860 0.6030 0.2790 0.1700 0.8050 ...

22 Vícevrstvá perceptonová síť

23 Vícevrstvá perceptonová síť

24 Vícevrstvá perceptonová síť

25 Vícevrstvá perceptonová síť

26 Vícevrstvá perceptonová síť

27 Vícevrstvá perceptonová síť
Metody zlepšující chování sítě Velikost parametru učení Moment Šum Přidání neuronů

28 Síť RBF Radial Basis Function (RBF), síť radiálních jednotek
Pevný počet vrstev Dva typy neuronů: radiální a perceptronového typu (nejčastěji lineární) Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresí

29 Síť RBF Síť se učí velmi rychle
Vhodná jak pro klasifikaci, tak pro regresi

30 Síť RBF Postsynaptický potenciál Aktivační funkce Adaptace vah

31 Síť RBF Příklad: Např. bod se transformoval na

32 Kohonenova síť Kohonenova síť (SOM, SOFM)
Bez učitele, provádí proto pouze analýzu vstupních dat, přesněji druh shlukové analýzy Obsahuje jedinou vrstvu radiálních neuronů, které mohou být uspořádaný to tzv. mřížky Síť je možné rozšířit tak, aby byla schopna klasifikace (Learning Vector Quantization – LVQ)

33 Kohonenova síť Struktura Kohonenovy sítě

34 Kohonenova síť

35 Kohonenova síť Proces učení (adaptace vah)

36 Kohonenova síť Vzdálenosti vzoru k neuronům Výběr nejbližšího neuronu
Adaptace vah

37 Kohonenova síť Adaptační funkce

38 Kohonenova síť

39 Kohonenova síť Kohonenovu neuronovou síť lze rozšířit tak, aby mohla klasifikovat → učící vektorová kvantizace (Learning Vector Quantization – LVQ) LVQ1, LVQ2, LVQ3 Princip spočívá v přiřazení ohodnocení třídy neuronům na základě četností, s jakou se vyskytují v dominantní skupině.

40 Hopfieldova síť Navržena J. Hopfieldem v roce 1982
Autoasociativní paměť Pracuje s bipolárními (binárními) hodotami vstupů/výstupů Spojitá varianta Hopfieldovy sítě se používá pro řešení optimalizačních problémů

41 Hopfieldova síť

42 Hopfieldova síť Učení Vybavování

43 Hopfieldova síť Učení

44 Hopfieldova síť Vybavování

45 Hopfieldova síť Příklad

46 Technické realizace umělých neuronových sítí

47 Technické realizace umělých neuronových sítí

48 Technické realizace umělých neuronových sítí
Neuronové čipy (neuročipy)

49 Technické realizace umělých neuronových sítí
Optické realizace neuronových sítí

50 Technické realizace umělých neuronových sítí
Holografický klasifikátor (autoasociativní paměť)

51 Softwarové prostředky pro NS
Matlab Neural Network Toolbox

52 Softwarové prostředky pro NS

53 Softwarové prostředky pro NS

54 Softwarové prostředky pro NS
x = [ ]; y = [ ]; net = newff([0,8],[10,1],{'logsig','purelin'},'traingd'); net.trainParam.epochs = 2000; net.trainParam.goal = 0.001; net = train(net,x,y);

55 Softwarové prostředky pro NS
y2 = sim(net,x) plot(x,y,'bo',x,y2,'r*')

56 Softwarové prostředky pro NS

57 Softwarové prostředky pro NS
Statistica Neural Networks

58 Softwarové prostředky pro NS
Statistica Neural Networks

59 Literatura české učebnice
Mařík V., Štěpánková O., Lažanský J. a kol.: Umělá inteligence 4. Academia, Praha, 2003. Šíma J., Neruda R.: Teoretické otázky neuronových sítí. Matfyzpress, Praha, 1996. zahraniční učebnice Bishop C. M.: Neural Networks for Pattern Recognition. Oxford University Press, NewYork, 1995. Fausett, L.: Fundamentals of Neural Networks. Prentice Hall, New York, 1994. Hassoun M. H.: Fundamentals of Artificial Neural Networks. The MIT Press, Cambridge, Massachusetts, London, 1995. Haykin, S.: Neural Networks: A Comprehensive Foundation. Macmillan Publishing, New York, 1994. Rojas R.: Neural Networks: A Systematic Introduction. Springer-Verlag, Berlín, Heidelberg, New York, 1996.