Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Umělé neuronové sítě z pohledu rozpoznávání Václav Hlaváč Centrum strojového vnímání Katedra kybernetiky FEL ČVUT Poděkování: inspirace.

Podobné prezentace


Prezentace na téma: "Umělé neuronové sítě z pohledu rozpoznávání Václav Hlaváč Centrum strojového vnímání Katedra kybernetiky FEL ČVUT Poděkování: inspirace."— Transkript prezentace:

1 Umělé neuronové sítě z pohledu rozpoznávání Václav Hlaváč Centrum strojového vnímání Katedra kybernetiky FEL ČVUT Poděkování: inspirace a obrázky z přednášek mnoha jiných

2 2 Motivace (1) Přispět k porozumění fungování mozku  Mozek je složitější než cokoliv jiného, čemu člověk porozuměl.  Mozek je složen z živých buněk určených ke zpracování informace, ale není navržen jen k tomu. Buňky musí mít řadu dalších chování, aby zůstaly naživu.

3 3 Motivace (2) Najít jiný přístup k počítání než sekvenční  Umělá neuronová síť = mnoho jednoduchých a navzájem propojených procesorů (umělých neuronů).  Topologie sítě = graf propojení procesorů do značné míry ovlivňuje výpočet.  Hodí se na: rozpoznávání, detekci pohybu,...  Nehodí se na: výpočet 3.46 x 2.54; zapamatování telefonního seznamu,...

4 4 Motivace (3) Použít k řešení složitých praktických úloh  Paradigma učení na základě příkladů, (paradox znalostního inženýrství).  Metody učení z příkladů pravděpobně nevysvětlují, jak se učí mozek. Důležitý cíl: opřít předchozí tři motivace o přesné matematické modely.

5 5 Charakteriky sítě Architektura – uspořádání uzlů a spojení mezi nimi. Algoritmus učení – postup, jakým se nastavují váhy v jednotlivých spojeních. Aktivační funkce – postup, jakým se ze vstupů uzlu počítá jeho výstup, např. synchronní. asynchronní.

6 6 Biologická motivace

7 7 Biologická motivace (2)  Lidský mozek obsahuje asi neuronů.  Buněčné jádro (soma) má velikost jen 1 až 3  m.  Délka dendritu bývá 1 až 3 mm. Bývá jich 100 až  Délka axonů bývá i delší než 1 m.  Přenos informace mezi neurony uskutečňují synapse (elektrochemické vazby, dva typy excitační = vybuzující, inhibiční = tlumící).  Mozek spotřebovává 20  30 % energie těla, i když představuje jen asi 2 % váhy.

8 8 Biologická motivace (3) Snímek neuronu v elektronovém mikroskopu

9 9 Biologická motivace (4) Synapses, Ca influx, release of neurotransmitter, opening of post-synaptic channels

10 10 Architektura sítě  Propojení sítě úplné částečné  Počet vrstev  Vazby dopředné šíření (feedforward) nebo zpětné šíření, bez zpětné vazby, stabilní, používá se nejčastěji zpětnovazební (rekurzivní) síť, problémy se stabilitou

11 11 Srovnání počítač x mozek PočítačLidský mozek Výpočetní jednotka1 CPU10 11 buněk Paměť 10 9 bitů RAM, bitů na disku neuronů, synapsí Délka cyklu10 -8 sekundy10 -3 sekundy Šířka pásma10 9 bitů za sekundu bitů za sekundu Rychlost obnovy 10 9 výpočetních elementů neuronů za sekundu

12 12 Budoucí naděje NN Kombinovat paralelismus neuronů s rychlostí výpočtu/přepínání počítače.

13 13 Použití NN  Rozpoznávání (klasifikace)  přiřazení pozorování třídě.  Regrese (aproximace) funkce.  Predikce  předpověď nového hodnoty na základě časové řady. Všechny tři aplikace lze matematicky formulovat jako aproximaci funkce (tj. optimalizační úlohu) y = f(x, parameters).

14 14 function NEURAL-NETWORK-LEARNING(examples) returns network network a network with randomly assigned weights repeat for each e in examples do O NEURAL-NETWORK-OUTPUT(network, e) T the observed output values from e update the weights in network based on e, O, and T end until all examples are correctly predicted or stopping criterion is reached return network Obecně o učení z příkladů Potíž: nebezpečí přeučení (overfitting)

15 15 Perceptron, dvě třídy

16 16 Perceptron a učení Perceptron: Data: Chybová funkce: Učení: Perceptron je schopen se naučit lineární rozhodovací funkci.

17 17 Perceptron a XOR  Rozhodnutí nelze aproximovat lineární funkcí.  Marvin Minsky & Seymour Papert (1969). Perceptrons, MIT Press, Cambridge, MA.  Tato autorita zastavila vývoj v NN na 12 až 15 let.

18 18 Znovuzrození NN (konektivismu) David E. Rumelhart & James L. McClelland (1986). Parallel Distributed Processing, Vols. 1 & 2, MIT Press, Cambridge, MA. Rumelhart & McClelland sestavili neurony do vrstev. Výsledky výpočtu byly předány další vrstvě. Tato myšlenka se opírá o dva průlomové nápady … Skokovou aktivační funkci perceptronu nahradila spojitá funkce (např. sigmoida) Byl navržen nový algoritmus učení – metoda zpětného navracení (backpropagation).

19 19 Vrstvené sítě Vrstvená síť typu m – k 1 – k 2 –... – k r – n se vstupní vrstvou dimenze m s výstupní vrstvou dimenze n s r skrytými vrstvami. Příklad: síť

20 20 I2 W 24 = -1 H4 W 46 = 1 H6 W 67 = 1 I1 W 13 = -1 H3 W 35 = 1 H5 O7 W 57 = 1 W 25 = 1 W 16 = 1 Příklad dopředné vrstvené sítě

21 21 Zákl. vlastnost vrstvených sítí  Umějí realizovat libovolné spojité zobrazení z m rozměrného vstupního vektorového do n rozměrného výstupního prostoru s libovolnou přesností.  Lze najít příslušné skryté vrstvy sítě a hodnoty vah.  Stačí dvě skryté vrstvy.

22 22 Hilbertův 13. problém  International congress of mathematicians Paris,  Německý matematik David Hilbert ( ) formuloval 23 nevyřešených problémů. Např.  Domněnka: kořeny funkce tří proměnných (zde a,b,c ) nemohou být nahrazeny konečnou superpozicí funkcí o dvou proměnných.  A.N. Kolmogorov vyvrátil až roce 1954.

23 23 Vyvráceno A.N. Kolmogorovem  První výsledek z Pro NN je relevantnější je obecnější výsledek z  Ukázal, že každá spojitá funkce více proměnných (s omezeným definičním oborem) může být vyjádřena jako součet malého počtu funkcí jedné proměnné.

24 24 Poučení pro praxi NN?  Výsledek A.N. Kolmogorova ho nedává. 1.Jednorozměrné funkce nejsou spojité, což vede k nestabilitám sítě v závislosti na datech. 2.Aktivační funkce jsou závislé na funkci, kterou mají aproximovat.  Praktické řešení bylo navrženo mezi a přispěla k němu Dr. Věra Kůrková z Ústavu informatiky AV ČR

25 25 Výpočet hodnoty, aktivní mód  Cíl najít (přibližnou) hodnotu zobrazení.  Vstupní vrstvu ztotožníme se vstupním vektorem. Vstupní vrstva nepočítá.  Hodnoty se propagují vrstvami a ve výstupní vrstvě se najde výsledek.  NN jsou nejsou objevné svým aktivním módem (výpočtem), ale módem učení. Zde se hledá síť, která výpočet realizuje.

26 26 Učení – gradientní optimalizace Optimalizační kritérium: energie Pravidlo pro změnu synaptických vah w i c je krok učení, obvykle konstanta

27 27 Vícevrstvý perceptron Vstupní uzly Výstupní uzly uzly Skryté Aktivace: dopředný směr Chyba se šíří zpětně Skoková funkce (dovolující jen zapnuto, vypnuto) je nahrazena spojitými sigmoidními funkcemi 1 0vstup

28 28 Units Hidden Vstupní uzly Backpropagation neformálně Output Units Aktivace: dopředný směr Chyba se šíří zpětně      Output Units Cílový uzel δ Potřebujeme vědět, které váhy nejvíce přispívají k chybě … Chybu můžeme stanovit na výstupu. Potom ji musíme šířit zpět a vyřešit váhy … δ δ Které váhy změnit? O kolik? ?

29 29 Zpětné šíření (backpropagation) 1. Inicializuj váhy sítě malými náhodnými čísly 2. Dokud není splněno kritérium pro zastavení 2.1. Pro každý příklad [ x, y ] z trénovacích dat Spočítej výstup out u pro každý neuron u v síti Pro každý neuron v ve výstupní vrstvě spočítej chybu error v = out v (1 - out v ) (y v - out v ) Pro každý neuron s ve skryté vrstvě spočítej chybu error s = out s (1 - out s )  v  výstup (w s,v error v ) Pro každou vazbu vedoucí od neuronu j do neuronu k modifikuj váhu vazby w j,k = w j,k +  w j,k, kde  w j,k =  error k x j,k

30 30 Správné třídy 0 pro třídu A 1 pro třídu B t=50 t=100 t=150 t=200 Kroky učení Architektura sítě B A Backpropagation, ilustrace

31 31 XOR problém - vyřešen Hidden Units Output Unit Input Units x ^ yyx výstup vstupy Pravdivostní tabulka pro XOR >< 1 0 > 1  Horní skrytý neuron detekuje případ, kdy je aktivován alespoň jeden vstupní neuron. Dolní skrytý neuron detekuje situaci, kdy jsou aktivovány oba vstupní uzly. Výstupní uzel je aktivován horním skrytým neuronem a vypínán dolním skrytým neuronem… Přidání skryté vrstvy umožňuje NN vyřešit úlohu XOR. Skryté neurony fungují jako detektory situací.

32 32 Kohonenova samoorganizující síť  Zkratka SON (Self-Organizing Network).  Učení bez učitele.  Myšlenka poprvé od C. von der Malsburg (1973), rozvinul T. Kohonen (1982).  Metoda shlukování. Podobná vstupní data aktivují neurony, které jsou blízko sebe.  Díky schopnosti projekce se SON používají pro snížení dimensionality a vizualizaci dat.  Biologická opora: mapy aktivity mozku.

33 33 Architektura SON Výpočetní vrstva je složena z mřížky neuronů. Tím je dána topologie. 2D pole neuronů Vstupní signály (vektor) (propojeno se všemi vektory v mřížce) Synapse s váhami x1x1 x2x2 x3x3 xnxn... w j1 w j2 w j3 w jn j

34 34 Výpočet v SON  Jednovrstvá topologie (s případnou vstupní a výstupní vrstvou).  Výpočet probíhá na základě kompetice (pro každý vstup je aktivní právě jeden vítězný neuron). Pravidlo vítěz bere vše.  Učení: po zpracování vstupu se upraví váhy neuronu (j), který „vyhrál“ v kompetici: w ji = w ji (t)+q[x i (t-1)- w ji (t-1)]

35 35 Algoritmus SON (přehled) 1.Náhodně nastav váhy všech neuronů w j. 2.Vyber vstupní vektor x = (x 1, x 2, x 3, …, x n ). 3.Najdi vítěze, tj. porovnej x s váhami w j pro každý neuron j. 4.Uprav vítězný neuron, aby se spolu se svým okolím v mřížce podobal příkladu x, obvykle w j = w j (t)+q[x i (t-1)- w j (t-1)], kde q je rychlost učení obvykle klesající. 5.Nastav parametry: rychlost učení a funkci zohledňující neurony v okolí. 6.Opakuj od kroku (2) do ustálení vah nebo než uplyne předem zvolený počet kroků samoučení.

36 36 Vztah VQ a SON  U vektorové kvantizace (VQ) nezávisí na pořadí reprezentantů tříd, tj. nezávisí na pořadí.  U SON je pozice reprezentantů (střední hodnota) zaznamenána. Tím je zachována topologie. Zkoumané datum se zobrazí k blízkému reprezentantuovi v mřížce.

37 37 SOM a shlukování k -průměrů  Kompetitivní samoučení lze chápat jako on-line verzi k -průměrů.  SOM navíc přidává mřížku a interakce jen v okolí.  Metoda k -průměrů se hodí pro shlukování. SOM se především hodí pro učení variety menší dimenze než je dimenze dat (např. 2D nebo 3D).

38 38 Aplikace: míra chudoby ve světě

39 39 Aplikace: míra chudoby ve světě (2)

40 40 Příklad: odhad geometrie bodů Inputs: coordinates (x,y) of points drawn from a square Display neuron j at position x j,y j where its s j is maximum Random initial positions 100 inputs200 inputs x y From: les réseaux de neurones artificiels » by Blayoand Verleysen, Que sais- je 3042, ed PUF

41 41 Hopfieldova síť  Úplná topologie (cyklická)  Přípustné pouze binární vstupy.  Používá se: jako asociativní paměť jako klasifikátor k optimalizaci  Učení: w ji =S x kj x ik, k  {1,…p}  Výpočet probíhá do ustálení stavu (zaručeno).


Stáhnout ppt "Umělé neuronové sítě z pohledu rozpoznávání Václav Hlaváč Centrum strojového vnímání Katedra kybernetiky FEL ČVUT Poděkování: inspirace."

Podobné prezentace


Reklamy Google