Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Několik obecných poznámek k učení UNS učení UNS je ve své podstatě optimalizační proces optimalizujeme tzv. účelovou funkci ( chybová funkce při učení.

Podobné prezentace


Prezentace na téma: "Několik obecných poznámek k učení UNS učení UNS je ve své podstatě optimalizační proces optimalizujeme tzv. účelovou funkci ( chybová funkce při učení."— Transkript prezentace:

1 Několik obecných poznámek k učení UNS učení UNS je ve své podstatě optimalizační proces optimalizujeme tzv. účelovou funkci ( chybová funkce při učení s učitelem, extrakce statistických veličin ze vstupních vektorů při samoorganizaci) účelové učení ( performance learning ) - založené na hledání extrémů (minim a maxim) účelové funkce Y = T( X, W ) transformační funkce účelová funkce vyjadřuje : - vzájemnou závislost vstupních parametrů a parametrů neuronové sítě - míru vzdálenosti v prostoru adaptačních parametrů učení s filtrací - optimalizace pouze některé vlastnosti signálu (některá složka spektra) adaptační soubor - změnami jeho parametrů dochází k učení sítě důležité je určení jeho velikosti a rozsah jeho parametrů Algoritmy a struktury meuropočítačů ASN – C2

2 a) vhodný průběh učení NN (závislost chyby, např. průměrné střední kvadratické chyby, sumy stř.kvadr. chyby, chyby min-max apod., na počtu učebních etap ) hladká chybová funkce ukazuje na dobře zvolenou velikost trénovacího souboru a na dobře zvolené parametry učení b) nevhodný průběh učení NN (závislost chyby na počtu učebních etap ) plochý průběh chybové funkce ukazuje na příliš velký trénovací soubor nebo špatně zvolené parametry učení, např. malý krok učení (learning rate) a) b) c) c) nevhodný průběh učení NN (závislost střední kvadratické chyby na počtu učebních etap ) oscilační průběh chybové křivky ukazuje na malý trénovací soubor nebo špatně zvolené parametry učení, např. velký krok učení (learning rate)

3 Jak nastavit váhy a prahy NN ? Pro NN, která dosud nebyla učena, je vhodné použít pro inicializaci funkce typu sigmoida malá náhodná čísla, aby derivace funkce nabývala malých hodnot (při velkých hodnotách parametrů dochází k saturaci a síť se přestává adaptovat). Naopak - velké hodnoty derivací jsou vhodné pro aktivační funkce Gaussova typu. Pro aktivační funkce typu hyperbolická tangenta se doporučuje - β ≤ w i j ≤ β, β = 0.7 ( p ) 1/n n … počet neuronů ve vstupní vrstvě, p … počet neuronů ve skryté vrstvě

4 Perceptron 1957 Frank Rosenblatt Typ učení: s učitelem (supervised learning) vstup: x = [x0, x1,…,xn] vektor bias (=1) … prahová hodnota 0 pro < 0 výstup: y = 1 pro > 0 možnosti: klasifikace do 2 tříd pro lineárně separabilní vzory SSC – cvičení 2

5 Perceptron Funkce XOR a 1 = sgn [w 11 x 1 + w 12 x 2 + w 10 ] vnitřní a 2 = sgn [w 21 x 1 + w 22 x 2 + w 20 ] proměnné y = sgn [w 1 a 1 + w 2 a 2 + w 0 ] y = 0 pro (0,0) a (1,1) x y = 1 pro (0,1) a (1,0) o 1. x = (0,1) a 1 = 1 x = (0,0), (1,0), (1,1) a 1 = 0 2. x = (0,1), (0,0), (1,1) a 2 = 1 x = (1,0) a 2 = 0 x = (0,1) a 1 = 1 a 2 = 1 o x = (1,0) a 1 = 0 a 2 = 0 x = (0,0), (1,1) a 1 = 0 a 2 = 1 x o o x x Červené šrafování Černé šrafování

6 x1x1 x2x2 XOR problém P = [ ; ]; 4 vstupní vektory o 2 elementech T = [ ]; 4 vektory požadovaných hodnot o 1 elementu y = f [ w 1 x 1 + w 2 x 2 + w 0 ] f(x) = 1, x > 0 f(x) = 0, x 0 2-vrstvý perceptron pro řešení XOR problému Příklad: a2a2 a1a1 w 10 w 20 w 21 w w1w1 w0w0 w2w2 y 1 Mód off-line (k adaptaci dochází až po průchodu všech vstupních vektorů) … batch učení

7 Perceptron v MATLABu help percept vytvoření sítě: newp inicializace: init simulace: sim trénování: train učení: learnp Normované učení: learnp aktivační funkce: hardlim Neural Network Toolbox Functions Network Use Functions New Networks Functions Perceptron Help – Product help (F1)

8 NEWP Syntaxe: net = newp net = newp(pr,S,tf,lf) pr - Rx2 matice minimálních a maximálních hodnot pro R vstupních elementů S - počet neuronů tf – přenosová funkce, default = 'hardlim'. lf – algoritmus učení, default = 'learnp'. přenosová (aktivační) funkce tf může být hardlim nebo hardlims algoritmus učení lf může být learnp nebo learnpn Příklad: Je vytvořen Perceptron se 2 elementy na vstupu (rozsah [0 1] a [-2 2]) a 1 neuronem. net = newp([0 1; -2 2],1); Na vstupu je množina P tvořená 4 vektory o 2 elementech a 4 odpovídající cílové (target) hodnoty T o 1 elementu. P = [ ; ]; T = [ ]; Trénovat budeme na 20 epoch a pak provedeme simulaci. y = sim(net,P) net.trainParam.epochs = 20; net = train(net,P,T); y = sim(net,P) Pozn: Je–li u hodnot vstupních elementů velký rozptyl, dosáhneme rychlejšího naučení pomocí funkce learnpn.

9 Váhy a prahy jsou inicializovány pomocí funkce initzero. Adaptace a trening jsourealizovány pomocí trains a trainc, Míra naučení se určuje pomocí průměrné absolutní chyby mae. Demonstrační úlohy – MATLAB nnd4db ukázka hraniční přímky nnd4pr pravidlo učení Perceptronu (rozdíl mezi učením a tréninkem) demop1 klasifikace pomocí Perceptronu se 2-vstupy (4 vektory o 2 elementech, klasifikace do 2 tříd) demop4 nevyvážená data (dlouhé učení) P = [ ; ]; T = [ ]; plotpv(P,T); demop5 Normalizace Perceptronu (2-vstupní hard limit neurony jsou trénovány pro klasifikaci 5 vstupních vectorů do 2 kategori, jeden z vektorů je mohem větší než ostatní, trénink s funkcí learnpn je rychlejší) demop6 lineárně neseparabilní prostory Pozn: dále následuje soubor sscC2M_04.ppt

10 ADALINE – ADAptivní LIneární Neuron 1960 Bernard Widrow Lineární sítě, lineární aktivační funkce (bipolární), Výstupní hodnota analogová, lineárně separabilní vstupní data. Algoritmus učení: Widrow-Hoffův LMS (Least Mean Square) Typy úloh: 1. Výstup z natrénované sítě odpovídá požadovaným (cílovým) hodnotám. 2. Výstup z natrénované sítě odpovídá na změny v síti (adaptivní systém).

11 ± help linnet newlin vytvoření lineární sítě newlind návr lineární vrstvy learnwh W-H učící algoritmus purelin aktivační funkce sim simulace adapt adaptaptivní filtrace Lineární síť (W,b) T P A E applin2 adaptivní linearní predikce demolin8 adaptivní odšumování nnd10nc adaptive odhlučněnín kokpitu letadla demolin1 asociace vzorů demolin2 trenink lineárního neuronu nnd10lc lineární klasifikátor demolin4 lineární řešení nelineárního problému demolin5 nedostatečně určená úloha demolin6 lineárně závislá úloha demolin7 příliš velký learning rate


Stáhnout ppt "Několik obecných poznámek k učení UNS učení UNS je ve své podstatě optimalizační proces optimalizujeme tzv. účelovou funkci ( chybová funkce při učení."

Podobné prezentace


Reklamy Google