Umělé neuronové sítě z pohledu rozpoznávání

Slides:



Advertisements
Podobné prezentace
Lineární klasifikátor
Advertisements

CIT Paměti Díl X.
Téma 5 Metody řešení desek, metoda sítí.
J. Pokorný 1 DOTAZOVACÍ JAZYKY slajdy přednášce DBI006 J. Pokorný MFF UK
Hraní s desetinnými čísly
Zpracování informací a znalostí Další přístupy k vyhledávání textových dokumentů Doc. RNDr. Jan Rauch, CSc. Katedra informačního a znalostního inženýrství.
TEORIE ROZHODOVÁNÍ A TEORIE HER
Dynamické systémy.
OBECNÉ OPTIMALIZAČNÍ MODELY
Vlastní skript může být umístěn: v hlavičce stránky v těle stránky
Český Internet po (uši v?) krizi Marek Antoš. snímek |datum |dokument | 1. Internetové prostředí 2.
Kvantitativní metody výzkumu v praxi
CIT Sekvenční obvody Díl VI.
Automatická fonetická segmentace pomocí UNS Registr - 36 neuronových sítí MLNN (pro každou českou hlásku jedna UNS) Trénovací množina: databáze promluv.
Topologie neuronových sítí (struktura, geometrie, architektura)
Magnetohydrodynamický (MHD) generátor
Téma 3 Metody řešení stěn, metoda sítí.
PROGRAM PRO VÝUKU T ČLÁNKU
Téma 3 ODM, analýza prutové soustavy, řešení nosníků
Algoritmy a struktury neuropočítačů ASN - P1 Prof.Ing. Jana Tučková,CSc. Katedra teorie.
Dynamické rozvozní úlohy
DOK „Umělá inteligence“ v DOK (i jinde). NEURONOVÉ SÍTĚ.
Násobíme . 4 = = . 4 = = . 4 = = . 2 = 9 .
Počítačová grafika III – Monte Carlo integrování
Medians and Order Statistics Nechť A je množina obsahující n různých prvků: Definice: Statistika i-tého řádu je i-tý nejmenší prvek, tj., minimum = statistika.
Metody řazení s lineární časovou složitostí
Téma: SČÍTÁNÍ A ODČÍTÁNÍ CELÝCH ČÍSEL 2
Vizualizace projektu větrného parku Stříbro porovnání variant 13 VTE a menšího parku.
ZÁKLADNÍ ŠKOLA PODBOŘANY, HUSOVA 276, OKRES LOUNY
MODERNÍ A KONKURENCESCHOPNÁ ŠKOLA reg. č.: CZ.1.07/1.4.00/ Základní škola, Šlapanice, okres Brno-venkov, příspěvková organizace Masarykovo nám.
VY_32_INOVACE_ 14_ sčítání a odčítání do 100 (SADA ČÍSLO 5)
Tematická oblast: Hardware, software a informační sítě
Neuronové sítě Jakub Krátký.
Vícevrstvé neuronové sítě.  Neuronové sítě jsou složeny z neuronů tak, že výstup jednoho neuronu je vstupem jednoho nebo více neuronů  Propojení neuronů.
Zábavná matematika.
Dělení se zbytkem 6 MODERNÍ A KONKURENCESCHOPNÁ ŠKOLA
Dělení se zbytkem 5 MODERNÍ A KONKURENCESCHOPNÁ ŠKOLA
KASKÁDOVÉ STYLY 4.
Pravděpodobnost a statistika opakování základních pojmů
Jazyk vývojových diagramů
Čtení myšlenek Je to až neuvěřitelné, ale skutečně je to tak. Dokážu číst myšlenky.Pokud mne chceš vyzkoušet – prosím.
III. Řešení úloh v testech Scio z matematiky
Posloupnosti, řady Posloupnost je každá funkce daná nějakým předpisem, jejímž definičním oborem je množina všech přirozených čísel n=1,2,3,… Zapisujeme.
Násobení zlomků – teorie a cvičení VY_32_INOVACE_19
52_INOVACE_ZBO2_1364HO Výukový materiál v rámci projektu OPVK 1.5 Peníze středním školám Číslo projektu:CZ.1.07/1.5.00/ Název projektu:Rozvoj vzdělanosti.
Dělení se zbytkem 8 MODERNÍ A KONKURENCESCHOPNÁ ŠKOLA
Zásady pozorování a vyjednávání Soustředění – zaznamenat (podívat se) – udržet (zobrazit) v povědomí – představit si – (opakovat, pokud se nezdaří /doma/)
Houževnatost Základní pojmy (tranzitní lomové chování ocelí, teplotní závislost pevnostních vlastností, fraktografie) (Empirické) zkoušky houževnatosti.
Neuronové sítě Martin Vavřička Copyright 2004 © Martin Vavřička 2004 – V 53 ČVUT v Praze – fakulta Stavební.
Cvičná hodnotící prezentace Hodnocení vybraného projektu 1.
Fyzika 2 – ZS_4 OPTIKA.
Pojmy a interpretace.
1 Jádro polygonální oblasti 36VGE ZS 2007/2008 FEL ČVUT Roman Hocke.
VII. Neutronová interferometrie II. cvičení KOTLÁŘSKÁ 7. DUBNA 2010 F4110 Kvantová fyzika atomárních soustav letní semestr
1 Celostátní konference ředitelů gymnázií ČR AŘG ČR P ř e r o v Mezikrajová komparace ekonomiky gymnázií.
Jazyk vývojových diagramů
NEURONOVÉ SÍTĚ (c) Tralvex Yeap. All Rights Reserved.
Přednost početních operací
Slovní úlohy řešené soustavou rovnic
Dostupné z Metodického portálu ISSN: , financovaného z ESF a státního rozpočtu ČR. Provozováno Výzkumným ústavem pedagogickým v Praze.
Autor: Ondřej Šimeček Verze: 1.1.3
Neuronové sítě Jiří Iša
W i ref (t+1) = W i ref (t) + h ci (t) [X(t) - W i ref (t)], i Nc h ci (t) 0, t  proces konverguje Algoritmy a struktury neuropočítačů ASN – P3 SOM algoritmus.
Algoritmy a struktury neuropočítačů ASN - P14 Hopfieldovy sítě Asociativní paměti rekonstrukce původních nezkreslených vzorů předkládají se neúplné nebo.
Dita Matesová, David Lehký, Zbyněk Keršner
Praktická využití UNS V medicínských aplikacích Jan Vrba 2006.
Neuronové sítě. Vývoj NS 1943 – W. McCulloch, W. Pittse – první jednoduchý matematický model neuronu 1951 – M. Minsky - první neuropočítač Snark 1957.
Neuronové sítě.
Neuronové sítě.
Neuronové sítě.
Transkript prezentace:

Umělé neuronové sítě z pohledu rozpoznávání Václav Hlaváč Centrum strojového vnímání Katedra kybernetiky FEL ČVUT hlavac@fel.cvut.cz Poděkování: inspirace a obrázky z přednášek mnoha jiných

Motivace (1) Přispět k porozumění fungování mozku Mozek je složitější než cokoliv jiného, čemu člověk porozuměl. Mozek je složen z živých buněk určených ke zpracování informace, ale není navržen jen k tomu. Buňky musí mít řadu dalších chování, aby zůstaly naživu.

Motivace (2) Najít jiný přístup k počítání než sekvenční Umělá neuronová síť = mnoho jednoduchých a navzájem propojených procesorů (umělých neuronů). Topologie sítě = graf propojení procesorů do značné míry ovlivňuje výpočet. Hodí se na: rozpoznávání, detekci pohybu, ... Nehodí se na: výpočet 3.46 x 2.54; zapamatování telefonního seznamu, ...

Motivace (3) Použít k řešení složitých praktických úloh Paradigma učení na základě příkladů, (paradox znalostního inženýrství). Metody učení z příkladů pravděpobně nevysvětlují, jak se učí mozek. Důležitý cíl: opřít předchozí tři motivace o přesné matematické modely.

Charakteriky sítě Architektura – uspořádání uzlů a spojení mezi nimi. Algoritmus učení – postup, jakým se nastavují váhy v jednotlivých spojeních. Aktivační funkce – postup, jakým se ze vstupů uzlu počítá jeho výstup, např. synchronní. asynchronní.

Biologická motivace

Biologická motivace (2) Lidský mozek obsahuje asi 1011 neuronů. Buněčné jádro (soma) má velikost jen 1 až 3 mm. Délka dendritu bývá 1 až 3 mm. Bývá jich 100 až 10000. Délka axonů bývá i delší než 1 m. Přenos informace mezi neurony uskutečňují synapse (elektrochemické vazby, dva typy excitační = vybuzující, inhibiční = tlumící). Mozek spotřebovává 2030 % energie těla, i když představuje jen asi 2 % váhy.

Biologická motivace (3) Snímek neuronu v elektronovém mikroskopu

Biologická motivace (4) Synapses, Ca influx, release of neurotransmitter, opening of post-synaptic channels

Architektura sítě Propojení sítě Počet vrstev Vazby úplné částečné dopředné šíření (feedforward) nebo zpětné šíření, bez zpětné vazby, stabilní, používá se nejčastěji zpětnovazební (rekurzivní) síť, problémy se stabilitou

Srovnání počítač x mozek Lidský mozek Výpočetní jednotka 1 CPU 1011 buněk Paměť 109 bitů RAM, 1011 bitů na disku 1011 neuronů, 1014 synapsí Délka cyklu 10-8 sekundy 10-3 sekundy Šířka pásma 109 bitů za sekundu 1014 bitů za sekundu Rychlost obnovy 109 výpočetních elementů 1014 neuronů za sekundu

Budoucí naděje NN Kombinovat paralelismus neuronů s rychlostí výpočtu/přepínání počítače.

Použití NN Rozpoznávání (klasifikace)  přiřazení pozorování třídě. Regrese (aproximace) funkce. Predikce  předpověď nového hodnoty na základě časové řady. Všechny tři aplikace lze matematicky formulovat jako aproximaci funkce (tj. optimalizační úlohu) y = f(x, parameters).

Obecně o učení z příkladů function NEURAL-NETWORK-LEARNING(examples) returns network network a network with randomly assigned weights repeat for each e in examples do O NEURAL-NETWORK-OUTPUT(network, e) T the observed output values from e update the weights in network based on e, O, and T end until all examples are correctly predicted or stopping criterion is reached return network Potíž: nebezpečí přeučení (overfitting)

Perceptron, dvě třídy

Perceptron a učení Perceptron: Data: Chybová funkce: Učení: Perceptron je schopen se naučit lineární rozhodovací funkci.

Perceptron a XOR Rozhodnutí nelze aproximovat lineární funkcí. Marvin Minsky & Seymour Papert (1969). Perceptrons, MIT Press, Cambridge, MA. Tato autorita zastavila vývoj v NN na 12 až 15 let.

Znovuzrození NN (konektivismu) David E. Rumelhart & James L. McClelland (1986). Parallel Distributed Processing, Vols. 1 & 2, MIT Press, Cambridge, MA. Rumelhart & McClelland sestavili neurony do vrstev. Výsledky výpočtu byly předány další vrstvě. Tato myšlenka se opírá o dva průlomové nápady … Skokovou aktivační funkci perceptronu nahradila spojitá funkce (např. sigmoida) Byl navržen nový algoritmus učení – metoda zpětného navracení (backpropagation).

Vrstvené sítě Vrstvená síť typu m – k1 – k2 – ... – kr – n Příklad: se vstupní vrstvou dimenze m s výstupní vrstvou dimenze n s r skrytými vrstvami. Příklad: síť 4-6-6-6-3

Příklad dopředné vrstvené sítě H3 H5 W35 = 1 W13 = -1 W57 = 1 I1 W25 = 1 O7 W16 = 1 I2 W67 = 1 W24= -1 W46 = 1 H4 H6

Zákl. vlastnost vrstvených sítí Umějí realizovat libovolné spojité zobrazení z m rozměrného vstupního vektorového do n rozměrného výstupního prostoru s libovolnou přesností. Lze najít příslušné skryté vrstvy sítě a hodnoty vah. Stačí dvě skryté vrstvy.

Hilbertův 13. problém International congress of mathematicians Paris, 1900. Německý matematik David Hilbert (1863-1943) formuloval 23 nevyřešených problémů. Např. Domněnka: kořeny funkce tří proměnných (zde a,b,c) nemohou být nahrazeny konečnou superpozicí funkcí o dvou proměnných. A.N. Kolmogorov vyvrátil až roce 1954.

Vyvráceno A.N. Kolmogorovem První výsledek z 1954. Pro NN je relevantnější je obecnější výsledek z 1957. Ukázal, že každá spojitá funkce více proměnných (s omezeným definičním oborem) může být vyjádřena jako součet malého počtu funkcí jedné proměnné.

Poučení pro praxi NN? Výsledek A.N. Kolmogorova ho nedává. Jednorozměrné funkce nejsou spojité, což vede k nestabilitám sítě v závislosti na datech. Aktivační funkce jsou závislé na funkci, kterou mají aproximovat. Praktické řešení bylo navrženo mezi 1989-1992 a přispěla k němu Dr. Věra Kůrková z Ústavu informatiky AV ČR

Výpočet hodnoty, aktivní mód Cíl najít (přibližnou) hodnotu zobrazení. Vstupní vrstvu ztotožníme se vstupním vektorem. Vstupní vrstva nepočítá. Hodnoty se propagují vrstvami a ve výstupní vrstvě se najde výsledek. NN jsou nejsou objevné svým aktivním módem (výpočtem), ale módem učení. Zde se hledá síť, která výpočet realizuje.

Učení – gradientní optimalizace Optimalizační kritérium: energie Pravidlo pro změnu synaptických vah wi c je krok učení, obvykle konstanta

Vícevrstvý perceptron 1 vstup Aktivace: dopředný směr Vstupní uzly Výstupní uzly uzly Skryté Skoková funkce (dovolující jen zapnuto, vypnuto) je nahrazena spojitými sigmoidními funkcemi Chyba se šíří zpětně

Backpropagation neformálně Aktivace: dopředný směr Které váhy změnit? O kolik?   Units Hidden Vstupní uzly Cílový uzel Potřebujeme vědět, které váhy nejvíce přispívají k chybě … Chybu můžeme stanovit na výstupu. Potom ji musíme šířit zpět a vyřešit váhy … δ δ Output Units Output Units ? Chyba se šíří zpětně

Zpětné šíření (backpropagation) 1. Inicializuj váhy sítě malými náhodnými čísly 2. Dokud není splněno kritérium pro zastavení 2.1. Pro každý příklad [x, y] z trénovacích dat 2.1.1. Spočítej výstup outu pro každý neuron u v síti 2.1.2. Pro každý neuron v ve výstupní vrstvě spočítej chybu errorv = outv (1 - outv) (yv - outv) 2.1.3. Pro každý neuron s ve skryté vrstvě spočítej chybu errors = outs (1 - outs) vvýstup (ws,v errorv ) 2.1.4. Pro každou vazbu vedoucí od neuronu j do neuronu k modifikuj váhu vazby wj,k = wj,k + wj,k , kde wj,k =  errork xj,k

Backpropagation, ilustrace Správné třídy Architektura sítě B 0 pro třídu A A 1 pro třídu B Kroky učení t=50 t=100 t=150 t=200

Pravdivostní tabulka pro XOR XOR problém - vyřešen Hidden Units Output Unit Input Units Přidání skryté vrstvy umožňuje NN vyřešit úlohu XOR. 1 1 -1 > 0.5 1.5 > 1  Skryté neurony fungují jako detektory situací. < Horní skrytý neuron detekuje případ, kdy je aktivován alespoň jeden vstupní neuron. Dolní skrytý neuron detekuje situaci, kdy jsou aktivovány oba vstupní uzly. Výstupní uzel je aktivován horním skrytým neuronem a vypínán dolním skrytým neuronem… 1 x ^ y y x výstup vstupy Pravdivostní tabulka pro XOR

Kohonenova samoorganizující síť Zkratka SON (Self-Organizing Network). Učení bez učitele. Myšlenka poprvé od C. von der Malsburg (1973), rozvinul T. Kohonen (1982). Metoda shlukování. Podobná vstupní data aktivují neurony, které jsou blízko sebe. Díky schopnosti projekce se SON používají pro snížení dimensionality a vizualizaci dat. Biologická opora: mapy aktivity mozku.

Architektura SON Výpočetní vrstva je složena z mřížky neuronů. Tím je dána topologie. 2D pole neuronů Vstupní signály (vektor) (propojeno se všemi vektory v mřížce) Synapse s váhami x1 x2 x3 xn ... wj1 wj2 wj3 wjn j

Výpočet v SON Jednovrstvá topologie (s případnou vstupní a výstupní vrstvou). Výpočet probíhá na základě kompetice (pro každý vstup je aktivní právě jeden vítězný neuron). Pravidlo vítěz bere vše. Učení: po zpracování vstupu se upraví váhy neuronu (j), který „vyhrál“ v kompetici: wji = wji(t)+q[xi (t-1)- wji(t-1)]

Algoritmus SON (přehled) Náhodně nastav váhy všech neuronů wj. Vyber vstupní vektor x = (x1, x2, x3, … , xn ). Najdi vítěze, tj. porovnej x s váhami wj pro každý neuron j. Uprav vítězný neuron, aby se spolu se svým okolím v mřížce podobal příkladu x, obvykle wj = wj(t)+q[xi (t-1)- wj(t-1)], kde q je rychlost učení obvykle klesající. Nastav parametry: rychlost učení a funkci zohledňující neurony v okolí. Opakuj od kroku (2) do ustálení vah nebo než uplyne předem zvolený počet kroků samoučení.

Vztah VQ a SON U vektorové kvantizace (VQ) nezávisí na pořadí reprezentantů tříd, tj. nezávisí na pořadí. U SON je pozice reprezentantů (střední hodnota) zaznamenána. Tím je zachována topologie. Zkoumané datum se zobrazí k blízkému reprezentantuovi v mřížce.

SOM a shlukování k-průměrů Kompetitivní samoučení lze chápat jako on-line verzi k-průměrů. SOM navíc přidává mřížku a interakce jen v okolí. Metoda k-průměrů se hodí pro shlukování. SOM se především hodí pro učení variety menší dimenze než je dimenze dat (např. 2D nebo 3D).

Aplikace: míra chudoby ve světě

Aplikace: míra chudoby ve světě (2)

Příklad: odhad geometrie bodů Inputs: coordinates (x,y) of points drawn from a square Display neuron j at position xj,yj where its sj is maximum 100 inputs 200 inputs x y From: les réseaux de neurones artificiels » by Blayoand Verleysen, Que sais-je 3042, ed PUF Random initial positions

Hopfieldova síť Úplná topologie (cyklická) Přípustné pouze binární vstupy. Používá se: jako asociativní paměť jako klasifikátor k optimalizaci Učení: wji =S xkjxik, k{1,…p} Výpočet probíhá do ustálení stavu (zaručeno).