NEURONOVÉ SÍTĚ (c) 1999. Tralvex Yeap. All Rights Reserved.

Prezentace na téma: "NEURONOVÉ SÍTĚ (c) 1999. Tralvex Yeap. All Rights Reserved."— Transkript prezentace:

1 NEURONOVÉ SÍTĚ (c) Tralvex Yeap. All Rights Reserved

2 PŘÍBĚH PHINEASE GAGE (c) Tralvex Yeap. All Rights Reserved

3 NEURONY ZÁKLADNÍ STAVEBNÍ KAMENY JAKÉHOKOLIV MOZKU NA TÉTO PLANETĚ TVOŘÍ TZV. NEURONY. JSOU TO BUŇKY, KTERÉ JSOU V MOZKU NEJVÍCE ROZŠÍŘENY (CCA 20%) PO BUŇKÁCH GLIOVÝCH (CCA 80%). (c) Tralvex Yeap. All Rights Reserved

4 NAPODOBENÍ MOZKU NA POČÍTAČOVÉ ÚROVNI NENÍ A NEBUDE JEDNODUCHÉ.
V MOZKU JE ASI 25 MILIARD NEURONŮ. JEDEN NEURON JE SCHOPEN MÍT – SPOJENÍ S JINÝMI NEURONY. MOŽNOST JEJICH VZÁJEMNÝCH SPOJENÍ DOSAHUJE AŽ 10 TRILIÓNŮ KOMBINACÍ. VÝKONNOST MOZKU ZÁLEŽÍ HLAVNĚ NA KVALITĚ A MNOŽSTVÍ SPOJŮ MEZI NIMI ( NE NA VÁZE ČI OBJEMU) (c) Tralvex Yeap. All Rights Reserved

5 CO SE DĚJE UVNITŘ NEURONÚ NENÍ DODNES USPOKOJIVĚ VYSVĚTLENO
CO SE DĚJE UVNITŘ NEURONÚ NENÍ DODNES USPOKOJIVĚ VYSVĚTLENO. EXISTUJÍ JEN JEDNODUCHÉ MATEMATICKÉ MODELY. ZÁKLADNÍM FAKTEM, KTERÝ JE DNES JIŽ JISTÝ, JE TO, ŽE BĚHEM JEJICH ČINNOSTI DOCHÁZÍ K VYTVÁŘENÍ NOVÝCH SPOJŮ A ZANIKÁNÍ SPOJŮ JIŽ EXISTUJÍCÍCH. TENTO PROCES MÁ ZA NÁSLEDEK SCHOPNOST PAMATOVAT SI A UČIT SE. (c) Tralvex Yeap. All Rights Reserved

6 NEURON NEURONY VYTVÁŘÍ MOHUTNÉ SÍTĚ, VE KTERÝCH SE INFORMACE (V PODSTATĚ NAŠE MYŠLENÍ) ŠÍŘÍ VE FORMĚ ELEKTROCHEMICKÝCH VZRUCHŮ, DÁVÁ MOZKU JAKO TAKOVÉMU MASIVNÍ PARALELNÍ VÝPOČETNÍ SCHOPNOST. (c) Tralvex Yeap. All Rights Reserved

7 ŠEDÁ A BÍLÁ HMOTA MOZKOVÁ
VYŠŠÍ ČINNOST MOZKU JE PROJEVEM TOHO, ČEMU SE ŘÍKÁ INTELIGENCE A JE ZÁVISLÁ NA KVALITĚ BIOLOGICKÝCH PODSTRUKTUR, JAKÝMI JSOU V MOZKU PŘEVÁŽNĚ NEURONOVÉ SÍTĚ (c) Tralvex Yeap. All Rights Reserved

8 NERVOVÁ VLÁKNA S NEURONY
PRŮŘEZ MOZEČKEM NERVOVÁ VLÁKNA S NEURONY (c) Tralvex Yeap. All Rights Reserved

9 VYŠŠÍ MOZKOVÉ FUNKCE JSOU : UČENÍ SPÁNEK PAMĚŤ APOD
VEŠKERÉ VYŠŠÍ FUNKCE SE DĚLÍ NA DVA ZÁKLADNÍ DRUHY A TO NA FUNKCE RACIONÁLNÍ A EMOTIVNÍ. (c) Tralvex Yeap. All Rights Reserved

10 V ŽIVÝCH ORGANISMECH SE BĚHEM EVOLUCE VYVINULY V RÁMCI DRUHŮ KOMPLEXNÍ SYSTÉMY KOMPLIKOVANÝCH FUNKCÍ, KTERÉ UMOŽŇUJÍ KOEXISTENCI JAK JEDINCŮ V CELKU TAK RŮZNÝCH DRUHŮ. NAPŘ. VLČÍ SMEČKA. (c) Tralvex Yeap. All Rights Reserved

11 NEURONOVÉ SÍTĚ VÝSTUP JÁDRO VSTUP CELKEM ASI 25 MILIARD
(c) Tralvex Yeap. All Rights Reserved

12 SÍLA SYNAPSE – SPOLEHLIVOST, S NÍŽ URČITÁ SYNAPSE PŘEDÁ ZPRÁVU OD JEDNOHO NEURONU K DRUHÉMU, SE DÁ CHÁPAT JAKO SÍLA SYNAPSE. (c) Tralvex Yeap. All Rights Reserved

13 Warren McCulloch Marvin Minsky VYPRACOVÁNÍ MODELU NEURONU
(c) Tralvex Yeap. All Rights Reserved

14 40. LÉTA TOHOTO STOLETÍ Warren McCulloch
(c) Tralvex Yeap. All Rights Reserved

15 (c) 1999. Tralvex Yeap. All Rights Reserved

16 ROZDÍL MEZI PC A NEURONOVOU SÍTÍ
NEURONOVÁ SÍŤ POČÍTAČ JE UČENA NASTAVOVÁNÍM VAH, PRAHŮ A STRUKTURY JE PROGRAMOVÁNA INSTRUKCEMI (IF, THEN, GOTO PAMĚŤOVÉ A VÝKONNÉ PRVKY TVOŘÍ HOMOGENNÍ CELEK PROCES A PAMĚŤ JSOU PRO NĚJ SEPAROVÁNY PARALELISMUS SEKVENČNOST TOLERUJÍ ODCHYLKY OD ORIGINÁLNÍCH INFORMACÍ NETOLERUJÍ ODCHYLKY NEMĚNNOST PROGRAMU SAMOORGANIZACE BĚHEM UČENÍ (c) Tralvex Yeap. All Rights Reserved

17 VYUŽITÍ NEURONOVÝCH SÍTÍ
(c) Tralvex Yeap. All Rights Reserved

18 SCHÉMATICKÁ PODOBNOST TECHNICKÉHO A BIOLOGICKÉHO NEURONU
(c) Tralvex Yeap. All Rights Reserved

19 (c) 1999. Tralvex Yeap. All Rights Reserved

20 ROZDĚLENÍ TECHNICKÝCH NEURONOVÝCH SÍTÍ
PODLE POČTU VRSTEV S JEDNOU VRSTVOU (HOPFIELDOVA SÍŤ, KOHONENOVA SÍŤ…) S VÍCE VRSTVAMI (ART SÍŤ, PERCEPTRON, KLASICKÁ VÍCEVRSTVÁ SÍŤ S ALGORITMEM BACKPROPAGATION) PODLE TYPU ALGORITMU UČENÍ S UČITELEM ( SÍŤ S ALGORITMEM BACKPROPAGATION…) BEZ UČITELE ( HOPFIELDOVA SÍŤ….) PODLE STYLU UČENÍM DETERMINISTICKÝM (NAPŘ. ALGORITMUS BACKPROPAGATION) STOCHASTICKÝM (NÁHODNÉ NASTAVOVÁNÍ VAH ) (c) Tralvex Yeap. All Rights Reserved

21 (c) 1999. Tralvex Yeap. All Rights Reserved

22 (c) 1999. Tralvex Yeap. All Rights Reserved

23 POD POJMEM TOPOLOGIE SÍTĚ ROZUMÍME ZPŮSOB, JAKÝM JSOU MEZI SEBOU SPOJENY JEDNOTLIVÉ NEURONY, VRSTVY A KOLIK VSTUPŮ A VÝSTUPŮ SÍŤ MÁ. (c) Tralvex Yeap. All Rights Reserved

24 SCHOPNOST NEURONOVÝCH SÍTÍ UČIT SE , SPOČÍVÁ V MOŽNOSTI MENIT VŠECHNY VÁHY V SÍTI PODLE VHODNÝCH ALGORITMŮ NA ROZDÍL OD SÍTÍ BIOLOGICKÝCH, KDE JE SCHOPNOST UČIT SE ZALOŽENA NA MOŽNOSTI TVORBY NOVÝCH SPOJŮ MEZI NEURONY. (c) Tralvex Yeap. All Rights Reserved

25 JAK SÍŤ FUNGUJE JEDEN ZE ZÁKLADNÍCH PŘEDPOKLADŮ PRO FUNKCI SÍTĚ JE JEJÍ NAUČENÍ – ADAPTACE NA DANÝ PROBLÉM. FÁZE UČENÍ ADAPTAČNÍ - UČÍCÍ AKTIVAČNÍ – VYBAVOVACÍ BĚHEM TĚCHTO FÁZÍ SE NASTAVUJÍ VÁHY SÍTĚ (c) Tralvex Yeap. All Rights Reserved

26 ALGORITMUS UČENÍ SE DĚLÍ NA 2 FÁZE ADAPTAČNÍ A AKTIVAČNÍ
KE SVÉ ČINNOSTI POTŘEBUJÍ TRÉNOVACÍ MNOŽINU (VIZ DALŠÍ SLIDE) x1 w1 x2 TŘÍDA1 y w2 x3 w3 TŘÍDA2 xn wn TŘÍDA3 TŘÍDA INFORMACÍ - MNOŽINA, KTERÁ ZAHRNUJE X JEDINCŮ SE SPOLEČNOU VLASTNOSTÍ

27 TRÉNOVACÍ MNOŽINA JE SKUPINA VEKTORŮ (MNOŽINA DAT), OBSAHUJÍCÍCH INFORMACE O DANÉM PROBLÉMU PRO UČENÍ. POKUD SE JEDNÁ O SÍŤ S UČITELEM PAK JSOU TO DVOJICE VEKTORŮ – VSTUP – VÝSTUP. x1 w1 x2 y w2 x3 w3 xn wn POKUD SE JEDNÁ O SÍŤ BEZ UČITELE PAK TRÉNOVACÍ MNOŽINA OBSAHUJE JEN VSTUPNÍ VEKTORY.

28 AKTIVAČNÍ FÁZE 1. 2. 3. x1 w1 x2 y w2 x3 w3 xn wn
PŘEDLOŽENÝ VEKTOR INFORMACÍ NA VSTUPU SÍTĚ SE PŘEPOČÍTÁVÁ PŘES VŠECHNY SPOJE VČETNĚ JEJICH VYNÁSOBENÍ VAHAMI AŽ NA VÝSTUP 1. x1 w1 x2 y w2 x3 w3 KDE SE OBJEVÍ ODEZVA VE FORMĚ VÝSTUPNÍHO VEKTORU 2. xn wn PŘI UČENÍ SE TENTO VEKTOR POROVNÁ S VEKTOREM ORIGINÁLNÍM A ROZDÍL MEZI OBĚMA VEKTORY- LOKÁLNÍ CHYBA SE ULOŽÍ DO PAMĚŤOVÉ PROMĚNNÉ. 3.

29 ADAPTAČNÍ FÁZE FÁZE x1 x2 x3 xn w1 w2 w3 wn y
PROCES PŘI KTERÉM JE MINIMALIZOVÁNA LOKÁLNÍ CHYBA SÍTĚ TAK, ŽE SE PŘEPOČÍTÁVAJÍ VÁHY JEDNOTLIVÝCH SPOJŮ SMĚREM Z VÝSTUPU NA VSTUP ZA ÚČELEM CO NEJVĚTŠÍ PODOBNOSTI VÝSTUPNÍ ODEZVY S ORIGINÁLNÍM VEKTOREM x1 x2 x3 xn w1 w2 w3 wn y PROCES SKONČÍ POKUD JE GLOBÁLNÍ ODCHYLKA MENŠÍ NEŽ POŽADOVANÁ CHYBA. POTÉ SE OPĚT OPAKUJE AKTIVAČNÍ FÁZE. DALŠÍ ZÍSKANÝ ROZDÍL (LOKÁLNÍ ODCHYLKA SE PŘIČTE K PŘEDCHOZÍMU ATD. POKUD SE PROJDE TÍMTO ZPŮSOBEM CELÁ TRÉNOVACÍ MNOŽINA JE HOTOVÁ JEDNA EPOCHA. CELÉ SUMĚ ODCHYLEK ZA JEDNU EPOCHU SE ŘÍKÁ GLOBÁLNÍ ODCHYLKA - CYHYBA

30 x1 w1 x2 TŘÍDA1 y w2 x3 w3 TŘÍDA2 xn wn TŘÍDA3 TŘÍDA INFORMACÍ - MNOŽINA, KTERÁ ZAHRNUJE X JEDINCŮ SE SPOLEČNOU VLASTNOSTÍ

31 POKUD EXISTUJE MNOŽINA TŘÍD PAK LZE PROVÉST NAUČENÍ SÍTĚ.
TŘÍDA1 Z KAŽDÉ TŘÍDY JE VYBRÁNA MNOŽINA REPREZENTATIVNÍCH ZÁSTUPCŮ A TI JSOU POPSÁNÍ VE FORMĚ VEKTORŮ. PRO KAŽDOU MNOŽINU JE VYTVOŘEN VZOROVÝ VEKTOR. TŘÍDA2 TŘÍDA3 UČENÍ PAK ZNAMENÁ TO, ŽE SE UČÍCÍ ALGORITMUS SNAŽÍ NAJÍT TAKOVOU KOMBINACI VAH ABY BYL VSTUPNÍ VEKTOR ZAŘAZEN DO PŘÍSLUŠNÉ TŘÍDY. 3 TŘÍDY A Z KAŽDÉ TŘÍDY 20 REPREZENTATIVNÍCH ČLENŮ. PŘEDSTAVUJE TO CELKEM 60 VSTUPNÍCH VEKTORŮ.

32 AKTIVAČNÍ PROCES– VYBAVOVACÍ
UČÍCÍ ALGORITMUS PRACUJE S TZV. TŘÍDAMI INFORMACÍ, KDE SE TŘÍDOU ROZUMÍ MNOŽINA, KTERÁ ZAHRNUJE X JEDINCŮ SE SPOLEČNOU VLASTNOSTÍ. AKTIVAČNÍ PROCES– VYBAVOVACÍ PŘEDLOŽENÝ VEKTOR INFORMACÍ NA VSTUPU SÍTĚ SE PŘEPOČÍTÁVÁ PŘES VŠECHNY SPOJE VČETNĚ JEJICH VYNÁSOBENÍ VAHAMI AŽ NA VÝSTUP. PŘI UČENÍ SE TENTO VEKTOR POROVNÁ S VEKTOREM ORIGINÁLNÍM A ROZDÍL MEZI OBĚMA VEKTORY SE ULOŽÍ DO PAMĚŤOVÉ PROMĚNNÉ. ADAPTAČNÍ FÁZE - UČÍCÍ JE PROCES, PŘI KTERÉM JE MINIMALIZOVÁNA LOKÁLNÍ CHYBA SÍTĚ, TAK, ŽE SE PŘEPOČÍTÁVAJÍ VÁHY JEDNOTLIVÝCH SPOJŮ SMĚREM Z VÝSTUPU NA VSTUP ZA ÚČELEM CO NEJVĚTŠÍ PODOBNOSTI VÝSTUPNÍ ODEZVY S ORIGINÁLNÍM VEKTOREM. (c) Tralvex Yeap. All Rights Reserved

33 PROCES UČENÍ NENÍ NIC JINÉHO, NEŽ PŘELÉVÁNÍ INFORMACÍ ZE VSTUPU NA VÝSTUP A NAOPAK.
(c) Tralvex Yeap. All Rights Reserved

34 SCHOPNOST SÍTĚ PŘIŘAZOVAT JEDNOTLIVÉ VSTUPNÍ ČLENY DANÝM TŘÍDÁM JE DÁNA TÍM, ŽE SÍŤ V PODSTATĚ POČÍTÁ VDÁLENOST DANÉHO ČLENU OD ČLENŮ JIŽ PŘIŘAZENÝCH, A NA ZÁKLADĚ TOHO USUZUJE, DO JAKÉ TŘÍDY DANÝ VEKTOR PATŘÍ. (c) Tralvex Yeap. All Rights Reserved

35 SEPARABILITA SEPARABILITA NEBO-LI ROZDĚLITELNOST, ZNAMENÁ JAKÁ KŘÍVKA MŮŽE BÝT VYTYČENA JAKO HRANICE MEZI JEDNOTLIVÝMI TŘÍDAMI TAK, ABY CO NEJMÉNĚ JEDINCŮ ( PŘÍSLUŠNÍKŮ TŘÍDY) BYLO TOUTO HRANICÍ PŘIŘAZENO DO NEPATŘIČNÝCH TŘÍD. (c) Tralvex Yeap. All Rights Reserved

36 UČEBNÍ TEXT POKUD MÁ BÝT NEURONOVÁ SÍŤ ČI JAKÝKOLIV JINÝ ALGORITMUS (VČETNĚ NAŠEHO MOZKU ) SCHOPEN KONAT ROZHODNUTÍ NA ZÁKLADĚ VSTUPNÍCH ÚDAJŮ, PAK MUSÍ NAJÍT HRANICI MEZI TĚMITO TŘÍDAMI. N A ZÁKLADĚ VSTUPŮ A Z TOHO VYPLÝVAJÍCÍ POZICE VZHLEDEM K HRANICÍM MEZI TŘÍDAMI PAK KONÁ ROZHODNUTÍ. TYTO HRANICE MOHOU BÝT PŘÍMKAMI A OBVYKLE V BĚŽNÉM ŽIVOTĚ JSOU PRAPODIVNÝMI KŘIVKAMI ČI SPÍŠE VICEDIMENZIONÁLNÍMI PLOCHAMI.

37 PŘÍKLAD TŘÍD A JEJICH ROZDĚLENÍ
ŠPATNÝCH A DOBRÝCH POMERANČŮ VLASTNOSTI PRO POPIS KVALITY : VSTUPY ZRALOST : 0 – ZKAŽENÝ – ZRALÝ TRVANLIVOST : 0 – MINIMÁLNÍ TRVANLIVOST 1 – DLOUHODOBÁ TRVANLIVOST VÝSTUP – ZDA JE POMERANČ PRODEJNÝ 0 – NEPRODEJNÝ PRODEJNÝ

38 JEDNÁ SE O PROBLÉM LINEÁRNĚ SEPARABILNÍ ??
POMERANČ BUDE PRODEJNÝ PŘI VSTUPECH {1,1,}, {1,0,} OSTATNÍ KOMBINACE BUDOU 0 VSTUP 1 VSTUP 2 VÝSTUP 1

39 PROBLÉM JE LINEÁRNĚ SEPARABILNÍ
1 1 PROBLÉM JE LINEÁRNĚ SEPARABILNÍ VSTUP 2 VSTUP 1 1

40 (c) 1999. Tralvex Yeap. All Rights Reserved

41 (c) 1999. Tralvex Yeap. All Rights Reserved

42 NEUROFYZIOLOGICKÁ MOTIVACE
(c) Tralvex Yeap. All Rights Reserved

43 LITERATURA http://www.maxon.net/pages/gallery/gallery_3.html
ZELINKA, I. : UMĚLÁ INTELIGENCE – HROZBA NEBO NADĚJE ? ŠÍMA, J. A NERUDA, R. : TEORETICKÉ OTÁZKY NEURONOVÝCH SÍTÍ

44 OTÁZKY K OPAKOVÁNÍ CO JSOU TO NEURONY POPIŠTE NEURONOVOU SÍŤ
POPIŠTE MODEL NEURONU KLASIFIKUJTE TECHNICKÉ NEURONOVÉ SÍTĚ JAK FUNGUJE NEURONOVÁ SÍŤ