DNN - Deep neural networks (Hluboké neuronové sítě)

Prezentace na téma: "DNN - Deep neural networks (Hluboké neuronové sítě)"— Transkript prezentace:

1 DNN - Deep neural networks (Hluboké neuronové sítě)
Algoritmy a struktury neuropočítačů ASN – P8 DNN - Deep neural networks (Hluboké neuronové sítě)  Deep Structured Learning  Hierarchical Learning ANN s několika skrytými vrstvami Autoři:   Kunihiko Fukushima (1980) – pro počítačové vidění (Neocognitron) - Yann LeCun, Yoshua Bengio, Geoffrey Hinton (1989) - pro rozpoznávání ručně psaných ZIP kódů (trénink trval 3 dny)

2 Podobné systémy baly použity pro rozpoznání izolovaných ručně
psaných 2D – číslic (1991) Weng et al. – Cresceptron rozpoznávající 3D- objekty (1992) kaskáda jednoduchých Neocognitronů Brendan Frey – síť s 6 úplně propojenými vrstvami a několika stovkami skrytých neuronů (trénink trval více než 2 dny) - Li Deng, Hinton – rozpoznání řeči - Patří mezi algoritmy strojového učení - Používá kaskádu dopředných MLNN pro nelineární zpracování unit extrakce a transformace vzorů

3 Způsob učení: učení s učitelem (klasifikace)
učení s „částečným“ učitelem učení bez učitele (analýza vzorů) Algoritmus učení: některá z variant BPG různé reprezentace různé abstrakce druhy deep učení: - deep belief network (DBN) - deep  Boltzmann network   Funkce deep UNS je založena - na interpretaci informačního procesu - na komunikaci mezi vzory v biologickém nervovém systému (neurální kódování) – definice vztahů mezi jednotlivými stimuly a přiřazení neuronálních odezev v mozku

4 Deep NS dovolují zpracovávat složité a velké databáze pomocí BPG
algoritmu modifikací vnitřních parametrů v jednotlivých vrstvách dopředné sítě. Přínos: - zásadní objevy v oblasti zpracování obrazu, videa, řeči a audia - rekurentní sítě se více uplatňují při zpracování sekvenčních dat zpracování textu zpracování dat bioinformatika - pracují s velkými databázemi – např. řádově tisíce objektů z milionů obrazů - používají je všechny velké společnosti s náplní rozpoznávání (např.  Microsoft Cortana, Xbox, Skype Translator, Amazon Alexa,  Google Now, Apple Siri, Baidu, iFlyTek)

5 Problémy: Úspěšná klasifikace nerozeznatelných obrázků - příslušnost ke známým kategoriím běžných obrázků a špatná klasifikace porušených písmen patřících ke korektně klasifikovaným obrázkům Je to dáno limity ve vnitřní reprezentaci a tím, že tyto limity mohou potlačovat integraci do jejich heterogenních mnohonásobných komponent architektur umělé inteligence. Větší možnosti v napadení dat hackery. Srovnání komerčního softwaru a knihoven pro deep UNS:

6 Struktura UNS Používaný počet skrytých vrstev:

7 vstupní vrstva pravděpodobnostní vrstva skrytá vrstva výstupní vrstva
Cíl: vytvoření výkonného systému pro učení a trénink těchto reprezentací z rozměrově velkých neolabelovaných dat Aplikace v průmyslu: - začátek kolem roku 2000 - kolem 2010 pro zpracování velkých řečových databází

8 2 úplně propojené vrstvy
1 úplně propojená vrstva

9 Knihovny pro učení Deep UNS – pro různé programovací jazyky:
Python, Matlab, CPP, Java, JavaScript, Lua, Julia, Lisp, Haskell, .NET, R Proč? Zlepšení současného stavu rozpoznávání řeči, rozpoznávání a detekce objektů a v mnoha dalších odvětvích (např. v objevech nových léků a genovém inženýrství).