DNN - Deep neural networks (Hluboké neuronové sítě) Algoritmy a struktury neuropočítačů ASN – P8 DNN - Deep neural networks (Hluboké neuronové sítě)  Deep Structured Learning  Hierarchical Learning ANN s několika skrytými vrstvami Autoři:   - Kunihiko Fukushima (1980) – pro počítačové vidění (Neocognitron) - Yann LeCun, Yoshua Bengio, Geoffrey Hinton (1989) - pro rozpoznávání ručně psaných ZIP kódů (trénink trval 3 dny)

Podobné systémy baly použity pro rozpoznání izolovaných ručně psaných 2D – číslic (1991) Weng et al. – Cresceptron rozpoznávající 3D- objekty (1992) kaskáda jednoduchých Neocognitronů Brendan Frey – síť s 6 úplně propojenými vrstvami a několika stovkami skrytých neuronů (trénink trval více než 2 dny) - Li Deng, Hinton – rozpoznání řeči - Patří mezi algoritmy strojového učení - Používá kaskádu dopředných MLNN pro nelineární zpracování unit extrakce a transformace vzorů

Způsob učení: učení s učitelem (klasifikace) učení s „částečným“ učitelem učení bez učitele (analýza vzorů) Algoritmus učení: některá z variant BPG různé reprezentace různé abstrakce druhy deep učení: - deep belief network (DBN) - deep  Boltzmann network   Funkce deep UNS je založena - na interpretaci informačního procesu - na komunikaci mezi vzory v biologickém nervovém systému (neurální kódování) – definice vztahů mezi jednotlivými stimuly a přiřazení neuronálních odezev v mozku

Deep NS dovolují zpracovávat složité a velké databáze pomocí BPG algoritmu modifikací vnitřních parametrů v jednotlivých vrstvách dopředné sítě. Přínos: - zásadní objevy v oblasti zpracování obrazu, videa, řeči a audia - rekurentní sítě se více uplatňují při zpracování sekvenčních dat zpracování textu zpracování dat bioinformatika - pracují s velkými databázemi – např. řádově tisíce objektů z milionů obrazů - používají je všechny velké společnosti s náplní rozpoznávání (např.  Microsoft Cortana, Xbox, Skype Translator, Amazon Alexa,  Google Now, Apple Siri, Baidu, iFlyTek)

Problémy: Úspěšná klasifikace nerozeznatelných obrázků - příslušnost ke známým kategoriím běžných obrázků a špatná klasifikace porušených písmen patřících ke korektně klasifikovaným obrázkům Je to dáno limity ve vnitřní reprezentaci a tím, že tyto limity mohou potlačovat integraci do jejich heterogenních mnohonásobných komponent architektur umělé inteligence. Větší možnosti v napadení dat hackery. Srovnání komerčního softwaru a knihoven pro deep UNS: https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software

Struktura UNS Používaný počet skrytých vrstev: 5 - 10

vstupní vrstva pravděpodobnostní vrstva skrytá vrstva výstupní vrstva Cíl: vytvoření výkonného systému pro učení a trénink těchto reprezentací z rozměrově velkých neolabelovaných dat Aplikace v průmyslu: - začátek kolem roku 2000 - kolem 2010 pro zpracování velkých řečových databází

2 úplně propojené vrstvy 1 úplně propojená vrstva https://static.googleusercontent.com/media/research.google.com/cs//pubs/archive/42241.pdf

Knihovny pro učení Deep UNS – pro různé programovací jazyky: Python, Matlab, CPP, Java, JavaScript, Lua, Julia, Lisp, Haskell, .NET, R http://www.teglor.com/b/deep-learning-libraries-language-cm569 Proč? Zlepšení současného stavu rozpoznávání řeči, rozpoznávání a detekce objektů a v mnoha dalších odvětvích (např. v objevech nových léků a genovém inženýrství).