Algoritmy a struktury neuropočítačů ASN - P14 Hopfieldovy sítě Asociativní paměti rekonstrukce původních nezkreslených vzorů předkládají se neúplné nebo částečně zkreslené podněty LAM, FAM (Fuzzy asoc. Memory) Dělení : přímovazební - jednorázové vybavování zpětnovazební - iterační proces vybavování Grossberg, ART, Spoj. Hopf.síť lineární (LAM) nelineární Struktura odpovídá asociativním pamětem – odpovědí na předložený vzor je nalezený vzor Není vhodná jako klasifikátor. Princip učení: porovnávání obrazců pomocí Hammingovy metriky Omezení HNS (jako associativní paměti): malý počet obrazců, které lze uchovat volba vzorů co nejméně si podobných velké nároky na paměť (kvadrát počtu vstupů) Síť nemá skryté neurony, není schopna kódovat data.

Lineární asociativní paměť jednovrstvá, přímovazební síť dvojice { a m, b m } vstupy výstupy Cíl : obnovení naučeného souboru výstupních vzorů na základě úplné nebo částečné informace ze vstupních vzorů W =  m a (m) b (m)T praktické aplikace : nelineární přenosová funkce Nelineární asociativní paměť snížení poruch, vytvoření binárního hodnotícího vektoru - je nelineárně zpracován pomocí prahů resp. kompetitivním učením, má jeden nenulový prvek

Princip činnosti : v daném čase se mění hodnota synaptických vah pouze jediného neuronu (v závislosti na přivedeném signálu) každý neuron přijímá vstupní signály z vnějšku, ale také od ostatních neuronů diskrétní Typy Hopfieldových sítí: binární - nelineární prahové aktivační funkce spojité Model sekvenční (asynchronní) a paralelní (synchronní) Hopfieldovy sítě John J.Hopfield Architektura : úplně propojená síť ” každý s každým, kromě sebe sama ” zpětnovazební iterativní proces – aktualizace stavů

a) sekvenční model pro binární vzory - (0, 1): inicializace :  k 2 a i - 1, i  j, k = 1,...,m w ij 0, i = j  = 0.5  j w ij, j = 1,...,n pro bipolární vzory - (-1, 1): inicializace :  k 2 a i a j, i  j, k = 1,...,m w ij 0, i = j  = 0.5  j w ij, j = 1,...,n předložení vstupního vektoru a počáteční stavový vektor sítě je nastaven na hodnotu: a(0) = [a 1 (0), a 2 (0), …, a n (0)] T Iterativní proces nastavení a aktualizace elementů stavového vektoru  výpočet aktivity u i (k+1) =  j w ij a j (k) +  i j = 1,...,n

aktualizace stavu 0 u i (k+1)  0 a i (k+1) 1 u i (k+1)  0 a i (k) u i (k+1) = 0 kritérium naučenosti - stabilní stav ve dvou po sobě jdoucích krocích (iteracích) konvergence: E = 0.5  i  j w ij a i a j +  i Θ i a i lokální minimum energetické funkce E ≤ energie bodů v okolí atraktor - rovnovážný stav sítě v lokálním en. minimu v tomto stavu síť zůstává b) paralelní model - větší rychlost vybavování než u sekvenčního modelu paralelní aktualizace stavů v průběhu aktivační etapy sítě pro binární vzory - (0, 1): inicializace w ij =  k (2 a i (k) - 1) (2 a j (k) - 1), k = 1,...,m  i = 0.5  j w ij, j = 1,...,n pro bipolární vzory - (-1, 1): inicializace : w ij =  k a i (k) a j (k), k = 1,...,m  i = 0.5  j w ij, j = 1,...,n Váhy na diagonále nejsou nulové !!!

 Předložení vstupního vektoru a  Stanovení aktivity neuronů  Aktualizace stavů: výpočet aktivity: viz sekvenční model u i (k+1) =  j w ij a j (k) + Θ i, j = 1,…,n aktualizace stavu: změna oproti 0 u i (k+1) > 0 sekvenčnímu a i (k+1) = 1 u i (k+1) < 0 modelu a i (k) u i (k+1) = 0 Iterativní proces stabilní stav (shoda stavů ve dvou po sobě jdoucích iteracích) Konvergence: aktualizace jedné složky stavového vektoru v každém kroku změna energetické funkce (viz sekvenční model) Vícerozměrné Hopfieldovy sítě: vícerozměrné paměťové struktury pro vysoce kapacitní paměťové systémy