Algoritmy a struktury neuropočítačů ASN - P14 Hopfieldovy sítě Asociativní paměti rekonstrukce původních nezkreslených vzorů předkládají se neúplné nebo.

Prezentace na téma: "Algoritmy a struktury neuropočítačů ASN - P14 Hopfieldovy sítě Asociativní paměti rekonstrukce původních nezkreslených vzorů předkládají se neúplné nebo."— Transkript prezentace:

1 Algoritmy a struktury neuropočítačů ASN - P14 Hopfieldovy sítě Asociativní paměti rekonstrukce původních nezkreslených vzorů předkládají se neúplné nebo částečně zkreslené podněty LAM, FAM (Fuzzy asoc. Memory) Dělení : přímovazební - jednorázové vybavování zpětnovazební - iterační proces vybavování Grossberg, ART, Spoj. Hopf.síť lineární (LAM) nelineární Struktura odpovídá asociativním pamětem – odpovědí na předložený vzor je nalezený vzor Není vhodná jako klasifikátor. Princip učení: porovnávání obrazců pomocí Hammingovy metriky Omezení HNS (jako associativní paměti): malý počet obrazců, které lze uchovat volba vzorů co nejméně si podobných velké nároky na paměť (kvadrát počtu vstupů) Síť nemá skryté neurony, není schopna kódovat data.

2 Lineární asociativní paměť jednovrstvá, přímovazební síť dvojice { a m, b m } vstupy výstupy Cíl : obnovení naučeného souboru výstupních vzorů na základě úplné nebo částečné informace ze vstupních vzorů W =  m a (m) b (m)T praktické aplikace : nelineární přenosová funkce Nelineární asociativní paměť snížení poruch, vytvoření binárního hodnotícího vektoru - je nelineárně zpracován pomocí prahů resp. kompetitivním učením, má jeden nenulový prvek

3 Princip činnosti : v daném čase se mění hodnota synaptických vah pouze jediného neuronu (v závislosti na přivedeném signálu) každý neuron přijímá vstupní signály z vnějšku, ale také od ostatních neuronů diskrétní Typy Hopfieldových sítí: binární - nelineární prahové aktivační funkce spojité Model sekvenční (asynchronní) a paralelní (synchronní) Hopfieldovy sítě John J.Hopfield - 1982 Architektura : úplně propojená síť ” každý s každým, kromě sebe sama ” zpětnovazební iterativní proces – aktualizace stavů

4 a) sekvenční model pro binární vzory - (0, 1): inicializace :  k 2 a i - 1, i  j, k = 1,...,m w ij 0, i = j  = 0.5  j w ij, j = 1,...,n pro bipolární vzory - (-1, 1): inicializace :  k 2 a i a j, i  j, k = 1,...,m w ij 0, i = j  = 0.5  j w ij, j = 1,...,n předložení vstupního vektoru a počáteční stavový vektor sítě je nastaven na hodnotu: a(0) = [a 1 (0), a 2 (0), …, a n (0)] T Iterativní proces nastavení a aktualizace elementů stavového vektoru  výpočet aktivity u i (k+1) =  j w ij a j (k) +  i j = 1,...,n

5 aktualizace stavu 0 u i (k+1)  0 a i (k+1) 1 u i (k+1)  0 a i (k) u i (k+1) = 0 kritérium naučenosti - stabilní stav ve dvou po sobě jdoucích krocích (iteracích) konvergence: E = 0.5  i  j w ij a i a j +  i Θ i a i lokální minimum energetické funkce E ≤ energie bodů v okolí atraktor - rovnovážný stav sítě v lokálním en. minimu v tomto stavu síť zůstává b) paralelní model - větší rychlost vybavování než u sekvenčního modelu paralelní aktualizace stavů v průběhu aktivační etapy sítě pro binární vzory - (0, 1): inicializace w ij =  k (2 a i (k) - 1) (2 a j (k) - 1), k = 1,...,m  i = 0.5  j w ij, j = 1,...,n pro bipolární vzory - (-1, 1): inicializace : w ij =  k a i (k) a j (k), k = 1,...,m  i = 0.5  j w ij, j = 1,...,n Váhy na diagonále nejsou nulové !!!

6  Předložení vstupního vektoru a  Stanovení aktivity neuronů  Aktualizace stavů: výpočet aktivity: viz sekvenční model u i (k+1) =  j w ij a j (k) + Θ i, j = 1,…,n aktualizace stavu: změna oproti 0 u i (k+1) > 0 sekvenčnímu a i (k+1) = 1 u i (k+1) < 0 modelu a i (k) u i (k+1) = 0 Iterativní proces stabilní stav (shoda stavů ve dvou po sobě jdoucích iteracích) Konvergence: aktualizace jedné složky stavového vektoru v každém kroku změna energetické funkce (viz sekvenční model) Vícerozměrné Hopfieldovy sítě: vícerozměrné paměťové struktury pro vysoce kapacitní paměťové systémy