Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Lineární klasifikátor •mějme nadrovinu: g(x) = w T ∙x + w 0 = 0 •vzdálenost z bodu x od nadroviny je dána: •nadrovina dělí prostor na dvě části: –na jedné.

Podobné prezentace


Prezentace na téma: "Lineární klasifikátor •mějme nadrovinu: g(x) = w T ∙x + w 0 = 0 •vzdálenost z bodu x od nadroviny je dána: •nadrovina dělí prostor na dvě části: –na jedné."— Transkript prezentace:

1 Lineární klasifikátor •mějme nadrovinu: g(x) = w T ∙x + w 0 = 0 •vzdálenost z bodu x od nadroviny je dána: •nadrovina dělí prostor na dvě části: –na jedné straně jsou body, kde g(x) > 0 –na druhé straně jsou body, kde g(x) < 0

2 Perceptronový algoritmus •cíl: –najít parametry w a w 0 dělící nadroviny •množiny trénovacích vzorů jsou lineárně separabilní –tedy existuje nadrovina definovaná w *T ∙x = 0 taková, že w *T ∙x > 0 pro každý x z ω 1 w *T ∙x < 0 pro každý x z ω 2 –tento vztah platí i pro nadroviny, které neprocházejí počátkem: w *T ∙x + w * 0 = 0 protože můžeme zavést rozšířený (d+1)-dimenzionální prostor, kde w’ ≡ (w *,w 0 ) x’ ≡ (x,1) a pak w *T ∙x + w * 0 = w’ T ∙x’

3 Perceptronový algoritmus – ztrátová funkce •perceptronový algoritmus je příklad optimalizačního problému, kde potřebujeme znát: –ztrátovou funkci, která se bude optimalizovat –algoritmus jak najít optimum ztrátové funkce •ztrátovou funkci zavedeme jako: –kde Y je množina trénovacích vzorů, které byly nadrovinou klasifikovány chybně –parametr δ x pro bod x z ω pro bod x z ω 2 –ztrátová funkce J(w) je nezáporná •je nulová, když Y = Ø a tedy trénovací vzory jsou klasifikovány správně •je kladná, když x je z ω 1 (δ x = -1) a současně x byl klasifikován chybně (w T x tedy výsledný součin je kladný (analogicky opačný případ)

4 Perceptronový algoritmus – odvození algoritmu •ztráta perceptronu J(w) je spojitá po částech lineární funkce –v bodech, kde se mění počet chybně klasifikovaných vzorů, není gradient definován •iterativní algoritmus pro minimalizaci ztrátové funkce: –odvození algoritmu založeno na principu metody snižování gradientu kde w(t) je odhad prahového vektoru v t-té iteraci ρ t je posloupnost reálných čísel –v bodech, kde je derivace definována, je:

5 Perceptronový algoritmus – odvození algoritmu •dosazením do vztahu pro w(t+1) dosteneme perceptronový algoritmus: –kde vektor w(0) je libovolně inicializován –vektor je vektor „opravy“ ze vzorů, které byly klasifikovány nesprávně –proces učení je opakován tak dlouho, dokud nejsou všechny trénovací vzory klasifikovány správně –geometrická interpretace percept. algoritmu •v čase t byl klasifikován chybně jediný vzor x a ρ t =1 •algoritmus opraví váhový vektor ve směru x => odpovídající nadrovina se natočí tak, aby x byl klasifikován správně

6 Perceptronový algoritmus – konvergence •na konvergenci algoritmu má vliv posloupnost ρ t => za těchto podmínek bude algoritmus konvergovat např. ρ t = c/t, kde c je konstanta => ρ t ovlivňuje rychlost konvergence a tedy rychlost algoritmu •lze ukázat, že perceptronový algoritmus zkonverguje k řešení v konečném počtu kroků –důkaz v literatuře •nalezená řešení nejsou jednoznačná => existuje více než jedna dělicí nadrovina

7 Varianta perceptronového algoritmu •modifikace oproti předchozímu algoritmu: –trénovací vzory jsou cyklicky předkládány algoritmu jeden po druhém –váhový vektor se mění po každém předkloženém vzoru –když předložíme celou trénovací množinu a nedošlo ke zkonvergování => zopakujeme předložení celé trénovací množiny •algoritmus: –w(t) je odhad váhového vektoru v t-té iteraci –x (t) je trénovací vzor předložený v t-té iteraci –aktualizace váhového vektoru: –když je vzor klasifikován správně => váhový vektor se nemění •i tento algoritmus zkonverguje v konečném počtu iterací

8 Perceptron •klasifikace neznámých vzorů –následuje po zkonvergování perceptronového algoritmu k váhovému vektoru w a prahu w 0 –klasifikační pravidlo: když w T x + w 0 > 0... přiřaď x do ω 1 když w T x + w 0 > 0... přiřaď x do ω 2 => tuto operaci provádí perceptron •x 1,...,x n jsou vstupní jednotky •w i jsou synaptické váhy •w 0 je práh •f je nelineární skoková funkce f(x) = +1 když x>0 f(x) = -1 když x<0

9 Přihrádkový algoritmus •perceptronový algoritmus –základní požadavek na konvergenci je lineární separabilita množin –když tento požadavek není splněn => algoritmus nezkonverguje •přihrádkový algoritmus –navržen tak, aby konvergoval k optimálnímu řešení i když množiny nejsou lineárně separabilní

10 Přihrádkový algoritmus •Krok 1. –náhodná inicializace w(0) –definujme přihrádkový vektor w S –definujme čítač historie h S =0 •Krok 2. –v t-té iteraci aktualizujeme w(t+1) podle perceptronového algoritmu –aktuální váhový vektor použijeme ke zjištění počtu trénovacích vzorů h, které jsou klasifikovány správně –když h> h S pak nahradíme: w S ← w(t+1) h S ← h •konvergence: –lze ukázat, že algoritmus s pravděpodobností 1 zkonverguje k optimálnímu řešení (tj. řešení, které dá nejmenší počet chybně klasifikovaných trénovacích vzorů)


Stáhnout ppt "Lineární klasifikátor •mějme nadrovinu: g(x) = w T ∙x + w 0 = 0 •vzdálenost z bodu x od nadroviny je dána: •nadrovina dělí prostor na dvě části: –na jedné."

Podobné prezentace


Reklamy Google