Lineární klasifikátor

Prezentace na téma: "Lineární klasifikátor"— Transkript prezentace:

1 Lineární klasifikátor
mějme nadrovinu: g(x) = wT∙x + w0 = 0 vzdálenost z bodu x od nadroviny je dána: nadrovina dělí prostor na dvě části: na jedné straně jsou body, kde g(x) > 0 na druhé straně jsou body, kde g(x) < 0

2 Perceptronový algoritmus
cíl: najít parametry w a w0 dělící nadroviny množiny trénovacích vzorů jsou lineárně separabilní tedy existuje nadrovina definovaná w*T∙x = 0 taková, že w*T∙x > 0 pro každý x z ω1 w*T∙x < 0 pro každý x z ω2 tento vztah platí i pro nadroviny, které neprocházejí počátkem: w*T∙x + w*0 = 0 protože můžeme zavést rozšířený (d+1)-dimenzionální prostor, kde w’ ≡ (w*,w0) x’ ≡ (x,1) a pak w*T∙x + w*0 = w’T∙x’

3 Perceptronový algoritmus – ztrátová funkce
perceptronový algoritmus je příklad optimalizačního problému, kde potřebujeme znát: ztrátovou funkci, která se bude optimalizovat algoritmus jak najít optimum ztrátové funkce ztrátovou funkci zavedeme jako: kde Y je množina trénovacích vzorů, které byly nadrovinou klasifikovány chybně parametr δx pro bod x z ω1 pro bod x z ω2 ztrátová funkce J(w) je nezáporná je nulová, když Y = Ø a tedy trénovací vzory jsou klasifikovány správně je kladná, když x je z ω1 (δx= -1) a současně x byl klasifikován chybně (wTx<0) => tedy výsledný součin je kladný (analogicky opačný případ)

4 Perceptronový algoritmus – odvození algoritmu
ztráta perceptronu J(w) je spojitá po částech lineární funkce v bodech, kde se mění počet chybně klasifikovaných vzorů, není gradient definován iterativní algoritmus pro minimalizaci ztrátové funkce: odvození algoritmu založeno na principu metody snižování gradientu kde w(t) je odhad prahového vektoru v t-té iteraci ρt je posloupnost reálných čísel v bodech, kde je derivace definována, je:

5 Perceptronový algoritmus – odvození algoritmu
dosazením do vztahu pro w(t+1) dosteneme perceptronový algoritmus: kde vektor w(0) je libovolně inicializován vektor je vektor „opravy“ ze vzorů, které byly klasifikovány nesprávně proces učení je opakován tak dlouho, dokud nejsou všechny trénovací vzory klasifikovány správně geometrická interpretace percept. algoritmu v čase t byl klasifikován chybně jediný vzor x a ρt=1 algoritmus opraví váhový vektor ve směru x => odpovídající nadrovina se natočí tak, aby x byl klasifikován správně

6 Perceptronový algoritmus – konvergence
na konvergenci algoritmu má vliv posloupnost ρt => za těchto podmínek bude algoritmus konvergovat např. ρt = c/t, kde c je konstanta => ρt ovlivňuje rychlost konvergence a tedy rychlost algoritmu lze ukázat, že perceptronový algoritmus zkonverguje k řešení v konečném počtu kroků důkaz v literatuře nalezená řešení nejsou jednoznačná => existuje více než jedna dělicí nadrovina

7 Varianta perceptronového algoritmu
modifikace oproti předchozímu algoritmu: trénovací vzory jsou cyklicky předkládány algoritmu jeden po druhém váhový vektor se mění po každém předkloženém vzoru když předložíme celou trénovací množinu a nedošlo ke zkonvergování => zopakujeme předložení celé trénovací množiny algoritmus: w(t) je odhad váhového vektoru v t-té iteraci x(t) je trénovací vzor předložený v t-té iteraci aktualizace váhového vektoru: když je vzor klasifikován správně => váhový vektor se nemění i tento algoritmus zkonverguje v konečném počtu iterací

8 Perceptron klasifikace neznámých vzorů
následuje po zkonvergování perceptronového algoritmu k váhovému vektoru w a prahu w0 klasifikační pravidlo: když wTx + w0 > přiřaď x do ω1 když wTx + w0 > přiřaď x do ω2 => tuto operaci provádí perceptron x1,...,xn jsou vstupní jednotky wi jsou synaptické váhy w0 je práh f je nelineární skoková funkce f(x) = +1 když x>0 f(x) = -1 když x<0

9 Přihrádkový algoritmus
perceptronový algoritmus základní požadavek na konvergenci je lineární separabilita množin když tento požadavek není splněn => algoritmus nezkonverguje přihrádkový algoritmus navržen tak, aby konvergoval k optimálnímu řešení i když množiny nejsou lineárně separabilní

10 Přihrádkový algoritmus
Krok 1. náhodná inicializace w(0) definujme přihrádkový vektor wS definujme čítač historie hS=0 Krok 2. v t-té iteraci aktualizujeme w(t+1) podle perceptronového algoritmu aktuální váhový vektor použijeme ke zjištění počtu trénovacích vzorů h, které jsou klasifikovány správně když h> hS pak nahradíme: wS ← w(t+1) hS ← h konvergence: lze ukázat, že algoritmus s pravděpodobností 1 zkonverguje k optimálnímu řešení (tj. řešení, které dá nejmenší počet chybně klasifikovaných trénovacích vzorů)