Aplikace Hidden Conditional Random Fields for Gesture Recognition Sy Bor Wang Ariadna Quattoni Louis-Philippe Morency David Demirdjian Trevor Darrell Computer Science and Artificial Intelligence Laboratory, MIT cca. 2007

Cíl – rozpoznat šest gest z videa FB - Flip Back, SV - Shrink Vertically, EV - Expand Vertically, DB - Double Back, PB - Point and Back, EH – Expand Horizontally.

Experiment ● 13 lidí předvedlo 6 gest ● snímala stereo kamera ● cca. 90 vzorů pro každé gesto ● ručně určena cílová třída (typ gesta).

Předzpracování - úhly a relativní pozice kloubů D. Demirdjian and T. Darrell. 3-d articulated pose tracking for untethered deictic reference. In Int’l Conf. on Multimodal Interfaces, 2002.

(Mezi)výsledek ● Každý obrázek videa je označkován buď ● kódem gesta ● nebo ● skrytým stavem. ● Z posloupnosti se (různě dle modelu) určí výsledná třída. ● Zobrazeno jen prvních pár snímků.

Kudy na věc ● Skrytá struktura pohybu – gesto neuhádneme z jednotlivého obrázku ● HMM předpokládá nezávislá pozorovnání dáno skrytý stav/gesto – evidentně neplatí ● CRF nezávislost nepředpokládají ● HCRF – přidáme a naučíme skrytý stav „nějak“ reprezentující strukturu gesta ● pro každé gesto zvlášť ● všechna gesta sdílejí stejné skryté stavy.

HMM – skryté markovské modely ● Pro každé gesto naučíme skrytý markovský model ● každý model měl 4 stavy ● používal „single Gausian observation model“ ● Pro x vybereme model s maximální věrohodností pozorované posloupnosti x.

CRF – podmíněné náhodné pole ● Každá třída gest měla svůj stav y ● CRF predikuje Y pro každý obrázek (frame) ● najdeme nejpradvěpodobnější posloupnost (Viterbi) ● Pro x predikujeme nejčastější tag v nejpravděpodobnější posloupnosti.

HCRF každý zvlášť ● Hidden state conditional random field (HCRF) ● pro každou třídu učíme vlastní HCRF s 6-ti skrytými stavy ● pro x vydáme argmax P(model_gesta). ● Počet skrytých stavů zvolen tak, aby minimalizoval chybu na trénovacích datech.

HCRF multi-class ● Učíme jediný HCRF s 12 skrytými stavy. ● Pro x vydáme nejpravděpodobnější y. ● ω velikost okna ● času t-ω, t+ω ● φ reprezentuje features

Výsledky ● Jaká je úspěšnost ZERO – klasifikátoru? ● Tipněte, proč je CRF-1 horší než CRF-0. ● Uveďte dva důvody, proč může být HCRF-0 multi-class lepší než HCRF-0 one-vs-all. ● Tipněte, proč je HCRF-1 lepší než HCRF-0.

Naučené skryté stavy ● Naučené skryté stavy odpovídají – ale ne úplně – jednotlivým gestům. ● je tam docela dost překryvu (stav 4) ● charakteristické pozice odpovídají různým stavům ● neutrální pozice nejsou příliš rozlišeny.

Tag-ované začátky gest

HCRF - interpretace ● Učíme tři druhy parametrů theta – s, y, e. ● skalární součin můžeme interpretovat jako míru kompatibility mezi pozorovanou posloupností a stavem v čase j při velikosti okna ω ● ● reprezentuje kompatibilitu skrytého stavu a gesta ● měří kompatibilitu mezi dvojicí po sobě jdoucích stavů a gestem.

Učení ● HMM – Baum-Welch, což je varianta EM algoritmu pro HMM, ● CRF – gradientně maximalizujeme log- likelihood (Quasi-Newton optim.) ● HCRF – inference i odhad parametrů lze exaktně, protože graf E je řetězec (chain), takže cílová funkce a její gradient lze vyjádřit jako marginály. apriorn í