Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Klasifikace a rozpoznávání Úvod do problematiky. CareTaker project Dohledové kamery Trajektorie osob –Klasifikace (HMM) –Rozpoznání „nestandardních“ Rozpoznání.

Podobné prezentace


Prezentace na téma: "Klasifikace a rozpoznávání Úvod do problematiky. CareTaker project Dohledové kamery Trajektorie osob –Klasifikace (HMM) –Rozpoznání „nestandardních“ Rozpoznání."— Transkript prezentace:

1 Klasifikace a rozpoznávání Úvod do problematiky

2 CareTaker project Dohledové kamery Trajektorie osob –Klasifikace (HMM) –Rozpoznání „nestandardních“ Rozpoznání „podivných“ objektů (kolo v metru) 2

3 FIT Participation in TRECVID 2007 High-level feature extraction Úkol: Pro daný shot videa určit, zda vykazuje daný rys Systém se učí z dat, která jsou kolektivně anotována pomocí webové aplikace (klíčové snímky) Pak posoudí sekvence (jejich klíčové snímky), které nikdy neviděl Data: databáze odvysílaných naučných pořadů BBC (stovky hodin, tj. stovky GB) Kategorie (high-level features) jsou na dalším slajdu, některé fakt „nedetekovatelné“

4 High Level Feature Extraction 1.Sports: Shots depicting any sport in action 2.Entertainment: DROPPED 3.Weather: Shots depicting any weather related news or bulletin 4.Court: Shots of the interior of a court-room location 5.Office: Shots of the interior of an office setting 6.Meeting: Shots of a Meeting taking place indoors 7.Studio: Shots of the studio setting including anchors, interviews and all events that happen in a news room 8.Outdoor: Shots of Outdoor locations 9.Building: Shots of an exterior of a building 10.Desert: Shots with the desert in the background 11.Vegetation: Shots depicting natural or artificial greenery, vegetation woods, etc. 12.Mountain: Shots depicting a mountain or mountain range with the slopes visible 13.Road: Shots depicting a road 14.Sky: Shots depicting sky 15.Snow: Shots depicting snow 16.Urban: Shots depicting an urban or suburban setting 17.Waterscape_Waterfront: Shots depicting a waterscape or waterfront 18.Crowd: Shots depicting a crowd 19.Face: Shots depicting a face 20.Person: Shots depicting a person (the face may or may not be visible) 21.Government-Leader: DROPPED 22.Corporate-Leader: DROPPED 23.Police_Security: Shots depicting law enforcement or private security agency personnel 24.Military: Shots depicting the military personnel 25.Prisoner: Shots depicting a captive person, e.g., imprisoned, behind bars, in jail or in handcuffs, etc. 26.Animal: Shots depicting an animal, not counting a human as an animal 27.Computer_TV-screen:Shots depicting a television or computer screen 28.Flag-US: Shots depicting a US flag 29.Airplane: Shots of an airplane 30.Car: Shots of a car 31.Bus: Shots of a bus 32.Truck: Shots of a truck 33.Boat_Ship: Shots of a boat or ship 34.Walking_Running: Shots depicting a person walking or running 35.People-Marching: Shots depicting many people marching as in a parade or a protest 36.Explosion_Fire: Shots of an explosion or a fire 37.Natural-Disaster: Shots depicting the happening or aftermath of a natural disaster such as earthquake, flood, hurricane, tornado, tsunami 38.Maps: Shots depicting regional territory graphically as a geographical or political map 39.Charts: Shots depicting any graphics that is artificially generated such as bar graphs, line charts, etc. (maps should not be included)

5 Detekce obličeje a výrazu detekce obličeje –skenování obrazu AdaBoost klasifikátorem (klasifikace výřezů na obsahuje obličej/neobsahuje obličej) –Parametrizace výřezu pomocí Haarových vlnek, o kterých bude řeč určitě v 12 Rozpoznávání výrazů –pomocí podobných kasfikátorů, jako pro detekci 4 výrazy = 4 binár klasifikátory, každý rozhoduje mezi jedním výrazem a ostatními. Odezvy klasifikátorů jsou spojeny. Detekce obličeje – druhé demo –ukázka aplikace v dohledových systémech –- na detekci by navazovalo například rozpoznávání osob podle obličeje (hledání vrahů, teroristů, a opozičních živlů)

6 Zpracovaní Řeči Web-based LID Web-based Lecture Browser

7 Jak takový klasifikátor pracuje?

8

9 Snímání Co se dá o rozpoznávaných předmětech zjistit? –obraz, tlak, teplota, hmotnost, zvuk, pach ? –jak tyto veličiny prakticky získat, jde to vůbec a kolik to bude stát ? –jaké vlastnosti bude mít snímač a převod veličina  číslo ? šum linearita kalibrace stárnutí atd.

10 Segmentace a seskupování Rozpoznávané vzorky by mely byt izolované a neměly by s překrývat…ale to často neplatí:

11 Segmentace a seskupování Příklady: –Při rozpoznávání řeči se signál rozdělí do krátkých úseků fixní délky, které jsou nejprve zpracovávaný samostatně a teprve později začne klasifikátor uvažovat tyto segmenty v kontextu segmentů okolních –V předchozí demonstraci jsme viděli, že se v obraze nejprve detekuje obličej pomocí spousty jednoduchých klasifikátorů soustředících se na různé oblasti v obraze. Na detekovaný obličej byla poté aplikována detekce výrazu v obličeji

12 Extrakce příznaků Příznaky musí umožnit rozlišovat mezi třídami  musí být diskriminativní. Jedná se o předzpracování vstupu do následujícího klasifikátoru –Redukce dimenzí –Invariance vůči: translace (mÍsto v obrázku, čas v řeči) rotace scale (velikost v obrázku, volume v řeči) occlusion (zakrytí objektu vs. Maskování šumem) projective distorition (úhel pohledu, optika) rate (rychlost v řeči - intra- a inter-speaker variabilita) deformace atd. –Dekorelace…ale o tom ještě bude řeč v samostatné přednášce o příznacích.

13 Extrakce příznaků Bude průměr jablka / granátu dobrým příznakem?  Průměr [mm]  Četnost  Podíl červené barvy [%]

14 Extrakce příznaků Granáty Jablka  Četnost [mm]  Podíl červené barvy [%] Nic moc, ale alespoň trochu lepší Intuitivně už bychom mohli začít rozpoznávat, nastavením prahu tak aby bylo co nejvíce vzorů, které jsme zatím viděli rozpoznáno správně

15 Extrakce příznaků  Četnost  Váha [dkg] Granáty Jablka Když se tak díváme na histogramy příznaků, asi nás budou pro rozpoznávání zajímat jejich pravděpodobnostní rozložení …ale to už zase předbíháme.

16 Vícerozměrné příznaky Co když se podíváme na váhu a podíl červené barvy současně. Pro rozpoznávání to tady vypadá už docela nadějně. Tak hurá na to.  Váha [dkg]  Podíl červené barvy [%] U jablek je váha korelovaná s červeností Granáty Jablka

17

18 Klasifikace O co nám jde je najít vhodnou rozhodovací linii (decision boundary) přece oddělit vzorky jedné třídy od druhé. …to se nám to krásně povedlo…ale možná to nebude to pravé

19 Generalizace V našem přikladu byly data náhodně vygenerovány z gaussovského rozložení. Pokud si takových dat „nasbíráme“ víc, už s našim výsledkem nebudeme tak spokojeni. Systém negeneralizuje na nová data.

20 Lineární klasifikátor Bohužel, rozpoznávání z takto vybraných příznaku nebude nikdy bez chyb, protože jejich rozložení se překrývají. Budeme tuto chybu chtít alespoň minimalizovat Omezeni schopnosti detailně modelovat rozhodovací línii vedlo ke zlepšení generalizace. Oddělení tříd prostou přímkou nebo obecně hyper- rovinou teď vypadá o mnoho přijatelněji. O tom jak takovou rovinu určit bude samostatná přednáška.

21 Lineární klasifikátor V příští přednášce si ukážeme, že pro tento případ, kdy mají jednotlivé třídy gaussovské rozložení, dosáhneme nejlepší úspěšnosti při oddělení tříd kvadratickou křivkou.

22 Bude klasifikován jako granát Klasifikátor založený na K-nejbližších sousedech “Neparametricky klasifikátor”  nemá žádné parametry, které by bylo potřeba trénovat či odhadovat. Klasifikátor si pamatuje všechna “trénovací data“. K nově klasifikovanému vzoru najde K nejbližších vzorů z trénovacích dat a vybere tu třídu, která je ve vybraných vzorech nejčastěji zastoupena.  Červenost  Váha Granáty Jablka Můžu ale vůbec rovnávat váhu s červeností? Prvně bude potřeba obě veličiny normalizovat – převézt do srovnatelného dinamického rozsahu

23 1-nejbližší soused Opět problém z generalizací – podobná klikatá rozhodovací hranice.

24 3-nejbližší sousedé O něco lepší výsledek. Zvýšení „počtu sousedů“ vede k vyhlazení rozhodovací hranice, přestože jsme model nijak nezjednodušili. Zde by se dalo mluvit o obdobě regularizace (viz další přednášky)

25 9-nejbližších sousedů Rozhodovací linie už je dosti podobná optimální kvadratické křivce

26 9-nejbližších sousedů měkké rozhodnutí Místo tvrdého rozhodnutí můžeme použít poměr mezi počtem sousedů z různých tříd jako „měkké“ měřítko důvěry (confidence), že vzor patří do té či oné třídy (pro K=9 máme pouze 10 úrovní).

27 31-nejbližších sousedů měkké rozhodnutí

28

29 Post-processing Závislé na konkrétním úkolu. Využití dalších kontextových informací jiných než je samotný vzor Pokud je výstupem klasifikátoru měkké rozhodnutí, post- processing se může přiklonit jedné variantě než té s nejlepším skóre: –např. integrace apriorní pravděpodobnosti (viz další přednáška) –Můžeme brát v úvahu ceny jednotlivých rozhodnutí. Co nás bolí víc? Poslat jablko pyrotechnikovi nebo granát do marmeládovny. –Rozhodnutí pro konkrétní třídu pokud její skóre překročí jistý práh  Detekční úloha

30 Identifikace vs. detekce Identifikace  vyber jednu z N možných tříd V příchozích vzorech detekuj ty, které paří do třídy, kterou hledáme. –Vzory, které detekovat nechceme nemusí patřit do omezeného tříd (např. v telefonních hovorech hledáme hlas konkrétního mluvčího mezi hlasy všech možný mluvčích) –Detekci proveď na základě měkkého rozhodnuti – skóre – a nastaveného prahu. –Detekční práh je možné měnit podle požadované aplikace: Práh nastavený nízko  Hodně detekcí ale také hodně planých poplachů Práh nastavený vysoko  opačný problém

31 Detection tradeoff (DET) křivka

32 The Design Cycle Data collection Feature Choice Model Choice Training Evaluation Computational Complexity

33

34 Data Collection –How do we know when we have collected an adequately large and representative set of examples for training and testing the system? Feature Choice –Depends on the characteristics of the problem domain. Simple to extract, invariant to irrelevant transformation insensitive to noise. Model Choice –Unsatisfied with the performance of our fish classifier and want to jump to another class of model Training –Use data to determine the classifier. Many different procedures for training classifiers and choosing models Evaluation –Measure the error rate (or performance and switch from one set of features to another one The Design Cycle

35 Learning and Adaptation Supervised learning A teacher provides a category label or cost for each pattern in the training set Unsupervised learning The system forms clusters or “natural groupings” of the input patterns Reinforcement learning A teacher only say whether the classifier is correct or not on a training data.

36 k_nearest_neighbours in Matlab function [output_class score]=k_nearest_neighbours(test_data, class1_examples, class2_examples, k) euclidean_distances=dist([class1_examples class2_examples], test_data); [v i]=sort(euclidean_distances); score = sum(i(1:k,:) > size(class1_examples,1)) / k; output_class = score > 0.5;


Stáhnout ppt "Klasifikace a rozpoznávání Úvod do problematiky. CareTaker project Dohledové kamery Trajektorie osob –Klasifikace (HMM) –Rozpoznání „nestandardních“ Rozpoznání."

Podobné prezentace


Reklamy Google