Michael J. Swain, Dana H. Ballard UNIVERZA V LJUBLJANI FAKULTETA ZA ELEKTROTEHNIKO Seminarska naloga Strojni vid INDEKSIRANJE BARV COLOR INDEXING Michael J. Swain, Dana H. Ballard Jure Rejc Ljubljana, april 2003

POTEK PREDSTAVITVE UVOD BARVNI PROSTOR HISTOGRAMI HISTOGRAM INTERSECTION REZULTATI (članek) REZULTATI (moji poizkusi) – Algoritem iz članka REZULTATI (moji poizkusi) – Zamenjalna metoda ZAKLJUČEK

UVOD Avtomatizacijski procesi Članek barvni histogrami Ostali Strojni vid algoritmi Kateri objekt? Lokacija? Odkrivanje objektov v slikah Geometrijske značilke + večje število + zanesljivejši + dokaj neobčutljivi na različno osvetljenost - objekt spremeni obliko - objekti enakih ali podobnih oblik Barvne značilke + barve - več informacije + objekt spremeni obliko + objekta ni potrebno odstraniti od ozadja - občutljivi na osvetljenost - v sliki preveč barvno podobnih objektov odkrivanje objekta v sliki (Histogram Intersection) Članek barvni histogrami večbarvnih objektov (modeli) lociranje objekta v sliki (Histogram Backprojection)

BARVNI PROSTOR matematična predstavitev nekega nabora barv RGB (računalniška grafika) - za izpeljavo ostalih YIQ, YUV, YCbCr (video sistemi) CMYK (barvni tiskalniki) HSI ... (H - barvni odtenek, S ... nasičenost, I ... svetlost) HSV ... (H - barvni odtenek, S ... nasičenost, V ... svetlost) HLS ... (H - barvni odtenek, L ... svetlost ,S ... nasičenost) povezava s človekovim zaznavanjem barv Barvni prostor pri poizkusih v članku: rg = R-G (barva) by = 2B-R-G (barva) wb = R+G+B (svetlost) Barvni prostor pri mojih poizkusih: r = R/(R+G+B) r+g+b=1 g = G/(R+G+B) b = 1- r - g b = B/(R+G+B) dve neodvisni

HISTOGRAMI barvni prostor (RGB) diskretizacija nivojev vsota pojavljanja nivoja 1D (sivinski,barvni), 2D, 3D (barvni) ... po oseh komponente barvnega prostora razdelitev na bine oz. barvne koše - združevanje nivojev izguba informacije se ne spreminjajo: translacije in rotacije v sliki se počasi spreminjajo: - sprememba projekcije - sprememba skaliranja - prekrivanje objektov se spreminjajo: sprememba osvetljenosti slike Opis (2D,3D) objekta

število pikslov histograma modela, ki jih lahko najdemo v sliki HISTOGRAM INTERSECTION odkrivanje prisotnosti objekta v sliki potrebno poznati histogram modela objekta metoda robustna glede na: + motnje v ozadju objekta + različne projekcije objekta + prekrivanja + spremembe resolucije - spremembe osvetljenosti lastnosti histogramov I ... histogram slike M ... histogram modela (samo objekt, brez ozadja) enako število binov po oseh Ocena podobnosti med I in M: število pikslov histograma modela, ki jih lahko najdemo v sliki Za pravilno delovanje metode: skaliranje modela ali slike (članek) + hitrost (primerjava samo enkrat) pregled slike z oknom v velikosti slike modela (moji poizkusi) + lokacija objekta

(nekateri zarotirani) modelov (3D histogramov) REZULTATI (članek) 32 “neznanih” objektov (nekateri zarotirani) 66 objektov tvori bazo modelov (3D histogramov) Barvni prostor: - rg (16 binov) - by (16 binov) - wb (8 binov) znižali vpliv spremembe osvetljenosti

Velikost slike 128  90 pikslov REZULTATI (članek) - spreminjali velikost slike (od 128  90 do 8  5) - histogrami modelov iz slik 128  90 - histogrami skalirani (povprečenje) - histogrami modelov iz slik z enako velikostjo kot slika “neznanih ”objektov Legenda: 66 objektov iz baze 32 “neznanih” objektov Velikost slike 128  90 pikslov

REZULTATI (moji poizkusi) - Algoritem iz članka pregledovanje slike (2000  1500) z oknom (500  500) 11 objektov  skoraj enakih oblik  ujemanje v nekaterih barvah slike modelov (500  500)  izenačenje števila pikslov v obeh histogramih - barvna prostora RGB in normiran rgb (2D histogrami – le RG in rg komponenti) - osi razdeljeni na 32 binov število pregledov slike: 7  5 (35 rezultatov) - preizkusil barvna prostora pri različnih osvetljenostih (0%, +25%, +45%)

REZULTATI (moji poizkusi) – Zamenjalna metoda barvni histogram modela: p(v) prelet slike in zamenjava vrednosti piksla s pripadajočo vrednostjo iz histograma p(v) nove vrednosti je potrebno normirati na max. vrednost 255  pravi objekt izstopa R,G rezultati  slabši od pričakovanj - uporabljeno je bilo 256 binov namesto sivinske slike  črno/bela slika – prag pri 200 - težava  neenakomerno osvetljeno ozadje  bliskavica

? Osnovna osvetlitev – originalno črno ozadje - RGB Osnovna osvetlitev – umetno črno ozadje - RGB Osnovna osvetlitev – umetno črno ozadje - rgb

? ? ? ? Osvetlitev +25% – originalno črno ozadje - RGB Osvetlitev +25% – umetno črno ozadje - RGB Osvetlitev +25% – umetno črno ozadje - rgb ? ?

? ? ? ? Osvetlitev +45% – originalno črno ozadje - RGB Osvetlitev +45% – umetno črno ozadje - RGB Osvetlitev +45% – umetno črno ozadje - rgb ? ?

ZAKLJUČEK BARVE  lahko vsebujejo veliko informacij barvno kodiranje robotika: barvno orodje, sledenje po barvah, nevarni objekti obarvani, ... HISTOGRAM INTERSECTION  na nivoju robustnosti deluje dobro dobri rezultati pri slikah z malo piksli  hitra obdelava  ni lokacije moji poizkusi  pravi barvni prostor  različna osvetljenost (danes rešen problem)  informacija o lokaciji  poizkusi na velikih slikah  majhne ? ZAMENJALNA METODA  slabi rezultati večja poglobljenost v metodo (bil sem brez literature) izpolnjeni določeni pogoji (osvetljenost, ozadje) morda dobra metoda?