Izbira barvnega prostora pri sistemih strojnega vida Seminarska naloga pri podiplomskem študiju mentor : prof. dr. Stane Kovačič Andrej Zupančič 28. April 2003

Zakaj kamera vidi drugače Kateri prostor izbrati Vsebina 1 Kako vidimo barve 2 Zakaj kamera vidi drugače 3 Barvni prostori 4 Kateri prostor izbrati 1-5 Vprašanja

“Vsake oči imajo svojega malarja!”

Dve modri barvi, ki ju zaznamo skoraj enako: Kaj je barva Barva : ni fizična lastnost svetlobe ampak rezultat človeškega zaznavanja preko celotnega valovnega spektra vidne svetlobe Barve ne smemo povezovati z določeno valovno dolžino ampak je odvisna od porazdelitve moči posameznih valovnih dolžin dve porazdelitvi svetlobe lahko zaznamo kot isto barvo Dve modri barvi, ki ju zaznamo skoraj enako: Svetloba DELab D65 0,18 A 5,56

Kako vidimo ljudje Imamo receptorje za 3 osnovne barve (RGB) barve v možganih vidimo kot tri komponente (trikromatski vid) rdeče-zeleno rumeno-modro sivinsko barvna slepota je izguba ene ali obeh barvnih komponent živali lahko vidijo dvokromatsko, trikromatsko, štirikromatsko

Zakaj digitalne kamere vidijo drugače I Drugačna občutljivost za določene valovne dolžine

Zakaj digitalne kamere vidijo drugače II Neidealno zajemanje barvnih komponent Karakteristika “standardnega opazovalca” Idealna spektralna karakteristika digitalnih kamer rdeča oranžna

Zakaj digitalne kamere vidijo drugače III Naši možgani se avtomatsko prilagajajo barvi osvetlitve D65: dnevna svetloba A: žarnica (s žarilno nitko) F11: neonska luč

Ljudje imamo sposobnosti iluzije I V kakšnem odnosu so si modre barve na levi in desni? Desna polovica na levi sliki je enaka levi polovici na desni sliki!

Ljudje imamo sposobnosti iluzije II V kakšnem odnosu sta si polje A in B? Sivina v obeh poljih je popolnoma enaka!

Ljudje imamo sposobnosti iluzije III Moj primer: mi vidimo črno barvo, natisnjeno na rumeni podlagi v resnici je to temno sivo-rjava barva odtenek (hue) te barve je zelo soroden rumenemu ozadju, zato upoštevanje samo odtenka pri segmentaciji ne da pravega rezultata

Glavni barvni prostori RGB in normiran rgb HSI, HSV, HLS CIELab in CIELuv SEGMENTACIJA na osnovi … SKUPAJ Prostor pikslov področij robljenja lastnosti površine štev. % RGB 5 8 6 3 22 29,33% rgb 1 10 13,33% HSI 4 2 11 14,67% HSV 1,33% HLS 2,67% CIELab CIELuv 5,33% I1I2I3 Drugo Vir: W. SKARBEK in A. KOSCHAN, Colour Image Segmentation – A Survey)

Barvni prostor RGB 3 komponente: R, G, B zasloni s katodno cevjo enaki receptorji v očesu C B M W Y R G O Oglišča kocke predstavljajo osnovne barve, in sicer: 0 = črna B = modra M = škrlatna barva (ang. magenta) R = rdeča G = zelena C = cianova barva (ang. cyan) W = bela Y = rumena

Normirani barvni prostor rgb ker je normiran lahko uporabimo le 2 komponenti lažji barvni histogrami nevarnost izgube 1 dimenzije (svetlosti) RGB rgb C1 20 15 62 0,21 0,15 0,64 C2 40 30 124 C3 80 60 248

Barvni prostor RGB - tabela RGB barvni prostor Prednosti Slabosti dobimo direktno iz kamere pretvorba ni potrebna hitre operacije široka uporaba v trenutnih sistemih dobri rezultati, kadar so objekti dobro ločeni od okolice za merjenje razlik med barvami ga lahko pretvorimo v R'G'B', vendar s tem izgubimo na hitrosti pogosto potrebujemo dodatne informacije zaznavna neuniformnost potrebno veliko računskih operacij za spremembo svetlosti ali odtenka veliko število podatkov (24 bitov) normirani rgb odstranjena informacija o intenziteti zelo različne barve se lahko preslikajo v podobne točke nestabilnost pri barvah, kjer je seštevek R+G+B blizu 0 pri transformaciji se izgubijo sence in spremembe intenzitete

Prostori HSI, HSV, HLS Posnemajo človekovo zaznavanje H (ang. Hue): barvni odtenek nam pove, katera je njena zaznana barva S (ang. Saturation): nasičenost nam pove, kako prosojna oziroma nasičena je barva. Nenasičena barva = bleda barva, nasičena = živa barva (V = Value, I = Intensity, L = Lightness) je komponenta svetlosti in prostori se ločijo po tem, kako je definirana. Pri vseh definicijah pa velja, da ima svetlejša barva tudi večjo vrednost komponente. Prostori se ločijo tudi po obliki : HSV enojna, ostala dva dvojna 6-kotna piramida

Prostori HSI, HSV, HLS - tabela Barvni prostori HSI, HSV, HLS Prednosti Slabosti po pretvorbi imamo manj računanja zelo interaktiven hitra sprememba barve ali svetlosti razširjenost v sistemih strojnega vida manjše število podatkov (ponavadi samo 16 bitov) obstajajo korekcijski mehanizmi za računanje razdalj med barvami, vendar s tem izgubimo na hitrosti potrebna pretvorba zaznavna neuniformnost slabost pri desaturiranih barvah (blizu bele ali črne) singularnost odtenka na točki 0/255

Prostora CIELab in CIELab Predlagana s strani organizacije CIE CIE je kratica za mednarodno komisijo za osvetlitev (fr. Commission Internationale de l'Eclairage) komponenta svetlosti (L) in dve kromatični komponenti: rdeče-zelena in rumeno-modra zaznavno uniformna prostora Lab -> za merjenje odbite barve Luv -> za merjenje oddane barve (vir svetlobe) Povzemajo standardnega opazovalca

Prostora CIELab in CIELab - tabela Barvna prostora CIELab in CIELuv Prednosti Slabosti zaznavno uniformen zelo blizu človekovega zaznavanja uporaba povsod, kjer je potrebno določiti razmerje oziroma odstopanje barve CIELab: v tekstilni industriji skoraj brez izjeme CIELuv: v industriji virov svetlobe (LED, luči, zasloni) zelo uporaben pri klasifikaciji slik in vzorcev[4] zelo uporaben v sistemih tiskanja (Adobe PhotoShop) kompleksna pretvorba časovno potraten

Zaznavna uniformnost sprememba v prostoru (oz. razlika med dvema barvama) je sorazmerna z nam zaznano razliko edino CIELab in CIELuv sta zaznavno uniformna Prostor Temno rdeča - temno zelena Temno rdeča – rdeča RGB 50,52 58,47 R'G'B' 0,20 0,23 HSI 0,021 0,066 CIELab 43,89 23,20

Primer strojnega vida - HSI Slika A: Naloga je poiskati srednjo modro žogo s pomočjo komponent HSI prostora Slika B: Za segmentacijo uporabimo le informacijo, ki jo dobimo iz odtenka: iskane krogle ne moremo določiti, saj sistem razpozna še tri lažne rezulate, Slika C: Uporabimo dodatno še intenziteto: rezultat je malo boljši, vendar še vedno ne moremo z gotovostjo določiti iskane krogle, Slika D: Uporabimo vse tri komponente: šele sedaj lahko izločimo iskano kroglo.

Moj problem Ugotoviti ali tipkovnica pravilno sestavljena Problemi: različne barve tipk različne barve tiska netočna pozicija tiska

Koncept rešitve LVQ nevronska mreža LVQ = Learning Vector Quantization Vhod : komponente piksla v CIELab prostoru potem izračunam razliko do 4 referenčnih barv na podlagi teh razlik razvrstim v enega od 5 razredov

Izbira barvnega prostora I Izbiral med RGB, HSV, I1I2I3, XYZ, CIELab Izbiral glede na histograme razlik do referenčnih barv Najbolje se izkaže CIELab, saj pri konceptu razdalj do referenčnih barv zelo pomembna zaznavna uniformnost Kasneje sem to preveril tudi z simulacijo z nevronsko mrežo CIELab

Izbira barvnega prostora II

Rezultati Glede na mojo testno sliko sem dobil zelo dobre rezultate segmentacije na osnovi barv VHOD IZHOD

Kateri barvni prostor torej izbrati? RGB ni pretvorbe dobro dela če so objekti dobro ločeni rgb 2D paziti na barve, ki so enake po svetlosti HSI problem pri skoraj črni in skoraj beli nesingularnost odtenka CIELab povsod, kjer merimo barve in razlike med njimi (tekstilstvo, laki) CIELuv povsod, kjer merimo barvo svetlobnih virov (LCD, LED zasloni,…)

Vasilij Kandinsky Ko zagledam barve, zaslišim glasbo. Kandinski : Composition IV Ko zagledam barve, zaslišim glasbo. Vasilij Kandinsky