DIGITÁLNÍ OBRAZ JANA ŠTANCLOVÁ Obrázky (popř. slajdy) převzaty od RNDr. Josef Pelikán, CSc., KSVI MFF UK.

Prezentace na téma: "DIGITÁLNÍ OBRAZ JANA ŠTANCLOVÁ Obrázky (popř. slajdy) převzaty od RNDr. Josef Pelikán, CSc., KSVI MFF UK."— Transkript prezentace:

1 DIGITÁLNÍ OBRAZ JANA ŠTANCLOVÁ jana.stanclova@ruk.cuni.cz Obrázky (popř. slajdy) převzaty od RNDr. Josef Pelikán, CSc., KSVI MFF UK

2 fáze zpracování obrazu reprezentace obrazu digitalizace obrazu –vzorkování –kvantování alias reprezentace obrázku Fourierovou transformací Obsah 2/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

3 PROCES ZPRACOVÁNÍ OBRAZU Proces zpracování obrazu 3/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

4 1.snímání obrazu 2.digitalizace obrazu převod spojitého signálu na matici čísel reprezentující obraz 3.předzpracování obrazu přizpůsobení obrázku lidskému oku 4.segmentace 5.popis nalezených objektů 6.rozpoznávání objektů digitální zpracování obrazu počítačové vidění Proces zpracování obrazu 4/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

5 převod vstupních optických veličin na elektrický signál spojitý v čase i v úrovni vstupní informace: –jas (z TV kamery, scanneru) –intenzita rentgenového záření –ultrazvuk –tepelné záření snímat lze v jednom nebo více spektrálních pásmech –barevné snímání: 3 spektrální složky (např. RGB) 1. Snímání obrazu 5/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

6 převod vstupního spojitého signálu do diskrétního tvaru –matice čísel vstupní analogový signál popsán funkcí f(x,y) dvou proměnných –(x,y)... souřadnice v obraze –funkční hodnota f(x,y)... např. jas/intenzita vyjadřuje vlastnosti obrazu, tak jak odpovídá vnímání člověka vzorkování a kvantování vstupního signálu –výsledkem: matice přirozených čísel popisující obraz –jeden prvek matice = pixel (picture element) –pixel... nedělitelná jednotka 2. Digitalizace obrazu 6/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

7 jiná reprezentace vstupního obrazu v počítači –obraz reprezentován jen koeficienty dvourozměrné Fourierovy transformace –výhoda: Fourierovu transformaci lze provést okamžitě optickými prostředky již ve fázi snímání obrazu 2. Digitalizace obrazu 7/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

8 přizpůsobení obrázku lidskému oku –zvýraznění kontrastu zvětšení rozdílu mezi minimem a maximem v obrázku –odstranění šumu průměrování obrázku s maskou/filtrem –zvýraznění hran hrana = místo, kde dochází k výrazné změně intenzit a není to izolovaný bod problém při ??zvýraznění hran a odstranění šumu?? 3. Předzpracování obrazu - I 8/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

9 invertování degradací –1. modelovat špatné vlivy v obrázku jak se tam dostaly –2. proces invertovat degradace: –jasové degradace rozmazání pohybem (fotografie jedoucího auta) vliv atmosféry –geometrické degradace např. poškozená geometrie snímače.... jiná snímatelnost v horizontálním a vertikálním směru → zkresleno perspektivou 3. Předzpracování obrazu - II 9/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

10 4.segmentace nalezení objektů v obraze... nejtěžší proces 5.popis nalezených objektů kvantitativní popis (soubor čísel) kvalitativní popis (relace mezi objekty) 6.rozpoznávání objektů př. automatická analýza buněčného preparátu pozorovaného mikroskopem cíl: spočítat buňky a roztřídit je podle tvaru buněčných jader na podlouhlé a ostatní předzpracování: odstranění šumu segmentace: buněčná jádra jsou tmavší než zbytek obrazu popis obrazu: popsat jádra buněk a roztřídit je 4. - 6. Počítačové vidění 10/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

11 OBRAZ Obraz 11/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

12 Obraz matematický model obrazu = obrazová funkce –spojitá funkce dvou proměnných z = f (x,y) –definiční obor R = {(x,y), 1 ≤ x ≤ x m, 1 ≤ y ≤ y m } spojitý interval.... ??tvar?? 12/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

13 Obraz matematický model obrazu = obrazová funkce –spojitá funkce dvou proměnných z = f (x,y) –definiční obor R = {(x,y), 1 ≤ x ≤ x m, 1 ≤ y ≤ y m } spojitý interval.... ??tvar?? –obor hodnot z matematického hlediska: libovolný praxe: reálná čísla –jas, intenzita červené barvy, vzdálenost od porozovatele, teplota,.... počítačová grafika: tři hodnoty RGB (HSV, HLS,... ) obor hodnot omezený... proč ?? 13/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

14 matematický model obrazu = obrazová funkce –spojitá funkce dvou proměnných z = f (x,y) –definiční obor R = {(x,y), 1 ≤ x ≤ x m, 1 ≤ y ≤ y m } spojitý interval.... ??tvar?? –obor hodnot z matematického hlediska: libovolný praxe: reálná čísla –jas, intenzita červené barvy, vzdálenost od porozovatele, teplota,.... počítačová grafika: tři hodnoty RGB (HSV, HLS,... ) obor hodnot omezený... dáno technickými vlastnostmi snímacího zařízení (např. typicky 256 stupňů šedi nebo 256 různých barev) Obraz 14/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

15 Obrazová funkce obrazová funkce výsledkem perspektivního zobrazení –realistický model –obraz v „klíčové dírce“ 15/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

16 obrazová funkce výsledkem perspektivního zobrazení –realistický model –obraz v „klíčové dírce“ Obrazová funkce 16/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

17 obrazová funkce výsledkem perspektivního zobrazení –realistický model –obraz v „klíčové dírce“ nevýhoda: –při perspektivním zobrazení se ztratí mnoho informace.... ??kde?? –pozdější rekonstrukce 3D objektů z obrazu není možná Obrazová funkce 17/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

18 DIGITALIZACE OBRAZU 18/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz Digitalizace obrazu

19 po nasnímání: spojitý 2D obraz –typicky: snímací zařízení zdrojem spojitého signálu → spojitá funkce f(x,y) pro zpracování obrazu v počítači potřeba rastrový obraz –matice čísel –číslo matice = jeden pixel obrázku → digitalizace obrazu Digitalizace obrazu 19/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

20 řez z rentgenového tomografu Příklad digitálního obrázku 20/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

21 Digitalizace obrazu 1.vzorkování obrazu –diskretizace v definičním oboru –výsledkem je ?? 21/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

22 Digitalizace obrazu 1.vzorkování obrazu –diskretizace v definičním oboru –výsledkem matice m×n bodů (pro 2D obrazy) jak vypadá vzorkování v jednorozměrném případě? 2.kvantování –co to je?? 22/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

23 1.vzorkování obrazu –diskretizace v definičním oboru –výsledkem matice m×n bodů (pro 2D obrazy) jak vypadá vzorkování v jednorozměrném případě? 2.kvantování –diskretizace v oboru hodnot –spojité jasové úrovně každého pixelu převedeny „jen“ do k úrovní –každý pixel nabývá jen určitého počtu hodnot (např. úrovní šedi) jemnější vzorkování a kvantování → lepší aproximace původní spojitého obrazu Digitalizace obrazu 23/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

24 odebírání hodnot (vzorků) ve stejných intervalech 2 problémy: –uspořádání vzorkovacích bodů do rastru –vzdálenost mezi vzorky Shannonova věta o vzorkování Vzorkování 24/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

25 vzorky v pravidelné mřížce –čtvercová snadná realizace odpovídá reprezentaci obrazu pomocí matice čísel –hexagonální pravidelnost vzhledem k 6 okolním bodům každého bodu a jejich stejná vzdálenost Uspořádání vzorkovacích bodů 25/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

26 interval vzorkování = vzdálenost mezi nejbližšími vzorkovacími body v obrazu... tzv. vzorkovací (Nyquistova) frekvence –vzdálenost vzorků určuje Shannonova věta o vzorkování vzorkovací frekvence musí být alespoň dvakrát vyšší než nejvyšší frekvence ve vzorkovacím signálu co to říká?? Vzdálenost mezi vzorky 26/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

27 interval vzorkování = vzdálenost mezi nejbližšími vzorkovacími body v obrazu... tzv. vzorkovací (Nyquistova) frekvence –vzdálenost vzorků určuje Shannonova věta o vzorkování vzorkovací frekvence musí být alespoň dvakrát vyšší než nejvyšší frekvence ve vzorkovacím signálu interval vzorkování: menší nebo roven polovině rozměru nejmenších detailů v obraze –interval vzorkování = vzorkovací frekvence –nejvyšší frekvence ve vzorkovacím signálu = nejmenší detail v obrázku –vzdálenost vzorků ∆x → vzorkovací frekvence f s = 1 / ∆x Vzdálenost mezi vzorky 27/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

28 vzorkovaný bod = pixel v digitalizovaném obrazu –po uspořádání do vzorkovací mřížky vzorky pokrývají celý obraz –př. jednorozměrný obrázek Po navzorkování 28/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

29 Typy vzorkování bodové vzorkování –dané oblasti přiřazeno jediné číslo typicky: hodnota středového pixelu plošné vzorkování –méně časté –celé oblasti přiřazena jediná hodnota na základě výpočtu typicky: průměr všech bodů oblasti → vzorkování spojité funkce → ?? 29/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

30 Typy vzorkování bodové vzorkování –dané oblasti přiřazeno jediné číslo typicky: hodnota středového pixelu plošné vzorkování –méně časté –celé oblasti přiřazena jediná hodnota na základě výpočtu typicky: průměr všech bodů oblasti → vzorkování spojité funkce → zprůměrování všech bodů plochy vyžaduje integraci přes plochu (obtížné) praxe: 30/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

31 bodové vzorkování –dané oblasti přiřazeno jediné číslo typicky: hodnota středového pixelu plošné vzorkování –méně časté –celé oblasti přiřazena jediná hodnota na základě výpočtu typicky: průměr všech bodů oblasti → vzorkování spojité funkce → zprůměrování všech bodů plochy vyžaduje integraci přes plochu (obtížné) praxe: aproximace plošného vzorkování několika body uvnitř oblasti → výsledná hodnota vzorku = vážený průměr vzorků → SUPERSAMPLING (vzorkování s vyšší frekvencí) –vzorky uvnitř oblasti umístěny rovnoměrně (regular sampling) nebo náhodně (stochastic sampling) Typy vzorkování 31/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

32 uložení digitální nahrávky na kompaktním disku –spojitý zvukový signál → zaznamenávání okamžité hodnoty signálu v časových intervalech (tj. s určitou frekvencí) –uložení hodnoty signálu na disk –vyšší vzorkovací frekvence → přesnější reprezentace skladby na disku filmový pás –spojitý pohyb herců → posloupnost filmových políček (diskrétních obrazů) Příklady vzorkování - I 32/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

33 128 × 128Originál 256 × 256 Příklady vzorkování - II 33/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

34 64 × 64Originál 256 × 256 Příklady vzorkování - III 34/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

35 32 ×32Originál (256 × 256 ) Příklady vzorkování - IV 35/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

36 Kvantování diskretizace oboru hodnot obrazové funkce –rozdělení obor hodnot na intervaly –přiřazení jediné „zástupné“ hodnoty každému intervalu → zobrazení = kvantizér (není prosté) 36/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

37 diskretizace oboru hodnot obrazové funkce –rozdělení obor hodnot na intervaly –přiřazení jediné „zástupné“ hodnoty každému intervalu → zobrazení = kvantizér (není prosté) t 1 t 2 t 3 t 4 kvantovací prahy Kvantování 37/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

38 kvantizace obrázku → zpětný krok není možný –kvantizér není prostá funkce při kvantizaci lze ovlivnit –počet kvantovacích hladin –poloha kvantovacích prahů typicky –citlivost zařízení → první a poslední kvantizační práh –ostatní prahy → rozloženy rovnoměrně nebo logaritmicky mezi mezními prahy prahy logaritmicky natlačeny k jedné straně –nějaká informace o obrázku → kvantizační prahy přizpůsobeny Kvantování 38/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

39 počet kvantovacích hladin –přesné vyjádření jemných detailů obrázku –zamezení tzv. falešných obrysů –citlivost zařízení se má blížit citlivosti oka typicky: kvantování do k stejných intervalů –reprezentace pixelu pomocí b bitů → počet úrovní jasu je k = ?? Počet kvantovacích hladin 39/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

40 počet kvantovacích hladin –přesné vyjádření jemných detailů obrázku –zamezení tzv. falešných obrysů –citlivost zařízení se má blížit citlivosti oka typicky: kvantování do k stejných intervalů –reprezentace pixelu pomocí b bitů → počet úrovní jasu je k = 2 b –obvykle je b = 8 bitů (občas 6 nebo 4b; vyjímečně 10b) Počet kvantovacích hladin 40/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

41 kvantizační chyba –náhlý skok barev na plochách s malou změnou gradientu kvantizace: původní hladký barevný přechod nahrazen skokovou změnou → ?? důvod: nedostatečný počet jasových úrovní Chyba kvantování 41/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

42 kvantizační chyba –náhlý skok barev na plochách s malou změnou gradientu kvantizace: původní hladký barevný přechod nahrazen skokovou změnou → vznik hran, které v obraze nebyly důvod: nedostatečný počet jasových úrovní Chyba kvantování 42/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

43 chyba kvantování patrná pro člověka –pokud počet úrovní < 50 člověk schopen rozeznat 50 úrovní šedi v šedotónovém obrázku → řešení: neuniformní kvantování různě velké intervaly zvětšení rozsahu intervalů, které nejsou příliš zastoupeny v obraze (nebo se očekává, že nebudou příliš zastoupeny) Chyba kvantování 43/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

44 zdravé oko –rozlišení 0,1mm ze vzdálenosti 25cm –rozlišení úrovní šedi 50 úrovní šedi 100 úrovní šedi, když je lze položit vedle sebe a porovnávat p ř íklad –obrázek 512×512 s 128 úrovněmi šedi –vytišt ě n na papír 5×5cm –díváme se na něj ze vzdálenosti 25cm → obrázek se bude jevit spojitý → digitalizované obrázky netrpí kvantizací pro pohled lidského oka Digitální obrázek a lidské oko 44/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

45 omezená paměť na uložení digitalizovaného obrázku –obrázky s velkými plochami → důležitý počet kvantizačních hladin → kvantování –obrázky s hodně detaily → důležitý počet kroků vzorkování (prostorovost) → vzorkování příklad –16kB paměti Digitalizace a omezená paměť počet kroků128150 počet kvant. úrovní?? 45/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

46 omezená paměť na uložení digitalizovaného obrázku –obrázky s velkými plochami → důležitý počet kvantizačních hladin → kvantování –obrázky s hodně detaily → důležitý počet kroků vzorkování (prostorovost) → vzorkování příklad –16kB paměti... 2 14 B počet kroků128150 počet kvant. úrovní256~ 64 na 1 pixel 1Bna 1 pixel 6b Digitalizace a omezená paměť 46/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

47 Originál (256 úrovní)64 jasových úrovní Příklady kvantování - I 47/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

48 Originál (256 úrovní)16 jasových úrovní Příklady kvantování - II 48/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

49 Originál (256 úrovní)4 jasové úrovně Příklady kvantování - III 49/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

50 Originál (256 úrovní)2 jasové úrovně Příklady kvantování - IV 50/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

51 ALIAS Alias 51/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

52 alias –vznik při podvzorkování spojité funkce pod Nyquistův limit → nová, nízkofrekvenční frekvence, která nebyla v původním signálu –alias v životě? Alias 52/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

53 počítačová animace –běžící postavička se pohybuje a přitom nehýbe nohama, popř. s nimi pohybuje v opačném směru,... –snímání hodin a) hodiny snímány správně... žádný alias b) vliv aliasu → ručička přeskakuje mezi celou a půl c) vliv aliasu → ručička stojí d) vliv aliasu → ručička jde na opačnou stranu Alias v běžném životě - I 53/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

54 továrna... rotační stroje a zářivky –zářivky nesvítí spojitě, ale vrhají krátké záblesky → svým světlem „vzorkují“ okolí –zářivka svítí na rychle se otáčející objekt → objekt se otáčí pomalu, vůbec nebo na opačnou stranu televizní obrazovka snímaná kamerou –kamera snímá obraz v diskrétních časových intervalech –obrazovka promítá po půlsnímcích → interference frekvencí → alias alias = tmavé pruhy pohybující se různou rychlostí nahoru nebo blikání vrtule letadel na obrazovce –snímky získané kamerou = diskrétní vzorky Alias v běžném životě - II 54/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

55 REPREZENTACE OBRÁZKU POMOCÍ FOURIEROVY TRANSFORMACE Fourierova transformace 55/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

56 2 nejčastější reprezentace obrazu –diskrétní matice pixelů.... tzv. prostorová oblast –Fourierův obraz.... tzv. frekvenční oblast Fourierův obraz –složení obecně nekonečně mnoha sinusových signálů s různou amplitudou a různým fázovým posunem amplituda.... „výška sinusovky“ fáze... „posun sinusovky“ vůči počátku obraz Fourierův obraz inverzní (zpětná) Fourierova transformace (dopředná) Fourierova transformace Fourierův obraz 56/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

57 analogie –zvuk = signál složený z „hloubek“ a „výšek“ „hloubky“.... signály nízké frekvence „výšky “.... signály vysoké frekvence –„silnější hloubky“ → větší amplituda nízkých frekvencí –„silnější výšky“ → větší amplituda vysokých frekvencí šum –typicky nežádoucí –vysoké frekvence v obrázku Fourierův obraz 57/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

58 Fourierova transformace Fourierova transformace pro digitální obrazy –funkce komplexní proměnné –periodická funkce v proměnné u i v s periodou 2π –Fourierova transformace pro obrázky vždy existuje digitální obrazy omezené s konečným počtem bodů nespojitosti inverzní Fourierova transformace 58/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

59 Fourierova transformace = funkce komplexní proměnné amplitudové spektrum –„amplitudy (výšky) jednotlivých sinusovek“ fázové spektrum –„posuny jednotlivých sinusovek“ Spektra Fourierovy transformace 59/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

60 příklad (jednorozměrná funkce): amplitudové spektrum Fourierova transformace inverzní Fourierova transformace Fourierova transformace 60/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

61 příklad (jednorozměrná funkce): amplitudové spektrum Fourierova transformace inverzní Fourierova transformace Fourierova transformace 61/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz

62 příklad: obrázek |F(u,v)|log(1+|F(u,v)|) Fourierova transformace 62/62 Jana Štanclová, jana.stanclova@ruk.cuni.cz