Zpracování digitálního obrazu Konvoluce, dekonvoluce, Wienerův filtr, Fourierova řada a Fourierova transformace funkce, derivace obrazu – detekce a zvýraznění.

Prezentace na téma: "Zpracování digitálního obrazu Konvoluce, dekonvoluce, Wienerův filtr, Fourierova řada a Fourierova transformace funkce, derivace obrazu – detekce a zvýraznění."— Transkript prezentace:

1 Zpracování digitálního obrazu Konvoluce, dekonvoluce, Wienerův filtr, Fourierova řada a Fourierova transformace funkce, derivace obrazu – detekce a zvýraznění hran, k-prostor. Mgr. David Zoul 2013

2 Zpracování digitálního obrazu
Zpracování obrazu nepřidá žádnou informaci, která v původním obraze nebyla přítomna – pouze může zvýraznit již obsaženou informaci. Možnost dodatečné úpravy obrazu je největší výhodou oproti analogovému obrazu, jako je třeba rentgenologický film.

3 Konvoluce Pohybujeme se v prostoru L(A) pro danou A omezenou.
Nechť f a g jsou funkce z L(A). Definujeme funkce z následujícím způsobem. Funkce f představuje původní obrazovou informaci, funkce z zpracovanou (konvolvovanou) obrazovou informaci a funkce g je tzv. jádro konvoluce. Funkci z říkáme konvoluce funkce f a g. Funkce z bude také patřit k L(A)

4 Konvoluce Konvoluce dvou signálů: obdélníkového pulsu a impulsní charakteristiky RC článku. Výsledek je stejný jako odezva RC článku na stejný puls.

5 Některé vlastnosti Konvoluce je komutativní Konvoluce je asociativiní
Konvoluce je distributivní Je asociativní se skalárním součinem Tedy je bilineárním zobrazením z L x L  L Diracova funkce:

6 Konvoluce Konvoluce je velmi často používaná operace nejen ve zpracování obrazu ale i ve fyzice, dozimetrii, spektrometrii, teorii pravděpodobnosti. V aplikacích budeme samozřejmě používat její diskrétní verzi. Při zpracování obrazu bude navíc dvourozměrná:

7 Proces konvoluce V praxi se pracuje se čtvercovými maticemi obrazových bodů (pixelů). Přitom hodnoty několika bodů matice původního obrazu ovlivňují hodntotu jediného (prostředního) bodu ve výsledném obrazu – konvoluce. Výsledný obraz se získá zobrazením příslušné čtvercové matice s vybraným prostředním bodem, přes tzv. filtr, čili masku, tvořící jádro konvoluce.

8 Proces konvoluce V případě diskrétní konvoluce lze jádro chápat jako tabulku (konvoluční maska), kterou položíme na příslušné místo obrazu. Každý pixel překrytý tabulkou vynásobíme koeficientem v příslušné buňce a provedeme součet všech těchto hodnot. Tím dostaneme jeden nový pixel.

9 Vyhlazení originál 3x3 průměr
Jedná se o konvoluci s jádrem tvořeným filtrem s tzv. dolní propustností (low pass filter). Všechna čísla v masce stejná a kladná – dochází ke zprůměrování okolních hodnot a tedy redukci šumu, kontrastu, ostrosti i rozlišení originál 3x3 průměr

10 Convolution Examples: Original Images
Nový pixel, který vypočteme po aplikaci na jedno místo v původním obraze, tedy bude průměrem z devíti okolních pixelů. Neudělali jsme totiž nic jiného, než že jsme sečetli hodnoty 9 pixelů a vydělili 9. Pokud aplikujeme konvoluci na celý obraz, pak dostaneme rozostřený obraz. Pokud použijeme větší konvoluční masku 5×5 s koeficienty 1/25, pak bude obraz rozostřen více.

11 Convolution Examples: 33 Blur

12 Convolution Examples: 55 Blur

13 Convolution Examples: 99 Blur

14 Convolution Examples: 1717 Blur

15 Derivace obrazu Koeficienty uvnitř konvoluční masky udávají vliv hodnoty pixelu pod nimi. Lze tak nadefinovat velké množství operací, např. derivaci obrazu (u diskrétního obrazu mluvíme o tzv. odhadu derivace), neboli zvýraznění hran. Pokud hranu definujeme jako velkou změnu jasové funkce, bude v místě hrany velká hodnota derivace jasové funkce. Maximální hodnota derivace bude ve směru kolmo na hranu. Kvůli jednoduššímu výpočtu se ale hrany detekují jen ve dvou, resp. ve čtyř směrech. Velká skupina metod na detekci hran aproximuje tuto derivaci pomocí konvoluce s vhodným jádrem. Nejjednodušší taková jsou (-1, 0, 1) a (-1, 0, 1)T.

16 Detekce a zvýraznění hran
HranaVýrazná změna intenzity. Lidské oko se podle hran významně orientuje. Plánovací systém detekuje hrany při automatickém konturovaní struktur, nebo automatchingu. Typy hrany:

17 Detekce vs. Zvyraznění hran
Zvýraznění

18 Zvýraznění hran Použití filtru s tzv. horní propustností (high pass filter), obsahující v masce kladná i záporná čísla. Zvýrazní se rozhraní, zvýší se šum, zhorší se rozlišení nízkokontrastních objektů. Inverzí jádra můžeme vždy provést dekonvoluci, čímž z konvolvovaného obrazu získáme opět původní. Harmonizovaný obraz získáme odečtením původního a vyhlazeného obrazu – zvýrazní se pouze rozhraní

19 Zvýraznění hran

20 Laplaceův operátor ∆ Hledáme body kde druhá derivace je nulová.
Zero-crossing points  Přechody mezi kladnou a zápornou hodnotou, v těch místech zaznamenáme hranu. Marrova Varianta: vyhladíme obraz se širokým Gaussovským filtrem Často nepočítame Zero-crossing points ale maximální hodnotu po provedení filtrace.

21 Laplaceův operátor ∆ Lze ho také použít pro zvýraznění hrany.
Provedeme konvoluci s filtrem

22 Laplaceův operátor

23 Kirshův operátor Prewittové operátor
(Tyto filtry jsou pro svislé hrany - detekce v ose x bude dána transponovanou maticí)

24 Sobelův operátor Robinsonův operátor
Pro svislé hrany konvoluční filtr vypadá následovně Dává větší váhu středu, čímž by mělo docházet k lepší lokalizaci hran. Jako konvoluční filtr pro detekci svislé hrany se používá Robinsonův operátor

25 Convolution Examples: Original Images

26 Convolution Examples: Vertical Difference

27 Convolution Examples: Horizontal Difference

28 Detekce hran Metody pro detekci hrany jsou většinou velmi citlivé na šum. Proto je rozumné obraz vyhladit a aplikovat filtr na šum: Všesměrovou detekci realizujeme nezávisle v 8 směrech a výsledky spojíme dohromady.

29 Příklad praktického využití – analýza obrazu

30 Zvýraznění hran použitím derivace obrazu a následného podmíněného formátování

31 Příklad výstupu – analýza funkce clon lineárního urychlovače automatickým změřením velikosti 3 různých polí na ozářeném filmu importovaném do Excelu Příklad 1: Stáhněte si textový soubor s názvem „data“, zobrazte v Excelu jeho obsah s pomocí podmíněného formátování ve stupních šedi. Zviditelněte všechny hrany pomocí konvoluce s Robinsonovým operátorem. Zvýrazněte hrany za pomoci konvoluce s Laplaceovým operátorem.

32 Praktické provedení ozáření malých polí filmu rostoucí a opět klesající dávkou

33 Zobrazení gradientů dávky

34 Jiný příklad – Winston-Lutzův test stereotaktické radioterapie (radiochirurgie) mozku (průměty tužkového svazku z 5 různých polí, analyzované v Excelu) Video

35 Grafy dávkové distrubuce – rovina xz a yz (vlevo) a automatická analýza polohy objektu v kruhovém poli v týchž rovinách (vpravo)

36 Grafy dávkové distrubuce – rovina xz a yz (vlevo) a automatická analýza polohy objektu v kruhovém poli v týchž rovinách (vpravo)

37 Výsledky analýzy odchylek ozařovaného objektu od centrální osy svazku pro 5 různých úhlů gantry a stolu

38 Jean Baptiste Joseph Fourier (1768 – 1830)
Fourierova řada Jean Baptiste Joseph Fourier (1768 – 1830) Nejjednodušší odvození Fourierovy transformace vychází z tzv. Fourierovy řady periodické funkce, jejíž motivaci lze nalézt ve skládání anizochronních harmonických kmitů téhož směru s takovými frekvencemi, aby výsledná funkce mohla být periodická, tedy T = nTn, kde n je celé císlo. Funkce daná touto superpozicí bude mít tvar kde an, bn jsou funkce tvořící tzv. spektrum operátoru f.

39 Fourierova řada Nejprve budeme uvažovat funkci periodickou na intervalu a budeme předpokládat platnost výše uvedeného rozvoje pro nějakou kombinaci koeficientuů an, bn. Obě strany rovnosti vynásobíme funkcí a prointegrujeme přes interval délky Dostaneme rovnici

40 Fourierova řada Využitím vzájemné ortogonality funkcí 1, sin, cos dostaneme Podobně postupujeme při určení koeficientu an čímž získáme vztahy Pro praktické počítání obvykle vyjadřujeme Fourierovu řadu na intervalu ve tvaru kde

41 Fourierova řada 1 sine 2 sines 4 sines 8 sines 16 sines 32 sines

42 Gibbsův jev

43 Fourierova řada Příklad 2:
Sestrojte Fourierovu řadu padesátého stupně následujících signálů jednotkové amplitudy: a) Jednotkové obdélníkové pulsy, b) Rovnoramenné pilovité pulsy, c) Cykloida jednotkového poloměru.

44 Fourierova transformace
Výraz pro Fourierovu transformaci můžeme odvodit z Fourierovy řady provedením limitního procesu , tedy zvolením nekonečné periody, čímž umožníme využití této metody i pro funkce, které nejsou periodické. Dosadíme-li do Fourierovy řady vzorce pro koeficienty am, bm, pak využitím trigonometrického vztahu cos( - ) = cos  cos  + sin  sin , dostaneme Budeme-li uvažovat pouze funkce absolutně integrovatelné na celé reálné ose pak první člen bude mít v limitě pro T  ∞ nulovou hodnotu. Ve druhém členu máme aritmetickou posloupnost s konstantní diferencí. Označíme-li dostaneme

45 Fourierova transformace
Výraz sumace vyjadřuje v limitě T  ∞ integrální součet a poslední rovnice přejde ve dvojný integrál Dosadíme-li sem podle Eulerova vzorce za funkci cos, dostaneme konečný výraz pro Fourierův integrál Tento vztah se dá zapsat v symetrickém tvaru jako Výraz uvnitř hranaté závorky považujeme za Fourierovu transformaci funkce a zbylá část vztahu udává inverzní Fourierovu transformaci

46 Rekonstrukce obrazu Šum Poškozený obraz „Skutečný“ obraz
Point Spread Function (PSF) Předpokládejme, že je známa

47 Dekonvoluce Vztahu pro neznámou X se často říká konvoluční rovnice.
Proces vyřešení této rovnice se nazývá dekonvoluce. Jestliže h není známé resp. je částečně známé, pak se procesu říká krátkozraká čili myopická dekonvoluce Korelace je operace podobná jako konvoluce:

48 Wienerův Filtr Myšlenka je následující:

49 Wienerův Filtr Tento přístup je bohužel příliš optimistický. Reálnějším přístupem je:

50 Originál Poškození + šum Periodicke Artefakty Rekonstrukce pomocí Wienera

51 Originál Poškození + šum Rekonstrukce pomoci Wienera

52 Fourier quotient method.
Konvoluční Věta Přímou aplikací této věty je dekonvoluce Pro korelace platí Rychlá metoda pomocí FFT Pro nízké frekvence je druhý člen velký a metoda v přítomnosti šumu selhává. Fourier quotient method.

53 Vícerozměrné zobecnění
Dvourozměrnou Fourierovu transformaci můžeme definovat v bázi z funkcí exp[−i(kx + ly)] tak, aby zůstaly zachovány vlastnosti platné pro jednoduchou transformaci. Definujeme tedy:

54 k - prostor V prostorové oblasti, obvyklém eukleidovském prostoru (r-prostoru), je obraz zobrazované veličiny f popsán distribuční funkcí, neboli polem, f(x,y,z). Ve vektorovém zápisu, zavedením prostorového vektoru r, je tato funkce F(r). Obecnou Fourierovou transformací vzniká nová distribuční funkce kde k = (k1, k2, k3) je vlnový vektor. Integruje se přes prostorovou oblast V. Distribuční funkce je definována v novém lineárním 3-rozměrném vektorovém prostoru. Prostorová f(k) i frekvenční distribuční funkce nesou tutéž informaci a souvisejí spolu přímou a inverzní Fourierovou transformací. Z matematického hlediska tedy z běžného metrického eukleidovského r-prostoru Fourierovou transformací vzniká nový "frekvenční" prostor, označovaný někdy jako k-prostor (k-space). Název vznikl podle toho, že po Fourierově transformaci je novou nezávisle proměnnou "vlnový" vektor k (obecně komplexní). Abstraktní k-prostor je v jistém smyslu "reciproční" k obvyklému fyzikálnímu r-prostoru.

55 Vlastnosti k – prostoru
k-prostor nese úplnou informaci o obrazu zakódovanou ve frekvenční oblasti Vysoké frekvence jsou zásadní pro kontrast obrazu, chybí však ostrost kontur Nízké frekvence nesou informaci o konturách, chybí však kontrast

56 Periodické poškození obrazu
Jestliže je poškození periodické, bude se jasně projevovat ve Fourierově prostoru. Transformujeme poškozený obraz pomocí FT a sledujeme symetrické píky mimo střed v k-prostoru. Odstraníme tyto frekvence a aplikujeme inverzní FT.

57 x