Nástroj pro segmentaci buněk v obrazu tkáně pořízeném konfokálním mikroskopem. Kvantitativní analýza FISH signálů. Miroslav Melichar (podle práce Umeshe Adigy)

2 Konfokální mikroskopie Ostře zaměřený laserový paprsek skenuje zkoumaný vzorek v určité ohniskové rovině Výběr ohniskové roviny a řízení skenování provádí počítač připojený k mikroskopu Výsledkem je zásobník 2D obrazů –Hloubka zásobníku je osa Z

3 Schéma konfokálního mikroskopu

4 FISH signály Fluorescence in Situ Hybridization Biologická metoda umožňující vizualizovat části DNA Zkoumané části DNA jsou zobrazeny odlišnou barvou

5

6

7 Cíle práce Poloautomatická segmentace buněk v 3D obraze Automatická segmentace FISH signálů Kvantitativní analýza FISH signálů –Počet FISH signálů na jednu buňku Nutné vyšetřit celý (3D) obsah buňky Visuální počítání v zásobníku 2D obrazů je obtížné –Obvykle 2 FISH signály na buňku Pokud chybí(monosomie) nebo přebývají(trisomie), jde o chybu v genetické výbavě buňky (např. indikuje rakovinotvorný nádor)

8 Předzpracování obrazu Úkolem potlačit šum a zvýraznit důležité rysy Prahování (odliší pozadí a objekty zájmu) Zostření (směrové) Vyhlazení - odstraní šum

9 Prahování Vhodné pokud jasová složka dostatečně charakterizuje objekt Dynamický práh (mění se dle polohy bodu), a hledá se analýzou histogramu –Obvykle v „údolí“ mezi dvěma vrcholy histogr. –Pokud není údolí, hledá se na „rameni“ Poté se odstraní malé objekty a zalepí malé díry –Objekt: popředí obklopené pozadím –Díra: pozadí obklopené popředím

10 Hledání prahu na „rameni“ histogramu

11

12 Zostření obrazu –Přidáním gradientu nebo vysokofrekvenčního signálu do obrazu Směrové vyhlazení (odstraní šum) –Zachovává hrany a odstraňuje rušivé výčnělky na okraji (na hranách) –Bere maximální hodnotu ze směrového průměru

13 Směrový (Gaussův) filtr

14 Detekce vnějších hranic buněk Filtrem LoG (Laplacian of Gauss) –Laplacian (druhá derivace) po Gaussovi (vyhlazení) –Najde vnější hranice –Nenajde hranice dotýkajících se nebo překrývajících se buněk (je zde malý gradient)

15 (a)originál (b)detekované hranice (c)co bychom chtěli

16 Segmentace 3D obrazu s využitím vrstev Poloautomatická procedura –Provede se interaktivní (myší) segmentace jednoho representativního obrazu (vrstvy) Informace o segmentaci representativního obrazu je použita pro segmentaci sousedních obrazů –Předpokládá se podobnost sousedících obrazů

17 (a)originál (b)celková hranice (c)interaktivně segmentovaný obraz

18 Segmentace s využitím informace o segmentaci sousední vrstvy (1) E1 – množina pixelů z vnějších hran v aktuálním obraze (získaná LoG) E2 – množina pixelů z hran správně segmentovaného sousedního obrazu Pokud je v „okolí“ E2 nalezen pixel z E1, je daný pixel z E2 vypuštěn. Množinu zbylých pixelů z E2 nazýváme E3

19 Segmentace s využitím informace o segmentaci sousední vrstvy (2) E3 slouží jako základ pro hledání hranice mezi dotýkajícími se nebo překrývajícími se buňkami. V okolí E3 se hledají pixely, které mají vysokou hodnotu lokálního gradientu = hranice mezi buňkami –práh pro gradient je nižší než u LoG

20

21 Prohledávání „okolí“ pixelu

22 Výskyt nových a odstranění nežádoucích buněk Výskyt nových buněk při průchodu vrstvami –Pokud je náznak buňky potvrzen výskytem ve dvou sousedních obrazech, jde o novou buňku Odstranění nežádoucích buněk –Buňky na kraji obrazu a v krajních obrazech zásobníku jsou považovány za ořezané (tj. nežádoucí) –Odmítnutí buňky možné i interaktivně

23 Označkování (labeling) buněk 1.Vrstvy se prochází postupně, prvnímu neoznačenému voxelu se přiřadí unikátní označení (číslo). 2.Projdou se všechny jeho sousední voxely a dostanou stejnou značku. 3.Poté se pokračuje tam, kde skončil bod 1.

24 Vizualizace označkované buňky

25 Interpolace pro zvýšení axiálního (Z) rozlišení (1) Pokud se sousední snímky liší výrazněji, je třeba prohledávat větší region –Výpočetně náročné O(n*m 3 ), n=počet pixelů, m=velikost regionu Zvýšení rozlišení umožní, aby si dva sousední obrazy byli více podobné –Je možno zmenšit velikost prohledávaného regionu na polovinu => snížení výpočetní složitosti

26 Interpolace pro zvýšení axiálního (Z) rozlišení (2) Úloha: máme dva binární obrazy (pozadí a objekty) a chceme vytvořit obraz (vrstvu) mezi nimi. Řešení: –Pro vytvoření hranic binárního obrazu se použije matematická morfologie –Pro vytvoření šedotóní informace v obraze se použije míchání (tj. průměrování, příp. vážené)

27 Vytvoření hranic ve vloženém obraze

28

29 Segmentace FISH signálů (1) Jednodušší než segmentace buněk –Jsou více lokalizované (malé), vysoký jas –Nezajímají nás FISH signály mimo buňky Vyhlazení: Gaussův filtr –Odstraní ostrá ojedinělá maxima způsobené šumem, ale rozmaže i FISH signál Vyhledání FISH sinálů: TopHat filtr –Označí bod jako FISH signál, pokud je rozdíl maximálních hodnot v jádře a okolí filtrů větší než zadaný práh

30 TopHat filtr

31 Segmentace FISH signálů (2) Následuje heuristika na velikost a tvar a umístění FISH signálů –Velikost: experimentálně zjištěný počet voxelů –Tvar: musí zabírat alespoň 2 vrstvy –Umístění: alespoň z poloviny v buňce Pokud je FISH signál příliš veliký, šetří se zda nejde o 2 FISH signály –Musí být přítomny alespoň 2 intenzitní vrcholy s předdefinovanou minimální vzdáleností Posledním krokem je označkování FISH signálů

32 Vyhledávání FISH signálu: a)Originál b)po Gaussově vyhlazení c)Po TopHat filtru d)Po heuristice na velikost a tvar

33 Kvantitativní analýza FISH signálů Pro každou buňku se zjistí počet FISH signálů –Jednoduché, neboť obojí je již označkované Výsledky –6 vzorků tkání, 4-8 buněk na vzorek, 77 FISH sig. –Algoritmus nalezl 73 FISH signálů, tj. 5% chyba –Velmi přijatelný výsledek Patologové také nejsou při ručním označovaní jednotní Ulehčí únavnou práci patologům