Aplikace počítačového vidění

Prezentace na téma: "Aplikace počítačového vidění"— Transkript prezentace:

1 Aplikace počítačového vidění
Ing. Ilona Kalová, Ph.D. ÚAMT FEKT VUT v Brně Kolejní 2906/4 61200 Brno CZ tel:        fax:      

2 Organizace výuky Přednášky Po 13:00 E340 – nepovinné Přednášející:
Ing. Ilona Kalová, Ph.D. Ing. Horák Karel, Ph.D. Ing. Richter Miloslav, Ph.D. Ing. Petyovský Petr Ing. Honec Petr , Ph.D. Cvičení Čt 9:00, 12:00, 14:00 E617 – nepovinné Cvičící: Ilona Kalová Body: 16b cvičení - 8 úloh po 2b 24b semestrální projekt Podmínka zápočtu - min 15b celkem ze cvičení a projektu, odevzdání projektu 60b zkouška Informace: Q:\VYUKA\KALOVA\MAPV Ilona Kalová – tel: , kancelář E619

3 Přednášky Nasazení počítačového vidění v technické praxi - úvod, motivace, výhody a nevýhody, metodika vývoje zakázky Specifika hardwaru pro pořízení a zpracování obrazu Základní fyzikální principy využitelné v počítačovém vidění Úlohy měření v rovině – přesná měření rozměrů , polohy, orientace Detekce přítomnosti a kompletnosti výrobků, počítání objektů v obraze, klasifikace podle tvaru (obrysu), barvy, povrchových vlastností atd. Defektoskopie, inspekční systémy – detekce povrchových vad výrobků, inspekce transparentních materiálů atd. OCR – SPZ, čtení kódů, převod tištěné knihy do elektronické Měření 3D rozměrů, měření objemu, 3D digitální modely, navigace v prostoru, polohování robotů Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování trajektorie, trojrozměrné vlastnosti objektů Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na červenou, detekce krizových stavů Analýza biologických obrazů, měření biometrických údajů Další aplikace - bezkontaktní měření teploty (termokamery), měření deformací (interferometre), analýza snímků hvězdné oblohy, počítačové vidění ve spojení s počítačovou grafikou = virtualizovaná realita

4 Definice počítačového vidění
Systémy počítačového vidění … systémy strojového vnímání … systémy pro zpracování obrazu … kamerové systémy … vizuální systémy Disciplína, která se snaží technickými prostředky alespoň částečně napodobit lidské vidění – kvalitu lidského senzoru (oka) a kvalitu analýzy obrazu (inteligence, znalosti, zkušenosti) Obor, který pomocí technických prostředků usiluje o získání smysluplného popisu objektů vyskytujících se v obraze

5 Příbuzné obory Umělá inteligence Teorie řízení Zpracování signálů
Biologie, neurofyziologie Matematika – statistika, geometrie Fyzika – optika …

6 Proč je vidění těžké ? Ztráta informace díky perspektivní projekci, 3D => 2D Měřená jednotka = nejčastěji jas Jas bodu závisí na: poloze kamery poloze a typu světelného zdroje odrazivosti povrchu, barvě orientaci (natočení) povrchu … Množství dat Příklad: statický obraz 512 x 512 bodů, 1 bod = 1B (256 jas. úrovní) => 256kB stejný barevný obraz, 1 bod = 3B => 768kB stejný barevný obraz při 25 snímcích za sekundu (TV signál) => 18,75MB/s Nejistota – přítomnost šumu, zkreslení

7 Výhody Přesnost Spolehlivost, měření s konstantními parametry, neunavitelnost, nezkorumpovatelnost Rychlost Paralelně může probíhat více kontrolních úloh, třeba měření rozměrů a zároveň kontrola barvy Umožňují kontrolu prakticky jakéhokoliv parametru, který má optickou vazbu na vzhled nebo charakter snímané scény Měření je bezkontaktní, nedestruktivní Velké množství informací v podobě, která je pro člověka nejlépe srozumitelná - vizuální cestou člověk přijímá téměř 90 % informací Nastavení systému je rychlé a nevyžaduje složité mechanické konstrukce Možnost změnou konfigurace softwaru prakticky okamžitě přepínat mezi podobnými typy měření – není nutné složitě a nákladně měnit hardwarovou konfiguraci Cena - vyšší počáteční náklady jsou kompenzovány nižšími náklady provozními a úsporami času i materiálu ve výrobě

8 Metodika vývoje zakázky
Myšlenka aplikace kamerového systému (ze strany zákazníka) Kontaktování firmy zabývající se počítačovým viděním nebo systémového integrátora Hrubé posouzení realizovatelnosti projektu – nejlépe návštěva provozu, pochopení problému, posouzení vhodnosti nasazení počítačového vidění, hrubý návrh metody měření odborníkem Podrobná analýza problému – návrh řešení celého systému nejlépe v podobě podrobné studie diskuze s pracovníky (managery, technickými pracovníky, kontrolory kvality, výrobáři,…) - definice požadavků zákazníka experimenty s reálnými vzorky (např. výrobků s vadami i bez vad) - návrh a zhodnocení různých metod měření, odhad přesnosti měření, rychlosti,… odhad potřebného HW a nutných úprav stávajícího zařízení, odhad náročnosti vývoje odhad ceny a časové náročnosti Řešení projektu výběr vhodného HW, návrh konkrétní mechaniky, výroba, instalace zařízení pořízení testovacích snímků, vývoj algoritmů vývoj a specifikace uživatelského rozhraní testy funkčnosti a spolehlivosti Zkušební provoz – doladění detailů, vyhodnocení kvality měření (statistiky) Reálný provoz – sledování stavu zařízení a kvality měření, servis

9 Volba způsobu měření rozměry zkoumaného předmětu a jeho vzdálenost
požadovaná přesnost měření vlastnosti povrchu předmětu (nerovnost, drsnost, odrazivost světla) vlastnosti okolních zdrojů světla (intenzita, spektrum, koherence) možná doba měření X odhadovaná časová náročnost snímání a zpracování přístupnost k měřenému objektu a maximální možné rozměry měřicího systému (aby jej bylo možné například umístit na již fungující linku) způsob vystavení měřeného objektu do vhodné měřící pozice – mechanické díly, polohování, dopravníky,… - odhad potřebného HW a nutných úprav stávajícího zařízení možnost kalibrace systému možnost konfigurace systému i pro jiné, podobné výrobky přesná definice požadavků na systém a definice výstupů měření náročnost výzkumu a vývoje cena

10 Řetězec zpracování obrazu

11 Možné aplikace – použití počítačového vidění
Úlohy měření v rovině – přesná měření rozměrů, polohy, orientace Detekce přítomnosti a kompletnosti výrobků, počítání objektů v obraze Střežení objektů Klasifikace - podle tvaru (obrysu), barvy, povrchových vlastností atd. Defektoskopie, inspekční systémy – detekce povrchových vad výrobků, inspekce transparentních materiálů atd. OCR – SPZ, čtení kódů, převod tištěné knihy do elektronické Měření 3D rozměrů, měření objemu, 3D digitální modely Navigace v prostoru, polohování robotů Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování trajektorie Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na červenou, detekce krizových stavů Analýza lékařských obrazů, měření biometrických údajů Bezkontaktní měření teploty (termokamery) Měření deformací (interferometrie) Analýza snímků hvězdné oblohy, analýza leteckých snímků Počítačové vidění ve spojení s počítačovou grafikou = virtualizovaná realita …

12 Inspekce transparentních materiálů (pivních lahví)
dno láhve hrdlo láhve zbytky etiket cizí objekty špína plíseň škrábance stěna láhve

13 Inspekce netkaných textilií
díry výkapky hmyz

14 Inspekce SMD součástek
špína, cizí předměty kvalita sváření, rozměry, pozice, struktura potisk – kontrola, polarita, poškození kontakty – rozměry, úhel natočení, ohyb, kvalita spoje detekce prasklin

15 Počítání objektů ve scéně
automatického počítání různě orientovaných náhodně rozmístěných skleněných broušených kamenů návrh způsobu osvětlení, návrh software

16 Čtecí zařízení mikroteček
analýza optických vlastností mikroteček návrh HW řešení čtečky algoritmy pro lokalizaci mikrotečky ve snímku algoritmy pro čtení znaků mikroteček

17 Kamerový systém do komory ionizujícího záření
sledování prováděných operací v komoře záření nebezpečné jednak pro člověka, jednak pro elektroniku a optiku návrh počtu a umístění kamer návrh geometrického uspořádání optické soustavy zrcadel periskopu

18 Rychloběžná kamera zaměřovací IR laser
lokalizace pozice infračerveného laserového paprsku mířidla zbraně na projekční ploše vyhodnocení správnosti míření vojáků při interaktivním tréninku při simulaci bojové scény časový multiplex s 10 kanály (paralelně lze vyhodnocovat až 10 mířidel) parametry kamery: 330 fps / 1280x1024 / 10 bit paralelní vyhodnocení obrazu v FPGA (výstupem je poloha laserového svazku na plátně) zaměřovací IR laser

19 3D měření Detekce a klasifikace vozidel
Kontrola kvality svarů automobilových disků Měření objemu kapky viskózního lepidla Pořízení 3D modelu kopyta klobouku

20 Metro – počítání osob počítání osob vstupujících a vystupujících z technických prostor metra zlepšení kontrastu sledovaných objektů volbou pozadí

21 Dopravní úlohy – detekce průjezdu na červenou
Lokalizace SPZ OCR

22 Dopravní úlohy – měření průměrné rychlosti v úseku

23 Dopravní úlohy – laserový měřič rychlosti vozidel
algoritmy vyhodnocení dat testy kvality vyhodnocení vzhledem k rozdílným vstupním podmínkám

24 Dopravní úlohy - detekce kritických stavů (nehoda, zácpa)
- mobilní detekce – kradená vozidla

25 Měření biometrických údajů
Geometrie ruky Měření biometrických údajů Otisk prstu Dentální obraz Duhovka oka Dynamické vlastnosti např. - chůze podpis gestikulace Sítnice oka Podpis Obličej Termogram obličeje Tvar obličeje Tvar ucha

26 Lékařské aplikace http://cmp.felk.cvut.cz
určování polohy chirurgických nástrojů z 3D ultrazvukového přístroje 3D měření dýchacích pohybů geometrické srovnání odpovídajících si obrazů - z jiných přístrojů - před a po operaci (léčbě) diagnostika ultrazvukových obrazů

27 Sledování pohybu http://cmp.felk.cvut.cz trasování pohybu člověka
sledování trajektorie pohybu plavající krysy navádění robotů

28 Studování vesmíru Analýza snímků hvězdné oblohy –
objevování nových hvězd, galaxií,… „Tvář na Marsu“ Zkoumání okolních planet, vesmírné výpravy Specializovaný SW – volně dostupný Sledování procesů ve vesmíru - vzplanutí mladé hvězdy (RTG snímek)

29 Letecké snímky, satelitní snímky
Aktualizace map Vojenské, špionážní průzkumy Sledování počasí, předpovědi Klasifikace urbanizovaného území radarový snímek