MASKS © 2004 Invitation to 3D vision. MASKS © 2004 Část 1 Přehled a úvod.

Prezentace na téma: "MASKS © 2004 Invitation to 3D vision. MASKS © 2004 Část 1 Přehled a úvod."— Transkript prezentace:

1 MASKS © 2004 Invitation to 3D vision

2 MASKS © 2004 Část 1 Přehled a úvod

3 MASKS © 2004 Rekonstrukce z obrázků – Základní problém Vstup: Odpovídající “rysy” v několika perspektivních obrázcích. Výstup: Pozice kamery, kalibrace, reprezentace scény.

4 MASKS © 2004 Aplikace – Autonomní dálniční vozidla

5 MASKS © 2004 Aplikace – Bezposádkové letecké prostředky (UAVs) Courtesy of Berkeley Robotics Lab Rate: 10Hz; Accuracy: 5cm, 4 o

6 MASKS © 2004 Invitation to 3D vision Aplikace – Real-Time virtuální vkládání objektů UCLA Vision Lab

7 MASKS © 2004 Invitation to 3D vision Aplikace – Real-Time Sportovní pokrytí Princeton Video Image, Inc. First-down line and virtual advertising

8 MASKS © 2004 Invitation to 3D vision Aplikace – Modelování a vykreslování na základě obrázků Image courtesy of Paul Debevec

9 MASKS © 2004 Invitation to 3D vision Část 2 Geometrie obrázku

10 MASKS © 2004 Invitation to 3D vision Geometrické modely kamer Model Pinhole kamery Přehled značení Skutečné parametry kamery Z metrických k obrázkovým souřadnicím 3-D Euklidovský prostor & pohyb pevných objektů Souřadnice a souřadnicové rámce Pohyb pevných objektů a homogenní souřadnice Přehled

11 MASKS © 2004 Invitation to 3D vision 3-D Eiklidovský prostor- Kartézský souřadnicový systém Standardní bázové vektory: Souřadnice bodu v prostoru:

12 MASKS © 2004 Invitation to 3D vision 3-D Euklidovský prostor- Vektory “Volný” vektor je definován pomocí dvojice bodů: Souřadnice vektoru:

13 MASKS © 2004 Invitation to 3D vision 3-D Euklidovský prostor– Skalární a vektorový součin Skalární součin dvou vektorů: Vektorový součin dvou vektorů:

14 MASKS © 2004 Invitation to 3D vision Rotace Matice rotace: Maticový zápis rotace:

15 MASKS © 2004 Invitation to 3D vision Rotace a posunutí Maticový zápis: Maticový zápis rychlostí:

16 MASKS © 2004 Invitation to 3D vision RIGID-BODY MOTION – Homogenní souřadnice 3-D souřadnice jsou dány vztahem: Homogenní souřadnice: Homogenní souřadnice/rychlost jsou tedy popsány:

17 MASKS © 2004 Invitation to 3D vision IMAGE FORMATION – Perspektivní zobrazení Image courtesy of C. Taylor “The Scholar of Athens,” Raphael, 1518

18 MASKS © 2004 Invitation to 3D vision Tvorba obrazu– Model Pinhole kamery Pinhole Čelní pinhole

19 MASKS © 2004 Invitation to 3D vision Tvorba obrazu– Pinhole Camera Model 2-D souřadnice Homogenní souřadnice

20 MASKS © 2004 Invitation to 3D vision pixelové souřadnice Lineární transformace Parametry kamery– Pixelové souřadnice prostorové souřadnice

21 MASKS © 2004 Invitation to 3D vision Parametry kamery– Kalibrační matice a model kamery Pinhole camera Pixelové souřadnice Kalibrační matice (skutečné parametry) Matice projekce Model kamery

22 MASKS © 2004 Invitation to 3D vision Parametry kamery– Radiální deformace Nelineární transformace v radiálním směru Korekce deformace: vytvoří přímky rovné

23 MASKS © 2004 Invitation to 3D vision Homogenní souřadnice prostorového bodu Homogenní souřadnice jeho 2-D obrazu IMAGE FORMATION – Obraz bodu Zobrazení prostorového bodu do roviny obrazu:

24 MASKS © 2004 Invitation to 3D vision Homogenní reprezentace prostorové úsečky Tvorba obrazu– Obraz úsečky Homogenní reprezentace jejího 2-D obrazu Projekce prostorové úsečky do roviny obrázku

25 MASKS © 2004 Invitation to 3D vision... Souhrn značení– Více obrazů

26 Invitation to 3D vision Část 3 Geometrie dvou pohledů

27 MASKS © 2004 Invitation to 3D vision Obecné zadání Jsou dány dva obrazy scény, úkolem je určit vzájemnou polohu kamer a prostorovou strukturu scény

28 MASKS © 2004 Invitation to 3D vision Model Pinhole kamery 3D body Obrazové body Perspektivní projekce Pohyb pevných objektů Pohyb pevných objektů a perspektivní projekce

29 MASKS © 2004 Invitation to 3D vision Pohyb pevných objektů – Dva obrazy

30 MASKS © 2004 Invitation to 3D vision 3D Struktura and rozpoznání pohybu neznáméMěřené hodnoty Euklidovksá transformace Hledáme takovou rotaci, posunutí a hloubku takové aby chyba projekce byla minimální Dva obrazy ~ 200 bodů 6 neznámých – Pohyb 3 Rotace, 3 Posunutí - Struktura 200x3 souřadnic - (-) universální váha Obtížný optimalizační problém

31 MASKS © 2004 Invitation to 3D vision Epipolární geometrie Algebraická eliminace hloubky [Longuet-Higgins ’81]: Obrazová korespondence Essentiální matice

32 MASKS © 2004 Invitation to 3D vision Epipolární geometrie Obrazová korespondence Epipolar lines Epipoles

33 MASKS © 2004 Invitation to 3D vision Charakterizace esentiální matice Theorem 1a (Essential Matrix Characterization) A non-zero matrix is an essential matrix iff its SVD: satisfies: with and and Essentiální matice speciální 3x3 matrix

34 MASKS © 2004 Invitation to 3D vision Odhadnutí essentiální matice Odhad essentiální matice Dekompozice essentiální matice na Prostor všech essentiálních matic je 5 dimensionální 3 stupně volnosti– rotace 2 stupně volnosti – posunutí (až na váhu) Je dáno n odpovídajících si bodů: Hledáme rotaci and posunutí takové, že epipolární chyba je minimální

35 MASKS © 2004 Invitation to 3D vision Určení relativní polohy z essentiální matice Essentiální matice Theorem 1a (Určení polohy) Existují dvě relativní polohy,kde a odpovídající nenulové essentiální matici.

36 MASKS © 2004 Invitation to 3D vision Odhad essentiální matice Označme Dosazením Dosazením všech bodů získáme

37 MASKS © 2004 Invitation to 3D vision Odhad essentiální matice Řešení Vlastní vektpor odpovídající nejmenšímu vlastnímu číslu když degenerovaná configurace Theorem 2a (Project to Essential Manifold) If the SVD of a matrix is given by then the essential matrix which minimizes the Frobenius distance is given by with Projekce do essentiálního prostoru

38 MASKS © 2004 Invitation to 3D vision Lineární algoritmus pro dva obrazy Řešení lieárního LLSE problému: bodový lineární algoritmus Následovaný projekcí E is 5 diml. sub. mnfld. in SVD: Projekce do essentiálního prosotru: Určení neznámé polohy:

39 MASKS © 2004 Invitation to 3D vision Existují právě dvě dvojice odpovídající každé essentiální matici. Posunutí je nenulové Body jsou v obecné poloze - degenerovaný stav– komplanární body - kvadratická plocha Lineární 8-bodový algoritmus Nonlineární 5-bodový algoritmus přináší až 10 řešení Rekonstrukce polohy

40 MASKS © 2004 Invitation to 3D vision 3D rozpoznání struktury odstranění jedné váhy Řešení soustavy Pokud je konfigurace nekritická, může být euklidovská struktura bodů a pohyb kamery rekonstruována až na univerzální konstantu

41 MASKS © 2004 Invitation to 3D vision Příklad – Dva obrazy Přiřazení odpovídajících si bodů

42 MASKS © 2004 Invitation to 3D vision Příklad – epipolární geometrie Pozice kamery a umístění bodů v prostoru

43 MASKS © 2004 Invitation to 3D vision Epipolární geometrie – Rovinná úloha Lineární zobrazení určující vztah mezi dvěma odpovídajícími body Obrazová korespondence Rovina v souřadnicovém rámci první kamery

44 MASKS © 2004 Invitation to 3D vision Rozložení H Algebraická eliminace hloubky může být odhadnuta lineárně Úprava matice Rozložení H na 4 řešení

45 MASKS © 2004 Invitation to 3D vision Závěr Více informací naleznete v anglickém jazyce na adrese: http://vision.ucla.edu/MASKS/