Computational photography Zdeněk Töpfer 10.1.20131Computational Photography.

Prezentace na téma: "Computational photography Zdeněk Töpfer 10.1.20131Computational Photography."— Transkript prezentace:

1 Computational photography Zdeněk Töpfer 10.1.20131Computational Photography

2 9. Computational Photography Tradiční fotografie a „Computational Photography“ Zvýraznění detailů Detekce změn Odstranění rozmazání Proměnná ohnisková vzdálenost 10.1.20132Computational Photography

3 Přehled možností fotografie – nové pohledy Unlocking Photography Not about the equipment but about the goal Capturing ‘machine readable’ visual experience Goes beyond what you can see through the viewfinder Push the envelope with seemingly peripheral techniques and advances Think beyond post-capture image processing ‘Computation’ well before image processing and editing Learn how to build your own camera-toys Emphasis Most recent work in graphics/vision (2006 and later) Research in other fields: Applied optics, novel sensors, materials Review of 50+ recent papers and projects What we will not cover Minimum discussion of graphics/vision papers before 2006 Epsilon photography (improving camera performance by bracketing) Film Cameras, Novel view rendering (IBR), Color issues, Traditional image processing/editing 10.1.20133Computational Photography

4 Co to je „Computational Photography“? Vytvoření takové fotografie, jaká by nemohla být získána pomocí tradičního fotoaparátu Cíl: získat bohatší, víceúrovňový vizuální zážitek 1.Překonání omezení dnešních fotoaparátů 2.Podpora lepšího zpracování po vyfotografování snímku Zaostřeni, hloubka ostrosti, dynamický rozsah 3.Umožní nové způsoby záznamu vizuálního signálu Okamžik, časový interval, rozbalená mozaika, výřezy 4.Syntetizovat „nemožné“ fotografie Pohled kolem dokola, spojení časosběrných událostí, zvětšení pohybu, video textury a panoramata. 5.Využití dříve nepředstavitelných forem vědeckého zobrazování Kódovaná clona, víceohniskové zobrazení. 10.1.20134Computational Photography

5 Tradiční fotografie Lens Detector Pixels Image

6 Tradiční fotografie Lens Detector Pixels Image Napodobuje lidské oko pro jednotlivý snímek: Jeden pohled, jeden okamžik, pevný dynamický rozsah a hloubka ostrosti pro dané osvětlení ve statickém světě

7 Traditional Photography Lens Detector Pixels Image

8 Optika, senzory a výpočty Generalized Sensor Generalized Optics Computations Picture 4D Ray Bender Upto 4D Ray Sampler Ray Reconstruction Spojování snímků, kódované snímání

9 Computational Photography Novel Cameras Generalized Sensor Generalized Optics Processing

10 Computational Photography Novel Illumination Novel Cameras Generalized Sensor Generalized Optics Processing Light Sources

11 Computational Photography Novel Illumination Novel Cameras Scene : 8D Ray Modulator Generalized Sensor Generalized Optics Processing Light Sources

12 Computational Photography Novel Illumination Novel Cameras Scene : 8D Ray Modulator Display Generalized Sensor Generalized Optics Processing Recreate 4D Lightfield Light Sources

13 Computational Photography Novel Illumination Novel Cameras Scene : 8D Ray Modulator Display Generalized Sensor Generalized Optics Processing 4D Ray Bender Upto 4D Ray Sampler Ray Reconstruction Generalized Optics Recreate 4D Lightfield Light Sources Modulators 4D Incident Lighting 4D Light Field

14 Computational Photography 1.Epsilon Photography –Nízkoúrovňové vidění: Pixely –Násobné fotografie pomocí malých změn parametrů fotoaparátu –HDR, panorama, … –‘Dokonalý fotoaparát’ 2.Coded Photography –Jeden/více snímků –Reverzní kódování dat –Dodatečné senzory/optika/osvětlení –‘Analýza scény’ 3.Essence Photography –Více než jeden pohled/osvětlení –Nenapodobuje lidské oko –‘Nové formy umění’ 10.1.2013 14

15 Epsilon Photography Dynamický rozsah –Exposure bracketing Větší rozlišení –Skládání panoramat Hloubka ostrosti –Složení více snímků s omezenou hloubkou ostrosti Šum –Dvojice snímků bez blesku a s bleskem 10.1.2013 15

16 Cíl: Velký dynamický rozsah Krátká expozice Dlouhá expozice Dynamický rozsah 10.1.2013 16

17 3D –Stereo z několika fotoaparátů Vícerozměrné světelné pole –Light Field Capture pole čoček, ‘3D čočky’, heterodynní masky Hranice a oblasti –Multi-flash fotoaparáty se stíny –Fg/bg matting Odstranění rozmazání (Deblurring) –Engineered PSF –Motion: Flutter shutter, Camera Motion –Přeostření (Defocus): Coded aperture, Wavefront coding Globální a přímé osvětlení –High frequency illumination –Glare decomposition Coded Sensor –Gradient camera 10.1.2013 17

18  Marc Levoy Digitální zaostřování pomocí Light Field Camera 125μ square-sided microlenses 10.1.201318Computational Photography

19  Marc Levoy Multi-flash Camera pro detekci hloubkových hran 10.1.201319

20  Marc Levoy Depth Edges LeftTopRightBottom Depth EdgesCanny Edges 10.1.201320

21  Marc Levoy Flutter Shutter Camera LCD opacity switched in coded sequence 10.1.201321

22  Marc Levoy Tradiční expozice Kódovaná expozice Fotografie stojícího objektu Odstraněné rozmazání 10.1.201322

23  Marc Levoy Rychlá separace přímé a globální složky osvětlení scény pomocí vysokofrekvenčního osvětlení 10.1.201323

24  Marc Levoy normal image cross-polarized subsurface component polarization difference (primarily) specular component Separace složek odrazivosti pomocí Polarization-Difference Imaging 10.1.201324

25 Zachycení Esence visuálního zážitku –Využití online kolekcí Photo-tourism Scene Completion –Multiperspektivní obrazy Multi-linear Perspective Unwrap Mosaics Video texture panoramas –Non-photorealistic synthesis Motion magnification –Image Priors Uložené vlastnosti a statistiky Výměna tváří Data-driven enhancement of facial attractiveness Odstranění rozmazání 10.1.2013 25

26 Skládání scény za použití milionů fotografií Hays and Efros, Siggraph 2007 10.1.2013 26

27 Andrew Davidhazy Multiperspektivní obrazy 10.1.2013 27

28 Unwrap Mosaics + Video Editing 10.1.2013 28

29 Zvýraznění pohybu 10.1.2013 29

30 Zvýraznění pohybu 10.1.2013 30

31 Zvýraznění pohybu 10.1.2013 31

32 Záměna tváří Find Candidate face in DB and align Tune pose, lighting, color and blend Keep result with optimized matching cost 10.1.2013 32

33 Záměna tváří Find Candidate face in DB and align Tune pose, lighting, color and blend Keep result with optimized matching cost 10.1.2013 33