Computational photography Zdeněk Töpfer Computational Photography

9. Computational Photography Tradiční fotografie a „Computational Photography“ Zvýraznění detailů Detekce změn Odstranění rozmazání Proměnná ohnisková vzdálenost Computational Photography

Přehled možností fotografie – nové pohledy Unlocking Photography Not about the equipment but about the goal Capturing ‘machine readable’ visual experience Goes beyond what you can see through the viewfinder Push the envelope with seemingly peripheral techniques and advances Think beyond post-capture image processing ‘Computation’ well before image processing and editing Learn how to build your own camera-toys Emphasis Most recent work in graphics/vision (2006 and later) Research in other fields: Applied optics, novel sensors, materials Review of 50+ recent papers and projects What we will not cover Minimum discussion of graphics/vision papers before 2006 Epsilon photography (improving camera performance by bracketing) Film Cameras, Novel view rendering (IBR), Color issues, Traditional image processing/editing Computational Photography

Co to je „Computational Photography“? Vytvoření takové fotografie, jaká by nemohla být získána pomocí tradičního fotoaparátu Cíl: získat bohatší, víceúrovňový vizuální zážitek 1.Překonání omezení dnešních fotoaparátů 2.Podpora lepšího zpracování po vyfotografování snímku Zaostřeni, hloubka ostrosti, dynamický rozsah 3.Umožní nové způsoby záznamu vizuálního signálu Okamžik, časový interval, rozbalená mozaika, výřezy 4.Syntetizovat „nemožné“ fotografie Pohled kolem dokola, spojení časosběrných událostí, zvětšení pohybu, video textury a panoramata. 5.Využití dříve nepředstavitelných forem vědeckého zobrazování Kódovaná clona, víceohniskové zobrazení Computational Photography

Tradiční fotografie Lens Detector Pixels Image

Tradiční fotografie Lens Detector Pixels Image Napodobuje lidské oko pro jednotlivý snímek: Jeden pohled, jeden okamžik, pevný dynamický rozsah a hloubka ostrosti pro dané osvětlení ve statickém světě

Traditional Photography Lens Detector Pixels Image

Optika, senzory a výpočty Generalized Sensor Generalized Optics Computations Picture 4D Ray Bender Upto 4D Ray Sampler Ray Reconstruction Spojování snímků, kódované snímání

Computational Photography Novel Cameras Generalized Sensor Generalized Optics Processing

Computational Photography Novel Illumination Novel Cameras Generalized Sensor Generalized Optics Processing Light Sources

Computational Photography Novel Illumination Novel Cameras Scene : 8D Ray Modulator Generalized Sensor Generalized Optics Processing Light Sources

Computational Photography Novel Illumination Novel Cameras Scene : 8D Ray Modulator Display Generalized Sensor Generalized Optics Processing Recreate 4D Lightfield Light Sources

Computational Photography Novel Illumination Novel Cameras Scene : 8D Ray Modulator Display Generalized Sensor Generalized Optics Processing 4D Ray Bender Upto 4D Ray Sampler Ray Reconstruction Generalized Optics Recreate 4D Lightfield Light Sources Modulators 4D Incident Lighting 4D Light Field

Computational Photography 1.Epsilon Photography –Nízkoúrovňové vidění: Pixely –Násobné fotografie pomocí malých změn parametrů fotoaparátu –HDR, panorama, … –‘Dokonalý fotoaparát’ 2.Coded Photography –Jeden/více snímků –Reverzní kódování dat –Dodatečné senzory/optika/osvětlení –‘Analýza scény’ 3.Essence Photography –Více než jeden pohled/osvětlení –Nenapodobuje lidské oko –‘Nové formy umění’

Epsilon Photography Dynamický rozsah –Exposure bracketing Větší rozlišení –Skládání panoramat Hloubka ostrosti –Složení více snímků s omezenou hloubkou ostrosti Šum –Dvojice snímků bez blesku a s bleskem

Cíl: Velký dynamický rozsah Krátká expozice Dlouhá expozice Dynamický rozsah

3D –Stereo z několika fotoaparátů Vícerozměrné světelné pole –Light Field Capture pole čoček, ‘3D čočky’, heterodynní masky Hranice a oblasti –Multi-flash fotoaparáty se stíny –Fg/bg matting Odstranění rozmazání (Deblurring) –Engineered PSF –Motion: Flutter shutter, Camera Motion –Přeostření (Defocus): Coded aperture, Wavefront coding Globální a přímé osvětlení –High frequency illumination –Glare decomposition Coded Sensor –Gradient camera

 Marc Levoy Digitální zaostřování pomocí Light Field Camera 125μ square-sided microlenses Computational Photography

 Marc Levoy Multi-flash Camera pro detekci hloubkových hran

 Marc Levoy Depth Edges LeftTopRightBottom Depth EdgesCanny Edges

 Marc Levoy Flutter Shutter Camera LCD opacity switched in coded sequence

 Marc Levoy Tradiční expozice Kódovaná expozice Fotografie stojícího objektu Odstraněné rozmazání

 Marc Levoy Rychlá separace přímé a globální složky osvětlení scény pomocí vysokofrekvenčního osvětlení

 Marc Levoy normal image cross-polarized subsurface component polarization difference (primarily) specular component Separace složek odrazivosti pomocí Polarization-Difference Imaging

Zachycení Esence visuálního zážitku –Využití online kolekcí Photo-tourism Scene Completion –Multiperspektivní obrazy Multi-linear Perspective Unwrap Mosaics Video texture panoramas –Non-photorealistic synthesis Motion magnification –Image Priors Uložené vlastnosti a statistiky Výměna tváří Data-driven enhancement of facial attractiveness Odstranění rozmazání

Skládání scény za použití milionů fotografií Hays and Efros, Siggraph

Andrew Davidhazy Multiperspektivní obrazy

Unwrap Mosaics + Video Editing

Zvýraznění pohybu

Zvýraznění pohybu

Zvýraznění pohybu

Záměna tváří Find Candidate face in DB and align Tune pose, lighting, color and blend Keep result with optimized matching cost

Záměna tváří Find Candidate face in DB and align Tune pose, lighting, color and blend Keep result with optimized matching cost