AGP – Rendering, digitální video LS2015 16. 3. 2015, Brno Připravil: Ing. Jaromír Landa, Ph.D.

Prezentace na téma: "AGP – Rendering, digitální video LS2015 16. 3. 2015, Brno Připravil: Ing. Jaromír Landa, Ph.D."— Transkript prezentace:

1 AGP – Rendering, digitální video LS2015 16. 3. 2015, Brno Připravil: Ing. Jaromír Landa, Ph.D.

2 Ray-tracing metoda sledování paprsku paprsky se šíří od světelných zdrojů různými směry, některé zasáhnou povrch objektů ve scéně určení barevného složení paprsku, který dopadá na sítnici našeho oka je spojeno s vyhledáním trasy, kterou paprsek v prostoru scény prošel výsledná barva paprsku vznikne složením barev více paprsků, které přicházejí jak ze zdrojů světla, tak od těles, která světlo odrážejí v PG proces šíření světla modelujeme obráceným postupem (tzv. zpětné sledování paprsku) strana 2

3 Dvě varianty sledování paprsku Vržení paprsku (ray casting) –nalezení a zobrazení bodu na povrchu nejbližšího tělesa zasaženého paprskem Sledování paprsku vyššího řádu –sledování paprsku nekončí po nalezení nejbližšího tělesa, ale pokračuje sledováním dalších paprsků, odvozených podle odrazivosti a průhlednosti strana 3

4 Ray-tracing Primární paprsek –je vyslán z místa pozorovatele bodem obrazu Sekundární paprsek –je vytvořen po dopadu primárního nebo sekundárního paprsku na těleso Stínový paprsek –je vyslán z bodu, kam dopadl primární nebo sekundární paprsek, ke světelnému zdroji strana 4

5 Ray-tracing metoda sledování paprsku dokáže: –zobrazit na povrchu tělesa zrcadlové obrazy jiných těles pomocí sekundárních paprsků –nakreslit vržené stíny pomocí stínových paprsků algoritmus má rekurzivní charakter barevné složení původního paprsku můžeme určit teprve po zjištění údajů o všech dílčích paprscích nedostatek: –zpětným sledováním paprsku nelze nalézt všechny paprsky přispívající k osvětlení určitého bodu strana 5

6 Ukončení metody sledování paprsku při opuštění scény po dopadu do zdroje světla po N odrazech a lomech po uražení mezní vzdálenosti strana 6

7 Zrychlení metody sledování paprsku velká časová náročnost nejnáročnější: hledání nejbližšího průsečíku paprsku s tělesy ve scéně (70-90 % celkového času) urychlovací metody: –urychlení výpočtů průsečíků –snížení počtu paprsků –sledování více paprsků naráz strana 7

8 Radiozita vyzařovací metoda pro dosažení fotorealistické věrnosti renderovaných obrázků, která umožňuje simulovat šíření světla scénou z fyzikálního hlediska globální výpočet osvětlení podle tepelného záření časově náročnější než rekurzivní sledování paprsku sledování paprsku na jejich dráze od zdrojů světla –fyzikální princip světelných jevů –termodynamické řešení osvětlení scény –fotorealistická věrnost počítaných obrazů základním prvkem je plocha, která dokáže světelnou energii přijímat, odrážet a vyzařovat strana 8

9 Radiozita postup zobrazování scény má dvě části: –vyhodnocení šíření světla ze světelných zdrojů (plošných) a jeho odrazy na povrchu těles každá plocha je ohodnocena hodnotou osvětlení nezávislost na poloze pozorovatele (vlastnost scény) –použití libovolného zobrazovacího algoritmu, který řeší viditelnost scény scénu pak můžeme zobrazovat z různých pohledů bez nutnosti nových výpočtů strana 9

10 DIGITÁLNÍ VIDEO strana 10

11 Digitální video –Typ záznamového zařízení, které pracuje s digitálním signálem a ne s analogovým. –Proces, kdy se v určitém okamžiku provádí „digitalizace“ zdrojového videa, abychom jej mohli později upravovat na počítači. strana 11

12 Vlastnosti videa Rozlišení - Určuje počet bodů (pixelů) videa v horizontálním a vertikálním směru. Horizontální rozlišení se však často vynechává a udává se pouze počet bodů ve vertikálním směru (720p, 1080p). Poměr stran (Aspect Ratio) – většinou 4:3 nebo 16:9. FPS (frames per second) – počet snímků za vteřinu Bit Rate (datový tok) – množství informací, které se zaznamenávají na každou sekundu videa –Dva typy: Constant BR a Variable BR Kontejner (formát) – AVI, MPEG, MKV,MP4 Codec - koder a dekoder strana 12

13 Televizní normy Jako televizní norma se označuje souhrn standardů kódování signálu pro televizní vysílání. PAL – většina Evropy včetně ČR a SR –Rozlišení 720x576 –FPS: 25 NTSC – Severní Amerika –Rozlišení 720x480 –FPS: 29.97 SECAM – Francie a Rusko HD – Rozlišení: 1280x720 Full HD – Rozlišení: 1920x1080 HDV – Rozlišení: 1440x1080 4K - Rozlišení min. 3840x2160 strana 13

14 Prokládané x progresivní Prokládané (Interlaced) –Záběry založené na prokládání využívají techniku vyvinutou pro CRT (Cathod Ray Tube) monitory a televize. Obraz tvoří 576 viditelných řádků. Technika prokládání je rozdělí na liché a sudé řádky a pak je střídavě obnovuje ve frekvenci 25 snímků za sekundu. Progresivní (Progressive) –Progresivní, na rozdíl do prokládaného, zobrazí celý záběr řádek po řádku vteřinu. Zachycené záběry nejsou rozděleny do samostatných částí jako při prokládání. strana 14

15 Komprese videa zvláštnosti: –potřeba poměrně velkého prostoru pro uložení –nutno zajistit určitý minimální tok informace tak, aby byl výsledný dojem přirozený komprimace pomocí tzv. kodeků (KOmpresor + DEKompresor) kodek videa –= algoritmus pro kompresi a dekompresi obrazu –umístění kodeků integrace do různých HW standardní či doplňková část OS jako samostatný produkt strana 15

16 Způsob komprese metody komprimace obrazu a videa –bezztrátové (např. HuffYUV) –ztrátové (všechny kodeky MPEG a jejich odvozeniny jako DivX, XviD, H.264, Real Video apod.) proces komprese + proces dekomprese komponují se společně do jednoho modulu definováno jednotné programové rozhraní pro komunikaci modulu s programy (konfigurace parametrů kodeku – datový tok, kvalita, rychlost komprese atd.) strana 16

17 Bezztrátové metody komprese kompresní poměry 2:1 nebo 4:1 (vůči nekomprimovanému materiálu) bezztrátové algoritmy založené na redukci redundance: –RLE – Run Length Enconding –Huffmanovo kódování (tzv. neadaptivní slovníková komprese) –LZW – Lempel-Ziv-Welch (tzv. adaptivní slovníková komprese) strana 17

18 Ztrátové metody komprese výhoda: –vyšší kompresní poměry (snadno oklamatelné lidské smysly) kompresní poměry v závislosti na kvalitě od 7:1 a více. komprimují se informace o pohybu, které se v následujících oknech jeví jako statické nevýhody: –ztráta kvality –náročnost dekomprese strana 18

19 Ztrátové metody komprese ztrátové algoritmy využívající nedokonalosti lidského oka (některé informace oko není schopno zpracovat a proto je zbytečné je dále přenášet) : –Transformační komprese analýza obsahu obrazu: 1)rozklad na složky podle prostorové frekvence (např. DCT nebo wavelet) 2)redukce jednotlivých složek (např. změna bitové hloubky) DCT – Diskrétní kosinova transformace (obrázek zpracován po malých čtvercových blocích) Wavelet –algoritmus založený na vlnkových transformacích –nejlepší kompresní algoritmus, který se v praxi používá –Fraktálová komprese založena na soběpodobnosti (teorie fraktálů) soběpodobná množina sestává z kopií sebe samé vyhledání a záznam vzorů a jejich transformací strana 19

20 Ztrátové metody komprese Interframe komprese –všechny doposud zmiňované metody byly tzv. intraframe (intra = uvnitř)  pro dekompresi jednoho snímku stačí znát komprimovaná data pouze pro tento snímek –interframe (inter = mezi) vlastnost videa: následující snímky jsou více či méně podobné těm předchozím postačí zakódovat pouze změnu mezi jednotlivými snímky, ne snímky celé –používají ji všechny moderní kodeky (např. MPEG, DivX, XviD apod.) –nevýhody: prodloužení doby komprese prodloužení doby dekomprese (při dekompresi jednoho snímku je nutné dekomprimovat i několik předcházejících snímků) nejsou vhodné pro střih videa! strana 20

21 Interframe komprese - model MPEG-1/2 je založen na 3 typech snímků: –I (intra coded) – samostatný snímek, který ke kompresi či dekompresi nepotřebuje žádný jiný snímek –P (forward predicted) – snímek, který potřebuje jeden předcházející snímek (I nebo P) –B (forward and backward predicted) – snímek, který je odvozen jak od předchozího (I nebo P), tak i od následujícího snímku (I nebo P) P-snímky a B-snímky jsou interframes (využívají informace z jiných snímků) –několik P-snímků může být mezi dvěma I-snímky –B-snímky mohou být mezi dvěma I/P snímky GOP (Group of Pictures) –shluk snímků mezi dvěma I-snímky –je pro něj definována maximální délka –přehrávání začíná vždy na I-snímku strana 21

22 Bezztrátové a ztrátové kodeky Bezztrátové kodeky: –HuffYUV –LCL Ztrátové kodeky: –Indeo Video 5.10 –Microsoft Video 1 –WMV –MJPEG –MPEG-1/2/3/4, MPEG-7 a MPEG-21 –H.261, H.263, H.264 –DivX 3.11a Alpha, DivX 4, DivX 5, … –Xvid –a další… strana 22

23 Bezztrátové kodeky HuffYUV –rychlý, bezztrátový –vhodný především pro kompresi formátů YUV (prostor pro přenos televizních signálů) –komprimační metody obdobné algoritmu ZIP LCL –(Loss-Less Codec Library) –vhodný pro digitální animace –má větší kompresní schopnost než HuffYUV, ale není tak rychlý strana 23

24 Ztrátové kodeky WMV –(Windows Media Video) –ideální pro malý datový tok, kratší záznamy nebo streamování (ASF) –není vhodný např. pro kódóvání celovečerního filmu MPEG-1 –(Motion Pictures Experts Group) –1992 – přijat jako norma ISO/IEC-11172 –norma pro záznam pohyblivého obrazu na CD –nehodí se pro střih videa z důvodu vzdálených klíčových snímků MPEG-2 –1994 – standardem pro kompresi digit. videa –podpora proměnlivého i konstantního datového toku strana 24

25 Ztrátové kodeky MPEG-4 –formální označení: ISO/IEC 14496 (jako standard byl přijat v březnu 1999) –nejde o přesnou definici komprese a kompresních algoritmů –množina parametrů a vlastností, které musí kompresor splňovat, aby byl MPEG-4 kompatibilní –různé implementace MPEG-4, které vybírají z definice vždy to, co je pro daný formát vhodné (např. Microsoft MPEG-4 v1, v2, v3, DivX 4, DivX5, XviD a další) strana 25

26 Ztrátové kodeky H.264 –oficiálně schválený kodek, který je součástí standardu MPEG-4 –navržen pro zpracování videa s vysokým rozlišením –vybrán jako standard pro mobilní sítě třetí generace, HD- DVD a Blueray DivX 3.11a Alpha –nelegální a upravená verze kodeku Microsoft MPEG-4 v3 (která v beta verzi umožňovala ukládat video do formátu AVI) –umožňuje kompresi do formátu AVI –zahýbal světem digitálního videa na počítačích strana 26

27 Ztrátové kodeky DivX 4, DivX 5 –první verze DivX 4 vyšla z projektu OpenDivX (dostupná i se zdrojovými kódy, ale kvalita nebyla jako u DivX 3.11a) –od verze DivX 5 jde již o uzavřený kodek –kompatibilní s MPEG-4 –vysoká kvalita obrazu při nízkém datovém toku –v posledních verzích je plná verze licence placená XviD –vychází také z OpenDivXu –vysoká kvalita mnohdy převyšující DivX –MPEG-4 kompatibilní –nulová cena strana 27

28 Souborové formáty digitálního videa MPEG soubory –(Moving Picture Experts Group) –.MPG (nejjednodušší forma) –.DAT (video CD) –.VOB (souborový formát MPEG na DVD) AVI soubory –(Audio Video Interleaved) –navrženy Microsoftem –používaný pro MPEG-4 (DivX, XviD, atd.) strana 28

29 Formáty digitálního videa na Internetu Apple QuickTime –kodek i přehrávač (kvalitní, ale poměrně náročný na hardware) –používají ho na webu např. HBO, CNN, BBC, Pixar, Disney –.QT nebo.MOV soubory Microsoft Windows Media –platformová příslušnost k PC s OS Windows –formáty WMA, WMV a ASF nahrazuje MS formát AVI ASF (Active Streaming Format) – v1, v2 (v1 používána nástroji Media Player a Media Encoder).WMV (Windows Media Video) soubory MKV (Matroska) –Open source kontejner –Je možné v něm uložit video, audio, obrázky a titulky. –Hodně používán pro videa v HD a FullHD strana 29

30 STŘIH VIDEA strana 30

31 Scénář Soupis všech scén Soupis toho, co je potřeba pro natáčení (zařízení, herci) Existují standardní formy (ale nemusíte je používat) Zkuste ho udělat!!! strana 31

32 Příklady https://www.youtube.com/watch?v=7LXQg6t4q2A& list=WL&index=12https://www.youtube.com/watch?v=7LXQg6t4q2A& list=WL&index=12 B-Roll –B-Roll odkazuje na druhotné záběry. –Jsou to záběry, které vyplňují okamžiky mezi střih nebo doplňují střih o dodatečné záběr. –Používají se také pro zamaskování chyb při natáčení –Příklad: při natáčení obřadu svatby je dobré pořídit i záběry obřadní síně, záběry z venku, atd. strana 32

33 B-roll a projekt Hlavní záběr: auto jede po ulici B-roll: –Široký záběr na ulici –Detail silnice –Detail baráku kolem kterého zrovna jede –… strana 33