Pokročilé architektury počítačů (PAP_13.ppt) Karel Vlček, karel.vlcek@vsb.cz katedra Informatiky, FEI VŠB Technická Univerzita Ostrava

Standardy komprese multimedií Statický obraz Standard JPEG, Standard JPEG 2000 Dynamický obraz Klasická metoda, Predikce a kompenzace pohybu, Komprese na základě modelování Video-standardy Standardy komprese řečových signálů Standardy komprese audio-signálů Vodoznaky (Watermarking) Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Standard JPEG Standard JPEG (Joint Photographic Expert Group) se datuje od roku 1986 Cílem je dosažení optimálního kompresního poměru s velmi dobrou rekonstrukcí obrazu Použití JPEG má vyhovovat podmínkám komprese barevných obrazů v libovolném prostoru barev při libovolné velikosti obrazů Požadavkem je přizpůsobivost různým režimům činnosti (viz následující přehled podmínek) Karel Vlček Pokročilé architektury procesorů

Způsoby činnosti standardu JPEG Sekvenční kódování: postupem shora dolů a zleva doprava Postupné kódování: probíhá v několika iteracích s postupnou změnou kvality Bezztrátové kódování: umožňuje exaktní rekonstrukci za cenu nízkého kompresního poměru Hierarchické kódování: umožňuje změnu prostorové rozlišovací schopnosti bez dekódování celého obrazu Karel Vlček Pokročilé architektury procesorů

Standard JPEG – dva principy Ztrátové kompresní kódování na bázi algoritmu diskrétní kosinové transformace (DCT) kde je blok 8 x 8 pixelů a a Bezztrátové kompresní kódování na principu predikčního kódování Karel Vlček Pokročilé architektury procesorů

Komprese JPEG na bázi DCT Vstupní obraz je rozdělen na nepřekrývající se bloky s rozměrem 8 x 8 pixelů Na blok 8 x 8 pixelů se aplikuje transformace DCT s algoritmem „in place“ Kmitočtové koeficienty se potom kvantují Koeficienty vyšších kmitočtových složek (ostré hrany a příliš malé detaily) se nepřenášejí nebo neukládají do paměti Na zbývající koeficienty se aplikuje bezztrátové kompresní kódování Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Činnost JPEG kodéru Vstupní obraz se rozdělí na 8 x 8 obrazových prvků (pixelů) nepřekrývajících se bloků Na každý blok se aplikuje algoritmus DCT, výsledkem je matice 8 x 8 kmitočtových koeficientů Proces kvantování Q představuje normování hodnot kvantizačních koeficientů Nejvyšší kmitočtové koeficienty jsou nulovány Zbylé koeficienty jsou podrobeny bezztrátovému kódování Následuje přenos nebo uložení do paměti Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů JPEG kodér na bázi DCT Komprese obrazových dat po blocích 8 x 8 obrazových prvků (pixel = picture element) Diskrétní kosinová transformace (DCT) Kvantování (Q) Bezztrátové Kódování (VLC) Tabulka Vstupní obraz Kmitočtové koeficienty Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Činnost JPEG dekodéru V dekodéru JPEG probíhají inversní operace než v kodéru JPEG Komprimovaná data v podobě kmitočtových koeficientů se dekódují algoritmem inversního bezztrátového kódování Realizuje se dekvantizace, která představuje proces obnovení původního dynamického rozsahu hodnot transformačních koeficientů Aplikací DCT-1 se získá blok 8 x 8 rekonstruovaného obrazu Karel Vlček Pokročilé architektury procesorů

JPEG dekodér na bázi DCT Rekonstrukce obrazových pixelů z kmitočtových koeficientů F(u,v) do matic 8 x 8 DCT-1 Dekvantování Q-1 Bezztrátové dekódování VLC-1 Tabulka Výstupní obraz Kmitočtové koeficienty Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Výpočet DCT-1 Blok 8 x 8 kmitočtových koeficientů je zpracován podle vztahu pro rekonstrukci z hodnot C(u) a C(v): kde jsou rekonstruované kmitočtové transformační koeficienty a C(u) a C(v) se určují stejným postupem jako při přímé DCT Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů DCT – in place Rozmístění kmitočtových koeficientů po DCT 1 5 3 59 61 63 64 62 60 4 2 6 Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů DCT – cik-cak čtení Přemístění kmitočtových koeficientů pro čtení „cik-cak“ 63 1 6 3 5 4 2 61 60 62 59 64 Karel Vlček Pokročilé architektury procesorů

Komprese zvuku a obrazu JPEG Standard JPEG (Joint Photographic Expert Group) vznikal v letech 1982 až 1994 Přesnost 8 nebo 12 bitů Obsahuje DCT po blocích 8 x 8 pixelů Kvantování pomocí tabulky Diferenční impulsní kódování DC koeficientů a klikatý scan AC koeficientů Huffmanovo nebo aritmetické kódování Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Kodér a dekodér JPEG JPEG má definovány čtyři kódovací režimy: Sekvenční - diskrétní kosinová transformace, postup zleva doprava a shora dolů Progresivní - pro hrubý náhled Bezztrátové - rekonstrukce každého vzorku, nevýznamná informace se odstraňuje Hierarchické kódování - lze dekomprimovat jen hrubé rozlišení a ne již jemné rozlišení Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Parametry JPEG Obecné vlastnosti: Obrázek formátu A4 s 24 barvami a 300 dpi z 25 MB je zkomprimován na 1 MB za 1 sekundu Standard uvádí v příloze P3 příklady matic pro kvantování pro luminaci a chrominaci Je doporučena také tabulka Huffmanova kódu pro diferenční kódování DC luminačních a chrominačních koeficientů Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Vrstvy kódování MPEG-1 Standard byl vyvíjen v letech 1988 až 1994 pro číslicová paměťová media Pohyblivé video: 1,15Mb/s Audio: ve třech vrstvách: I. 32 - 448 Kb/s II. 32 - 384 Kb/s III. 32 - 320 Kb/s Karel Vlček Pokročilé architektury procesorů

Kategorie standardů MPEG-2 Standard byl vytvořen roku 1990 až 1997 pro: Spotřební elektroniku Telekomunikace HDTV dalších generací Karel Vlček Pokročilé architektury procesorů

Vlastnosti standardů MPEG-2 Je zavedena tzv. škálovatelnost čtyř typů: Prostorová (pro videokomunikace) Podle úrovně šumu (SNR) Časová (nejméně náročná na čas je ta nejnižší úroveň) Hybridní (je určen pro ATM, kdy jsou k dispozici dva kanály pro přenos a ukládání dat) Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Standard JPEG 2000 Vyšší účinnost komprese obrazu ve smyslu počtu bitů na obrazový prvek (pixel) u víceúrovňových i binárních obrazů Režim činnosti je ztrátový i bezztrátový Umožňuje postupný režim přenosu obrazu Kódování oblastí zájmu umožňuje zakódovat části obrazu přesněji než nevýznamné části Odolnost vůči chybám (např. při mobilních aplikacích) Ochrana autorských práv pomocí vodoznaků Karel Vlček Pokročilé architektury procesorů

Komprese ve standardu JPEG 2000 Princip komprese ve standardu JPEG 2000 Karel Vlček Pokročilé architektury procesorů

Kodér ve standardu JPEG 2000 V prvním bloku kodéru se realizuje přímá waveletová transformace Výsledné transformační koeficienty jsou kvantované a entropicky kódované Vytváří se komprimovaná obrazová data, která jsou připravena pro přenos nebo ukládání do multimediální databáze Komprese podle standardu JPEG 2000 je vhodná pro přenos po INTERNETU nebo např. pro ukládání medicínských dat Karel Vlček Pokročilé architektury procesorů

Dekodér ve standardu JPEG 2000 Dekodér realizuje inverzní operace vůči kodéru Tok komprimovaných dat je podroben entropickému dekódování Následuje dekvantování, které není inverzním procesem kvantování, pouze obnovuje původní dynamický rozsah hodnot transformačních koeficientů Inverzní waveletová transformace (IWT) vytváří rekonstruovaná data Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Výhody JPEG 2000 proti JPEG Vstupní obraz je dekomponovaný na pravoúhlé složky, které tvoří základní jednotku obrazu resp. rekonstrukce obrazu Úrovně dekompozice vytvářejí subpásmové koeficienty reprezentující frekvenční charakteristiky lokálních oblastí obrazu Koeficienty jsou kódovány po bitových rovinách, takže detaily je možné kódovat s vyšší kvalitou, než pozadí Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Části kódování v JPEG 2000 Předzpracování Komprese Formování výstupního datového toku Karel Vlček Pokročilé architektury procesorů

Předzpracování před kompresí Dekompozice Posuv stejnosměrné úrovně Transformace obrazových vzorků Karel Vlček Pokročilé architektury procesorů

Transformace složek JPEG 2000 Transformace obrazových složek Karel Vlček Pokročilé architektury procesorů

Komprese ve standardu JPEG 2000 Waveletová transformace Kvantování Entropické kódování Karel Vlček Pokročilé architektury procesorů

Vlastnosti multimediálních procesorů Za všechny je možné uvést rodinu Mpact: Řetězec 3D se 35 stupni Vykreslování 500 MFLOPS Architektura VLIW: 6 miliard operací za sekundu (BOPS) 1 milion 3D trojúhelníků za sekundu Šest paralelně pracujících V/V a pamětí Křížový přepínač několika paralelních ALU Karel Vlček Pokročilé architektury procesorů

Aplikace multimediálních procesorů 2D grafika (VGA, SVGA) 3D grafika (Direct3D) Video (DVD, MPEG-1, MPEG-2) Digitální audio (Dolby Digital AC-3) Fax/modem (56 kbit/s, simultánní hlas a data) Telefonie (Plný duplex, hlasová pošta, ID) Videotelefon (POTS - Plain Old Telephone Service) Karel Vlček Pokročilé architektury procesorů

Pokročilé architektury procesorů Literatura: Dvořák, V.: Architektura a programování paralelních systémů, VUTIUM Brno, (2004), ISBN 80-214-2608-X Dvořák, V., Drábek, V.: Architektura procesorů, VUTIUM Brno, (1999), ISBN 80-214-1458-8 Drábek, V.: Výstavba počítačů, PC-DIR, s.r.o. Brno, (1995), ISBN 80-214-0691-7 Mueller, S.: Osobní počítač, Computer Press, Praha, (2001), ISBN 80-7226-470-2 Pluháček, A.: Projektování logiky počítačů, Vydavatelství ČVUT Praha, (2003), ISBN 80-01-02145-9 Karel Vlček Pokročilé architektury procesorů