22.3.2001SWI072 Algoritmy komprese dat1 Algoritmy komprese dat Kontextové metody.

Prezentace na téma: "22.3.2001SWI072 Algoritmy komprese dat1 Algoritmy komprese dat Kontextové metody."— Transkript prezentace:

1 22.3.2001SWI072 Algoritmy komprese dat1 Algoritmy komprese dat Kontextové metody

2 22.3.2001SWI072 Algoritmy komprese dat2 2 fáze komprese dat u Vytvoření modelu u Kódování u Model 0-tého řádu - pravděpodobnosti výskytu izolovaných znaků abecedy

3 22.3.2001SWI072 Algoritmy komprese dat3 Konečné kontextové modely u K určení pravděpodobnosti výskytu znaku je použito několik znaků předcházejících u původně navrženo pro kompresi textových souborů u model řádu i - používá kontext délky i u metody –s pevnou délkou kontextu –kombinované - používají kontexty různých délek »úplné (všechny kontexty délek i,i-1,…,0) »částečně kombinované u metody statické, adaptivní

4 22.3.2001SWI072 Algoritmy komprese dat4 PPM - Prediction by Partial Matching u Cleary, Witten, 1984, Moffat, 1990 u kombinace kontextového modelu & aritmetického kódování u kombinovaný model řádu i u pro znak z, kontext c určíme f(z |c) - četnost znaku z v kontextu c u Kódování znaku z: Buď c kontext délky i if f(z |c) > 0 then kóduj z s použitím f(z |c) else aktualizuj f(z |c) output(kód(ESC)) zkus kontext řádu i-1 fi u pro jisté i musí být f(z |c) pro všechny kontexty délky i definováno

5 22.3.2001SWI072 Algoritmy komprese dat5 PPM - pokračování u Jak definovat f(z |c)? –# výskytů znaku z v kontextu c –# případů, v nichž byl kontext c použit k predikci z u Princip exkluze –x se vyskytne poprvé v kontextu abc –f(y|abc)>0  y lze vyloučit z modelu 2. řádu –empirické údaje: 2x délka výpočtu zlepšení komprese o 5%

6 22.3.2001SWI072 Algoritmy komprese dat6 Variace na téma PPM u PPMA –kontext c f(c)=n  f(ESC |c)=1/(n+1) –pro ostatní znaky zůstává f(x|c) u PPMB: f(z |c)´= f(z |c)-1 –abcx...abcx....abcy –f(x|abc) = 1, f(y|abc)=0, f(esc|abc)=2 u PPMC –pro každý kontext c skupina znaků, pro něž f(x|c)>0 –f(esc|c) := # znaků ve skupině

7 22.3.2001SWI072 Algoritmy komprese dat7 Datové struktury n 1 s 1n 1s 1 n 1a 1 assan forward tree a 2 s 2 a 1

8 22.3.2001SWI072 Algoritmy komprese dat8 Datové struktury n 1 s 1n 1s 1 n 1a 1 assani a 2 s 2 a 1 i 1

9 22.3.2001SWI072 Algoritmy komprese dat9 Datové struktury n 1 s 1n 1s 1 n 1a 1 assani a 2 s 2 a 1 i 1

10 22.3.2001SWI072 Algoritmy komprese dat10 Datové struktury n 1 s 1n 1s 1 n 1a 1 assanis a 2 s 2 a 1 i 1

11 22.3.2001SWI072 Algoritmy komprese dat11 Datové struktury n 1 s 1n 1s 1 n 1a 1 assanis a 2 s 2 a 1 i 1 s 1

12 22.3.2001SWI072 Algoritmy komprese dat12 Datové struktury n 1 s 1n 1s 1 n 1a 1 assanis a 2 s 2 a 1 i 1 s 1

13 22.3.2001SWI072 Algoritmy komprese dat13 Datové struktury n 1 s 1n 1s 1 n 1a 1 assanis a 2 s 3 a 1 i 1 s 1

14 22.3.2001SWI072 Algoritmy komprese dat14 Paměťová omezení  Sledování velikosti volné paměti, pokud klesne pod určitou mez T  zmrazení modelu –aktualizuji četnosti již existujících kontextů –ignoruji nové kontexty  Sledování velikosti volné paměti, pokud klesne pod určitou mez T  rekonstrukce modelu –k inicializaci použiji bezprostřední historii, uloženou ve vyrovnávací paměti  Kromě volné paměti sleduji též relativní úspěšnost komprese, pokud začne klesat  rekonstrukce modelu

15 22.3.2001SWI072 Algoritmy komprese dat15 Experimentální výsledky (Fiala,Greene,1989) SC TM NS CC BF SF RCF SNI SCI BI H0 73.2 61.2 59.0 78.0 75.2 62.6 75.6 39.7 84.5 14.8 H1 40.1 42.4 46.7 54.0 57.3 38.0 59.7 18.1 51.0 10.1 FGK 75.1 62.5 59.5 80.4 75.6 63.7 76.7 41.5 85.0 20.5 V 74.9 62.4 59.5 80.2 75.6 63.7 76.6 41.4 85.0 20.5 WNC 36.9 35.8 32.6 76.8 54.4 51.6 64.9 23.3 60.8 10.6 SC zdrojový kód TM ASCII (technické memoranda) NS ASCII (news service) CC zkompilovaný kód BF boot file SF splajnové fonty RCF bitové mapy fontů kódované RLE SNI syntetické obrázky SCI digitalizované barevné fotografie (8bitů/pixel) BI digitalizované faxové dokumenty H0 entropie 0. řádu, H1 entropie 1. řádu WNC aritmetické kódování s kontextem délky 3 (Witten, Neal, Cleary)

16 22.3.2001SWI072 Algoritmy komprese dat16 Příklad - MNP (Microcom Networking Protocol) u MNP5: 2 fáze –RLE –adaptivní statistické kódování u n stejných bytů s hodnotou B  B B B n-3 u kódovací tabulka

17 22.3.2001SWI072 Algoritmy komprese dat17 MNP5 - kódovací tabulka (dokončení) u EOF 111|11111111 + zarovnání 1 na hranici bytu

18 22.3.2001SWI072 Algoritmy komprese dat18 Adaptivní strategie u read(B); output(kód(B)) u if B je znak then četnost(B)++; aktualizuj tabulku fi u četnost(B) - 1 byte u if četnost(B)=maximum then vyděl všechny četnosti 2

19 22.3.2001SWI072 Algoritmy komprese dat19 Aktualizace tabulky četnost(i)++; while true do j := P(i); if j=1 then exit fi j := Q(j-1); if četnost(i)  četnost(j) then exit else P(i)  P(j); Q(P(i))  Q(P(j)) fi od.

20 22.3.2001SWI072 Algoritmy komprese dat20 Aktualizace tabulky - příklad četnosti kódPQ b a PQ b a PQ b a PQ b a

21 22.3.2001SWI072 Algoritmy komprese dat21 MNP7 u RLE + kontextový model řádu 2 u RLE: běh znaků B délky  3  3 kopie B 4bitová četnost zbytku u 256 tabulek (pro každý znak), 256 řádků (kontext) s četnostmi u (statická) tabulka s kódovými slovy prefixového kódu