Kodowanie Shanona-Fano Kodowanie Huffmana

Algorytm kodowania
arytmetycznego
Algorytmy Kompresji Danych
wykład 4
Roman Starosolski
Plan wykładu

Historia kodowania arytmetycznego

Idea kodowania arytmetycznego

Koncepcja implementacji dla liczb o ograniczonej
precyzji

Wybrane algorytmy



MQ-Coder
Range-Coder
Szybki model dla kodera arytmetycznego
Historia kodowania arytmetycznego

Historia



Shannon (1948) ― „Podstawowe twierdzenie ...”, wzmianka o
możliwości kodowania arytmetycznego
Elias (196x) ― dalsze prace
Jelinek (1968) ― dalsze prace

Rissanen i Pascoe (1976, niezależnie) ― idea implementacji w
arytmetyce stałopozycyjnej

IBM (198x) ― algorytmy zorientowane na sprzętowe kodowanie
alfabetu binarnego (w większości opatentowane)
Witten (1987) i inni ― implementacje programowe dla alfabetów
binarnych i nie-binarnych

„Podstawowe twierdzenie Shannona
o kodowaniu bezszumowym”
(jedna z postaci twierdzenia, wg.: Drozdek: „Wprowadzenie do kompresji danych”)
Dla bezpamięciowego źródła S o entropii H(S) możliwe
jest przypisanie ciągom k symboli źródła, słów kodu
przedrostkowego tak, że spełnione jest
H(S) ≤ Lk / k < H(S) + 1 / k



asymptotycznie, możliwe jest uzyskanie średniej długości kodu
(w przeliczeniu na pojedynczy symbol) równej entropii źródła
optymalna długość słowa kodowego dla symbolu o
prawdopodobieństwie p równa jest –log (p)
(czyli autoinformacji dla tego symbolu)
można zbudować koder entropijny o efektywności bliskiej 100%
Idea kodowania arytmetycznego

Cały ciąg zostanie zakodowany za pomocą jednej liczby rzeczywistej z
lewostronnie domkniętego przedziału zawartego w przedziale [0, 1)



(Jeżeli długość ciągu nie jest znana dekoderowi, to należy ją przetransmitować,
bądź uzupełnić alfabet źródła o symbol oznaczający koniec ciągu.)
Zaczynamy od przedziału [0, 1)
Czytając kolejne symbole ciągu zawężamy stopniowo początkowy
przedział;
dla kolejnego symbolu pobranego z ciągu
przedział dzieli się na lewostronnie domknięte podprzedziały o długościach
wprost proporcjonalnych do prawdopodobieństw poszczególnych symboli
alfabetu źródła
 wybiera się przedział odpowiadający odczytanemu symbolowi.


Wyprowadzamy dowolną liczbę z przedziału wyznaczonego dla ciągu
Przykład

komdujemy ciąg abaca,


Używamy stałego modelu danych


alfabet źródła to {a, b, c}
P(a)=0.6, P(b)=0.2, P(c)=0.2
Przyjmujemy, iż długość ciągu jest znana dekoderowi.

Zaczynamy od przedziału [0, 1). Dla kolejnego symbolu z ciągu
odczytaliśmy a

... przedział dzieli się na lewostronnie domknięte podprzedziały o długościach wprost
proporcjonalnych do prawdopodobieństw poszczególnych symboli alfabetu źródła,
a: [0, 0.6)

b: [0.6, 0.8)
c: [0.8, 1)
... wybiera się przedział odpowiadający temu symbolowi.
przedział dla ciągu a: [0, 0.6)
1
0.6
c
0.8
b
0.6
a
0
0

przedział dla ciągu a: [0, 0.6). Dla kolejnego symbolu z ciągu
odczytaliśmy b

... przedział dzieli się na lewostronnie domknięte podprzedziały o długościach wprost
proporcjonalnych do prawdopodobieństw poszczególnych symboli alfabetu źródła,
aa: [0, 0.36)

ab: [0.36, 0.48)
ac: [0.48, 0.6)
... wybiera się przedział odpowiadający temu symbolowi.
przedział dla ciągu ab: [0.36, 0.48)
1
0.6
c
c
0.8
0.48
b
b
0.6
0.36
a
a
0
0
0.48
0.36

przedział dla ciągu ab: [0.36, 0.48). Dla kolejnego symbolu z ciągu
odczytaliśmy a

... przedział dzieli się na lewostronnie domknięte podprzedziały o długościach wprost
proporcjonalnych do prawdopodobieństw poszczególnych symboli alfabetu źródła,
aba: [0.36, 0.432)

abb: [0.432, 0.456)
abc: [0.456, 0.48)
... wybiera się przedział odpowiadający temu symbolowi.
przedział dla ciągu aba: [0.36, 0.432)
1
0.6
0.48
c
c
c
0.8
0.48
b
b
0.6
0.36
a
a
0
0
0.432
0.456
b
0.432
a
0.36
0.36
... po przetworzeniu całego ciągu abaca

otrzymujemy przedział dla ciągu abaca: [0.4176, 0.432)

Wyprowadzamy dowolną liczbę z przedziału wyznaczonego dla ciągu
1

np. 0.42

(a wiedząc, że liczba jest z [0, 1), wystarczy wyprowadzić znaczące cyfry
mantysy: 42)
0.6
0.48
c
c
c
0.8
0.48
b
b
0.6
0.36
a
a
0
0
0.456
b
0.432
0.432
c
0.4176
b
0.4032
a
a
0.36
0.36
0.432
0.42624
c
0.42912
b
0.42624
a
0.4176
0.4176

Przedziału uzyskany po wykonaniu algorytmu
 długość
przedziału równa jest prawdopodobieństwu
wygenerowania odczytanego ciągu
 dla
każdego możliwego ciągu o długości n symboli
otrzymamy inny przedział


przedziały te nie pokrywają się
ich suma jest przedziałem [0, 1)
 dla
podprzedziału o długości p można znaleźć taką
liczbę, że binarne zakodowanie jej mantysy wymagać
będzie nie więcej niż
 –log(p)  + 1 bitów

Dekodowanie

Znając rozkład prawdopodobieństwa symboli alfabetu i długość
ciągu,
pobieramy zakodowany ciąg, czyli kod 42 → liczba 0.42
 zaczynamy od przedziału [0, 1)
 cyklicznie, aż nie zdekodujemy ciągu o danej długości:




1
analogicznie do kodowania, dzielimy przedział na podprzedziały dla
wszystkich symboli alfabetu
wybieramy podprzedział który zawiera liczbę 0.42
wyprowadzamy symbol odpowiadający temu podprzedziałowi
0.6
0.48
c
c
c
0.8
0.48
b
b
0.6
0.36
0.432
c
0.456
0.42
0.4176
b
b
0.432
0.4032
0.432
0.42
0.42624
c
0.42912
b
0.42624
0.42
a
a
a
a
a
0.42
0.42
0
0
0.36
0.36
0.4176
0.4176
Cechy kodowania arytmetycznego

efektywność bliska 100%, asymptotycznie 100%


bez ograniczeń co do rozkładu prawdopodobieństwa symboli
(ani co do rozmiaru alfabetu)
niezależność kodera od modelu
można stosować różne modele probabilistyczne
 można stosować wiele modeli


nadaje się do algorytmów adaptacyjnych


(trzeba uzupełnić alfabet o symbol EOF)
nie da się go zaimplementować wprost dla liczb o ograniczonej
precyzji
Koncepcja implementacji dla liczb
o ograniczonej precyzji

Część cyfr liczby z wnętrza przedziału można wyprowadzać już w trakcie kodowania
1

gdy początkowe cyfry górnego i dolnego kresu przedziału są takie same,
to takie będą również cyfry każdej liczby wewnątrz przedziału

można więc te cyfry wyprowadzić

(i odpowiednio przeskalować przedział aby korzystać z pełnej dostępnej dokładności)
0.6
0.48
c
c
c
0.8
0.48
b
b
0.6
0.36
a
a
0
0
0.456
b
0.432
0.432
c
0.4176
b
0.4032
a
a
0.36
0.36
0.432
0.42624
c
0.42912
b
0.42624
a
0.4176
0.4176
Koncepcja implementacji dla liczb o
ograniczonej precyzji

Model danych



model oparty o liczby całkowite zamiast prawdopodobieństw
zlicza liczby wystąpień symboli
do wyznaczenia podprzedziału dla kolejnego symbolu wystarczy
znać jego prawdopodobieństwo oraz łączne
prawdopodobieństwo wszystkich symboli poprzedzających go w
alfabecie
ponieważ łatwiej to robić w modelu, zazwyczaj to model
wyznacza skumulowane prawdopodobieństwa
Pi = ∑ki= 1 pi ,
gdzie pi to prawdopodobieństwo symbolu si , tj. i-tego symbolu
alfabetu; tu symbole numerujemy od 1
Koncepcja implementacji dla liczb o
ograniczonej precyzji

Reprezentacja przedziału

kresy pamiętamy na m-bitowych liczbach całkowitych, M = 2 m –1

przedziały traktujemy jako obustronnie domknięte,




kres górny danego podprzedziału jest o 1 mniejszy od kresu
dolnego następnego podprzedziału
w przypadku skalowania przedziału trzeba zadbać aby powyższa
własność została zachowana (po pomnożeniu kresów przez 2
odległość między nimi wzrośnie do 2)
zaczynamy od przedziału [0, M], tj. [0000...0 i 1111...1]
prawdopodobieństwo symbolu wyznaczone przez model nie może
spowodować wyznaczenia przedziału o długości 0
Normalizacja podprzedziału zawartego całkowicie w
górnej lub dolnej połówce przedziału [0, M]

wyprowadź 1 (górna), lub 0 (dolna) i przeskaluj

co zrobić gdy podprzedział zawiera środek przedziału [0, M]?
Normalizacja podprzedziału zawierającego środek
przedziału [0, M]

koduj alfabet binarny, to nie będzie takich problemów (przy
odpowiedniej normalizacji), albo

gdy długość podprzedziału będzie mniejsza od M/2


przeskaluj
zliczaj przeskalowania, ale nie wyprowadzaj bitów
(na podstawie: A. Drozdek, Wprowadzenie do kompresji danych, WNT, Warszawa, 1999)

Kodujemy symbol si (i-ty symbolu alfabetu), aktualny przedział to [L, R]
bieżącyPrzedział = [

L + Pi-1(R – L + 1) , L + Pi (R – L + 1)
]
Normalizacja przedziału (gdy przedział jest mały wykonywana kilkakrotnie)
while(1)
if bieżącyPrzedział  [0, M/2]
zwróc 0 i licznikBitów jedynek
licznikBitów = 0
elseif bieżącyPrzedział  [M/2, M]
zwróc 1 i licznikBitów zer
licznikBitów = 0
odejmij M/2 od obu kresów bieżącegoPrzedziału
elseif bieżącyPrzedział  [M/4, 3M/4]
licznikBitów ++ // tylko tu możliwe przepełnienie
odejmij M/4 od obu kresów bieżącegoPrzedziału
else
break
endif
pomnóż przez 2 oba kresy bieżącegoPrzedziału
dodaj 1 do górnego kresu bieżącegoPrzedziału
endwhile
(na podstawie: A. Drozdek, Wprowadzenie do kompresji danych, WNT, Warszawa, 1999)

Zakończenie kodowania
(wyprowadź resztę „stanu” kodera arytmetycznego,
czyli końcówkę rozwinięcia binarnego liczby z bieżącego przedeziału)
licznikBitów ++
if kres dolny bieżącegoPrzedziału < M/4
zwróc 0 i licznikBitów jedynek
else
zwróc 1 i licznikBitów zer
endif
Wybrane Implementacje

Witten, Neal, Cleary (1987)
(tzw. CACM, zasada działania pokazana na poprzednich slajdach)
ftp://ftp.cpsc.ucalgary.ca/pub/projects/ar.cod/cacm-87.shar

Moffat, Neal, Witten (1998)
(udoskonalony CACM, bez dzielenia, mniej mnożeń, shift, +, –)
http://www.cs.mu.oz.au/~alistair/arith_coder/

MQ Coder
(binarny, opatentowany /IBM i in./, użyty w JBIG2, JPEG2000 i innych)

Range Coder
(szybki, prosty, alfabety wielosymbolowe)
http://www.compressconsult.com/rangecoder/
Binarny koder arytmetyczny
MQ Coder

Kodujemy symbole alfabetu binarnego

bardzo proste modelowanie,



nie trzeba liczyć prawdopodobieństwa kumulatywnego
wystarczy szacować prawdopodobieństwo tylko jednego symbolu
bardzo proste kodowanie


nowy symbol to zmiana tylko jednego kresu przedziału
podprzedział o długości M/2 zawsze jest całkowicie zawarty w górnej lub
dolnej połówce przedziału [0, M] (przy odpowiedniej normalizacji)
MQ Coder – dalsze uproszczenia

normalizacja utrzymuje długość podprzedziału między 0.75 a 1.5, średnio 1.0


faktycznie kodujemy alfabet {MPS, LPS} – czyli bardziej i mniej prawdopodobny
symbol; to, czy MPS to 0 czy 1 jest określa flaga uaktualniana po każdym symbolu



unikamy mnożenia; nowa długość podprzedziału dla prawdopodobieństwa p,
to nie p * stara_długość, a po prostu p
pojawienie się LPS to zawsze skalowanie i wyprowadzenie bitu
MPS może, ale nie musi powodować skalowania i wyprowadzania bitów
model szacuje tylko prawdopodobieństwo LPS
jest ściśle powiązany z koderem i jest aktualizowany tylko w razie normalizacji
prawdopodobieństwo LPS pamiętane z niewielką precyzją (np. 7 bitów)
precyzja jednocześnie odpowiada za adaptacyjność modelu (szybkość zapominania)
 aktualizacja modelu również bez mnożeń,
stablicowane prawdopodobieństwa po normalizacji wywołanej przez LPS/MPS
(2 tablice indeksowane prawdopodobieństwem LPS)


MQ Coder

bardzo szybki

dla większych alfabetów symbol kodowany jest jako ciąg bitów


niewielkie wymagania pamięciowe

szczególnie istotne dla modelu; model dla kontekstu pamięta jedynie:

prawdopodobieństwo LPS (np. 7 bitów)
który bit jest LPS (1 bit)

można stosować złożone modele z wielką liczbą kontekstów


co nadal jest szybkie
mimo uproszczeń, efektywność kodowania bliska 100%
Range Coder – koncepcja

Martin (1979)

Koncepcja opracowana niezależnie od klasycznego kodowania
arytmetycznego

podział pewnego przedziału liczb analogicznie jak w kodowaniu
arytmetycznym, ale



przedział liczb całkowitych
odpowiednio duży przedział, np. [0, 1000000]
po przetworzeniu ciągu wyprowadzamy najbardziej znaczące cyfry pewnej
liczby z wnętrza przedziału
(nie wszystkie, wystarczające do jednoznacznego określenia przedziału)
Range Coder – realizacja

Zakodowanie ciągów dłuższych niż bardzo krótkie, wymagałoby przedziału zbyt
wielkiego by jego krańce reprezentować wprost jako liczby

używamy przedziału reprezentowalnego jako liczba o stałej precyzji w systemie narnym; gdy aktualna długość przedziału spada




Otrzymujemy koder podobny do kodera CACM

inna (szybsza) operacja normalizacji


nadal nie trywialna, mogą wystąpić niedomiary, zliczmy je (analogia do licznikaBitów)
alfabet kodu to cyfra w systemie n-arnym



wyprowadzamy pokrywające się najbardziej znaczące cyfry kresów
odpowiednio skalujemy przedział mnożąc jego kresy przez podstawę systemu liczbowego
wygląda znajomo?
n=256, a więc we/wy bajtowe, prostsze i szybsze niż bitowe w CACM
precyzja podziału przedziału na podprzedziały typowo mniejsza niż np. w CACM
Shindler: http://www.compressconsult.com/rangecoder
(koder, dekoder, prosty model bezpamięciowy, przykłady)
Szybki model dla kodera
arytmetycznego

Potrzebne operacje



dla si wyznacz Pi-1
dla si wyznacz pi
dla Pi-1 wyznacz si (dekodowanie)
powyższe łatwe do zrealizowania, gdy potrafimy szybko wyznaczyć
Ci – łączną liczbę wystąpień symboli sx, x ≤ i


uaktualnij model (po przetworzeniu si)
podziel liczniki w modelu (zwykle przez 2)
Struktura Fenwicka

dla alfabetu n symboli, tablica T [0..n-1]
o indeksie i zawiera sumę liczb wystąpień
symboli od i – 2j + 1 do i
gdzie j to pozycja najmniej znaczącej jedynki w
binarnie zakodowanym i
 komórka

np. i = 6 = 110b, j = 1

2j = i & – i
Struktura Fenwicka
i
i binarnie
j
2j
suma liczników w T [i]
0
0000
0
1
0–0
1
0001
0
1
1–1
2
0010
1
2
1–2
3
0011
0
1
3–3
4
0100
2
4
1–4
5
0101
0
1
5–5
6
0110
1
2
5–6
7
0111
0
1
7–7
8
1000
3
8
1–8
9
1001
0
1
9–9
10
1010
1
2
09 – 10
11
1011
0
1
11 – 11
12
1100
2
4
09 – 12
Struktura Fenwicka

Fenwick
 złożoność
pamięciowa: n
 złożoność czasowa
dla si wyznacz Pi-1
O(log2n)
 dla si wyznacz pi
O(1)
 dla Pi-1 wyznacz si
O(log2n)
 uaktualnij model
O(log2n)
 podziel liczniki w modelu O(log2n)

Struktura Moffata

W tablicy sumowanie „w przód”
 złożoność
pamięciowa: n (z sortowaniem 3n)
 złożoność czasowa
dla si wyznacz Pi-1
O(log2i)
 dla si wyznacz pi
O(1)
 dla Pi-1 wyznacz si
O(log2i)
 uaktualnij model
O(log2i)
 podziel liczniki w modelu O(log2n)

(w praktyce struktury podobnie szybkie, Moffata będzie szybsza gdy alfabet będzie
naturalnie posortowany wg rosnących częstości występowania symboli)