F14_B_be 1

Telekommunikation, KirunaKällkodning

F14_B

2004-10-14/BE 2005-10-10/BE

F14_B_be 2

When Saving Space Is More Important than Absolute FidelityYou also have the option of saving your JPEG2000 images to a lossy format that can be up to 200 times smaller than a comparable-quality smaller JPEG. This is a worthwhile option to consider if you have to transmit high-quality files over the Internet, as the time saved can easily outweigh the loss of data. If you use a high-quality setting, it takes an expert to tell the difference. In Figure 2, you see two small sections of the same part of the same image of driftwood on a beach. The image on the left was saved to a lossless PSD file and requires just over 9MB to store. The same section of the image, shown on the right, was stored in "lossy" JPEG2000 at a quality level of 50. The stored file uses only 1.1MB.

9 MB 1.1 MB

F14_B_be 3

Jpeg

28 kB 52 kB 98 kB

0.60 bit/pixel 1.17 bit/pixel 0.88 bit/pixel

F14_B_be 4

Svartvit bild, 200*200 pixel, 1 bit/pixelSvart_sum = 6382 Vitt_sum =33618Bild vektor1 1 1 1 1 1 1 1 1 0 …

Ide’ tillKodning?

F14_B_be 5

DiskretSignalkälla

AnalogSignalkälla

ADC

Käll-Kodare

R1 R2

R = datahastighet bit/s

• Förlustfri kodning R2 = R1

(”Lossless”)• Kodning med förluster R2<R1 (”Lossy”)

F14_B_be 6

Exempel: En svartvit bild kodas med 8bitar/pixel (Gråskala 0 (Svart)– 255 (Vitt) )

100*100Pixel

Informationsmängd

100*100*8 bit

För sparad bild-fil:

10 kB = 10240 bit

F14_B_be 7

100*100Pixel

Informationsmängd

100*100*8 bit

För sparad bild-fil:5 kB = 5120 bit

F14_B_be 8

Minns Vi:

• Entropi

• Egeninformation

• Shannons formel ( 1 av flera )

]/[1

log)( 2

1

0

symbolbitp

pXHi

K

ii

)(1

log)( 2 tsannolikhepp

XI

BN

SB

N

SBC

022 1log1log

F14_B_be 9

HUFFMANKOD

Antag att en diskret signalkällaarbetar med symboler med olikagrad av sannolikhet.

IDE’: Koda symbolerna med olikaantal bitar beroende på sannolihet.Stor sannolikhet ger kort kod etc.Jämför MORSE-kod.

F14_B_be 10

HUFFMANKOD exempel 1:4 Symboler A,B,C,D med olika sannolikheter

0.5

B0.125

C0.25

D0.5

0.25

A0.125

1

1 0

1

1

0

0

111 110 10 0

F14_B_be 11

>> P1=[0.125 0.125 0.25 0.5];>> sum(P1) = 1 %Rimligt eller hur ?>> sum(P1.*log2(1./P1)) =

1.7500 %Entropin i bit

ENTROPI H(X):

Medelordlängden N:

N

iii npN

1

F14_B_be 12

HUFFMANKOD exempel 2:

Symbol Sannolikhet

AAA 1/72

AAB 7/72

ABA 21/72

BAA 7/72

ABB 7/72

BAB 21/72

BBA 7/72

BBB 1/72

F14_B_be 13

ABA 21/72 ~0.29

BAB 21/72 ~0.29

AAB 7/72 ~0.1

ABB 7/72 ~0.1

BAA 7/72 ~0.1

BBA 7/72~0.1

AAA 1/72 ~0.01

BBB 1/72 ~0.01

1

0

1

0

1

0

0.71

0.29

Kod: 0

Kod: 111100

1

0

0.42

0.29

0.01

0.01

F14_B_be 14

ABA 21/72 ~0.29 0

BAB 21/72 ~0.29 10

AAB 7/72 ~0.1 1110

ABB 7/72 ~0.1 1100

BAA 7/72 ~0.1 1101

BBA 7/72~0.1 11111

AAA 1/72 ~0.01 111101

BBB 1/72 ~0.01 111100

F14_B_be 15

Beräkningar visar att:

H(3-sym)=2.1560 bit

H(1-sym)=2.1560/3=0.8387 bit

Nmedel = 3 bitar (utan hänsyn till sannolikhet)

Nmedel = 0.8981 bitar ( med ” )

8981.0

8387.0 = 93.38 % (verkningsgrad)

F14_B_be 16

Shannons kodningssats

)()( XHNXH

är godtyckligt liten

F14_B_be 17

KODEFFEKTIVITET :

%)100(175.1

75.1)(

N

XH

75.18

14

2

11

4

12

8

13

8

13

1

N

iii npN

Oftast <1 (100%)

F14_B_be 18

HUFFMANKOD exempel 3:

B0.3

C0.2

D0.2

A0.3

Kolla att H(X)=1.971, N = 2.0 Kodeffektivitet 1.971/ 2.0 = 98.55%

Baka ihop 2 av symbolerna A – D till16 nya symboler, t.ex AC, BC, BB, CD …Kolla att H(X)=3.9419, N = 3.98Kodeffektivitet 3.9419/3.98 = 99.04%

F14_B_be 19

Är Huffman-koden ”lossy”

Är run-length-koden ”lossy”

Ge förslag på hur en ”lossy”-algoritm kan se ut !

F14_B_be 20

Prefixkod

• En brusfri kod bör vara - unikt avkodningsbar - momentant avkodningsbar

• Ett nödvändigt och tillräckligt villkor för detta är att ett godkänt kodord inte får vara prefix i ett annat kodord

F14_B_be 21

Symbol Sannolikhet Kod 1 Kod 2 Kod 3 Kod 4

A1 1/2 1 1 0 00

A2 1/4 01 10 10 01

A3 1/8 001 100 110 10

A4 1/16 0001 1000 1110 11

A5 1/16 00001 10000 1111 110

Vilken kod är bäst ??

F14_B_be 22

HUFFMANKOD exempel 1 igen :

0.5

B0.125

C0.25

D0.5

0.25

A0.125

1

1 0

1

1

0

0

111 110 10 0

|0|111|10|0|10|10| D A C 0 C C

F14_B_be 23

Momentant avkodbar

• En kod är momentan om den kan avkodas utan att man betraktar kommande kodord

• s10, s201, s311 är inte momentant av- kodningsbar ty meddelandet 0001... kan bara tolkas om man känner nästa symbol

F14_B_be 24

• s10, s210, s311 är i momentant av- kodningsbar ty meddelandet 0001110... kan tolkas utan att man känner nästa symbol

F14_B_be 25

Kodordens längd

• En kod med variabel kodlängd kan erhållas om längden på kodorden Ni

väljs så att:

1)()(

11

log1

log 22

XHNXH

pN

p ii

i

F14_B_be 26

Symbol sannolikhet

A 3/8

B 3/16

C 3/16

D 1/8

E 1/16

F 1/32

G 1/32

Konstruera enlämplig kodningav detta:

Svar: exempel på kod: 1,011,010,001,0001,00001,00000 N=2.44, H=2.37 effektivitet 97.4%