TIC Lecture 01 Intro2010

8/17/2019 TIC Lecture 01 Intro2010

1/53

Dosen :

Ir. Dede Sutarya, MT

Kontak/diskusi :

Telp : 021 8790 7342

HP : 0812 855 3001

Email :[email protected]

[email protected]

Class Agenda (tentaive):Minggu : 15.20 – 18.00

Teori informasi & PengkodeanTeori informasi & Pengkodean Information Theory & Coding


2/53

Who Am I ? Who Am I ?

Ir.Ir. DedeDede SutaryaSutarya, MT , MT

•• Lahir Lahir :: Sumedang Sumedang, 08 April 1972 , 08 April 1972

•• PNS (PNS ( Ristek Ristek- -BATAN):BATAN): Desember Desember 19911991

•• MelanjutkanMelanjutkan S1: 1995 lulus 2000S1: 1995 lulus 2000

•• MelanjutkanMelanjutkan S2: 2002 lulus 2004S2: 2002 lulus 2004

•• MelanjutkanMelanjutkan S3: 2010S3: 2010 hinggahingga sekarang sekarang dengandengan

beasiswabeasiswa dari dari KementrianKementrian Riset Riset dandan Teknologi Teknologi RI RI


3/53

Ir.Dede Sutarya, MT

Teori Informasi & Pengkodean

Teori Informasi & PengkodeanTeori Informasi & Pengkodean

Textbook

1. Thomas M. Cover & Joy A. “Elemen of Information

Theory”, Wiley-Interscience, 2006.

2. Jan CA van der Lubbe , “Information theory”,Cambridge University Press, 1997.

3. Todd K. Moon, “ Error Corection Coding, Wiley-

Interscience, 2005.

4. Error control-coding for data networks, Irving S.Reed, Kluwer academic publisher, 1999


4/53

Ir.Dede Sutarya, MT

Tujuan Perkuliahan (objective):Tujuan Perkuliahan (objective):

Menjelaskan ide-ide dasar tentang teori informasi

yang utamanya berkenaan dengan bagaimana

informasi ditransmisikan dan disimpan secara efisien,

kapasitas canal dalam mentransmisikan informasi,serta keamanan dari informasi yang ditransmisikan


5/53

SyllabusSyllabus - - TopicsTopics

Part 1 Information Theory Part 1 Information Theory

– Konsep peluang – Informasi & Entropy

– Informasi &

Pengkodean – Sumber Informasi

Diskrit Tanpa memori

Part 2 Coding Part 2 Coding – Arithmatic Coding

– Dictionary Technique

– Huffman coding

– Convolutional coding

– Viterbi Alghoritm

– Turbo Code

– Soft & Hard Decision

5


6/53

Ir.Dede Sutarya, MT


Detail Outline:1. Information theory

• Introduction

• Uncertainty, Information, and Entropy

• Source-Coding Theorem

• Data Compaction

• Huffman Coding

• Lempel-Ziv Coding• Discrete Memoryless Channels (DMC)

• Mutual Information

• Channel Capacity

• Channel Coding Theorem

• Information Capacity Theorem2. Error-Control Coding

• Introduction

• Linear Block Codes


7/53 Ir.Dede Sutarya, MT

Teori Informasi & PengkodeanTeori Informasi & Pengkodean• Generator Matrix

• Parity-Check Matrix

• Syndrome

• Group Theory

• Examples in Using Group Theory to Correct Erroneous Codes

3. Convolutional Codes• Introduction

• Convolutional Encoder

• An Example of a Convolutional Encoder

• Usual Mode of Operation

• General Rate 1/n Constraint Length K Code

• Tree Representation of Convolutional Codes

• Finite-State Machine Code Representation

• Trellis Representation of Convolutional Codes• ML Decoding of a Convolutional Code

• Viterbi Algorithm

• Free Distance of a Convolutional Code




Skema Penilaian / Gradding

– Tugas/quiz (15 %)

– UTS / Mid Semester (30 %)

– UAS / Final (45 %)

– Kehadiran / Class Participation (10%)

untuk semua mahasiswa agar lulus mata kuliah ini, harus mendapatkan skor penilaian rata-rata tidakkurang dari 50% pada ujian dan tugas atau kuis



PendahuluanPendahuluan

Ada 3 type informasi:

1. Syntactic information: berkenaan dengan simbol-simbol yangmembangun informasi (pesan) tersebut serta kaitan antarasimbol-simbol tsb.

2. Semantic information: berkenaan dengan makna serta aspek

referensi dari pesan3. Pragmatic information: berkenaan dengan pemanfaatan serta

dampak dari pesan terkait.

Perkembangan teori informasi di Inggris (MacKay, Carnap, Bar-

Hillel, Ackoff dan Hintikka) lebih diwarnai oleh aspek semantikdan pragmatik , sebaliknya di America (Shannon, Renyi,Gallager , dan Csiszar) aspek syntactic lebih ditekankan.



• Dalam kuliah ini, pembahasan lebih ditekankan pada aspek syntactic terutama yang berkaitan dengan ukuran dan kwantifikasi

dari informasi serta batasan yang berkenaan dengan kemampuan

sarana dan prasarana pendukung dalam mentransmisikan informasi.

• Konsep ukuran (measure) yang akan digunakan adalah teori yang

dikembangkan oleh Shannon. Teori Shannon ini diilhami oleh ide-

ide terdahulu yang dikembangkan oleh Nyquist (1924) dan Hartley

(1928). Berbeda dengan pendahulunya, teori Shannon melibatkan pengertian tentang probabilitas.

Pendahuluan … Cont Pendahuluan … Cont



Konsep PeluangKonsep Peluang

Himpunan X={x1,….,xn} dikatakan ruang probabilitas (ruang sampel) untuk suatu

percobaan bila masing-masing xi adalah hasil (outcome/event) yang mungkindalam percobaan tersebut.

Contoh:

Dalam percobaan pelemparan sebuah dadu satu kali, maka ruang probabilitasnya

adalah X={1,2,3,4,5,6}. Sedangkan dalam pelemparan coin dua kali diperoleh

X={(H,H), (H,T), (T,H), (T,T)} [T=tail, H=head]

Masing-masing outcome memiliki suatu peluang untuk sukses/muncul tertentu,

yakni event xi memiliki peluang pi=p(xi). Himpunan semua peluang untuk setiap

event dalam ruang probabilitas tertentu disebut sebaran peluang (probabilitydistribution), ditulis: P={p1,p2,….,pn} dan memenuhi dua kriteria berikut:

a) pi ≥ 0 untuk semua i

b) p1+p2+......+pn= 1



Dimungkinkan juga outcome dari suatu percobaan berupa pasangan

berurutan misalnya (x,y). Umpamanya dalam percobaan pelemparansebuah dadu dan sebuah mata uang logam. Dalam hal ini peluang

untuk muculnya event (xi,yj) dinotasikan sebagai rij = r(xi,yj) dan

disebut joint probability antara. Jika misalnya pi = p(xi); i=1…n, qj =

q(yj); j = 1…m, berturut-turut adalah peluang utk masing-masingoutcome xi dan yj, maka diperoleh hubungan:

Konsep Peluang…cont Konsep Peluang…cont

1

1

m

i ij

jn

j ij

i

p r

q r

Tentu saja dalam hal ini :1 1

1m n

ij

j i

r



Peluang bersyarat untuk xi jika diketahui yj didefinisikan sebagai:


( , )( | ) ; ( ) 0( )

i j

i j j

j

r x y p x y jika q yq y

( , ) ( ) ( | ) ( ) ( | )i j j i j i j ir x y q y p x y p x q y x

Tampak bahwa secara matematis diperoleh hubungan sebagai berikut:

Selanjutnya jika q(yj)>0 maka

1

( ) ( | )( | )

( )

( ) ( | )

( ) ( | )

i j i

i j

j

i j i

n

i j i

i

p x q y x p x y

q y

p x q y x

p x q y x



yang lebih dikenal dengan teorema Bayes.Jika xi dan yj saling bebas (independent), maka p(xi|yj)=p(xi)

dan q(yj|xi)=q(yj). Sehingga dalam hal ini r(xi,yj)=piqj.




Sumber informasi ShannonSumber informasi Shannon

Misalkan X adalah suatu ruang sampel dengan sebaran peluang P.

Maka rata-rata besarnya informasi didefinisikan sebagai:

1 1

( ) ( ) log ( ) logn n

i i i i

i i

H P p x p x p p

Contoh: misalkan X adalah percobaan pelemparan mata uang dgn

peluang p untuk mendapat muka. Maka dalam hal ini

H(P)=-p log p- (1-p) log (1-p)

H(P) merupakan fungsi yang memenuhi beberapa sifat berikut:

a. Kontinyu dalam peubah p

b. Symetrik, dalam artian urutan event tidak mengubah nilai Hc. additive,

d. H mencapai titik maksimum pada titik di mana semua probabilitas sama

nilainya.



Sumber informasi Shannon…cont Sumber informasi Shannon…cont

• Bahwa ukuran informasi Shannon H symmetric berarti

pertukaran urutan penamaan event tidak akan mengubah nilai H.Juga berarti bhw dua ruang samples dengan sebaran peluang yang

sama akan memiliki ukuran informasi yang sama.

• Bahwa H bersifat additive maksudnya jika X dan Y adalah duaruang sample dimana outcome X independent dari outcome Y

maka ukuran informasi yang terkait dengan joint event (x,y)

adalah H(X,Y)=H(X)+H(Y).

• Karena dalam hal ini H menyatakan ukuran ketakpastian dari

outcome, maka nilai H akan maksimum jika semua even memiliki

peluang yang sama.



Sumber informasi Shannon…cont Sumber informasi Shannon…cont

Teorema:

Andaikan X adalah ruang sample dengan n outcomes, dan P

adalah sebaran peluangnya. Maka

a. H(P) log(n); kesamaan akan terjadi hanya bila pi=1/n b. H(P) 0; H(P)=0 hanya bila ada k dengan pk=1.

Contoh: Dalam melempar sebuah dadu yang imbang, H(P)=log 6.

Namun jika dadu tsb. sudah dibuat cacat sehingga setiap dilempar pasti akan keluar angka 1, maka H(P)=0.



Conditional, Joint & Mutual Conditional, Joint & Mutual

Joint information measure antara dua sample space X dan Y

didefinsikan sebagai:

( , ) ( , )log( ( , )i j i j

H X Y r x y r x y

Tampak bahwa definisinya sama seperti ukuran informasi marginal

kecuali bahwa sekarang digunakan joint probability.Conditional information measure, yaitu ukuran informasi X bila ada

prior knowledge tentang Y, didefinsikan sebagai:

( | ) ( , ) log( ( | )i j i j H X Y r x y p x y

Perhatikan di sini bahwa kita menggunakan joint probability r(x,y)

dan conditional probability p(x|y).



Conditional, Joint & Mutual….cont Conditional, Joint & Mutual….cont

Analog dengan di atas kita juga bisa mendefinisikan ukuran

informasi berkaitan dengan experiment Y jika diketahui X adalah:

( | ) ( , ) log( ( | )i j j i H Y X r x y q y x

Teorema:

1. H(Y|X) 02. H(Y|X) H(Y) dengan kesamaan akan terjadi bila X dan Y

independen

3. H(X,Y)=H(X)+H(Y|X) = H(Y) + H(X|Y)

4. H(X,Y) H(X)+H(Y)




Mutual information measure antara X dan Y didefinsikan sebagai

I(X;Y)=H(Y)-H(Y|X)

Dari definisi H(Y) dan H(Y|X) kita dapatkan bahwa

I(X;Y) = H(X)-H(X|Y)

Sehingga mutual information measure I bersifat simetrik

• I(X;Y) dapat diartikan sebagai ukuran keterkaitan anatara X dan

Y, sehingga bila X dan Y independen maka H(Y|X)=H(Y),

sehingga I(X;Y)=0.

• Jika Y tergantung secara keseluruhan pada Y, yaitu H(Y|X)=0

(dengan diketahuinya X maka tidak ada ketidak pastian akan Y)

maka I(X;Y)=H(Y) suatu kondisi maksimal.


21/53

Ir.Dede Sutarya, MT


Secara diagram Venn ketiga ukuran informasi tadi dapat

digambarkan sebagai

H(x|y) I(x:y) H(y|x)


22/53

Ir.Dede Sutarya, MT

The Communication Model The Communication Model

Model komunikasi yang digunakan dianggap terdiri dari 4

komponen pokok yaitu:1. transmitter (yaitu komponen yang menerima input dari sumber

informasi dan mengirimkan informasi tersebut ke sistem)

2. channel (yaitu kanal yang akan menyalurkan informasi yang

dikirim oleh transmitter)

3. noise (yaitu elemen yang akan mengganggu informasi selama proses perjalannya dalam kanal penghubung)

4. receiver (yaitu bagian penerima informasi untuk akhirnya

disampaikan ke tujuan informasi dikirim)

Komponen dan elemen detil dari model di atas tentu saja

menyangkut hal-hal pokok dalam teori informasi seperti

pengkodean, kompresi, rekonstruksi, dll.


23/53

Ir.Dede Sutarya, MT

Informasi dan Entropy Informasi dan Entropy

• Apakah informasi dan bagaimana mengukurnya?

• Mana yang memuat „lebih banyak‟ informasi? – Besok matahari akan terbit

– Harga BBM di Indonesia turun

• „nilai‟ informasi ~ surprise, unexpectedness, uncertainty• Jumlah kombinasi nilai informasi dari kejadian (event ) ygtidak berelasi ~ jumlah nilai informasi masing-masingkejadian (mempunyai harga yang lebih kecil jika kejadian-kejadian berelasi) – Hari ini hujan + Saya tidak perlu menyiram taman

– Hari ini hujan + Ada halaman yang hilang dari textbook saya

• Intuisi di atas menjadi basis dari teori informasi yangdiusulkan Claude E Shannon (1948)


24/53

Ir.Dede Sutarya, MT


• Set event: S = { x1 , ….., xn}

• S disebut alphabet jika xi sebuah simbol (huruf) digunakan utk

membangun pesan (message)

• Probabilitas kemunculan masing-masing event, p(xi ) = p

i• P = { p1 , ….., pn}, dimana pi ≥ 0,

• Untuk sumber memoryless:

– Nilai self-information yg berhub. dg event xi digunakan definisi

I(xi ) = -logk pi – Fungsi di atas adalah ukuran informasi ( surprise atau unexpectedness)

dari kemunculan event xi

n

i i p

11


25/53

Ir.Dede Sutarya, MT


• Fungsi self-information I

• Unit informasi (uncertainty) disebut bit jikadigunakan algoritma dengan basis 2 (lg x = log2 x)


26/53

Ir.Dede Sutarya, MT


• Untuk sumber biner – S = { x1 , x2}, P = {½, ½}

I ( x1) = -lg½ = 1 bit I ( x2) = -lg½ = 1 bit

– S = { x1 , x2}, P = {¼, 3/4},

I ( x1) = -lg¼ = 2 bit I ( x2) = -lg3/4 = 0,415 bit

• Fungsi I hanya fokus pada satu event

– pada kebanyakan situasi (kompresi data) lebih relevan mengukurcontent informasi pada keseluruhan set

Konsep Shannon: entropy ukuran uncertainty satu set

event


27/53

Ir.Dede Sutarya, MT

Entropy Entropy

S = { x1 , ….., xn}, satu set event independen P = { p1 , ….., pn}, probabilitas kemunculan

Entropy:

Entropy = rata-rata self-information kemunculanevent xi


28/53

Ir.Dede Sutarya, MT

Entropy Entropy

• Entropy dapat juga diinterpretasikan jumlah rata-rata minimumdari jumlah pertanyaan ya/tidak untuk menentukan harga

spesifik dari variabel X

• Dalam konteks coding message, entropy merepresentasikan batas bawah (lower bound ) dari jumlah rata-rata bit per satu

nilai input – yaitu rata-rata panjang code word digunakan untuk

mengkodekan input


29/53

Ir.Dede Sutarya, MT

Entropy Entropy

Contoh

• Untuk sumber biner, set probabilitas

P = { p1 , p2} = { p1, 1- p1}

H ( p1 ,p2) = - p1lg p1 – p2lg p2

= - p1lg p1 – (1 – p1)lg(1 – p1) = H ( p1)


30/53

Ir.Dede Sutarya, MT

Entropy Entropy

Contoh

• Jika S = { x1 , x2 , x3}, P = {½,¼,¼},

maka:

H ( p1 ,p2 ,p3) = - ½lg½ - ¼lg¼ - ¼lg¼

= ½ + ½ + ½ = 1,5 bit/event


31/53

Ir.Dede Sutarya, MT

Karakteristik Entropy Karakteristik Entropy

Karakteristik-karakteristik fungsi Entropy H :

• Symmetry dari H : urutan dari argumen H tidak berpengaruh

• Fungsi H mempunyai batas atas dan bawah:0 = H (1,0,…,0) ≤ H ( p1 ,…,pn) ≤ H (1/n,…,1/n) = lgn

• Null set property. Menambahkan event dg prob 0 pada setevent tidak mengubah entropy

H ( p1 , …, pn , 0) = H ( p1 , …, pn)• Fungsi f(n) = H(1/n, …,1/n) tumbuh monoticall:

f(n) 0 dan n > 0


32/53

Ir.Dede Sutarya, MT

Karakteristik Entropy Karakteristik Entropy

• Grouping axiom. Jika set S = { x1 , …, xn}, nilai x1 ,

…, xi disatukan bersama membentuk satu grup S i:

i

i

i

i

nii

nii

p p p

p p p H p p

p p p p H

p p p p H

...,...,

...)...(

),...,,...(

),...,.,...,(

11

11

11

11

o se ess emory esso se ess emory ess


33/53

Ir.Dede Sutarya, MT

o se ess emory esso se ess emory essCoding Coding

• Sumber tidak punya memory (simbol ditransmisikan secara

independen)• S = { x1 , …, xn}, P = { p1 , ….., pn}

• Codewords C = {c1 , ….., cn}

• Code disebut binary code jika komposisi codeword adalah 0dan 1

• Rata-rata panjang codeword

dimana l i adalah panjang codeword ci yang mengkodekansimbol xi

• Panjang codeword Shannon : l i = -lg pi

• Dalam kompresi data meminimumkan cost (Lavg )

n

i

iiavg l p L1

Noiseless & MemorylessNoiseless & Memoryless


34/53

Ir.Dede Sutarya, MT

Noiseless & MemorylessNoiseless & Memoryless

Coding Coding • Suatu code adalah uniquely decodable jika hanya ada satu cara memecah

deretan codeword ci1ci2...cik ke dalam codeword terpisah. Yaitu jikaci1ci2…cik = c j1c j2…c jk , maka untuk tiap s,

i s = j s (yaitu cis = c js)

• Suatu code mempunyai prefix (atau irreducibility atau self-punctuating)

property jika tidak ada code word didapat dari codeword lain denganmenambahkan 0 atau 1, atau tidak ada codeword merupakan prefix daricodeword lain

– scanning deretan codeword, tidak memerlukan melihat kedepan (look ahead )untuk menghindari ambiguitas

– Tidak diperlukan tanda khusus untuk memisahkan dua codeword dalam

message

• Optimal code adalah yang menghasilkan harga Lavg terendah yang mungkin


35/53

Ir.Dede Sutarya, MT

ContohContoh

Huruf code1 code2 code3 code4

A 0 0 00 00

B 1 11 01 01

C 01 01 10 1

Mana yang mempunyai karakteristik

• uniquely decodable• prefix property

• optimal code


36/53

Ir.Dede Sutarya, MT

ContohContoh


37/53

Ir.Dede Sutarya, MT

The Kraft Inequality The Kraft Inequality

Kraft‟s Theorem

• Terdapat prefix binary code dengan codeword {c1 , .., cn}

dengan panjang {l 1 , ….., l n} jika dan hanya jika

• Bukti

n

i

l i

1

12

n

i

l n

i

l l l ii

11

1222 maxmax atau


38/53

Ir.Dede Sutarya, MT


• Theorem menyatakan untuk satu set panjang codeword, prefix

code dapat dibentuk dan bukan bagaimana membentuknya

• Memungkinkan banyak prefix code dapat dibuat dengan tetap

memenuhi kondisi teorema

• Teorema menjamin mendapatkan prefix code tapi tidak

menjamin optimal


39/53

Ir.Dede Sutarya, MT


• The Kraft inequality menjadi equality jika codeword tidak dpdiperpendek lagi, perhatikan utk set panjang codeword {2,3,3,4} dan{1,3,3,3)

• Utk sejumlah panjang codeword prefix code dp dicari, tetapi adakemungkinan utk set panjang yg sama, dp dibangun non-prefix code

• Teorema hanya berbicara prefix code, tetapi prefix code uniquelydecodable code

18

8

2

1

2

1

2

1

2

1

2

1

116

11

2

1

2

1

2

1

2

1

2

1

33331

43332

T F d t lT F d t l


40/53

Ir.Dede Sutarya, MT

Teorema FundamentalTeorema Fundamental

Discrete Coding Discrete Coding

• Ukuran kinerja (dari sudut pandang kompresi data):

• Mis. Kompresi file dg compression ratio 75% berarti file

hasil kompresi ¾ file sblm kompresi

• Compression rate 25% berarti file sblm kompresi

dikurangi ¼ nya (persentasi space yg dp dihemat)

RationCompressio-1RatenCompressio

100% x

(input)Panjang

(output)Panjang RationCompressio

T F d t lT F d t l


41/53

Ir.Dede Sutarya, MT



• Untuk suatu rasio kompresi yang didapat, bisakah

ditingkatkan lagi?

• Konsep Entropy menunjukan batas kompresi yangdapat dicapai

• Panjang codeword rata-rata > source entropy

T F d t l Di tT F d t l Di t


42/53

Ir.Dede Sutarya, MT

Teorema Fundamental DiscreteTeorema Fundamental Discrete

Coding Coding • Teorema

– Untuk suatu prefix binary code dengan panjang rata-rata codeword

maka

Lavg H(S)

– Terdapat prefix binary code dimana

Lavg


43/53

Ir.Dede Sutarya, MT



• Contoh

S = {a,b,c}, P = {0.1, 0.45, 0.45}

H(S) = 1,369

Panjang codeword: p = 0,1 l = -lg 0,1 = 4

p = 0,45 l = -lg 0,45 = 2 Lavg = 2,2 bit/karakter

Ambil set panjang codeword = {2,2,1} memenuhi Kraftinequality

Lavg = 1,55 bit/karakter

• 1,55 bit/kar lebih baik drpd 2,2 bit/kar masih ada ruang perbaikan (ingat entropy sistem = 1,369)

T F d t lT F d t l


44/53

Ir.Dede Sutarya, MT



• Lavg dp diperbaiki dg mengambil blok/deretan karakter drpd singlekarakter (dg bayaran kompleksitas yg meningkat)

• Contoh: S = {a,b,c}, P = {0.1, 0.45, 0.45}

Bentuk sumber baru S 2 = {aa,ab,ac,ba,bb,bc,ca,cb,cc} P = {0.01, 0.045, 0.045, 0.045, 0.2025, 0.2025, 0.045, 0.2025, 0.2025}

H(S 2 ) = 2H(S) = 2,738 buktikan!

Panjang codeword (Shannon)

-lg 0,01 = 7 ; -lg 0,45 = 5; -lg 0,2025 = 3

Panjang rata-rata per sub-simbol:

L2 = 0,01 . 7 + 4 . 0,045 . 5 + 4 . 0.2025 . 3 = 3,4

Panjang rata-rata per karakter = L2 /2 = 1,7 bit/karakter


45/53

Ir.Dede Sutarya, MT

ShannonShannon- -Fano Coding Fano Coding

Suboptimal code• Shannon code

• Shannon-Fano code

Optimal code

• Huffman code

• Arithmetic coding

Efisiensi macam-macam code diukur dengan:

%100.)(

avg L

S H effisiensi


46/53

Ir.Dede Sutarya, MT

Shannon Coding Shannon Coding

• S = { x1 , …, xn}• P = { p1 , ….., pn}

• pi = p(xi ) dari semua simbol sumber xi diurut dari yang

paling besar: p1 ≥ p2 ≥ … ≥pn

• Cumulative prob didefinisikan: P i = p1 + … + pi-1

• Codeword utk simbol xi didp dg mengambil l i = |-lg pi |

digit pertama dari ekspansi biner P i

P i = 0.b1b2b3b4…

= b1 /21

+ b2 /22

+ b3 /23

+…


47/53

Ir.Dede Sutarya, MT

Shannon Coding Shannon Coding

• Contoh:S = { A, B, C, D, E }

P = {0.35, 0.17, 0.17, 0.16, 0.15}


48/53

Ir.Dede Sutarya, MT



49/53

Ir.Dede Sutarya, MT


• ContohS = { A, B, C, D, E }

P = {0.35, 0.17, 0.17, 0.16, 0.15}

• Pengkodean Shannon-Fano:

– Bagi S kedalam s1 dan s2 (pilih yang memberikan

perbedaan p(s1 ) dan p(s2 ) terkecil

– s1 = (A,B)

p(s1 ) = p(A) + p(B) = 0,52 – s2 = (C,D,E) p(s2 ) = p(C) + p(D) + p(E) = 0,48

– Panggil ShannonFano()

ShSh F C diF C di


50/53

Ir.Dede Sutarya, MT


Panjang code rata-rata:

L sh = 0,35*2 + 0,17*2 + 0,17*2 + 0,16*3+0,15*3 = 2,31

• Efisiensi = (2,23284/2,31)*100 = 96,66 %


51/53

Ir.Dede Sutarya, MT

Kompresi Text Kompresi Text

• Shannon-Fano coding salah satu yg digunakan utk

kompresi text


52/53

Any

Questions?

A i t (T 1)


53/53

Assigment (Tugas-1):kumpulkan minggu depan (waktu kuliah)

1. Untuk sumber alphabet S={a,b,c} dan probabilitas P={0.1,0.2, 0.7}:

a. cari panjang codeword Shannon rata-rata

b. Spt soal (a) utk semua pasangan yg mungkin dari 3

huruf di atas.

2. Suatu sumber S={a,b,c,d,e,f} dg probabilitas P={0.15, 0,16,0,13, 0,20, 0,25, 0,11}. Cari codeword utk masing-masingsimbol dg metoda Shannon.

3. Dengan menggunakan metoda Shannon-Fano Coding,tentukan codeword utk suatu sumber dg probabilitas berikut

a. (1/2, 1/4, 1/8, 1/16, 1/16)

b. (0.4, 0.3, 0.2, 0.1)

TIC Lecture 01 Intro2010

Documents

Transcript of TIC Lecture 01 Intro2010