北京郵電大學通信工程專業(yè)通信原理課程課件第七章信源與信源編碼

第七章信源與信源編碼彭濤pengtao@第七章信源與信源編碼彭濤17.1引言信源編碼：去掉信源輸出中的冗余信息，提供有效性內(nèi)容信源分類及其統(tǒng)計特性信息熵，信源剩余度互信息，各類熵與互信息的關(guān)系Huffman編碼7.1引言信源編碼：去掉信源輸出中的冗余信息，提供有效性27.2信源分類及其統(tǒng)計特性描述信源分類連續(xù)/模擬信源離散/數(shù)字信源重點研究7.2信源分類及其統(tǒng)計特性描述信源分類37.2信源分類及其統(tǒng)計特性描述單消息（符號）離散信源只輸出一個離散符號統(tǒng)計特性描述7.2信源分類及其統(tǒng)計特性描述單消息（符號）離散信源47.2信源分類及其統(tǒng)計特性描述離散消息（符號）序列信源輸出一個離散消息（符號）序列統(tǒng)計特性描述7.2信源分類及其統(tǒng)計特性描述離散消息（符號）序列信源57.2信源分類及其統(tǒng)計特性描述離散消息（符號）序列信源離散無記憶序列信源：序列中前后符號相互統(tǒng)計獨立離散有記憶序列信源：序列中前后符號不是相互統(tǒng)計獨立的可用馬爾可夫鏈表示7.2信源分類及其統(tǒng)計特性描述離散消息（符號）序列信源67.3信息熵H(X)信息的基本特征：不確定性。因此信息應該是概率P的函數(shù)信息的兩個特點隨概率P的遞減性：概率越大，信息量越小可加性：兩個獨立消息的總信息量應是兩個消息的信息量的和滿足這兩個條件的表示信息量的函數(shù)只有一種可能：對數(shù)函數(shù)7.3信息熵H(X)信息的基本特征：不確定性。因此信息應該77.3信息熵H(X)單消息離散信源的信息度量自信息量：出現(xiàn)某個消息時的信息量理解：消息出現(xiàn)概率越小，信息量越大7.3信息熵H(X)單消息離散信源的信息度量87.3信息熵H(X)單消息離散信源的信息度量兩個單消息離散信源X,Y的聯(lián)合信息量7.3信息熵H(X)單消息離散信源的信息度量97.3信息熵H(X)單消息離散信源的信息熵前面定義的是一個具體消息的信息量，因為信源輸出的消息有多種可能性，所以可以把信息熵理解為這個輸出消息（考慮多種可能性）的平均信息量信息熵也可以理解為對信源的不確定性的平均度量在各種可能性等概時，信源的信息熵最大（圖7.3.1）7.3信息熵H(X)單消息離散信源的信息熵107.3信息熵H(X)信息量和熵的單位對數(shù)以2為底時，單位為比特(bit)對數(shù)以e為底時，單位為奈特(Nat)對數(shù)以10為底時，單位為笛特(Det)1bit=0.693Nat=0.301Det7.3信息熵H(X)信息量和熵的單位117.3信息熵H(X)兩個單消息離散信源的聯(lián)合熵和條件熵7.3信息熵H(X)兩個單消息離散信源的聯(lián)合熵和條件熵127.3信息熵H(X)聯(lián)合熵和條件熵的一些性質(zhì)7.3信息熵H(X)聯(lián)合熵和條件熵的一些性質(zhì)137.3信息熵H(X)離散消息序列信源的信息熵、剩余度7.3信息熵H(X)離散消息序列信源的信息熵、剩余度147.3信息熵H(X)離散消息序列信源的信息熵、剩余度7.3信息熵H(X)離散消息序列信源的信息熵、剩余度157.4互信息I(X;Y)互信息的定義I(X;Y)及理解7.4互信息I(X;Y)互信息的定義I(X;Y)及理解167.4互信息I(X;Y)各種信息熵的關(guān)系7.4互信息I(X;Y)各種信息熵的關(guān)系17Huffman編碼等長編碼：對信源輸出的各種出現(xiàn)概率的符號用等長的碼字表示沒有充分利用信源的統(tǒng)計特性變長編碼：根據(jù)信源輸出符號出現(xiàn)概率不同選擇碼字，出現(xiàn)概率大的用短碼，出現(xiàn)概率小的用長碼利用了信源的統(tǒng)計特性，其編碼效率高于等長編碼Huffman編碼：Huffman提出的一種變長編碼是單消息信源的最佳變長編碼Huffman編碼等長編碼：對信源輸出的各種出現(xiàn)概率的符號用18Huffman編碼圖解Huffman編碼方法1.寫出消息概率2.對最小的兩概率編碼（0/1）3.對這兩概率合并4.重復3，直至結(jié)束5.自頂而下到達某消息即得編碼Huffman編碼圖解Huffman編碼方法19Huffman編碼確定了對信源符號的編碼規(guī)則，可進行編譯碼這種特性得益于Huffman編碼的非延長性和異前置性非延長性：把任一許用碼組延長（添加數(shù)字）都得