信息論主要內(nèi)容

信息論主要內(nèi)容第一頁，共四十五頁，2022年，8月28日信號信息、消息、信號三者之間的關(guān)系消息信息（信號是消息的載體，信息含藏在消息之中，有信號有消息不一定有信息）第二頁，共四十五頁，2022年，8月28日香農(nóng)信息論的主要內(nèi)容

第三頁，共四十五頁，2022年，8月28日信源分類和描述第四頁，共四十五頁，2022年，8月28日信息的定義和特性信息量表示其不確定性程度的大小，事件概率越小，信息量越大比特(bit）、奈特(nat）、鐵特(Tet）、哈特(Hart）信息量具有非負(fù)性和可加性——聯(lián)合自信息量等于：第五頁，共四十五頁，2022年，8月28日離散信源信息熵和聯(lián)合熵的定義H(X)表示統(tǒng)計平均的信息量(不確定性的量)，表示平均每個符號(樣本事件)所提供的信息量=

=

H(X)信息熵也具有非負(fù)性和可加性——聯(lián)合熵等于第六頁，共四十五頁，2022年，8月28日(1)非負(fù)性(對于離散信源，連續(xù)信源不同)(3)極值性(熵函數(shù)存在一個最大值，等概分布條件)(2)可加性(多信息源的熵，熵值增加)離散熵重要性質(zhì)和參數(shù)定義信息速率：Rt=H∞(X)/tbit/s定義信息含量效率：η=H∞(X)/HMAX(X)定義信源冗余度：γ=1-η第七頁，共四十五頁，2022年，8月28日離散二元信源的信息熵第八頁，共四十五頁，2022年，8月28日平均互信息量和條件信息量的定義從Y中獲取的關(guān)于X的信息量，即X不確定性的減少量。條件熵——平均的條件概率事件的自信息量=

=

第九頁，共四十五頁，2022年，8月28日條件熵，互信息量的關(guān)系I(X;Y)

表示從變量Y中所獲得的關(guān)于變量X的信息量，是關(guān)于消息X的不確定性的減少量若X=Y；則I(X;Y)=H(X)。從Y中獲得了X的全部信息。若X,Y相互獨立；I(X;Y)=0。從Y中得不到X的信息。H(X|Y)表示變量Y已知的條件下變量X的平均信息量，是關(guān)于消息X的不確定性的量。若X=Y；H(X|Y)=0。變量Y完全確定了變量X的樣值。若X,Y相互獨立；H(X|Y)=H(X)。X的信息量與Y無關(guān)。第十頁，共四十五頁，2022年，8月28日I(X;Y)與各個信息熵的關(guān)系H(XY)H(X)H(Y)H(Y|X)H(X|Y)第十一頁，共四十五頁，2022年，8月28日(1)非負(fù)性(2)互易性(對稱性)平均互信息量I(X;Y)的性質(zhì)不具有非負(fù)性(3)凸函數(shù)性當(dāng)p(y|x)給定時，I(X;Y)

是p(x)的上凸函數(shù)。研究信道容量的理論基礎(chǔ)當(dāng)p(x)給定時，I(X;Y)

是p(y|x)的下凸函數(shù)。研究信源的信息率失真函數(shù)的理論基礎(chǔ)第十二頁，共四十五頁，2022年，8月28日相對熵（微分熵）

對相對熵的說明非絕對值，而為相對值。定義形式相統(tǒng)一。Hc(X)的取值：可能不存在，可能為負(fù)值。連續(xù)信源的相對熵第十三頁，共四十五頁，2022年，8月28日微分熵性質(zhì)可加性：HC(XY)=HC(X)+HC(Y|X)=HC(Y)+HC(X|Y)幅值（峰值）受限時的最大微分熵：隨機變量服從均勻分布時獲得最大微分熵功率（方差）受限時的最大微分熵：隨機變量服從高斯分布時獲得最大微分熵（P=μ2+σ2）第十四頁，共四十五頁，2022年，8月28日(隨機)信源的分類方法從消息變量取值的連續(xù)性分：離散信源和連續(xù)信源從連續(xù)信源輸出時間上的連續(xù)性分：連續(xù)信源和波形信源從離散信源的消息序列的長度來分：單符號信源和序列（擴展）信源從離散信源序列之間的有無相關(guān)性分：無記憶信源(DMS)和有記憶信源從離散有記憶信源序列的相關(guān)程度分：平穩(wěn)信源、M階Markov信源、……第十五頁，共四十五頁，2022年，8月28日馬爾可夫信源：馬爾可夫鏈定義：1)馬氏鏈的當(dāng)前狀態(tài)只與前一個狀態(tài)有關(guān)，2)馬氏鏈?zhǔn)菚r間離散狀態(tài)離散的隨機過程馬爾可夫信源定義：1）信源狀態(tài)由當(dāng)前輸出符號和前一時刻信源狀態(tài)唯一確定，2）某一時刻信源符號的輸出只與當(dāng)前的信源狀態(tài)有關(guān)，與以前的狀態(tài)無關(guān)m階馬氏源：是指其輸出某一符號的概率只與此前的m個符號有關(guān)。馬氏源與馬氏鏈的關(guān)系：馬氏源一般可用馬氏鏈來描述。若是一階馬爾可夫信源，一個符號對應(yīng)一個狀態(tài)，若是m階馬爾可夫信源，m個符號對應(yīng)一個狀態(tài)。第十六頁，共四十五頁，2022年，8月28日齊次馬氏鏈(時齊馬氏鏈)

：狀態(tài)轉(zhuǎn)移概率與時間點無關(guān)：Pij(m,n)=Pij(K)齊次馬氏鏈的表示方法轉(zhuǎn)移概率矩陣狀態(tài)轉(zhuǎn)移圖由狀態(tài)j轉(zhuǎn)移到狀態(tài)2的概率；非負(fù)=1網(wǎng)格圖狀態(tài)轉(zhuǎn)移圖與矩陣有一一對應(yīng)關(guān)系每時刻的網(wǎng)格節(jié)點與馬氏鏈的狀態(tài)一一對應(yīng)第十七頁，共四十五頁，2022年，8月28日▲定義:若對任意整數(shù)m,n,馬氏鏈的狀態(tài)分布滿足則稱為平穩(wěn)分布或穩(wěn)態(tài)分布，J為狀態(tài)數(shù)▲平穩(wěn)齊次馬氏鏈：

Л為平穩(wěn)狀態(tài)分布行矢量，k為轉(zhuǎn)移步數(shù)平穩(wěn)齊次馬氏鏈的分布—狀態(tài)的概率分布與時間點無關(guān)第十八頁，共四十五頁，2022年，8月28日離散信道(數(shù)字信道)：輸入輸出空間為離散。連續(xù)信道：狀態(tài)集合連續(xù)，時間集合離散。模擬信道(波形信道)：輸入輸出空間為連續(xù)。有記憶信道：輸出Y不僅與當(dāng)前的輸入X

有關(guān)，而與前面的輸入有關(guān)。 無記憶信道：輸出Y

僅與當(dāng)前的輸入X

有關(guān)，而且與前面的輸入無關(guān)。信道的數(shù)學(xué)模型和分類第十九頁，共四十五頁，2022年，8月28日離散無記憶信道的信道容量定理2：對于離散對稱和準(zhǔn)對稱信道，達到信道容量的輸入分布為等概分布。計算：“離散對稱”和“準(zhǔn)對稱信道”

“無損信道”和“確定信道”

“獨立并聯(lián)信道”和“和信道”。第二十頁，共四十五頁，2022年，8月28日對稱信道：信道轉(zhuǎn)移矩陣P中所有的行都是同一組元素的不同排列，所有的列也是同一組元素的不同排列。準(zhǔn)對稱信道：設(shè)

B

為信道轉(zhuǎn)移矩陣P的列集合，如果將B劃分成m個子集，而用每一個子集構(gòu)成的矩陣所對應(yīng)的信道都是對稱信道第二十一頁，共四十五頁，2022年，8月28日H(X|Y)——稱為信道的“疑義度”或“損失熵”

它表示信息在信道傳輸過程中的損失，又表示根據(jù)輸出變量Y不能確定輸入變量X的樣值，有疑義。H(Y|X)——稱為信道的“散布度”或“噪聲熵”從信道的輸出Y信息中減去噪聲干擾值就得到關(guān)于輸入的信息，即H(Y|X)類似于噪聲；它表示根據(jù)X不能確定Y的程度，稱為散布度。

信道H(X|Y)和H(Y|X)的物理意義第二十二頁，共四十五頁，2022年，8月28日費諾（Fano）不等式離散無記憶信道信道疑義度H(X|Y)與差錯率Pe滿足如下不等式：

H(X|Y)≤H(Pe,1-Pe)+Pelog(n-1)，

n是輸入符號個數(shù)應(yīng)用1：信道編碼逆定理：證當(dāng)R>C時，則不可能找到一種編碼方法及譯碼準(zhǔn)則，使信道輸出端的平均錯誤譯碼概率達到任意小應(yīng)用2：求信息率失真函數(shù)：R(D)R(D)=minI(X,Y)=min{H(X)-H(X|Y)}R(D)=H(X)-H(Pe,1-Pe)-Pelog(n-1)第二十三頁，共四十五頁，2022年，8月28日無損信道和確定信道損失熵為“0”，稱為無損信道噪聲熵為“0”，稱為確定信道損失熵和噪聲熵都為“0”，無損確定信道第二十四頁，共四十五頁，2022年，8月28日獨立并聯(lián)信道特點：積信道:同時多輸入，多輸出。容量：…獨立并聯(lián)信道第二十五頁，共四十五頁，2022年，8月28日和信道特點：隨機輸入N個信道中的一個，合成一個信道。容量：分信道的使用概率：…和信道第二十六頁，共四十五頁，2022年，8月28日結(jié)論：（1）帶寬一定時，信道的最大傳輸率C是信噪比的函數(shù)。此時提高最大信息傳輸率的方法是提高信噪比。（2）信噪比確定時，信道容量與帶寬成正比。

此時提高最大信息傳輸率的方法是提高帶寬。（3）對于有確定信道容量C的信道，可以用帶寬B與信噪比S/N

的不同組合來傳輸信息。

如減少帶寬，則必須發(fā)送較大功率的信號。如增大帶寬，則同樣的信道容量能夠用較小功率的信號傳輸，即寬帶系統(tǒng)具有良好的抗干擾性。香農(nóng)公式意義第二十七頁，共四十五頁，2022年，8月28日唯一可譯碼、即時碼、異前綴碼和非續(xù)長碼唯一可譯碼：一個碼的任意一串有限長的碼符號序列只能被唯一地譯成所對應(yīng)的信源符號序列。即時碼：唯一可譯碼，譯碼時無需參考后續(xù)的碼符號就能立即作出譯碼判斷。異前綴碼：碼前綴不是任意其他碼字（即非續(xù)長碼）。可以在無延時的情況下解碼。存在唯一可譯碼的充要條件為(克拉夫特Kraft不等式)第二十八頁，共四十五頁，2022年，8月28日N次擴展信源SN={a1,a2,…,aqN}，共有qN個符號序列。設(shè)碼符號集為X={x1,x2,…,xr}，長度為l的碼符號序列W={W1,W2,WqN}，Wi=(xi1xi2…xil),xi1,xi2,…,xil∈X。若要求編得的等長碼是唯一可譯碼則必須滿足（理解鑰匙：碼字的組合數(shù)不小于信源符號總數(shù)）

qN≤rl或

單符號

平均碼長滿足：等長編碼及其無失真編碼條件第二十九頁，共四十五頁，2022年，8月28日定理3（單符號信源的變長編碼定理）若有一離散無記憶信源S具有熵H（S），并有r個碼符號的符號集X={x1,x2,…,xr}，則總可以找到一種無失真編碼方法，構(gòu)成唯一可譯碼，使其平均碼長滿足定理4

（變長無失真信源編碼定理—香農(nóng)第一編碼定理）離散無記憶信源S的N次擴展信源SN={a1,a2,…,aqN

}，共有qN個符號序列，具有熵H（SN），并有r個碼符號的符號集X={x1,x2,…,xr}。若對信源SN（即信源輸出的是N長的符號序列）進行編碼，總可以找到一種編碼方法，構(gòu)成唯一可譯碼，使信源S中每個信源符號所需的碼字平均長度滿足第三十頁，共四十五頁，2022年，8月28日霍夫曼碼的編碼方法二進制霍夫曼碼的的編碼方法，它的編碼步驟如下：（1）將q個信源符號按概率值的大小以遞減次序排列起來，設(shè)p1≥p2≥…≥pq（2）用0和1碼符號分別代表概率最小的兩個信源符號，并將這兩個概率最小的信源符號合并一個符號，從而得到包含q－1個符號的新信源--------縮減信源S′

。（3）把縮減信源S′的符號仍按概率值大小以遞減次序排列，再將其最后二個概率最小的符號合并成一個符號，并分別用0和1碼符號表示，這樣又得到q－2個符號的新縮減信源S〞。（4）依次繼續(xù)下去，直至信源最后只剩兩個符號為止。將這最后兩個信源符號分別用0和1碼符號表示。然后從最后一級縮減信源開始，向前返回，就得出各信源符號所對應(yīng)的碼符號序列，即得到對應(yīng)的碼字。第三十一頁，共四十五頁，2022年，8月28日費諾（Fano）碼的編碼方法（1）將信源符號以概率遞減次序排列起來p1≥p2≥…≥pq（2）將排列好的信源符號劃分成兩大組，使每組的概率和近似相同，并各賦于一個二進碼符號“0”和“1”。（3）將每一大組的信源符號再分成兩級，使同一組的兩個小組的概率和近似相同，并又各賦于一個二進碼符號“0”和“1”。（4）如此下去，直至每組只剩下一個信源符號為止。這樣，信源符號所對應(yīng)的碼符號序列就為編得的碼字。第三十二頁，共四十五頁，2022年，8月28日香農(nóng)編碼（1）將信源符號以概率遞減次序排列起來p1≥p2≥…≥pq（2）對第1個符號編碼，取log1/P1的整數(shù)(不小于該值)為碼長，取累積概率P1，=0。將P1轉(zhuǎn)換為二進制數(shù)的小數(shù)位作為碼字（以2乘小數(shù)位取整，再乘得第二位，至L位）。（3）取log1/P2的整數(shù)為碼長，P1，加第1個符號的概率P1所得的累積概率P2，，作為對第2個字的編碼依據(jù)。（4）取log1/Pi的整數(shù)為碼長，Pi-1，再加第i-1個符號的概率Pi-1

所得的累積概率Pi，，作為對第i個字的編碼依據(jù)，重復(fù)第一步。（5）如此下去，直至最后一個信源符號為止。這樣，信源符號所對應(yīng)的碼符號序列就為編得的碼字。第三十三頁，共四十五頁，2022年，8月28日幾種實用的信源編碼游程編碼——用于文件傳真（霍夫曼編碼）算術(shù)編碼——針對小集合信源（香農(nóng)編碼）基于字典的編碼——針對無法確知信源的統(tǒng)計特性的自適應(yīng)編碼（LZ和LZW編碼）第三十四頁，共四十五頁，2022年，8月28日典型的譯碼準(zhǔn)則：

最佳譯碼準(zhǔn)則可以使平均譯碼概率達到最小值。當(dāng)譯碼準(zhǔn)則數(shù)量很大時，選擇譯碼準(zhǔn)則的運算量大，不簡單。“最大后驗概率準(zhǔn)則”——已知后驗概率分布時“最大聯(lián)合概率準(zhǔn)則”——已知聯(lián)合概率分布時“最大轉(zhuǎn)移概率準(zhǔn)則”——已知轉(zhuǎn)移概率分布時，也叫“最大似然準(zhǔn)則”最小漢明距離準(zhǔn)則等價于似然準(zhǔn)則——用于卷積譯碼最小歐氏距離準(zhǔn)則——用于TCM譯碼第三十五頁，共四十五頁，2022年，8月28日有噪聲信道編碼定理（香農(nóng)第二編碼定理）如一個離散有噪聲信道有n個輸入符號，m個輸出符號，信道容量為C。當(dāng)信道的熵速率R≤C時，只要碼長足夠長，總可以找到一種編碼方法及譯碼準(zhǔn)則，使信道輸出端的平均錯誤譯碼概率達到任意小，[pe=ε]。當(dāng)R＞C時，則不可能找到一種編碼方法及譯碼準(zhǔn)則，使信道輸出端的平均錯誤譯碼概率達到任意小。信源編碼定理的討論第三十六頁，共四十五頁，2022年，8月28日漢明碼和最小漢明距離循環(huán)碼和CRC碼BCH碼和RS碼卷積碼及其Viterbi譯碼TCM映射和譯碼方法幾種實用的信道編碼概念第三十七頁，共四十五頁，2022年，8月28日失真（度）函數(shù)的定義失真度（失真函數(shù)）定義失真矩陣d（失真度的矩陣表示）d(ui,vj)≥0（即非負(fù)性）

i=1，2，…，n,j=1，2，…，m

平均失真度定義第三十八頁，共四十五頁，2022年，8月28日信息率失真函數(shù)R（D）的定義率失真函數(shù)定義（D為允許信道）信源信道信源編碼器（試驗信道）p(v|u)無噪信道第三十九頁，共四十五頁，2022年，8月28日R(D)的性質(zhì)：連續(xù)、單調(diào)下降、下凸

連續(xù)信源實際熵?zé)o窮大而信道容量有限，故不可能無失真壓縮。圖b為一般情形第四十頁，共四十五頁，2022年，8月28日R（D）的定義域（Dmin,Dmax）

率失真函數(shù)R(D)的性質(zhì)DMIN是給定失真矩陣d和輸入變量概率分布p(u)條件下的最小平均失真度。某些情況下DMIN=0。等于失真度矩陣每行最小值所構(gòu)成的列矩陣與輸入分布的乘積。DMAX是I(U,V)＞0時的最大平均失真度。也是I(U,V)=0時的最小平均失真度，不指D隨p(v/u)變化的最大值。等于失真矩陣與輸入分布相乘后所構(gòu)成的行矩陣元素的最小值第四十一頁，共四十五頁，2022年，8月28日上圖含義：（已知輸入概率分布和失真度矩陣的條件下）1）若給定接收端允許的平均失真度D，則知道實驗信道輸出的最小信息量I（minI(U,V)=R(D)，I在曲線之上和在H(X)之下）。2）若已知從接收端得到的信息量I，則知道信道可能產(chǎn)生的最小平均失真度D（D(R)=minD(py|x)，如I=0的最小D值為Dmax）。第四十二頁，共四十五頁，2022年，8月28日限失真信源編碼定理(香農(nóng)第三定理)設(shè)離散無記憶信源的率失真函數(shù)為R（D），如果信源編碼后平均每個信源符