信息論與編碼原理

1、信息論與編碼原理（第二章）信源及其信息量2022/7/101第二章 信源及其信息量本章重點：信源的統(tǒng)計特性和數(shù)學模型、各類信源的信息測度熵及其性質。2.1 單符號離散信源2.2 擴展信源2.3 連續(xù)信源2.4 離散無失真信源編碼定理2.5 小結2022/7/1022.1 單符號離散信源2.1.1 離散變量的自信息量2.1.2 信息熵2.1.3 熵的基本性質和定理2.1.4 互信息量2.1.5 熵之間的關系2022/7/1032.1.1 離散變量的自信息量信息度量的方法：最常用的方法是統(tǒng)計度量。在通信系統(tǒng)中收信者在未收到消息以前，對信源發(fā)出什么消息是不確定的。不確定性可以用概率論與隨機過程來描述

2、。香農信息論的基本假說：用隨機變量研究信息。(1) 信源的描述方法(2) 單符號離散信源數(shù)學模型(3) 自信息量和條件自信息量2.1單符號離散信源2022/7/1042.1.1 離散變量的自信息量(1) 信源的描述方法 離散信源：輸出的消息常常是以一個個符號形式出現(xiàn)，這些符號的取值是有限的或可數(shù)的。單符號離散信源：只涉及一個隨機事件，可用隨機變量描述。擴展信源/多符號離散信源：每次輸出是一個符號序列，序列中每一位出現(xiàn)哪個符號都是隨機的，而且一般前后符號之間是有依賴關系的。可用隨機矢量描述。 連續(xù)信源：輸出連續(xù)消息?？捎秒S機過程描述。2.1單符號離散信源2022/7/1052.1.1 離散變量的

3、自信息量(2) 單符號離散信源數(shù)學模型 單符號離散信源的數(shù)學模型就是離散型的概率空間：X 隨機變量，指的是信源整體xi 隨機事件的某一結果或信源的某個元素p(xi)=P(X=xi) 隨機事件 X 發(fā)生某一結果 xi 的概率。n 是有限正整數(shù)或可數(shù)無限大2.1單符號離散信源2022/7/1062.1.1 離散變量的自信息量(3) 自信息量 自信息量 聯(lián)合自信息量 條件自信息量2.1單符號離散信源2022/7/1072.1.1 離散變量的自信息量(3) 自信息量 自信息量 信息量與不確定性 信源中某一消息發(fā)生的不確定性越大，一旦它發(fā)生，并為收信者收到后，消除的不確定性就越大，獲得的信息也就越大。

4、由于種種原因（例如噪聲太大），收信者接收到受干擾的消息后，對某信息發(fā)生的不確定性依然存在或者一點也未消除時，則收信者獲得較少的信息或者說一點也沒有獲得信息。2.1單符號離散信源2022/7/1082.1.1 離散變量的自信息量(3) 自信息量 自信息量 信息量與不確定性 信息量的直觀定義： 收到某消息獲得的信息量不確定性減少的量 (收到此消息前關于某事件發(fā)生的不確定性) (收到此消息后關于某事件發(fā)生的不確定性)2.1單符號離散信源2022/7/1092.1.1 離散變量的自信息量(3) 自信息量 自信息量 信息量與不確定性 信息量的直觀定義： 在無噪聲時，通過信道的傳輸，可以完全不失真地收到所

5、發(fā)的消息，收到此消息后關于某事件發(fā)生的不確定性完全消除，此項為零。因此： 收到某消息獲得的信息量 收到此消息前關于某事件發(fā)生的不確定性 信源輸出的某消息中所含有的信息量2.1單符號離散信源2022/7/10102.1.1 離散變量的自信息量(3) 自信息量 自信息量 不確定性與發(fā)生概率 事件發(fā)生的概率越小，我們猜測它有沒有發(fā)生的困難程度就越大，不確定性就越大。 事件發(fā)生的概率越大，我們猜測這件事發(fā)生的可能性就越大，不確定性就越小。 概率等于 1 的必然事件，就不存在不確定性。 某事件發(fā)生所含有的信息量應該是該事件發(fā)生的先驗概率的函數(shù)。2.1單符號離散信源2022/7/10112.1.1 離散變

6、量的自信息量(3) 自信息量 自信息量 不確定性與發(fā)生概率 函數(shù) f p(xi) 應滿足以下 4 個條件： f p(xi) 應是 p(xi) 的單調遞減函數(shù) 當 p(x1) p(x2) 時， f p(x1) H(X)2.1單符號離散信源2022/7/10282.1.2 信息熵(1) 信息熵信息熵的三種物理含義：舉例： 本例結論：信源 Y 的二個輸出消息是等可能性的，所以在信源沒有輸出消息以前，事先猜測哪一個消息出現(xiàn)的不確定性要大；信源 X 的二個輸出消息不是等概率的，事先猜測 x1 和 x2 哪一個出現(xiàn)，雖然具有不確定性，但大致可以猜出 x1 會出現(xiàn)，因為 x1 出現(xiàn)的概率大。所以信源 X 的

7、不確定性要??；信源 Y 比信源 X 的平均不確定性大；2.1單符號離散信源2022/7/10292.1.2 信息熵(1) 信息熵信息熵的三種物理含義：舉例： 本例結論：信息熵反映的就是信源輸出前平均不確定程度的大小。變量 Y 取 y1 和 y2 是等概率的，所以其隨機性大。而變量 X 取 x1 的概率比取 x2 的概率大很多，這時變量 X 的隨機性就小。因此 H(X) 反映了變量的隨機性。2.1單符號離散信源2022/7/10302.1.2 信息熵(1) 信息熵信息熵與平均獲得的信息量信息熵是信源的平均不確定性的描述。在一般情況下它并不等于平均獲得的信息量。只有在無噪情況下，接收者才能正確無誤

8、地接收到信源所發(fā)出的消息，消除 H(X) 大小的平均不確定性，所以獲得的平均信息量就等于 H(X)。在一般情況下獲得的信息量是兩熵之差，并不是信源熵本身。2.1單符號離散信源2022/7/10312.1.2 信息熵(2) 條件熵條件熵定義：條件熵是在聯(lián)合符號集合 XY 上的條件自信息的數(shù)學期望。在已知 Y 時，X 的條件熵為：已知 X 時，Y 的條件熵為：條件熵是一個確定的值。思考：求條件熵時為什么要用聯(lián)合概率加權？2.1單符號離散信源2022/7/10322.1.2 信息熵(2) 條件熵條件熵信道疑義度H(X/Y)：表示信宿在收到 Y 后，信源 X 仍然存在的不確定度。是通過有噪信道傳輸后引

9、起的信息量的損失，故也可稱為損失熵。2.1單符號離散信源2022/7/10332.1.2 信息熵(2) 條件熵條件熵噪聲熵H(Y/X)：表示在已知 X 的條件下，對于符號集 Y 尚存在的不確定性（疑義），這完全是由于信道中噪聲引起的。2.1單符號離散信源2022/7/10342.1.3 熵的基本性質和定理熵函數(shù) H(X)：熵 H 是 p(x1),p(x2),p(xn) 的 n 元函數(shù)（實際上，因 p(xi)=1，獨立變量只有 n1 個，H 是 n1 元函數(shù)）：2.1單符號離散信源2022/7/10352.1.3 熵的基本性質和定理(1) 非負性(2) 對稱性(3) 最大離散熵定理(4) 擴展性

10、(5) 確定性(6) 可加性(7) 極值性(8) 上凸性2.1單符號離散信源2022/7/10362.1.3 熵的基本性質和定理(1) 非負性H(X) 0因為隨機變量 X 的所有取值的概率分布滿足0p(xi)1；當取對數(shù)的底大于 1 時 log p(xi)0，而 p(xi) logp(xi)0，所以熵 H(X)0；只有當隨機變量是一確知量時，熵 H(X)=0。這種非負性對于離散信源的熵是合適的，但對連續(xù)信源來說這一性質并不存在。2.1單符號離散信源2022/7/10372.1.3 熵的基本性質和定理(2) 對稱性 定義：當變量 p(x1),p(x2),p(xn) 的順序任意互換時，熵函數(shù)的值不

11、變，即： 含義：該性質說明熵只與隨機變量的總體結構有關，與信源的總體統(tǒng)計特性有關。如果某些信源的統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同），那么這些信源的熵就相同。 舉 例2.1單符號離散信源2022/7/1038(3) 最大離散熵定理（極值性） 定理： 離散無記憶信源輸出 n 個不同的信息符號，當且僅當各個符號出現(xiàn)概率相等時（即 p(xi)=1/n），熵最大。 出現(xiàn)任何符號的可能性相等時，不確定性最大。2.1.3 熵的基本性質和定理2.1單符號離散信源2022/7/10392.1.3 熵的基本性質和定理(3) 最大離散熵定理（極值性） 舉例：二進制信源是離散信源的一個特例。設該信源符號只有二

12、個：0 和 1設符號輸出的概率分別為p和1p信源的概率空間為：二進制信源的信息熵為：這時信息熵 H(X) 是 p 的函數(shù)。p 取值于 0,1 區(qū)間，我們可以畫出熵函數(shù) H(p) 的曲線。2.1單符號離散信源2022/7/10402.1.3 熵的基本性質和定理(3) 最大離散熵定理（極值性） 舉例：從圖中可以得出熵函數(shù)的一些性質：如果二進制信源的輸出是確定的（p=1或 ），則該信源不提供任何信息；當二進制信源符號 0 和 1 等概率發(fā)生時，信源的熵達到最大值，等于 1 比特信息；2.1單符號離散信源2022/7/10412.1.3 熵的基本性質和定理(3) 最大離散熵定理（極值性） 舉例：從圖中

13、可以得出熵函數(shù)的一些性質：二元數(shù)字是二進制信源的輸出。在具有等概率的二進制信源輸出的二進制數(shù)字序列中，每一個二元數(shù)字提供 1 比特的信息量。如果符號不是等概率分布，則每一個二元數(shù)字所提供的平均信息量總是小于 1 比特。這也進一步說明了“二元數(shù)字”（計算機術語稱“比特”）與信息量單位“比特”的關系。2.1單符號離散信源2022/7/10422.1.3 熵的基本性質和定理(4) 擴展性 因為 所以上式成立。含義：信源的取值增多時，若這些取值對應的概率很小（接近于零），則信源的熵不變。雖然概率很小的事件出現(xiàn)后，給予收信者較多的信息。但從總體來考慮時，因為這種概率很小的事件幾乎不會出現(xiàn)，所以它在熵的計

14、算中占的比重很小。這也是熵的總體平均性的一種體現(xiàn)。2.1單符號離散信源2022/7/10432.1.3 熵的基本性質和定理(5) 確定性H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0 在概率矢量 P(X)=p(x1),p(x2),p(xn) 中， 當 p(xi)=1 時，p(xi)log2p(xi)=0； 其余變量 p(xj)=0(ji)，含義：只要信源符號表中有一個符號出現(xiàn)概率為 1，信源熵就等于 0。在概率空間中，如果有兩個基本事實，其中一個是必然事件，另一個則是不可能事件，因此沒有不確定性，熵必為 0?？梢灶愅频?n 個基本事件構成的概率空間。2.1單符號

15、離散信源2022/7/10442.1.3 熵的基本性質和定理(6) 可加性H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y) 證明第一個式子： 可加性是熵函數(shù)的一個重要特性，正因為具有可加性，所以可以證明熵函數(shù)的形式是唯一的，不可能有其它形式存在。2.1單符號離散信源2022/7/10452.1.3 熵的基本性質和定理(7) 極值性/香農輔助定理對任意兩個消息數(shù)相同的信源 有：含義：任一概率分布 p(xi)，它對其它概率分布 p(yi)的自信息 取數(shù)學期望時，必大于 p(xi) 本身的熵。2.1單符號離散信源2022/7/10462.1.3 熵的基本性質和定理(7) 極值性

16、/香農輔助定理由熵的極值性可以證明條件熵小于信息熵/無條件熵:H(X/Y)H(X)H(Y/X)H(Y)證明：H(X/Y)H(X) 已知 Y 時 X 的不確定度應小于一無所知時 X 的不確定度。因為已知 Y 后，從 Y 得到了一些關于X 的信息，從而使X的不確定度下降。2.1單符號離散信源2022/7/1047(8) 上凸性HP +(1)Q H(P )+(1)H(Q )上凸性證明：上凸函數(shù)：設有一個多元或矢量函數(shù) f(x1,x2,xn)=f(X )，對任一小于 1 的正數(shù)(01) 及 f 的定義域中任意兩個矢量X1 ，X2，若 fX1 +(1) X2 f(X1 )+(1)f(X2 )，則稱 f

17、為嚴格上凸函數(shù)。 任意二個矢量 X1 和 X2，它們的線性組合 X =X1 +(1)X2 ，0 1，從幾何上看，當從 0 到 1 變化時，矢量 X =X1 +(1)X2 就是連接 X1 和 X2 的一條直線。2.1.3 熵的基本性質和定理2.1單符號離散信源2022/7/1048(8) 上凸性HP +(1)Q H(P )+(1)H(Q )上凸性證明：2.1.3 熵的基本性質和定理2.1單符號離散信源2022/7/10492.1.3 熵的基本性質和定理(8) 上凸性設 P，Q 為兩組歸一的概率矢量：P =p(x1), p(x2), , p(xn)，Q=p(y1), p(y2), , p(yn)0

18、p(xi)1，0p(yi)12.1單符號離散信源2022/7/10502.1.3 熵的基本性質和定理(8) 上凸性2.1單符號離散信源2022/7/10512.1.3 熵的基本性質和定理(8) 上凸性上凸性的幾何意義：在上凸函數(shù)的任兩點之間畫一條割線，函數(shù)總在割線的上方。嚴格上凸函數(shù)在定義域內的極值必為最大值，這對求最大熵很有用。2.1單符號離散信源2022/7/10522.1 單符號離散信源2.1.1 單符號離散信源的數(shù)學模型2.1.2 信息量和信息熵2.1.3 熵的基本性質和定理2.1.4 平均互信息量2.1.5 各種熵之間的關系2022/7/10532.1.4 平均互信息量 將信道的發(fā)送

19、和接收端分別看成是兩個“信源”，則兩者之間的統(tǒng)計依賴關系（信道輸入和輸出之間）描述了信道的特性。(1) 互信息量和條件互信息量(2) 平均互信息量的定義(3) 平均互信息量的物理含義(4) 平均互信息量的性質2.1單符號離散信源2022/7/10542.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息的性質 條件互信息量2.1單符號離散信源2022/7/10552.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量定義： 最簡單的通信系統(tǒng)模型： X信源發(fā)出的離散消息集合 Y信宿收到的離散消息集合 信源通過有干擾的信道發(fā)出消息傳遞給信宿； 信宿事先不知道某

20、一時刻發(fā)出的是哪一個消息，所以每個消息是隨機事件的一個結果。2.1單符號離散信源2022/7/10562.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量定義： 信源 X、信宿 Y 的數(shù)學模型為：2.1單符號離散信源2022/7/10572.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量定義： 先驗概率：信源發(fā)出消息 xi 的概率 p(xi )。 后驗概率：信宿收到 yj 后推測信源發(fā)出 xi 的概率： p(xi / yj )2.1單符號離散信源2022/7/10582.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量定義：

21、互信息量：yj 對 xi 的互信息量定義為后驗概率與先驗概率比值的對數(shù)。2.1單符號離散信源2022/7/10592.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 舉例 某地二月份天氣構成的信源為： 收到消息 y1：“今天不是晴天” 收到 y1 后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/42.1單符號離散信源2022/7/10602.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 舉例 計算 y1 與各種天氣之間的互信息量 對天氣 x1，不必再考慮 對天氣 x2， 對天氣 x3, 對天氣 x4 ，2.1

22、單符號離散信源2022/7/10612.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 舉例 結果表明從 y1 分別得到了 x2，x3，x4 各 1 比特的信息量； 或者說 y1 使 x2，x3，x4 的不確定度各減少量 1 比特。2.1單符號離散信源2022/7/10622.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量的三種不同表達式 觀察者站在輸出端 自信息量：對 yj 一無所知的情況下 xi 存在的不確定度； 條件自信息量：已知 yj 的條件下 xi 仍然存在的不確定度； 互信息量：兩個不確定度之差是不確定度被消除的部分，即等于自信息量減去條件自信

23、息量。2.1單符號離散信源2022/7/10632.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量的三種不同表達式 觀察者站在輸入端 觀察者得知輸入端發(fā)出 xi 前、后對輸出端出現(xiàn) yj 的不確定度的差。2.1單符號離散信源2022/7/10642.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量的三種不同表達式 觀察者站在通信系統(tǒng)總體立場上 通信前：輸入隨機變量 X 和輸出隨機變量 Y 之間沒有任何關聯(lián)關系，即 X，Y 統(tǒng)計獨立； p(xi yj)=p(xi) p(yj) 先驗不確定度：2.1單符號離散信源2022/7/10652.1.4 平均互

24、信息量(1) 互信息量和條件互信息量 互信息量 互信息量的三種不同表達式 觀察者站在通信系統(tǒng)總體立場上 通信后：輸入隨機變量 X 和輸出隨機變量 Y 之間由信道的統(tǒng)計特性相聯(lián)系，其聯(lián)合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后驗不確定度：2.1單符號離散信源2022/7/10662.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息量 互信息量的三種不同表達式 觀察者站在通信系統(tǒng)總體立場上 通信后的互信息量，等于前后不確定度的差： 這三種表達式實際上是等效的，在實際應用中可根據(jù)具體情況選用一種較為方便的表達式。2.1單符號離散信源

25、2022/7/10672.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息的性質 對稱性I(xi ; yj) = I(yj ; xi) 推導過程：2.1單符號離散信源2022/7/10682.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息的性質 對稱性 互信息量的對稱性表明： 兩個隨機事件的可能結果 xi 和 yj 之間的統(tǒng)計約束程度； 從 yj 得到的關于 xi 的信息量 I(xi;yj) 與從 xi 得到的關于 yj 的信息量 I(yj; xi) 是一樣的，只是觀察的角度不同而已。2.1單符號離散信源2022/7/10692.1.4 平均互信息量(1) 互信息量和條件

26、互信息量 互信息的性質 相互獨立時的 X 和 Y 這時：p(xi yj)=p(xi)p(yj) 互信息量為： 表明 xi 和 yj 之間不存在統(tǒng)計約束關系，從 yj 得不到關于的 xi 任何信息，反之亦然。2.1單符號離散信源2022/7/10702.1.4 平均互信息量(1) 互信息量和條件互信息量 互信息的性質 互信息量可為正值或負值 當后驗概率大于先驗概率時，互信息量為正。 當后驗概率小于先驗概率時，互信息量為負。 當后驗概率與先驗概率相等時，互信息量為零。這就是兩個隨機事件相互獨立的情況。2.1單符號離散信源2022/7/10712.1.4 平均互信息量(1) 互信息量和條件互信息量

27、互信息的性質 互信息量可為正值或負值 舉例 bj：“閃電”事件， ai：各種與天氣有關的事件 a1：“打雷”事件，I(a1/ bj)=0，I(a1; bj)= I(a1)0 （閃電必打雷） a2：“下雨”事件，I(a2/ bj)0 （為下雨提供了一些信息量） a3：“霧天”事件，I(a3/ bj)= I(a3)，I(a3; bj)=0 （閃電與霧無關） a4：“飛機正點起飛”事件，I(a4/ bj) I(a4)，I(a4; bj)0，當且僅當 x=1 時取等號。2.1單符號離散信源2022/7/10882.1.4 平均互信息量(4) 平均互信息量的性質 非負性 I(X;Y)02.1單符號離散信

28、源2022/7/10892.1.4 平均互信息量(4) 平均互信息量的性質 非負性I(X;Y)0 當且僅當 X 和 Y 相互獨立，即：p(xiyj)= p(xi) p(yj)， I(X;Y)=0式中： 結論：平均互信息量不是從兩個具體消息出發(fā)，而是從隨機變量 X 和 Y的整體角度出發(fā)，并在平均意義上觀察問題，所以平均互信息量不會出現(xiàn)負值。從一個事件提取關于另一個事件的信息，最壞的情況是 0，不會由于知道了一個事件，反而使另一個事件的不確定度增加。2.1單符號離散信源2022/7/10902.1.4 平均互信息量(4) 平均互信息量的性質 非負性 舉例設閃電是 X 系統(tǒng)中發(fā)生的一個事件。打雷，下

29、雨，下霧和飛機正點起飛是系統(tǒng)Y中的事件。閃電的發(fā)生給“正點起飛”帶來負信息，使其不確定性更大了；對其它事件，比如對“打雷”事件會消除全部不確定性；對“下雨”也通過了正信息，減少了不確定性?？傮w平均來說，閃電的發(fā)生，給系統(tǒng)Y提供了有利于解除不確定性的信息，故 I(閃電;Y) 0。2.1單符號離散信源2022/7/10912.1.4 平均互信息量(4) 平均互信息量的性質 極值性I(X;Y)H(X) I(Y;X)H(Y)證明：由于：I(X;Y)=H(X)H(X/Y)0，I(Y;X)=H(Y)H(Y/X)0, H(Y/X)0， H(X/Y)0, 所以：I(X;Y)H(X)，I(Y;X)H(Y)從一個

30、事件提取關于另一個事件的信息量，至多是另一個事件的熵那么多，不會超過另一個事件自身所含的信息量。當 X 和 Y 是一一對應關系時：I(X;Y)=H(X)，這時 H(X/Y)=0。從一個事件可以充分獲得關于另一個事件的信息，從平均意義上來說，代表信源的信息量可全部通過信道。2.1單符號離散信源2022/7/10922.1.4 平均互信息量(4) 平均互信息量的性質 極值性I(X;Y)H(X) I(Y;X)H(Y)證明：由于：I(X;Y)=H(X)H(X/Y)0，I(Y;X)=H(Y)H(Y/X)0, H(Y/X)0， H(X/Y)0, 所以：I(X;Y)H(X)，I(Y;X)H(Y)當 X 和

31、Y 相互獨立時：H(X/Y) =H(X)， I(Y;X)=0。從一個事件不能得到另一個事件的任何信息，這等效于信道中斷的情況。2.1單符號離散信源2022/7/10932.1.4 平均互信息量(4) 平均互信息量的性質 凸函數(shù)性 平均互信息量 的數(shù)學特性： 平均互信息量是 p(xi) 和 p(yj /xi) 的函數(shù)，即： I(X;Y)=f p(xi), p(yj /xi)2.1單符號離散信源2022/7/10942.1.4 平均互信息量(4) 平均互信息量的性質 凸函數(shù)性 平均互信息量 的數(shù)學特性： 若固定信道，調整信源，則平均互信息量 I(X;Y) 是 p(xi) 的函數(shù)，即 I(X;Y)=

32、f p(xi)； 若固定信源，調整信道，則平均互信息量 I(X;Y) 是 p(yj /xi) 的函數(shù)，即 I(X;Y)=f p (yj /xi)。2.1單符號離散信源2022/7/10952.1.4 平均互信息量(4) 平均互信息量的性質 凸函數(shù)性平均互信息量 I(X;Y) 是輸入信源概率分布 p(xi) 的上凸函數(shù)。 上凸函數(shù)：同一信源集合 x1, x2, , xn，對應兩個不同的概率分布 p1(xi) 和 p2(xi)（i=1, 2, , n），若有小于 1 的正數(shù) 0H，所以在傳輸手段上必然富裕，這樣做很不經(jīng)濟，特別是有時只能得到 H1，甚至 H0，就更不經(jīng)濟。這種浪費是由信源符號的相關

33、性引起的。2.2擴展信源2022/7/102012.2.5 信源冗余度及信息變差(3) 信源的冗余度 信源冗余度定義及意義信源熵的相對率 ：為了衡量符號間的相互依賴程度，定義信源實際的信息熵與同樣符號數(shù)的最大熵的比值為信源熵的相對率：= H/H0信源冗余度：1 減去信源熵的相對率，即：=1=(H0H)/H0信息結構（信息變差）I0：I0= H0 H信源的實際熵應為H，但 H 很難得到，于是用 H0 來表達信源。兩者之差代表了語言結構確定的信息。I0 越大，冗余度越大。冗余度是用來衡量符號間的依賴程度。英語信源冗余度為：=(4.761.4)/4.76=0.712.2擴展信源2022/7/1020

34、22.2.5 信源冗余度及信息變差(3) 信源的冗余度 重要結論寫英語文章時，71% 是由語言結構定好的，只有 29% 是寫文字的人可以自由選擇的。100 頁的書，大約只傳輸 29 頁就可以了，其余 71 頁可以壓縮掉。信息的冗余度表示信源可壓縮的程度。從提高傳輸效率的觀點出發(fā)，總是希望減少或去掉冗余度。冗余度大的消息抗干擾能力強。能通過前后字之間的關聯(lián)糾正錯誤。聽母語廣播和聽外語廣播的對比：聽外語費勁是英語冗余度不夠造成的。因此，英語聽力要過關，除了多聽多練以外，并無多少捷徑可走。返回目錄2.2擴展信源2022/7/102032.2.5 信源冗余度及信息變差(4) 通信效率與可靠性的關系信源

35、編碼就是通過減少或消除冗余度來提高通信效率。信道編碼是通過增加冗余度來提高通信的抗干擾能力，即提高通信的可靠性。通信的效率問題和可靠性問題往往是一對矛盾。返回目錄2.2擴展信源2022/7/102042.3 連續(xù)信源2.3.1 一些基本概念2.3.2 連續(xù)信源的熵2.3.3 幾種特殊連續(xù)信源的熵2.3.4 連續(xù)熵的性質2.3.5 最大連續(xù)熵定理2022/7/102052.3.1 一些基本概念(1) 連續(xù)信源定義(2) 隨機過程及其分類(3) 通信系統(tǒng)中的信號(4) 平穩(wěn)遍歷的隨機過程2.3連續(xù)信源2022/7/102062.3.1 一些基本概念(1) 連續(xù)信源定義連續(xù)信源：輸出消息在時間和取值

36、上都連續(xù)的信源。例子：語音、電視等。連續(xù)信源輸出的消息是隨機的，與隨機過程x(t)相對應?？捎糜邢蘧S概率密度函數(shù)族描述。pn(x1,x2,xn,t1,t2,tn)返回目錄2.3連續(xù)信源2022/7/102072.3.1 一些基本概念(2) 隨機過程及其分類 隨機過程 隨機過程的分類2.3連續(xù)信源2022/7/102082.3.1 一些基本概念(2) 隨機過程及其分類 隨機過程隨機過程定義：隨機過程 x(t) 可以看成由一系列時間函數(shù) xi(t)所組成，其中 i=1,2,3,，并稱 xi(t) 為樣本函數(shù)。2.3連續(xù)信源2022/7/102092.3.1 一些基本概念(2) 隨機過程及其分類 隨

37、機過程每個樣本函數(shù)是隨機過程的一個實現(xiàn)。每個樣本函數(shù)不僅在時間上，而且在幅度取值上都是連續(xù)變化的波形。在某一固定的瞬時時刻 t=ti，各個樣本函數(shù)的取值，成為一個連續(xù)型的隨機變量 。一般用 n 維概率密度函數(shù)族 pn(x1,x2,xn,t1,t2,tn) 來描述隨機過程的統(tǒng)計特性，n 越大，描述越完善。參見圖2.3連續(xù)信源2022/7/102102.3.1 一些基本概念(2) 隨機過程及其分類 隨機過程 連續(xù)型信源特點 消息數(shù)是無限的。輸出的每個可能的消息是隨機過程 x(t) 中的一個樣本函數(shù)。對于樣本函數(shù)來說，它是時間 t 的連續(xù)函數(shù)，時間的取值為不可數(shù)的無限多個。另外，當固定某一瞬時 t=

38、tk 時，信源的輸出是一個隨機變量 X，X 的取值又是連續(xù)的，為不可數(shù)的無限多個值。因此連續(xù)信源可能有的消息數(shù)為無限多個。 連續(xù)型信源，可用有限維概率密度函數(shù)族以及各維概率密度函數(shù)有關的統(tǒng)計量來描述。參見圖2.3連續(xù)信源2022/7/102112.3.1 一些基本概念(2) 隨機過程及其分類 隨機過程的分類分類：根據(jù)統(tǒng)計特性，連續(xù)隨機過程可分為平穩(wěn)與非平穩(wěn)隨機過程兩大類。平穩(wěn)隨機過程：統(tǒng)計特性（各維概率密度函數(shù)）不隨時間平移而變化。非平穩(wěn)隨機過程：統(tǒng)計特性隨時間平移而變化。返回目錄2.3連續(xù)信源2022/7/102122.3.1 一些基本概念(3) 通信系統(tǒng)中的信號一般認為：通信系統(tǒng)中的信號都

39、是平穩(wěn)的隨機過程。雖然在無線通信系統(tǒng)中，受衰落干擾的無線電信號屬于非平穩(wěn)隨機過程，但在正常通信條件下，都可近似地當做平穩(wěn)隨機過程或分段平穩(wěn)的隨機過程來處理。返回目錄2.3連續(xù)信源2022/7/102132.3.1 一些基本概念(4) 平穩(wěn)遍歷的隨機過程隨機過程 x(t) 中某一樣本函數(shù) x(t) 的時間平均值定義：隨機過程 x(t) 在某時刻 ti 所取的隨機變量 的統(tǒng)計平均值（集平均）定義：遍歷的隨機過程：時間平均與統(tǒng)計平均相等，即：返回目錄參見圖2.3連續(xù)信源2022/7/102142.3.2 連續(xù)信源的熵(1) 計算連續(xù)信源熵的兩種方法(2) 連續(xù)信源的種類(3) 連續(xù)信源的數(shù)學描述(4

40、) 連續(xù)信源的熵(5) 連續(xù)信源的聯(lián)合熵和條件熵2.3連續(xù)信源2022/7/102152.3.2 連續(xù)信源的熵(1) 計算連續(xù)信源熵的兩種方法 計算連續(xù)信源一般有兩種方法。第一種方法：把連續(xù)消息經(jīng)過時間抽樣和幅度量化變成離散消息，再用前面介紹的計算離散信源的方法進行計算。第二種方法：通過時間抽樣把連續(xù)消息變換成時間離散的函數(shù)，它是未經(jīng)幅度量化的抽樣脈沖序列，可看成是量化單位x 趨近于零的情況來定義和計算連續(xù)信源熵。返回目錄2.3連續(xù)信源2022/7/102162.3.2 連續(xù)信源的熵(2) 連續(xù)信源的種類與單符號和多符號離散信源類似，連續(xù)信源也分為單變量和多變量。多變量連續(xù)信源屬于有記憶信源，

41、直接計算有記憶連續(xù)信源的熵十分困難。一般處理方法是采用某種變換把有記憶信源變成無記憶信源，然后再計算信源熵。由于多變量的情況比較復雜，限于學時，我們只對單變量連續(xù)信源的信息測度進行討論。返回目錄2.3連續(xù)信源2022/7/102172.3.2 連續(xù)信源的熵(3) 連續(xù)信源的數(shù)學描述 單變量連續(xù)信源的輸出是取值連續(xù)的隨機變量?？捎米兞康母怕拭芏取⒆兞块g的條件概率密度和聯(lián)合概率密度描述。 一維概率密度函數(shù) 條件概率密度和聯(lián)合概率密度函數(shù)2.3連續(xù)信源2022/7/102182.3.2 連續(xù)信源的熵(3) 連續(xù)信源的數(shù)學描述 一維概率密度函數(shù) 隨機變量 X 的一維概率密度函數(shù)（邊緣概率密度函數(shù)）為：

42、2.3連續(xù)信源2022/7/102192.3.2 連續(xù)信源的熵(3) 連續(xù)信源的數(shù)學描述 條件概率密度和聯(lián)合概率密度函數(shù)條件概率密度函數(shù)：聯(lián)合概率密度函數(shù)：它們之間的關系為：邊緣概率密度函數(shù)滿足：因為概率密度函數(shù)是不同的函數(shù)，所以用腳標來加以區(qū)分，以免混淆。為了簡化書寫，往往省去腳標，但在使用時要注意。返回目錄2.3連續(xù)信源2022/7/102202.3.2 連續(xù)信源的熵(4) 連續(xù)信源的熵 單變量連續(xù)信源數(shù)學模型 連續(xù)信源的熵 舉例 連續(xù)信源熵的意義2.3連續(xù)信源2022/7/102212.3.2 連續(xù)信源的熵(4) 連續(xù)信源的熵 單變量連續(xù)信源數(shù)學模型單變量連續(xù)信源數(shù)學模型：R 是連續(xù)變量

43、 X 的取值范圍。先將連續(xù)信源在時間上離散化，再對連續(xù)變量進行量化分層，并用離散變量來逼近連續(xù)變量。量化間隔越小，離散變量與連續(xù)變量越接近，當量化間隔趨近于零時，離散變量就等于連續(xù)變量。2.3連續(xù)信源2022/7/102222.3.2 連續(xù)信源的熵(4) 連續(xù)信源的熵 單變量連續(xù)信源數(shù)學模型 數(shù)學模型：設 p(x) 如圖2.3.1所示。把連續(xù)隨機變量 X 的取值分割成 n 個小區(qū)間，各小區(qū)間等寬，即：=(ba)/n。則變量落在第 i 個小區(qū)間的概率為：其中 xi 是 a+(i1) 到 a+i 之間的某一值。當 p(x) 是 X 的連續(xù)函數(shù)時，由中值定理可知，必存在一個 xi 值使上式成立。2.

44、3連續(xù)信源2022/7/102232.3.2 連續(xù)信源的熵(4) 連續(xù)信源的熵 單變量連續(xù)信源數(shù)學模型這樣連續(xù)變量 x 就可用取值為 xi(i=1,2,n) 的離散變量近似。連續(xù)信源被量化成離散信源。返回目錄2.3連續(xù)信源2022/7/102242.3.2 連續(xù)信源的熵(4) 連續(xù)信源的熵 連續(xù)信源的熵上式右端的第一項一般是定值，而第二項在 0 時是一無限大量。丟掉后一項，定義連續(xù)信源的熵為：上式定義的熵在形式上和離散信源相似，也滿足離散熵的主要特性，如可加性，但在概念上與離散熵有差異因為它失去了離散熵的部分含義和性質。返回目錄2.3連續(xù)信源2022/7/102252.3.2 連續(xù)信源的熵(4

45、) 連續(xù)信源的熵 舉 例若連續(xù)信源的統(tǒng)計特性為均勻分布的概率密度函數(shù)：當 (ba)1 時，Hc(X)0，0 ，只要滿足 則當 L 足夠大時，必可使譯碼差錯小于，即譯碼錯誤概率能為任意小.反之，若： 則不可能實現(xiàn)無失真編碼，而當 L 足夠大時，譯碼錯誤概率近似等于1.參見圖2.4離散無失真信源編碼定理2022/7/102782.4.2 定長編碼定理(1) 定長編碼定理定理中的公式改寫成：Klog2mLH(X) Klog2m：表示長為 K 的碼符號序列能載荷的最大信息量LH(X) ：代表長為 L 的信源序列平均攜帶的信息量 平均符號熵。 定長編碼定理告訴我們：只要碼字傳輸?shù)男畔⒘看笥谛旁磾y帶的信息

46、量，總可實現(xiàn)幾乎無失真編碼。2.4離散無失真信源編碼定理2022/7/102792.4.2 定長編碼定理(1) 定長編碼定理可以證明：信源熵 H(X) 就是一個界限（臨界值）。當編碼器輸出的信息率超過這個臨界值時，就能無失真譯碼，否則就不行。2.4離散無失真信源編碼定理2022/7/102802.4.2 定長編碼定理(1) 定長編碼定理信源編碼定理從理論上說明了編碼效率接近于 1，即： 的理想編碼器的存在性，代價是在實際編碼時取無限長的信源符號 (L) 進行統(tǒng)一編碼。說明：定長編碼定理是在平穩(wěn)無記憶離散信源的條件下論證的，但它同樣適用于平穩(wěn)有記憶信源，只是要求有記憶信源的極限熵和極限方差存在即

47、可。對于平穩(wěn)有記憶信源，定理中的熵應改為極限熵。2.4離散無失真信源編碼定理2022/7/102812.4.2 定長編碼定理(2) 舉 例例2.4.1：設單符號信源模型為：其信息熵為：H(X)=2.55（比特符號） 2(x)=1.323若要求編碼效率為 = 90%，即：譯碼差錯率為=106，則=0.28，在差錯率和效率要求都不苛刻的情況下，就必須有1600多萬個信源符號一起編碼，技術實現(xiàn)非常困難。2.4離散無失真信源編碼定理2022/7/102822.4.2 定長編碼定理(2) 舉 例例：離散無記憶信源：其信息熵為：自信息的方差為：2.4離散無失真信源編碼定理2022/7/102832.4.2

48、 定長編碼定理(2) 舉 例例：若對信源X采取等長二元編碼時，要求=0.96，=105信源序列長度需長達4130萬以上，才能實現(xiàn)給定的要求，這在實際中很難實現(xiàn)。一般來說，當 L 有限時，高傳輸效率的等長碼往往要引入一定的失真和錯誤，它不能像變長碼那樣可以實現(xiàn)無失真編碼。返回目錄2.4離散無失真信源編碼定理2022/7/102842.4.3 變長編碼定理(1) 基本概念(2) 碼樹圖(3) 克拉夫特不等式(4) 變長編碼定理2.4離散無失真信源編碼定理2022/7/102852.4.3 變長編碼定理(1) 基本概念變長編碼（不等長編碼）：不等長編碼允許把等長的消息變換成不等長的碼序列。通常把經(jīng)常

49、出現(xiàn)的消息編成短碼，不常出現(xiàn)的消息編成長碼。這樣可使平均碼長最短，從而提高通信效率，代價是增加了編譯碼設備的復雜度。 例如：在不等長碼字組成的序列中要正確識別每個長度不同的碼字的起點就比等長碼復雜得多。譯碼延時譯碼同步：接收到一個不等長碼序列后，有時不能馬上斷定碼字是否真正結束，因而不能立即譯出該碼，要等到后面的符號收到后才能正確譯出。2.4離散無失真信源編碼定理2022/7/102862.4.3 變長編碼定理(1) 基本概念例2.4.2：碼 1：顯然不是惟一可譯碼。x2 和 x4 對應于同一碼字“11”，碼 1 是一個奇異碼。碼 2：是非奇異碼，不是惟一可譯碼。當收到一串碼符號“01000”

50、時，可將它譯成“x4 x3 x1”，也可譯為“x4x1x3”， “x1x2x3”或“x1x2x1x1”等，這種碼從單個碼字來看雖然不是奇異的，但從有限長的碼序列來看，它仍然是一個奇異碼。2.4離散無失真信源編碼定理2022/7/102872.4.3 變長編碼定理(1) 基本概念例2.4.2：碼 3：雖然是惟一可譯碼，但它要等到下一個“1”收到后才能確定碼字的結束，譯碼有延時。碼 4：既是惟一可譯碼，又沒有譯碼延時。碼字中的符號“1”起了逗點的作用，故稱為逗點碼。即時碼/前綴條件碼/異前置碼/異字頭碼/逗點碼/非延長碼：如果一個碼的任何一個碼字都不是其它碼字的前綴。碼 4 是即時碼返回目錄2.4

51、離散無失真信源編碼定理2022/7/102882.4.3 變長編碼定理 (2) 碼樹圖 m 元（m 進制）碼樹圖樹根：最頂部畫一個起始點。樹枝：從根部引出 m 條線段，每條線段都稱為樹枝。一級節(jié)點：自根部起,通過一條樹枝到達的節(jié)點。一級節(jié)點最多有 m 個.n 級節(jié)點：通過 n 條樹枝達到的節(jié)點。最多有 mn。2.4離散無失真信源編碼定理2022/7/10289 (2) 碼樹圖終節(jié)點/終端節(jié)點：下面不再有樹枝的節(jié)點。中間節(jié)點：除了樹根和終節(jié)點以外的節(jié)點。聯(lián)枝：串聯(lián)的樹枝。滿樹：在碼樹圖中，當每一個碼字的串聯(lián)枝數(shù)都相同時，就是定長碼。此時的碼樹稱為滿樹。2.4.3 變長編碼定理2.4離散無失真信源

52、編碼定理2022/7/10290 (2) 碼樹圖 例如：碼長為 N 的滿樹的終節(jié)點個數(shù)為 mN，即可表示 mN 個碼字。非滿樹：有些樹枝未用時的碼樹。 非滿樹構造的就是變長碼。 如果每一個碼字都被安排在終節(jié)點上,這種碼就是即時碼。2.4.3 變長編碼定理返回目錄2.4離散無失真信源編碼定理2022/7/10291(3) 克拉夫特不等式 克拉夫特不等式：m 元長度為 ki，i=1,2,n 的即時碼存在的充要條件是證明： 必要條件： 設即時碼第 i 個碼字的長度為 ki，i=1,2,n， 造一個碼樹圖，在第 ki 級總共有 個節(jié)點。第 i 個碼字占據(jù)了第 ki 級的 ，根據(jù)即時碼的定義，其后的樹枝

53、不能再用。2.4.3 變長編碼定理2.4離散無失真信源編碼定理2022/7/10292(3) 克拉夫特不等式 克拉夫特不等式：m 元長度為 ki，i=1,2,n 的即時碼存在的充要條件是證明： 必要條件： 對于 N 級滿樹，其后不能用的枝數(shù)為 ，那么總共不用的枝數(shù)為 。 N 級滿樹第 N 級上的總枝數(shù)已知為 mN，所以必有 兩邊除以 mN，就得： 。2.4.3 變長編碼定理2.4離散無失真信源編碼定理2022/7/10293(3) 克拉夫特不等式 克拉夫特不等式：m 元長度為 ki，i=1,2,n 的即時碼存在的充要條件是證明： 充分條件： 如果式 成立，則 必成立，總可以把 第 N 級上的樹

54、枝分成 n 組； 各組中從第 N 級開始刪除 (i=1,2,n)個枝； 相對于 N 級滿樹，等于刪除了所有可能的 ki 級節(jié)點的2.4.3 變長編碼定理2.4離散無失真信源編碼定理2022/7/10294(3) 克拉夫特不等式 克拉夫特不等式：m 元長度為 ki，i=1,2,n 的即時碼存在的充要條件是證明： 充分條件： 在該組中以第 ki 級節(jié)點作為終節(jié)點，就構造好了第 i 個碼字。 對所有碼字如法炮制，則總共刪除了所有 mN 個節(jié)點中的 。 由于 ，于是構造了一個即時碼。2.4.3 變長編碼定理返回目錄2.4離散無失真信源編碼定理2022/7/10295(4) 變長編碼定理 變長編碼定理（香農第一定理）平均碼長：變長編碼定理：若一離散無記憶信源的平均符號熵為 H(X)，對信源符號進行 m 元變長編碼，一定存在一種無失真編碼方法，其碼字平均長度 滿