老師整理的信息論知識點

1、Chp02 知識點： 自信息量：1) I(xi) log p(xi)2) 對數(shù)采用的底不同，自信息量的單位不同。2比特( bit )、e奈特( nat)、10 哈特( Hart)3) 物理意義：事件 xi 發(fā)生以前，表示事件 xi發(fā)生的不確定性 的大??；事件 xi發(fā)生以后，表示事件 xi 所含有或所能提供的信息 量。平均自信息量(信息熵) ：q1) H (x) EI (xi)p(xi)log p(xi)i12) 對數(shù)采用的底不同，平均自信息量的單位不同。2比特/符號、 e奈特/符號、 10哈特/符號。3) 物理意義：對信源的整體的不確定性的統(tǒng)計描述。 表示信源輸出前，信源的平均不確定性；信源輸

2、出后每個消 息或符號所提供的平均信息量。4) 信息熵的基本性質(zhì)：對稱性、確定性、非負(fù)性、擴展性、 連續(xù)性、遞推性、極值性、上凸性。互信息：1)p(xi | yj )1) I(xi;yj) I(xi) I(xi |yj) log p(xi)含義： 已知事件 yj 后所消除的關(guān)于事件 xi 的不確定性，對信息的傳遞起到了定量表示平均互信息： 1）定義：2）性質(zhì)：聯(lián)合熵和條件熵： 各類熵之間的關(guān)系： 數(shù)據(jù)處理定理：Chp03 知識點： 依據(jù)不同標(biāo)準(zhǔn)信源的分類：離散單符號信源：1)概率空間表示：Xa1a2arPp a1p a2p arr0 p ai 1,(i 1,2, , r ); p ai 1 i1

3、q2)信息熵： H(x) EI(xi)p(xi)log p(xi) ，表示離散單符號信i1源的平均不確定性。離散多符號信源： 用平均符號熵和極限熵來描述離散多符號信源 的平均不確定性。平均符號熵： HN(X) 1 H(X1X2.XN)N極限熵(熵率) ： H (X) lim H N(X)N (1)離散平穩(wěn)信源(各維聯(lián)合概率分布均與時間起點無關(guān)的 信源。)( 2)離散無記憶信源：信源各 消息符號 彼此互不相關(guān)。X0 1最簡單的 二進制信源 ： p(x)p q ，信源輸出符號只有兩個： “0”和“1”。離散無記憶信源的 N 次擴展：若信源符號有 q 個，其 N 次擴展后的信源符號共有 qN 個。離

4、散無記憶信源 X的 N次擴展信源 XN的熵：等于信源 X的熵的 N倍，表明離散無記憶信源 X 的 N 次擴展信源每輸出 1 個消息符號(即符號序列)所提 供的信息熵是信源 X每輸出 1 個消息符號所提供信息 熵的 N 倍。離散無記憶信源 X 的 N次擴展信源 XN極限熵(熵率) 為： H (X) lim HN (X) lim 1 NH(X) H(X)N NN3) 離散有記憶信源 馬爾可夫信源 時間和狀態(tài)都是離散的馬爾可夫過程稱為 馬爾可夫鏈1)用分布律描述 ：3 )轉(zhuǎn)移概率矩陣：用 pij (n ) 表示 n 步轉(zhuǎn)移概率矩陣。且2)轉(zhuǎn)移概率：即條件概率pij (n) (pij (1) n ，會

5、寫出馬氏鏈的一步轉(zhuǎn)移概率矩陣， 會畫狀態(tài)轉(zhuǎn)移 圖，能夠求出 n 步轉(zhuǎn)移概率矩陣。4) 遍歷性的概念： 求解馬氏信源的遍歷性，即找一正整數(shù)m，使 m 步轉(zhuǎn)移概率矩陣 pij (m) 中無零元。求解馬氏遍歷信源的信息熵步驟 ：(1) 根據(jù)題意畫出狀態(tài)轉(zhuǎn)移圖，判斷出是平穩(wěn)遍歷的馬爾可夫信源；qWi 1i12) 根據(jù)狀態(tài)轉(zhuǎn)移圖寫出一步轉(zhuǎn)移概率矩陣，計算信源的極限分布 W W1,W2,Wq 即是求解方程組：( 3) 根據(jù)一步轉(zhuǎn)移概率矩陣和極限概率W 計算信源的信息熵：極限熵 H 等于條件熵 Hm+1。(m 階馬爾可夫信源的熵率 )信源的相關(guān)性和剩余度： ， 1 1 HH0用來衡量信源輸出的符號序列中各符

6、號之間的依賴程度。當(dāng)剩余度 0 時，信源的熵極大熵 H 0，表明信源符號之間： (1)統(tǒng)計獨立無記憶 ;(2) 各符號等概分布。連續(xù)信源：( 1) 微分熵：i. 定義：ii. 物理意義：( 2) 連續(xù)信源的聯(lián)合熵和條件熵( 3) 幾種特殊連續(xù)信源的熵：a) 均勻分布的連續(xù)信源的熵： Hc(X) log 2(b a)b) 高斯分布的連續(xù)信源的熵： Hc(X) 1log22 e 【2 概率密度函數(shù)：1( x m)2p (x)1 2 e 2 】22c) 指數(shù)分布的連續(xù)信源的熵： Hc(X) log2 me 【概率密度函數(shù)：1x p(x) 1 e m 】 m4) 最大連續(xù)熵定理：a） 限峰值功率的最大

7、熵定理（輸出幅值受限）b） 限平均功率的最大熵定理（輸出平均功率受限）（ 5） 熵功率及連續(xù)信源的剩余度均勻分布：高斯分布Chp04 知識點：一、一些基本概念：1 什么是信道？信道的作用，研究信道的目的。2 一般信道的數(shù)學(xué)模型，信道的分類(根據(jù)輸入輸出隨即信道的特點，輸入輸出隨機變量個數(shù)的多少，輸入輸出個數(shù)，有無干擾，有無記憶，信道的統(tǒng)計特性進行不同的分類)3 前向概率 p(yj /xi) 、后向概率 /后驗概率 p(xi /yj) 、先驗概率 p(xi) 。4 幾個熵的含義：H(X) - 表示信源的不確定性；H(X|Y)- 信道疑義度，表示如果有干擾的存在，接收端收到 Y 后對信源仍然存在的

8、 不確定性。 也稱為損失熵， 表示信源符號通過有噪信道傳輸后所引起的信息量的損失。 H(Y|X)- 噪聲熵，它反映了信道中噪聲源的不確定性。二、離散信道：1 單符號離散信道：a) 信道模型的表示：傳遞矩陣(有傳遞 (條件、轉(zhuǎn)移 )概率 p(yj|xi) 組成)；b) 信道的信息傳輸率： R=I(X;Y) 表示接收到輸出符號集 Y 后所消除的對于信源 X 的不 確定性，也就是獲得的關(guān)于信源的信息。它是平均意義上每傳送一個符號流經(jīng)信道的 信息量。p(yj|xi) 的二元函數(shù)：關(guān)于 I(X;Y )的性質(zhì)： I(X;Y) 是信源概率分布 p(xi)和信道轉(zhuǎn)移概率np(yj)p(xi)p(yj /xi)

9、p(xiyj) p(xi)p(yj/xi)i1p(yj /xi )2np(xi)p(yj /xi)i1n mn mI(X;Y)p(xiyj)log2 p(jyj)ip(xi)p(yj / xi )logi1 j1i1 j 1那么，當(dāng)信道特性 p(yj /xi) 固定后， I(X;Y) 隨信源概率分布 p(xi) 的變化而變化。調(diào)整 p(xi) ，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，對于給定的信道轉(zhuǎn)移 概率 p(yj /xi) ，I(X;Y) 是輸入分布 p(xi) 的上凸函數(shù)， 因此總能找到一種概率分布 p(xi)(即某 一種信源)，使信道所能傳送的信息率為最大。那么這個最大

10、的信息傳輸率即為信道容量。c) 信道容量概念：在信道中最大的信息傳輸速率C maxR maxI(X;Y) (比特/信道符號) 對于給定的信道， 總能找到一個最p(xi )p(xi )佳輸入分布使得 I(X;Y) 得到極大值。d) 信道容量的含義：信道容量是完全描述信道特性的參量，信道容量是信道傳送信息的 最大能力的度量，信道實際傳送的信息量必然不大于信道容量。2 幾種特殊離散信道的信道容量：a) 具有一一對應(yīng)關(guān)系的無噪信道： n- 輸入符號數(shù) ， m- 輸出符號數(shù) 當(dāng)信源呈等概率分布時，具有一一對應(yīng)確定關(guān)系的無噪信道達到信道容量C：b) 具有擴展性能的無損信道：注意： 在求信道容量時，調(diào)整的始

11、終是輸入端的概率分布 p(xi) ，盡管信道容量式子 中平均互信息 I(X;Y) 等于輸出端符號熵 H(Y) ，但是在求極大值時調(diào)整的仍然是輸入端的概 率分布 p(xi) ，而不能用輸出端的概率分布 p(yj) 來代替。也就是一定能找到一種輸入分布 使輸出符號 Y 達到等概率分布。d) 行對稱信道的信道容量：C mp(axx) H (Y ) H(p1',p2' ,., p's)e) 離散對稱信道的信道容量：若一個離散對稱信道具有 r 個輸入符號， s 個輸出符號， 則 當(dāng)輸入為等概分布時達到 信道容量，且 ，其中為信道矩陣中的任一行。f) 均勻信道的信道容量為 ng)

12、準(zhǔn)對稱信道的信道容量： C log2 rNk log2M k H ( p1' , p2' ,., ps' )，其中 Nkk1是 n 個子矩陣中第 k 個子矩陣中行元素之和， Mk 是第 k 個子矩陣中列元素之和。h) 二元對稱信道的信道容量： C=1-H(p) p 為錯誤傳遞概率。3 一般離散信道的信道容量計算方法： 已知信道的轉(zhuǎn)移矩陣 P，求信道容量。 兩種方法： 方法一：依據(jù)： I(X;Y) 是輸入概率分布 p(xi) 的上凸函數(shù)，所以極大值一定存在。 步驟：根據(jù)信道轉(zhuǎn)移矩陣的特點，用某一參數(shù) 設(shè)為輸入分布 p(xi) ； n由 p(yj)p(xi)p(yj | x

13、i )得出輸出分布 p(yj)也是關(guān)于 的函數(shù)；i1將用 表示的 p(xi) 和 p(yj) 帶入 I(X;Y)=H(Y)-H(Y|X) 中，得到 I(X;Y) 是關(guān)于 的函數(shù)。求 I(X;Y) 對 的偏導(dǎo)數(shù)，并令其等于 0，解得 即得到輸入分布； 將解得的 代入 I(X;Y) 式中得到信道容量 C。 例子：見教材 P65， 例 4.5方法二：公式法：注意： 在第步信道容量 C 被求出后，計算并沒有結(jié)束，必須解出相應(yīng)的 p(xi) ， 并確認(rèn)所有的 p(xi) 0 時，所求的 C 才存在。n在對 I(X;Y) 求偏導(dǎo)時，僅限制p(xi) 1 ，并沒有限制 p(xi) 0 ，所以求出的i1p(x

14、i) 有可能為負(fù)值，此時 C 就不存在，必須對 p(xi) 進行調(diào)整，再重新求解 C。4 平均互信息 I(X;Y) 達到信道容量的充要條件： 見教材 P65。5 多符號離散信道及信道容量：a) 含義，數(shù)學(xué)模型：多符號離散信源 X =X1X2XN在N個不同時刻分別通過單符號離散信道X P( Y/ X)Y ，則在輸出端出現(xiàn)相應(yīng)的隨機序列 Y =Y1Y2YN，這樣形成一個新的信道稱為多 符號離散信道。由于新信道相當(dāng)于單符號離散信道在 N個不同時刻連續(xù)運用了 N次，所以也稱為單 符號離散信道 X P(Y/ X) Y的N次擴展。b) 離散多符號信道的平均互信息和信道容量的幾個結(jié)論：結(jié)論 1：離散無記憶信

15、道的 N 次擴展信道的平均互信息，不大于N 個隨機變量 X1X2XN單獨通過信道 X P(Y/X) Y 的平均互信息之和。結(jié)論 2：離散無記憶信道的 N 次擴展信道，當(dāng)輸入端的 N個輸入隨機變量統(tǒng)計獨立時， 信道的總平均互信息等于這 N 個變量單獨通過信道的平均互信息之和。結(jié)論 3：離散無記憶信道的 N次擴展信道， 如果信源也是離散無記憶信源的 N次擴展信源， 則信道總的平均互信息是單符號離散無記憶信道平均互信息的N倍。結(jié)論 4：用 C表示離散無記憶信道容量，用 CN表示其擴展信道容量， CN=NC6 組合信道及信道容量：a) 獨立并聯(lián)信道： 含義：輸入和輸出隨機序列中的各隨機變量取值于不同的

16、符號集，就構(gòu)成了獨立并聯(lián) 信道。是離散無記憶信道的 N 次擴展信道的推廣。N信道容量： CN C1 C2CNCk ，并當(dāng)輸入端各隨機變量統(tǒng)計獨k1立，且每個輸入隨 機變量 Xk (k=1,2, ,N) 的概率分布達 到各自 信道容量NCk(k=1,2, ,N)的最佳分布時， CN達到其最大值： CNmaxCk 。k1b) 級聯(lián)信道：含義：可以看成一個馬爾可夫鏈。信道容量：先求各個級聯(lián)信道的信道矩陣的乘積，得到級聯(lián)信道的總的信道矩陣。然 后按照離散單符號信道的信道容量方法求即可。7 連續(xù)信道及信道容量：a) 傳 遞特性表 示及數(shù) 學(xué)模型； 傳遞 特性用條 件轉(zhuǎn)移 概率密度函數(shù) p(y/x)表示

17、。b) 連續(xù)信道的信道容量： 信源 X 等于某一概率密度函數(shù) p0(x)時，信道平均互信息的最大 值，即 C max I (X ;Y )p(x)c) 平均功率受限的加性信道的信道容量: 當(dāng)噪聲、輸入分布和輸出都滿足高斯分布時達到2121P信道容量： C log 2 (1 x2) log 2 (1 X )222PN8 波形信道的信道容量：設(shè)信道的頻帶限于 (0, W) ； 根據(jù)采樣定理， 如果每秒傳送 2W個采樣點， 在接收端可無失真地恢復(fù)出原始信號； 香農(nóng)公式：把信道的一次傳輸看成是一次采樣，由于信道每秒傳輸2W個樣點，所以單位時間的信道容量為 Ct W log 2(1 PX )(比特 /秒)

18、 t 2PN香農(nóng)公式含義：當(dāng)信道容量一定時，增大信道帶寬，可以降低對信噪功率比的要 求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補償。香農(nóng)公式給出有噪信道中無失真?zhèn)鬏斔苓_到的極限信息傳輸率，因此對實際通 信系統(tǒng)的設(shè)計有非常重要的指導(dǎo)意義。Chp05 知識點1、信源編碼的基本途徑、主要任務(wù)：2、信源編碼的基礎(chǔ)： 香農(nóng)兩大定理。3、離散無記憶信源的一般模型， 理解 含義4、一些碼的含義： 二元碼、等長碼、變長碼、非奇異碼、奇異碼、同價碼、碼的 N 次擴展碼、唯 一可譯碼、即時碼、最佳碼。5、即時碼的樹圖構(gòu)造法6、等長編碼定理及其物理意義 ，等長編碼效率 、等長編碼時信源序列長度 N 需滿

19、足的條件。7、會用 Kraft 和 McMillan 不等式 判斷即時碼和唯一可以碼的碼長滿足的條件。會用 唯一可譯碼的判別準(zhǔn)則 。8、香農(nóng)第一定理 及 其物理意義 ，變長碼編碼效率 。9、變長碼編碼方法 ：香農(nóng)碼、費諾碼、霍夫曼編碼、算術(shù)編碼、游程碼、詞典編碼。使?jié)M足P(a /bj ) P(ai /bj )aia2、最大似然譯碼準(zhǔn)則：選擇譯碼函數(shù)F(bj) a使?jié)M足P(bj /a ) P(bj /ai)Chp06 知識點：一、譯碼準(zhǔn)則1、最小錯誤概率譯碼準(zhǔn)則(也稱最大后驗概率譯碼準(zhǔn)則)F(bj) a選擇譯碼函數(shù)nD( i , j) ik jk k1* 收到一個碼字后，把它譯成與它最*3、 最小距離譯碼準(zhǔn)則：1) 漢明距離：兩個碼字之間對應(yīng)位置上不同碼元的個數(shù)。F(bj)( 2) 最小距離譯碼準(zhǔn)則：j*D( * , j) D( i, j) i近的輸入碼字，這樣可以使平均錯誤率最小。PEP(bj)P(e/bj)1 PF(bj)/ bjP(bj)YYP(aibj)P(bj /ai)P(ai)Y,X a*X a* ,Y二、平均錯誤概率： 方法：在聯(lián)合概率矩陣 p(ai)p(bj/ai) 中先 求每列除去 F(bj)=a* 所對應(yīng)的 p(a*bj) 以 外所有元素之和，然后再對各列求和。三、信息傳輸率： R