老師整理的信息論知識點

1、精選優(yōu)質文檔-傾情為你奉上Chp02知識點：自信息量： 1） 2）對數采用的底不同，自信息量的單位不同。 2-比特（bit）、e-奈特（nat）、10-哈特（Hart）3）物理意義：事件發(fā)生以前，表示事件發(fā)生的不確定性的大小；事件發(fā)生以后，表示事件所含有或所能提供的信息量。平均自信息量（信息熵）：1） 2）對數采用的底不同，平均自信息量的單位不同。 2-比特/符號、e-奈特/符號、10-哈特/符號。3）物理意義：對信源的整體的不確定性的統計描述。表示信源輸出前，信源的平均不確定性；信源輸出后每個消息或符號所提供的平均信息量。4）信息熵的基本性質：對稱性、確定性、非負性、擴展性、連續(xù)性、遞推性、

2、極值性、上凸性。 互信息： 1）2）含義：已知事件后所消除的關于事件的不確定性，對信息的傳遞起到了定量表示。平均互信息：1）定義： 2）性質：聯合熵和條件熵：各類熵之間的關系：數據處理定理：專心-專注-專業(yè)Chp03知識點：依據不同標準信源的分類：離散單符號信源：1）概率空間表示： 2）信息熵：，表示離散單符號信源的平均不確定性。離散多符號信源：用平均符號熵和極限熵來描述離散多符號信源的平均不確定性。平均符號熵：極限熵（熵率）：（1）離散平穩(wěn)信源（各維聯合概率分布均與時間起點無關的信源。）（2）離散無記憶信源：信源各消息符號彼此互不相關。 最簡單的二進制信源：，信源輸出符號只有兩個：“0”和“

3、1”。 離散無記憶信源的N次擴展：若信源符號有q個，其N次擴展后的信源符號共有qN個。² 離散無記憶信源X的N次擴展信源XN的熵：等于信源X的熵的N倍，表明離散無記憶信源X的N次擴展信源每輸出1個消息符號（即符號序列）所提供的信息熵是信源X每輸出1個消息符號所提供信息熵的N倍。² 離散無記憶信源X的N次擴展信源XN極限熵（熵率）為：（3）離散有記憶信源馬爾可夫信源時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈1）用分布律描述：2）轉移概率：即條件概率。3）轉移概率矩陣：用表示n步轉移概率矩陣。且，會寫出馬氏鏈的一步轉移概率矩陣，會畫狀態(tài)轉移圖，能夠求出n步轉移概率矩陣。4）

4、遍歷性的概念：求解馬氏信源的遍歷性，即找一正整數m，使m步轉移概率矩陣中無零元。求解馬氏遍歷信源的信息熵步驟：（1） 根據題意畫出狀態(tài)轉移圖，判斷出是平穩(wěn)遍歷的馬爾可夫信源；（2） 根據狀態(tài)轉移圖寫出一步轉移概率矩陣，計算信源的極限分布即是求解方程組：（3） 根據一步轉移概率矩陣和極限概率W計算信源的信息熵：極限熵H 等于條件熵Hm+1。（m階馬爾可夫信源的熵率）信源的相關性和剩余度：，用來衡量信源輸出的符號序列中各符號之間的依賴程度。當剩余度0時，信源的熵極大熵H0，表明信源符號之間：(1)統計獨立無記憶;(2)各符號等概分布。連續(xù)信源：（1） 微分熵：i. 定義：ii. 物理意義：（2）

5、連續(xù)信源的聯合熵和條件熵（3） 幾種特殊連續(xù)信源的熵：a) 均勻分布的連續(xù)信源的熵：b) 高斯分布的連續(xù)信源的熵：【概率密度函數：】c) 指數分布的連續(xù)信源的熵： 【概率密度函數： 】（4） 最大連續(xù)熵定理：a) 限峰值功率的最大熵定理（輸出幅值受限）：均勻分布b) 限平均功率的最大熵定理（輸出平均功率受限）：高斯分布（5） 熵功率及連續(xù)信源的剩余度Chp04知識點：一、 一些基本概念：1 什么是信道？信道的作用，研究信道的目的。2 一般信道的數學模型，信道的分類（根據輸入輸出隨即信道的特點，輸入輸出隨機變量個數的多少，輸入輸出個數，有無干擾，有無記憶，信道的統計特性進行不同的分類）3 前向概

6、率p(yj /xi)、后向概率/后驗概率p(xi /yj)、先驗概率p(xi) 。4 幾個熵的含義：² H(X) -表示信源的不確定性；² H(X|Y)- 信道疑義度，表示如果有干擾的存在，接收端收到Y后對信源仍然存在的不確定性。也稱為損失熵，表示信源符號通過有噪信道傳輸后所引起的信息量的損失。² H(Y|X)- 噪聲熵，它反映了信道中噪聲源的不確定性。二、 離散信道：1 單符號離散信道：a) 信道模型的表示：傳遞矩陣（有傳遞(條件、轉移)概率p(yj|xi)組成）；b) 信道的信息傳輸率：R=I(X;Y)表示接收到輸出符號集Y后所消除的對于信源X的不確定性，也就

7、是獲得的關于信源的信息。它是平均意義上每傳送一個符號流經信道的信息量。關于I（X;Y）的性質：I(X;Y)是信源概率分布p(xi)和信道轉移概率p(yj|xi)的二元函數：那么，當信道特性p(yj /xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質已知，對于給定的信道轉移概率p(yj /xi)，I(X;Y)是輸入分布p(xi)的上凸函數，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。那么這個最大的信息傳輸率即為信道容量。c) 信道容量概念：在信道中最大的信息傳輸速率對于給定的信道

8、，總能找到一個最佳輸入分布使得I(X;Y)得到極大值。d) 信道容量的含義：信道容量是完全描述信道特性的參量，信道容量是信道傳送信息的最大能力的度量，信道實際傳送的信息量必然不大于信道容量。2 幾種特殊離散信道的信道容量：a) 具有一一對應關系的無噪信道：n-輸入符號數 ，m-輸出符號數當信源呈等概率分布時，具有一一對應確定關系的無噪信道達到信道容量C：b) 具有擴展性能的無損信道：c) 具有歸并性能的無噪信道：注意：在求信道容量時，調整的始終是輸入端的概率分布p(xi) ，盡管信道容量式子中平均互信息I(X;Y)等于輸出端符號熵H(Y)，但是在求極大值時調整的仍然是輸入端的概率分布p(xi)

9、 ，而不能用輸出端的概率分布p(yj)來代替。也就是一定能找到一種輸入分布使輸出符號Y達到等概率分布。d) 行對稱信道的信道容量：e) 離散對稱信道的信道容量：若一個離散對稱信道具有r個輸入符號，s個輸出符號，則當輸入為等概分布時達到信道容量，且 ，其中為信道矩陣中的任一行。f) 均勻信道的信道容量為 g) 準對稱信道的信道容量：，其中Nk是n個子矩陣中第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和。h) 二元對稱信道的信道容量：C=1-H(p) p為錯誤傳遞概率。3 一般離散信道的信道容量計算方法：已知信道的轉移矩陣P，求信道容量。兩種方法：方法一：依據：I(X;Y)是輸入概率分布

10、p(xi)的上凸函數，所以極大值一定存在。n 步驟：根據信道轉移矩陣的特點，用某一參數設為輸入分布p(xi)；由得出輸出分布p(yj)也是關于的函數；將用表示的p(xi)和p(yj)帶入I(X;Y)=H(Y)-H(Y|X)中，得到I(X;Y)是關于的函數。求I(X;Y)對的偏導數，并令其等于0，解得即得到輸入分布；將解得的代入I(X;Y)式中得到信道容量C。 例子：見教材P65， 例4.5 方法二：公式法：注意：在第步信道容量C被求出后，計算并沒有結束，必須解出相應的p(xi) ，并確認所有的p(xi)0時，所求的C才存在。Ø在對I(X;Y)求偏導時，僅限制 ，并沒有限制p(xi)0

11、 ，所以求出的p(xi)有可能為負值，此時C就不存在，必須對p(xi)進行調整，再重新求解C。4 平均互信息I(X;Y)達到信道容量的充要條件：見教材P65。5 多符號離散信道及信道容量：a) 含義，數學模型：² 多符號離散信源X =X1X2XN在N個不同時刻分別通過單符號離散信道X P(Y/X) Y，則在輸出端出現相應的隨機序列Y =Y1Y2YN，這樣形成一個新的信道稱為多符號離散信道。² 由于新信道相當于單符號離散信道在N個不同時刻連續(xù)運用了N次，所以也稱為單符號離散信道X P(Y/X) Y的N次擴展。²b) 離散多符號信道的平均互信息和信道容量的幾個結論：結

12、論1：離散無記憶信道的N次擴展信道的平均互信息，不大于N個隨機變量X1X2 XN單獨通過信道X P(Y/X) Y的平均互信息之和。結論2：離散無記憶信道的N次擴展信道，當輸入端的N個輸入隨機變量統計獨立時，信道的總平均互信息等于這N個變量單獨通過信道的平均互信息之和。結論3：離散無記憶信道的N次擴展信道，如果信源也是離散無記憶信源的N次擴展信源，則信道總的平均互信息是單符號離散無記憶信道平均互信息的N倍。結論4：用C表示離散無記憶信道容量，用CN表示其擴展信道容量，CN=NC6 組合信道及信道容量：a) 獨立并聯信道：含義：輸入和輸出隨機序列中的各隨機變量取值于不同的符號集，就構成了獨立并聯信

13、道。是離散無記憶信道的N次擴展信道的推廣。信道容量：，并p當輸入端各隨機變量統計獨立，且每個輸入隨機變量Xk (k=1,2, ,N) 的概率分布達到各自信道容量Ck(k=1,2, ,N)的最佳分布時，CN達到其最大值：。b) 級聯信道：含義：可以看成一個馬爾可夫鏈。信道容量：先求各個級聯信道的信道矩陣的乘積，得到級聯信道的總的信道矩陣。然后按照離散單符號信道的信道容量方法求即可。7 連續(xù)信道及信道容量：a) 傳遞特性表示及數學模型；傳遞特性用條件轉移概率密度函數p(y/x)表示。b) 連續(xù)信道的信道容量：信源X等于某一概率密度函數p0(x)時，信道平均互信息的最大值，即c) 平均功率受限的加性

14、信道的信道容量:當噪聲、輸入分布和輸出都滿足高斯分布時達到信道容量：8 波形信道的信道容量：² 設信道的頻帶限于(0,W)；² 根據采樣定理，如果每秒傳送2W個采樣點，在接收端可無失真地恢復出原始信號；² 香農公式：把信道的一次傳輸看成是一次采樣，由于信道每秒傳輸2W個樣點，所以單位時間的信道容量為² 香農公式含義：當信道容量一定時，增大信道帶寬，可以降低對信噪功率比的要求；反之，當信道頻帶較窄時，可以通過提高信噪功率比來補償。香農公式給出有噪信道中無失真?zhèn)鬏斔苓_到的極限信息傳輸率，因此對實際通信系統的設計有非常重要的指導意義。Chp05知識點1、 信

15、源編碼的基本途徑、主要任務：2、 信源編碼的基礎：香農兩大定理。3、 離散無記憶信源的一般模型，理解含義4、 一些碼的含義：二元碼、等長碼、變長碼、非奇異碼、奇異碼、同價碼、碼的N次擴展碼、唯一可譯碼、即時碼、最佳碼。5、 即時碼的樹圖構造法6、 等長編碼定理及其物理意義，等長編碼效率、等長編碼時信源序列長度N需滿足的條件。7、 會用Kraft和McMillan不等式判斷即時碼和唯一可以碼的碼長滿足的條件。會用唯一可譯碼的判別準則。8、 香農第一定理及其物理意義，變長碼編碼效率。9、 變長碼編碼方法：香農碼、費諾碼、霍夫曼編碼、算術編碼、游程碼、詞典編碼。Chp06知識點：一、譯碼準則1、 最

16、小錯誤概率譯碼準則（也稱最大后驗概率譯碼準則）：2、 最大似然譯碼準則：3、 最小距離譯碼準則：（1） 漢明距離：兩個碼字之間對應位置上不同碼元的個數。（2） 最小距離譯碼準則：收到一個碼字后，把它譯成與它最近的輸入碼字，這樣可以使平均錯誤率最小。二、平均錯誤概率：方法：在聯合概率矩陣p(ai)p(bj/ai)中先求每列除去F(bj)=a*所對應的p(a*bj)以外所有元素之和，然后再對各列求和。三、信息傳輸率： 注：M-信源的個數n-每個信源的符號數四、編碼方法： 編碼方法的選擇相當于對原來的信道進行N次擴展，碼字符號個數及碼字的選擇。我們應該選擇這樣的編碼方法：應盡量設法使選取的M個碼字中任意兩兩不同碼字的距離盡量大。五、理解香農第二定理的含義。六、糾錯碼1、分類：n 分組碼：編碼的規(guī)則僅局限于本碼組之內，本碼組的監(jiān)督元僅和本碼組的信息元相關。 (n,k) 分組碼n 卷積碼：本碼組的監(jiān)督元不僅和本碼組的信息元相關，而且還與本碼組相鄰的前 n1 個碼組的信息元相關。n 信息碼元和校驗碼元是否可用線性方程組來表示，分為：n 線性碼：編碼規(guī)則可以用線性方程表示；n 非線性碼：編碼規(guī)則不能用線性方程表示；n 按糾正差錯的類型可分為糾正隨機錯誤的碼和糾正突發(fā)錯誤的碼；n 按碼字中每個碼元的取值可分為二進制碼和多進制碼。2、差錯控制方式：3、線性分組碼（1）構成