老師整理的信息論知識點(diǎn)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上Chp02知識點(diǎn)：自信息量： 1） 2）對數(shù)采用的底不同，自信息量的單位不同。 2-比特（bit）、e-奈特（nat）、10-哈特（Hart）3）物理意義：事件發(fā)生以前，表示事件發(fā)生的不確定性的大??；事件發(fā)生以后，表示事件所含有或所能提供的信息量。平均自信息量（信息熵）：1） 2）對數(shù)采用的底不同，平均自信息量的單位不同。 2-比特/符號、e-奈特/符號、10-哈特/符號。3）物理意義：對信源的整體的不確定性的統(tǒng)計描述。表示信源輸出前，信源的平均不確定性；信源輸出后每個消息或符號所提供的平均信息量。4）信息熵的基本性質(zhì)：對稱性、確定性、非負(fù)性、擴(kuò)展性、連續(xù)性、遞推性、

2、極值性、上凸性。 互信息： 1）2）含義：已知事件后所消除的關(guān)于事件的不確定性，對信息的傳遞起到了定量表示。平均互信息：1）定義： 2）性質(zhì)：聯(lián)合熵和條件熵：各類熵之間的關(guān)系：數(shù)據(jù)處理定理：專心-專注-專業(yè)Chp03知識點(diǎn)：依據(jù)不同標(biāo)準(zhǔn)信源的分類：離散單符號信源：1）概率空間表示： 2）信息熵：，表示離散單符號信源的平均不確定性。離散多符號信源：用平均符號熵和極限熵來描述離散多符號信源的平均不確定性。平均符號熵：極限熵（熵率）：（1）離散平穩(wěn)信源（各維聯(lián)合概率分布均與時間起點(diǎn)無關(guān)的信源。）（2）離散無記憶信源：信源各消息符號彼此互不相關(guān)。 最簡單的二進(jìn)制信源：，信源輸出符號只有兩個：“0”和“

3、1”。 離散無記憶信源的N次擴(kuò)展：若信源符號有q個，其N次擴(kuò)展后的信源符號共有qN個。² 離散無記憶信源X的N次擴(kuò)展信源XN的熵：等于信源X的熵的N倍，表明離散無記憶信源X的N次擴(kuò)展信源每輸出1個消息符號（即符號序列）所提供的信息熵是信源X每輸出1個消息符號所提供信息熵的N倍。² 離散無記憶信源X的N次擴(kuò)展信源XN極限熵（熵率）為：（3）離散有記憶信源馬爾可夫信源時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈1）用分布律描述：2）轉(zhuǎn)移概率：即條件概率。3）轉(zhuǎn)移概率矩陣：用表示n步轉(zhuǎn)移概率矩陣。且，會寫出馬氏鏈的一步轉(zhuǎn)移概率矩陣，會畫狀態(tài)轉(zhuǎn)移圖，能夠求出n步轉(zhuǎn)移概率矩陣。4）

4、遍歷性的概念：求解馬氏信源的遍歷性，即找一正整數(shù)m，使m步轉(zhuǎn)移概率矩陣中無零元。求解馬氏遍歷信源的信息熵步驟：（1） 根據(jù)題意畫出狀態(tài)轉(zhuǎn)移圖，判斷出是平穩(wěn)遍歷的馬爾可夫信源；（2） 根據(jù)狀態(tài)轉(zhuǎn)移圖寫出一步轉(zhuǎn)移概率矩陣，計算信源的極限分布即是求解方程組：（3） 根據(jù)一步轉(zhuǎn)移概率矩陣和極限概率W計算信源的信息熵：極限熵H 等于條件熵Hm+1。（m階馬爾可夫信源的熵率）信源的相關(guān)性和剩余度：，用來衡量信源輸出的符號序列中各符號之間的依賴程度。當(dāng)剩余度0時，信源的熵極大熵H0，表明信源符號之間：(1)統(tǒng)計獨(dú)立無記憶;(2)各符號等概分布。連續(xù)信源：（1） 微分熵：i. 定義：ii. 物理意義：（2）

5、連續(xù)信源的聯(lián)合熵和條件熵（3） 幾種特殊連續(xù)信源的熵：a) 均勻分布的連續(xù)信源的熵：b) 高斯分布的連續(xù)信源的熵：【概率密度函數(shù)：】c) 指數(shù)分布的連續(xù)信源的熵： 【概率密度函數(shù)： 】（4） 最大連續(xù)熵定理：a) 限峰值功率的最大熵定理（輸出幅值受限）：均勻分布b) 限平均功率的最大熵定理（輸出平均功率受限）：高斯分布（5） 熵功率及連續(xù)信源的剩余度Chp04知識點(diǎn)：一、 一些基本概念：1 什么是信道？信道的作用，研究信道的目的。2 一般信道的數(shù)學(xué)模型，信道的分類（根據(jù)輸入輸出隨即信道的特點(diǎn)，輸入輸出隨機(jī)變量個數(shù)的多少，輸入輸出個數(shù)，有無干擾，有無記憶，信道的統(tǒng)計特性進(jìn)行不同的分類）3 前向概

6、率p(yj /xi)、后向概率/后驗(yàn)概率p(xi /yj)、先驗(yàn)概率p(xi) 。4 幾個熵的含義：² H(X) -表示信源的不確定性；² H(X|Y)- 信道疑義度，表示如果有干擾的存在，接收端收到Y(jié)后對信源仍然存在的不確定性。也稱為損失熵，表示信源符號通過有噪信道傳輸后所引起的信息量的損失。² H(Y|X)- 噪聲熵，它反映了信道中噪聲源的不確定性。二、 離散信道：1 單符號離散信道：a) 信道模型的表示：傳遞矩陣（有傳遞(條件、轉(zhuǎn)移)概率p(yj|xi)組成）；b) 信道的信息傳輸率：R=I(X;Y)表示接收到輸出符號集Y后所消除的對于信源X的不確定性，也就

7、是獲得的關(guān)于信源的信息。它是平均意義上每傳送一個符號流經(jīng)信道的信息量。關(guān)于I（X;Y）的性質(zhì)：I(X;Y)是信源概率分布p(xi)和信道轉(zhuǎn)移概率p(yj|xi)的二元函數(shù)：那么，當(dāng)信道特性p(yj /xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，對于給定的信道轉(zhuǎn)移概率p(yj /xi)，I(X;Y)是輸入分布p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。那么這個最大的信息傳輸率即為信道容量。c) 信道容量概念：在信道中最大的信息傳輸速率對于給定的信道

8、，總能找到一個最佳輸入分布使得I(X;Y)得到極大值。d) 信道容量的含義：信道容量是完全描述信道特性的參量，信道容量是信道傳送信息的最大能力的度量，信道實(shí)際傳送的信息量必然不大于信道容量。2 幾種特殊離散信道的信道容量：a) 具有一一對應(yīng)關(guān)系的無噪信道：n-輸入符號數(shù) ，m-輸出符號數(shù)當(dāng)信源呈等概率分布時，具有一一對應(yīng)確定關(guān)系的無噪信道達(dá)到信道容量C：b) 具有擴(kuò)展性能的無損信道：c) 具有歸并性能的無噪信道：注意：在求信道容量時，調(diào)整的始終是輸入端的概率分布p(xi) ，盡管信道容量式子中平均互信息I(X;Y)等于輸出端符號熵H(Y)，但是在求極大值時調(diào)整的仍然是輸入端的概率分布p(xi)

9、 ，而不能用輸出端的概率分布p(yj)來代替。也就是一定能找到一種輸入分布使輸出符號Y達(dá)到等概率分布。d) 行對稱信道的信道容量：e) 離散對稱信道的信道容量：若一個離散對稱信道具有r個輸入符號，s個輸出符號，則當(dāng)輸入為等概分布時達(dá)到信道容量，且 ，其中為信道矩陣中的任一行。f) 均勻信道的信道容量為 g) 準(zhǔn)對稱信道的信道容量：，其中Nk是n個子矩陣中第k個子矩陣中行元素之和，Mk是第k個子矩陣中列元素之和。h) 二元對稱信道的信道容量：C=1-H(p) p為錯誤傳遞概率。3 一般離散信道的信道容量計算方法：已知信道的轉(zhuǎn)移矩陣P，求信道容量。兩種方法：方法一：依據(jù)：I(X;Y)是輸入概率分布

10、p(xi)的上凸函數(shù)，所以極大值一定存在。n 步驟：根據(jù)信道轉(zhuǎn)移矩陣的特點(diǎn)，用某一參數(shù)設(shè)為輸入分布p(xi)；由得出輸出分布p(yj)也是關(guān)于的函數(shù)；將用表示的p(xi)和p(yj)帶入I(X;Y)=H(Y)-H(Y|X)中，得到I(X;Y)是關(guān)于的函數(shù)。求I(X;Y)對的偏導(dǎo)數(shù)，并令其等于0，解得即得到輸入分布；將解得的代入I(X;Y)式中得到信道容量C。 例子：見教材P65， 例4.5 方法二：公式法：注意：在第步信道容量C被求出后，計算并沒有結(jié)束，必須解出相應(yīng)的p(xi) ，并確認(rèn)所有的p(xi)0時，所求的C才存在。Ø在對I(X;Y)求偏導(dǎo)時，僅限制 ，并沒有限制p(xi)0

11、 ，所以求出的p(xi)有可能為負(fù)值，此時C就不存在，必須對p(xi)進(jìn)行調(diào)整，再重新求解C。4 平均互信息I(X;Y)達(dá)到信道容量的充要條件：見教材P65。5 多符號離散信道及信道容量：a) 含義，數(shù)學(xué)模型：² 多符號離散信源X =X1X2XN在N個不同時刻分別通過單符號離散信道X P(Y/X) Y，則在輸出端出現(xiàn)相應(yīng)的隨機(jī)序列Y =Y1Y2YN，這樣形成一個新的信道稱為多符號離散信道。² 由于新信道相當(dāng)于單符號離散信道在N個不同時刻連續(xù)運(yùn)用了N次，所以也稱為單符號離散信道X P(Y/X) Y的N次擴(kuò)展。²b) 離散多符號信道的平均互信息和信道容量的幾個結(jié)論：結(jié)

12、論1：離散無記憶信道的N次擴(kuò)展信道的平均互信息，不大于N個隨機(jī)變量X1X2 XN單獨(dú)通過信道X P(Y/X) Y的平均互信息之和。結(jié)論2：離散無記憶信道的N次擴(kuò)展信道，當(dāng)輸入端的N個輸入隨機(jī)變量統(tǒng)計獨(dú)立時，信道的總平均互信息等于這N個變量單獨(dú)通過信道的平均互信息之和。結(jié)論3：離散無記憶信道的N次擴(kuò)展信道，如果信源也是離散無記憶信源的N次擴(kuò)展信源，則信道總的平均互信息是單符號離散無記憶信道平均互信息的N倍。結(jié)論4：用C表示離散無記憶信道容量，用CN表示其擴(kuò)展信道容量，CN=NC6 組合信道及信道容量：a) 獨(dú)立并聯(lián)信道：含義：輸入和輸出隨機(jī)序列中的各隨機(jī)變量取值于不同的符號集，就構(gòu)成了獨(dú)立并聯(lián)信

13、道。是離散無記憶信道的N次擴(kuò)展信道的推廣。信道容量：，并p當(dāng)輸入端各隨機(jī)變量統(tǒng)計獨(dú)立，且每個輸入隨機(jī)變量Xk (k=1,2, ,N) 的概率分布達(dá)到各自信道容量Ck(k=1,2, ,N)的最佳分布時，CN達(dá)到其最大值：。b) 級聯(lián)信道：含義：可以看成一個馬爾可夫鏈。信道容量：先求各個級聯(lián)信道的信道矩陣的乘積，得到級聯(lián)信道的總的信道矩陣。然后按照離散單符號信道的信道容量方法求即可。7 連續(xù)信道及信道容量：a) 傳遞特性表示及數(shù)學(xué)模型；傳遞特性用條件轉(zhuǎn)移概率密度函數(shù)p(y/x)表示。b) 連續(xù)信道的信道容量：信源X等于某一概率密度函數(shù)p0(x)時，信道平均互信息的最大值，即c) 平均功率受限的加性

14、信道的信道容量:當(dāng)噪聲、輸入分布和輸出都滿足高斯分布時達(dá)到信道容量：8 波形信道的信道容量：² 設(shè)信道的頻帶限于(0,W)；² 根據(jù)采樣定理，如果每秒傳送2W個采樣點(diǎn)，在接收端可無失真地恢復(fù)出原始信號；² 香農(nóng)公式：把信道的一次傳輸看成是一次采樣，由于信道每秒傳輸2W個樣點(diǎn)，所以單位時間的信道容量為² 香農(nóng)公式含義：當(dāng)信道容量一定時，增大信道帶寬，可以降低對信噪功率比的要求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補(bǔ)償。香農(nóng)公式給出有噪信道中無失真?zhèn)鬏斔苓_(dá)到的極限信息傳輸率，因此對實(shí)際通信系統(tǒng)的設(shè)計有非常重要的指導(dǎo)意義。Chp05知識點(diǎn)1、 信

15、源編碼的基本途徑、主要任務(wù)：2、 信源編碼的基礎(chǔ)：香農(nóng)兩大定理。3、 離散無記憶信源的一般模型，理解含義4、 一些碼的含義：二元碼、等長碼、變長碼、非奇異碼、奇異碼、同價碼、碼的N次擴(kuò)展碼、唯一可譯碼、即時碼、最佳碼。5、 即時碼的樹圖構(gòu)造法6、 等長編碼定理及其物理意義，等長編碼效率、等長編碼時信源序列長度N需滿足的條件。7、 會用Kraft和McMillan不等式判斷即時碼和唯一可以碼的碼長滿足的條件。會用唯一可譯碼的判別準(zhǔn)則。8、 香農(nóng)第一定理及其物理意義，變長碼編碼效率。9、 變長碼編碼方法：香農(nóng)碼、費(fèi)諾碼、霍夫曼編碼、算術(shù)編碼、游程碼、詞典編碼。Chp06知識點(diǎn)：一、譯碼準(zhǔn)則1、 最

16、小錯誤概率譯碼準(zhǔn)則（也稱最大后驗(yàn)概率譯碼準(zhǔn)則）：2、 最大似然譯碼準(zhǔn)則：3、 最小距離譯碼準(zhǔn)則：（1） 漢明距離：兩個碼字之間對應(yīng)位置上不同碼元的個數(shù)。（2） 最小距離譯碼準(zhǔn)則：收到一個碼字后，把它譯成與它最近的輸入碼字，這樣可以使平均錯誤率最小。二、平均錯誤概率：方法：在聯(lián)合概率矩陣p(ai)p(bj/ai)中先求每列除去F(bj)=a*所對應(yīng)的p(a*bj)以外所有元素之和，然后再對各列求和。三、信息傳輸率： 注：M-信源的個數(shù)n-每個信源的符號數(shù)四、編碼方法： 編碼方法的選擇相當(dāng)于對原來的信道進(jìn)行N次擴(kuò)展，碼字符號個數(shù)及碼字的選擇。我們應(yīng)該選擇這樣的編碼方法：應(yīng)盡量設(shè)法使選取的M個碼字中任意兩兩不同碼字的距離盡量大。五、理解香農(nóng)第二定理的含義。六、糾錯碼1、分類：n 分組碼：編碼的規(guī)則僅局限于本碼組之內(nèi)，本碼組的監(jiān)督元僅和本碼組的信息元相關(guān)。 (n,k) 分組碼n 卷積碼：本碼組的監(jiān)督元不僅和本碼組的信息元相關(guān)，而且還與本碼組相鄰的前 n1 個碼組的信息元相關(guān)。n 信息碼元和校驗(yàn)碼元是否可用線性方程組來表示，分為：n 線性碼：編碼規(guī)則可以用線性方程表示；n 非線性碼：編碼規(guī)則不能用線性方程表示；n 按糾正差錯的類型可分為糾正隨機(jī)錯誤的碼和糾正突發(fā)錯誤的碼；n 按碼字中每個碼元的取值可分為二進(jìn)制碼和多進(jìn)制碼。2、差錯控制方式：3、線性分組碼（1）構(gòu)成