信息論與編碼復(fù)習(xí)1-2

第1章緒論重點(diǎn)掌握信息的特征信息、消息、信號(hào)的聯(lián)系和區(qū)別通信系統(tǒng)的物理模型

一般了解信息論理論的形成和發(fā)展過程信息論的研究?jī)?nèi)容

8/15/20241信息的特征信息的基本概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對(duì)它的內(nèi)容是不知道的，所以信息是新知識(shí)、新內(nèi)容信息是能使認(rèn)識(shí)主體對(duì)某一事物的未知性或不確定性減少的有用知識(shí)信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶、貯存及處理信息是可以量度的，信息量有多少的差別8/15/20242消息、信號(hào)和信息信號(hào)最具體，它是一物理量，可測(cè)量、可顯示、可描述，同時(shí)它又是載荷信息的實(shí)體消息是具體的、非物理的，可描述為語言文字、符號(hào)、數(shù)據(jù)、圖片，能夠被感覺到，同時(shí)它是信息的載荷體，是信息論中主要描述形式信息是抽象的、非物理的

哲學(xué)層表達(dá)信息的物理層表達(dá)信息的數(shù)學(xué)層表達(dá)8/15/20243通信系統(tǒng)模型簡(jiǎn)介信道信源信源編碼加密信道編碼干擾源信宿信源解碼解密信道解碼加密密鑰解密密鑰信源編碼提高通信系統(tǒng)的有效性信道編碼提高通信系統(tǒng)的可靠性加密編碼提高通信系統(tǒng)的安全性8/15/20244第2章信源及信源熵重點(diǎn)掌握信源的分類和數(shù)學(xué)描述自信息量、互信息離散信源熵離散序列信源的熵熵的性質(zhì)一般了解連續(xù)信源熵冗余度8/15/20245信源分類離散信源{離散無記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無記憶信源發(fā)出符號(hào)序列的無記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源8/15/20246信源的數(shù)學(xué)描述單符號(hào)無記憶信源用一維離散型隨機(jī)變量X來描述這些信息的輸出。數(shù)學(xué)模型符號(hào)序列無記憶信源很多實(shí)際信源輸出的消息往往是由一系列符號(hào)組成，這種用每次發(fā)出1組含2個(gè)以上符號(hào)的符號(hào)序列來代表一個(gè)消息的信源叫做發(fā)出符號(hào)序列的信源。設(shè)信源輸出的隨機(jī)序列為X， 序列中的變量8/15/20247信源的數(shù)學(xué)描述有記憶信源的聯(lián)合概率表示比較復(fù)雜，需要引入條件概率來反映信源發(fā)出符號(hào)序列內(nèi)各個(gè)符號(hào)之間的記憶特征。8/15/20248信源的數(shù)學(xué)描述一階馬爾可夫信源m階馬爾可夫信源8/15/20249自信息量隨機(jī)事件的自信息量定義為其概率對(duì)數(shù)的負(fù)值，即I(xi)

含義:當(dāng)事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性當(dāng)事件xi發(fā)生以后，表示事件xi所含有的信息量8/15/202410自信息量的特性I(xi)是非負(fù)值當(dāng)p(xi)=1時(shí)，I(xi)=0當(dāng)p(xi)=0時(shí)，I(xi)=∞I(xi)是先驗(yàn)概率p(xi)的單調(diào)遞減函數(shù)，即當(dāng)p(x1)＞p(x2)時(shí)，I(x1)＜I(x2)兩個(gè)獨(dú)立事件的聯(lián)合信息量等于它們分別的信息量之和。即：統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和。8/15/202411聯(lián)合自信息量?jī)蓚€(gè)消息xi，yj同時(shí)出現(xiàn)的聯(lián)合自信息量當(dāng)xi,yj相互獨(dú)立時(shí)，有p(xi

yj)=p(xi)p(yj)，那么就有I(xi

yj)=I(xi)+I(yj)。xi

yj所包含的不確定度在數(shù)值上也等于它們的自信息量。8/15/202412條件自信息量在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為p(xi/yj)，則它的條件自信息量定義為條件概率對(duì)數(shù)的負(fù)值：在給定yj條件下，隨機(jī)事件xi所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。聯(lián)合自信息量、條件自信息量和自信息量8/15/202413信源熵離散信源熵為信源中各個(gè)符號(hào)不確定度的數(shù)學(xué)期望信源熵的物理含義表示信源輸出前信源的平均不確定性表示信源輸出后每個(gè)符號(hào)所攜帶的平均信息量8/15/202414條件熵在給定yj條件下，xi的條件自信息量為I(xi/yj)，X集合的條件熵在給定Y（即各個(gè)yj）條件下，X集合的條件熵在給定X（即各個(gè)xi）條件下，Y集合的條件熵條件熵是在聯(lián)合符號(hào)集合XY上的條件自信息量的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值。條件熵H(X/Y)表示已知Y后，X的不確定度。8/15/202415聯(lián)合熵聯(lián)合熵是聯(lián)合符號(hào)集合XY上的每個(gè)元素對(duì)xiyj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值聯(lián)合熵H(XY)表示X和Y同時(shí)發(fā)生的不確定度。聯(lián)合熵、信源熵和條件熵之間的關(guān)系8/15/202416互信息定義：xi的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)事件xi是否發(fā)生具有不確定性，用I(xi)度量。接收到符號(hào)yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi

/yj)度量。接收到某消息yj后獲得的關(guān)于事件xi的信息量，用I(xi;yj)表示。8/15/202417平均互信息互信息量I(xi;yj)在X集合上的統(tǒng)計(jì)平均值為I(X;yj)在Y集合上的概率加權(quán)統(tǒng)計(jì)平均值平均互信息（量）8/15/202418平均互信息量的物理意義H(X/Y)：信道疑義度，損失熵信源符號(hào)通過有噪信道傳輸后引起的信息量損失。信源X的熵等于接收到的信息量加損失掉的信息量。

H(Y/X)：噪聲熵，散布度它反映了信道中噪聲源的不確定性。輸出端信源Y的熵H(Y)等于接收到關(guān)于X的信息量I(X;Y)加上H(Y/X)，這完全是由信道中噪聲引起的。8/15/202419熵的性質(zhì)非負(fù)性H(X)＝H(x1,x2,……,xn)≥0等號(hào)在p(xi)=1時(shí)成立對(duì)稱性H(x1,x2,……,xn)＝H(x2,x1,……,xn)熵函數(shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)確定性H(0,1)＝H(1,0,0,……,0)＝0只要信源符號(hào)集中有一個(gè)符號(hào)的出現(xiàn)概率為1，信源熵就等于零8/15/202420熵的性質(zhì)香農(nóng)輔助定理對(duì)于P＝(p1,p2,……,pn)和Q＝(q1,q2,……,qn)對(duì)任意概率分布pi，它對(duì)其他概率分布qi的自信息量取數(shù)學(xué)期望時(shí)，必不小于pi本身的熵最大熵定理離散無記憶信源輸出M個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率時(shí)（即等概率分布），熵最大8/15/202421互信息量與熵H(X/Y)H(X)H(Y)H(XY)H(Y/X)I(X;Y)8/15/202422離散無記憶信源的序列熵設(shè)信源輸出的隨機(jī)序列為X

=(X1X2…Xl…XL)序列中的變量Xl∈{x1,x2,…

xn}信源的序列熵可以表示為信源序列中，平均每個(gè)符號(hào)的熵為離散無記憶信源平均每個(gè)符號(hào)的符號(hào)熵HL(X)等于單個(gè)符號(hào)信源的符號(hào)熵H(X)無記憶無記憶、平穩(wěn)8/15/202423離散有記憶信源的序列熵若信源輸出一個(gè)L長序列，則信源的序列熵為平均每個(gè)符號(hào)的熵為信源無記憶時(shí)滿足平穩(wěn)時(shí)8/15/202424離散平穩(wěn)信源結(jié)論1：H(XL/XL-1)是L的單調(diào)非增函數(shù)結(jié)論2：HL

(X)≥H(XL/XL-1)結(jié)論3：HL

(X)是L的單調(diào)非增函數(shù)結(jié)論4：當(dāng)L→∞時(shí)，H∞(X)稱為極限熵8/15/202425馬爾可夫信源若一個(gè)信源滿足下面兩個(gè)條件，則稱為馬爾可夫信源：某一時(shí)刻信源輸出符號(hào)的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)；信源的下一個(gè)狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出符號(hào)唯一確定。符號(hào)條件概率信源在某一時(shí)刻出現(xiàn)符號(hào)xj的概率與信源此時(shí)所處的狀態(tài)si有關(guān)，用條件概率表示為p(xj

/si)。狀態(tài)轉(zhuǎn)移概率當(dāng)信源符號(hào)xj出現(xiàn)后，信源所處的狀態(tài)將發(fā)生變化，并轉(zhuǎn)入一個(gè)新的狀態(tài)。這種狀態(tài)的轉(zhuǎn)移可用狀態(tài)轉(zhuǎn)移概率p(sj

/si)表示。8/15/202426狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）表示每個(gè)圓圈代表一種狀態(tài)

狀態(tài)之間的有向線代表從某一狀態(tài)向另一狀態(tài)的轉(zhuǎn)移有向線一側(cè)的符號(hào)和數(shù)字分別代表發(fā)出的符號(hào)和條件概率sos1x2/0.6x1/0.3x1/0.4s2x2/0.2x1/0.8x2/0.7p(x1/s2)=0.8p(s2/s2)=0.88/15/202427穩(wěn)定的馬爾可夫信源極限概率Wj一個(gè)不可約的、非周期的、狀態(tài)有限的馬爾可夫鏈，