信息論與編碼復(fù)習(xí)1-2

第1章緒論重點(diǎn)掌握信息的特征信息、消息、信號的聯(lián)系和區(qū)別通信系統(tǒng)的物理模型

一般了解信息論理論的形成和發(fā)展過程信息論的研究內(nèi)容

8/15/20241信息的特征信息的基本概念在于它的不確定性，任何已確定的事物都不含信息。接收者在收到信息之前，對它的內(nèi)容是不知道的，所以信息是新知識、新內(nèi)容信息是能使認(rèn)識主體對某一事物的未知性或不確定性減少的有用知識信息可以產(chǎn)生，也可以消失，同時(shí)信息可以被攜帶、貯存及處理信息是可以量度的，信息量有多少的差別8/15/20242消息、信號和信息信號最具體，它是一物理量，可測量、可顯示、可描述，同時(shí)它又是載荷信息的實(shí)體消息是具體的、非物理的，可描述為語言文字、符號、數(shù)據(jù)、圖片，能夠被感覺到，同時(shí)它是信息的載荷體，是信息論中主要描述形式信息是抽象的、非物理的

哲學(xué)層表達(dá)信息的物理層表達(dá)信息的數(shù)學(xué)層表達(dá)8/15/20243通信系統(tǒng)模型簡介信道信源信源編碼加密信道編碼干擾源信宿信源解碼解密信道解碼加密密鑰解密密鑰信源編碼提高通信系統(tǒng)的有效性信道編碼提高通信系統(tǒng)的可靠性加密編碼提高通信系統(tǒng)的安全性8/15/20244第2章信源及信源熵重點(diǎn)掌握信源的分類和數(shù)學(xué)描述自信息量、互信息離散信源熵離散序列信源的熵熵的性質(zhì)一般了解連續(xù)信源熵冗余度8/15/20245信源分類離散信源{離散無記憶信源離散有記憶信源{{發(fā)出單個符號的無記憶信源發(fā)出符號序列的無記憶信源發(fā)出符號序列的有記憶信源發(fā)出符號序列的馬爾可夫信源8/15/20246信源的數(shù)學(xué)描述單符號無記憶信源用一維離散型隨機(jī)變量X來描述這些信息的輸出。數(shù)學(xué)模型符號序列無記憶信源很多實(shí)際信源輸出的消息往往是由一系列符號組成，這種用每次發(fā)出1組含2個以上符號的符號序列來代表一個消息的信源叫做發(fā)出符號序列的信源。設(shè)信源輸出的隨機(jī)序列為X， 序列中的變量8/15/20247信源的數(shù)學(xué)描述有記憶信源的聯(lián)合概率表示比較復(fù)雜，需要引入條件概率來反映信源發(fā)出符號序列內(nèi)各個符號之間的記憶特征。8/15/20248信源的數(shù)學(xué)描述一階馬爾可夫信源m階馬爾可夫信源8/15/20249自信息量隨機(jī)事件的自信息量定義為其概率對數(shù)的負(fù)值，即I(xi)

含義:當(dāng)事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性當(dāng)事件xi發(fā)生以后，表示事件xi所含有的信息量8/15/202410自信息量的特性I(xi)是非負(fù)值當(dāng)p(xi)=1時(shí)，I(xi)=0當(dāng)p(xi)=0時(shí)，I(xi)=∞I(xi)是先驗(yàn)概率p(xi)的單調(diào)遞減函數(shù)，即當(dāng)p(x1)＞p(x2)時(shí)，I(x1)＜I(x2)兩個獨(dú)立事件的聯(lián)合信息量等于它們分別的信息量之和。即：統(tǒng)計(jì)獨(dú)立信源的信息量等于它們分別的信息量之和。8/15/202411聯(lián)合自信息量兩個消息xi，yj同時(shí)出現(xiàn)的聯(lián)合自信息量當(dāng)xi,yj相互獨(dú)立時(shí)，有p(xi

yj)=p(xi)p(yj)，那么就有I(xi

yj)=I(xi)+I(yj)。xi

yj所包含的不確定度在數(shù)值上也等于它們的自信息量。8/15/202412條件自信息量在事件yj出現(xiàn)的條件下，隨機(jī)事件xi發(fā)生的條件概率為p(xi/yj)，則它的條件自信息量定義為條件概率對數(shù)的負(fù)值：在給定yj條件下，隨機(jī)事件xi所包含的不確定度在數(shù)值上與條件自信息量相同，但兩者含義不同。聯(lián)合自信息量、條件自信息量和自信息量8/15/202413信源熵離散信源熵為信源中各個符號不確定度的數(shù)學(xué)期望信源熵的物理含義表示信源輸出前信源的平均不確定性表示信源輸出后每個符號所攜帶的平均信息量8/15/202414條件熵在給定yj條件下，xi的條件自信息量為I(xi/yj)，X集合的條件熵在給定Y（即各個yj）條件下，X集合的條件熵在給定X（即各個xi）條件下，Y集合的條件熵條件熵是在聯(lián)合符號集合XY上的條件自信息量的聯(lián)合概率加權(quán)統(tǒng)計(jì)平均值。條件熵H(X/Y)表示已知Y后，X的不確定度。8/15/202415聯(lián)合熵聯(lián)合熵是聯(lián)合符號集合XY上的每個元素對xiyj的自信息量的概率加權(quán)統(tǒng)計(jì)平均值聯(lián)合熵H(XY)表示X和Y同時(shí)發(fā)生的不確定度。聯(lián)合熵、信源熵和條件熵之間的關(guān)系8/15/202416互信息定義：xi的后驗(yàn)概率與先驗(yàn)概率比值的對數(shù)事件xi是否發(fā)生具有不確定性，用I(xi)度量。接收到符號yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi

/yj)度量。接收到某消息yj后獲得的關(guān)于事件xi的信息量，用I(xi;yj)表示。8/15/202417平均互信息互信息量I(xi;yj)在X集合上的統(tǒng)計(jì)平均值為I(X;yj)在Y集合上的概率加權(quán)統(tǒng)計(jì)平均值平均互信息（量）8/15/202418平均互信息量的物理意義H(X/Y)：信道疑義度，損失熵信源符號通過有噪信道傳輸后引起的信息量損失。信源X的熵等于接收到的信息量加損失掉的信息量。

H(Y/X)：噪聲熵，散布度它反映了信道中噪聲源的不確定性。輸出端信源Y的熵H(Y)等于接收到關(guān)于X的信息量I(X;Y)加上H(Y/X)，這完全是由信道中噪聲引起的。8/15/202419熵的性質(zhì)非負(fù)性H(X)＝H(x1,x2,……,xn)≥0等號在p(xi)=1時(shí)成立對稱性H(x1,x2,……,xn)＝H(x2,x1,……,xn)熵函數(shù)只與隨機(jī)變量的總體結(jié)構(gòu)有關(guān)確定性H(0,1)＝H(1,0,0,……,0)＝0只要信源符號集中有一個符號的出現(xiàn)概率為1，信源熵就等于零8/15/202420熵的性質(zhì)香農(nóng)輔助定理對于P＝(p1,p2,……,pn)和Q＝(q1,q2,……,qn)對任意概率分布pi，它對其他概率分布qi的自信息量取數(shù)學(xué)期望時(shí)，必不小于pi本身的熵最大熵定理離散無記憶信源輸出M個不同的信息符號，當(dāng)且僅當(dāng)各個符號出現(xiàn)概率時(shí)（即等概率分布），熵最大8/15/202421互信息量與熵H(X/Y)H(X)H(Y)H(XY)H(Y/X)I(X;Y)8/15/202422離散無記憶信源的序列熵設(shè)信源輸出的隨機(jī)序列為X

=(X1X2…Xl…XL)序列中的變量Xl∈{x1,x2,…

xn}信源的序列熵可以表示為信源序列中，平均每個符號的熵為離散無記憶信源平均每個符號的符號熵HL(X)等于單個符號信源的符號熵H(X)無記憶無記憶、平穩(wěn)8/15/202423離散有記憶信源的序列熵若信源輸出一個L長序列，則信源的序列熵為平均每個符號的熵為信源無記憶時(shí)滿足平穩(wěn)時(shí)8/15/202424離散平穩(wěn)信源結(jié)論1：H(XL/XL-1)是L的單調(diào)非增函數(shù)結(jié)論2：HL

(X)≥H(XL/XL-1)結(jié)論3：HL

(X)是L的單調(diào)非增函數(shù)結(jié)論4：當(dāng)L→∞時(shí)，H∞(X)稱為極限熵8/15/202425馬爾可夫信源若一個信源滿足下面兩個條件，則稱為馬爾可夫信源：某一時(shí)刻信源輸出符號的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無關(guān)；信源的下一個狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出符號唯一確定。符號條件概率信源在某一時(shí)刻出現(xiàn)符號xj的概率與信源此時(shí)所處的狀態(tài)si有關(guān)，用條件概率表示為p(xj

/si)。狀態(tài)轉(zhuǎn)移概率當(dāng)信源符號xj出現(xiàn)后，信源所處的狀態(tài)將發(fā)生變化，并轉(zhuǎn)入一個新的狀態(tài)。這種狀態(tài)的轉(zhuǎn)移可用狀態(tài)轉(zhuǎn)移概率p(sj

/si)表示。8/15/202426狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）齊次馬爾可夫鏈可以用其狀態(tài)轉(zhuǎn)移圖（香農(nóng)線圖）表示每個圓圈代表一種狀態(tài)

狀態(tài)之間的有向線代表從某一狀態(tài)向另一狀態(tài)的轉(zhuǎn)移有向線一側(cè)的符號和數(shù)字分別代表發(fā)出的符號和條件概率sos1x2/0.6x1/0.3x1/0.4s2x2/0.2x1/0.8x2/0.7p(x1/s2)=0.8p(s2/s2)=0.88/15/202427穩(wěn)定的馬爾可夫信源極限概率Wj一個不可約的、非周期的、狀態(tài)有限的馬爾可夫鏈，