信息論與編碼課件第三章

信息論與編碼課件第三章第一頁，共四十三頁，2022年，8月28日3.1信道分類和表示參數(shù)3.2離散單個符號信道及其容量3.3離散序列信道及其容量3.4連續(xù)信道及其容量內(nèi)容第二頁，共四十三頁，2022年，8月28日23.1信道分類和表示參數(shù)第三頁，共四十三頁，2022年，8月28日3信道信道：信息傳輸?shù)耐ǖ涝谕ㄐ胖?信道按其物理組成常被分成微波信道、光纖信道、電纜信道等。信息論不研究信號在信道中傳輸?shù)奈锢磉^程,并假定信道的傳輸特性已知,這樣信息論就可以抽象地將信道用下圖所示的模型來描述。信道輸入量X(隨機過程)輸出量Y(隨機過程)第四頁，共四十三頁，2022年，8月28日43.1.1信道分類

按輸入/輸出信號在幅度和時間上的取值分類:1、離散信道：輸入和輸出的隨機序列取值都是離散的信道2、連續(xù)信道：輸入和輸出的隨機序列取值都是連續(xù)的信道3、半離散(半連續(xù))信道：輸入變量取值離散而輸出變量取值連續(xù)輸入變量取值連續(xù)而輸出變量取值離散4、波形信道：信道的輸入和輸出在時間上，取值上都連續(xù)的隨機信號。第五頁，共四十三頁，2022年，8月28日5信道分類按輸入/輸出之間關(guān)系的記憶性來分類：

1、無記憶信道：信道的輸出只與信道該時刻的輸入有關(guān),而與其他時刻的輸入無關(guān)2、有記憶信道：信道的輸出不但與信道現(xiàn)時的輸入有關(guān)而且還與以前時刻的輸入有關(guān)第六頁，共四十三頁，2022年，8月28日6信道分類按輸入／輸出信號之間的關(guān)系是否是確定關(guān)系1、無干擾信道：輸入/輸出符號之間有確定的一一對應(yīng)關(guān)系。2、有干擾信道：輸入/輸出之間關(guān)系是一種統(tǒng)計依存的關(guān)系--輸入/輸出的統(tǒng)計關(guān)系：用符號條件概率矩陣p(Y|X)來描述。第七頁，共四十三頁，2022年，8月28日73.1.2信道參數(shù)設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計依賴關(guān)系,反映信道統(tǒng)計關(guān)系信道XYp(Y|X)第八頁，共四十三頁，2022年，8月28日8無干擾(無噪聲)信道1、無干擾(無噪聲)信道信道的輸出信號Y與輸入信號X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:第九頁，共四十三頁，2022年，8月28日9有干擾無記憶信道2、有干擾無記憶信道信道的輸出信號Y與輸入信號X之間沒有確定的關(guān)系,但轉(zhuǎn)移概率滿足:有干擾無記憶信道可分為:(1)離散無記憶信道(2)二進(jìn)制離散信道(3)離散輸入、連續(xù)輸出信道(4)波形信道(不學(xué)）3、有干擾有記憶信道第十頁，共四十三頁，2022年，8月28日10(1)離散無記憶信道DMC信道輸入是n元符號

X∈{a1,a2,…,an}信道輸出是m元符號Y∈{b1,b2,…,bm}轉(zhuǎn)移矩陣a1a2anb1b2bm::::::p11p12p21p22pnmpij=p(bj|ai)第十一頁，共四十三頁，2022年，8月28日11P:轉(zhuǎn)移概率矩陣已知X,信道輸出Y表現(xiàn)出來的統(tǒng)計特性完全描述了信道的統(tǒng)計特性,其中有些概率是信道干擾引起的錯誤概率,有些是正確傳輸?shù)母怕兽D(zhuǎn)移概率矩陣第十二頁，共四十三頁，2022年，8月28日12反信道轉(zhuǎn)移概率矩陣

已知Y,信道輸入X表現(xiàn)出來的統(tǒng)計特性p(ai|bj):后向概率已知信道輸出端接收到符號bj但發(fā)送的輸入符號為ai的概率。第十三頁，共四十三頁，2022年，8月28日13(2)二進(jìn)制離散信道BSC二進(jìn)制離散對稱信道BSC輸入符號X取值{0,1}；輸出符號Y取值{0,1}很重要的一種特殊信道信道轉(zhuǎn)移概率：p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p無錯誤傳輸?shù)母怕蕚鬏敯l(fā)生錯誤的概率第十四頁，共四十三頁，2022年，8月28日14(3)二元刪除信道BEC二元刪除信道BEC輸入符號X取值{0,1}；輸出符號Y取值{0,1,2}轉(zhuǎn)移矩陣02101p1-pq1-q第十五頁，共四十三頁，2022年，8月28日15

3.1.3信道容量我們研究信道的目的是要討論信道中平均每個符號所能傳送的信息量,即信道的信息傳輸率R平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息第十六頁，共四十三頁，2022年，8月28日16信道容量信道容量C：（信道中平均每個符號所攜帶的最大信息量）(bit/符號)最大的信息傳輸率單位時間的信道容量：(信道中平均每秒所攜帶的最大信息量）(bit/秒)其中為信源X的概率分布,即選擇使得平均互信息最大的信源得到的最大信息傳輸率，即為信道容量。第十七頁，共四十三頁，2022年，8月28日173.2離散單個符號信道及其容量第十八頁，共四十三頁，2022年，8月28日18三種特殊無記憶離散信道及容量設(shè)信道的輸入X∈A={a1…an},輸出Y∈B={b1…bm}無嗓無損信道輸入和輸出符號之間有確定的一一對應(yīng)關(guān)系Xa1b1Ya2

b2a3

b3111第十九頁，共四十三頁，2022年，8月28日19無噪無損離散信道無嗓無損信道Xa1b1Ya2

b2an-1bn-1an

bn11第二十頁，共四十三頁，2022年，8月28日20無噪無損離散信道無嗓無損信道由計算得：噪聲熵H(Y|X)=0損失熵（疑義度）H(X|Y)=0第二十一頁，共四十三頁，2022年，8月28日21無噪有損離散信道無嗓有損信道多個輸入變成一個輸出(n＞m)Xa1Ya2

b1a3a4b2a511111輸出Y是輸入X的確定函數(shù),但不是一一對應(yīng),而是多一對應(yīng)關(guān)系。第二十二頁，共四十三頁，2022年，8月28日22無噪有損離散信道無嗓有損信道多個輸入變成一個輸出(n＞m)發(fā)送X符號后,對接受的符號Y是完全確定的。噪聲熵H(Y|X)＝0損失熵(疑義度)H(X|Y)≠0第二十三頁，共四十三頁，2022年，8月28日23有噪無損離散信道有嗓無損信道一個輸入對應(yīng)多個輸出(n＜m)X

b1Ya1b2b3a2b4b51/31/31/31/43/4計算得同理由第二十四頁，共四十三頁，2022年，8月28日24有躁無損離散信道有嗓無損信道一個輸入對應(yīng)多個輸出(n＜m)接收到符號Y后,對發(fā)送的X符號是完全確定的。噪聲熵H(Y|X)≠0損失熵(疑義度)

H(X|Y)=0第二十五頁，共四十三頁，2022年，8月28日253.2.2對稱DMC信道對稱離散無記憶信道：對稱性:（同時滿足行置換，列置換）每一行都是由同一集合{p1,p2,…pm}

的諸元素不同排列組成——輸入對稱（行置換）每一列都是由{q1,q2,…qn}集合的諸元素不同排列組成——輸出對稱（列置換）滿足對稱性,所對應(yīng)的信道是對稱離散信道。第二十六頁，共四十三頁，2022年，8月28日26非對稱DMC信道反例：若信道矩陣為以下形式不具有對稱性,因而所對應(yīng)的信道不是對稱離散信道。第二十七頁，共四十三頁，2022年，8月28日27對稱DMC信道對稱離散信道的平均互信息為第二十八頁，共四十三頁，2022年，8月28日28對稱DMC信道對稱DMC信道的容量：上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對稱信道矩陣中行矢量{p1,p2,…pm}和輸出符號集的個數(shù)m有關(guān)。第二十九頁，共四十三頁，2022年，8月28日29例某對稱離散信道的信道矩陣為信道容量為第三十頁，共四十三頁，2022年，8月28日30強對稱DMC信道若輸入符號和輸出符號個數(shù)相同,都等于n,且信道矩陣為此信道稱為強對稱信道

(均勻信道)信道矩陣中各列之和也等于1第三十一頁，共四十三頁，2022年，8月28日31BSC信道容量

二元離散無記憶信道：設(shè)二進(jìn)制對稱信道的輸入概率空間信道矩陣：第三十二頁，共四十三頁，2022年，8月28日32第三十三頁，共四十三頁，2022年，8月28日33當(dāng)信道矩陣p固定時,I(X,Y)是ω的型上凸函數(shù)。I(XY)ωBSC信道容量1-H(p)I(X,Y)對ω存在一個極大值。BSC信道容量第三十四頁，共四十三頁，2022年，8月28日34pC當(dāng)固定信源的概率分布ω時,I(X,Y)是p的型下凸函數(shù)。信道無噪聲當(dāng)p=0,C=1－0=1bit=H(X)當(dāng)p=1/2,

信道強噪聲BSC信道容量BSC信道容量第三十五頁，共四十三頁，2022年，8月28日35信道容量定理：給定轉(zhuǎn)移概率矩陣P后,平均互信息I(X;Y)是輸入信源的概率分布p(ai)的型上凸函數(shù)。定理：給定信源的概率分布p(ai)，平均互信息I(X;Y)是信道傳遞概率p(bj|ai)的型下凸函數(shù)。信道容量是完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊５谌?，共四十三頁?022年，8月28日36當(dāng)信源輸入符號的速率為rs(符/秒),（最大信息傳輸率）BSC信道容量實際信息傳輸速率Rt為

進(jìn)入信道輸入端的信息速率

第三十七頁，共四十三頁，2022年，8月28日37例BSC信道如圖,rs=1000符號/秒,錯誤傳遞概率p=0.1求:?0Y0.9?10.1輸入符號等概時有最大信息傳輸速率信道實際信息傳輸速率第三十八頁，共四