信息論與編碼chap3ppt課件

1、第三章第三章 信道及其容量信道及其容量u 信道的任務(wù)是以信號方式傳輸信息和存儲信息。信道的任務(wù)是以信號方式傳輸信息和存儲信息。u 研究信道中能夠傳送或存儲的最大信息量，即信道容量。研究信道中能夠傳送或存儲的最大信息量，即信道容量。3.1 3.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實(shí)際信道 編碼信道 圖3.1.1 數(shù)字通信系統(tǒng)的一般模型3.1 3.1 信道的數(shù)學(xué)模型和分類信道的數(shù)學(xué)模型和分類 一、信道的分類一、信道的分類 根據(jù)載荷消息的媒體根據(jù)載荷消息的媒體不同不同根據(jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆绞礁鶕?jù)信息傳輸?shù)姆?/p>

2、式分類中根據(jù)信息傳輸?shù)姆绞椒诸愔?根據(jù)信道的用戶多少：兩端根據(jù)信道的用戶多少：兩端(單用戶單用戶)信道信道 多端多端(多用戶多用戶)信道信道根據(jù)信道輸入端和輸出端的關(guān)聯(lián)：根據(jù)信道輸入端和輸出端的關(guān)聯(lián)： 無反饋信道無反饋信道 反饋信道反饋信道根據(jù)信道的參數(shù)與時(shí)間的關(guān)系：根據(jù)信道的參數(shù)與時(shí)間的關(guān)系： 固定參數(shù)信道固定參數(shù)信道 時(shí)變參數(shù)信道時(shí)變參數(shù)信道 根據(jù)輸入和輸出信號的特點(diǎn)：根據(jù)輸入和輸出信號的特點(diǎn)： 離散信道離散信道 連續(xù)信道連續(xù)信道 半離散或半連續(xù)信道半離散或半連續(xù)信道 波形信道波形信道二、離散信道的數(shù)學(xué)模型二、離散信道的數(shù)學(xué)模型條件概率 P(y/x) 描述了輸入信號和輸出信號之間統(tǒng)計(jì)依賴關(guān)

3、系。反映了信道的統(tǒng)計(jì)特性。 根據(jù)信道的統(tǒng)計(jì)特性即條件概率 P(y/x)的不同，離散信道又可分成三種情況： 無干擾信道 有干擾無記憶信道 有干擾有記憶信道 (1)無干擾(噪聲)信道 信道中沒有隨機(jī)性的干擾或者干擾很小，輸出信號y與輸入信號 x 之間有確定的、一 一對應(yīng)的關(guān)系。即：y f (x)(0)(1)|(xfyxfyxyP(2)有干擾無記憶信道信道輸入和輸出之間的條件概率是一般的概率分布。如果任一時(shí)刻輸出符號只統(tǒng)計(jì)依賴于對應(yīng)時(shí)刻的輸入符號，則這種信道稱為無記憶信道。)|().|.()|(iiNiNNxyPxxxyyyPxyP12121 (3) 有干擾有干擾(噪聲噪聲)有記憶信道有記憶信道 實(shí)

4、際信道往往是既有干擾實(shí)際信道往往是既有干擾(噪聲噪聲)又有記憶的這種又有記憶的這種類型。類型。 例如在數(shù)字信道中，由于信道濾波使頻率特性例如在數(shù)字信道中，由于信道濾波使頻率特性不理想時(shí)造成了碼字之間的干擾。不理想時(shí)造成了碼字之間的干擾。 在這一類信道中某一瞬間的輸出符號不但與對在這一類信道中某一瞬間的輸出符號不但與對應(yīng)時(shí)刻的輸入符號有關(guān)，而且還與此以前其他時(shí)刻應(yīng)時(shí)刻的輸入符號有關(guān)，而且還與此以前其他時(shí)刻信道的輸入符號及輸出符號有關(guān)，這樣的信道稱為信道的輸入符號及輸出符號有關(guān)，這樣的信道稱為有記憶信道。有記憶信道。三、單符號離散信道單符號離散信道：單符號離散信道：輸入符號為輸入符號為X，取值于，

5、取值于a1,a2, ,ar。輸出符號為輸出符號為Y，取值于，取值于b1,b2, ,bs。條件概率：條件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 這一組條件概率稱為信道的傳遞概率或轉(zhuǎn)移概率，這一組條件概率稱為信道的傳遞概率或轉(zhuǎn)移概率，可以用來描述信道干擾影響的大小?？梢杂脕砻枋鲂诺栏蓴_影響的大小。 信道中有干擾(噪聲)存在，可以用傳遞概率 P(bj/ai) 來描述干擾影響的大小。 一般簡單的單符號離散信道可以用X, P(y/x) ,Y 三者加以描述。 其數(shù)學(xué)模型可以用概率空間X, P(y/x) ,Y描畫。當(dāng)然，也可用下圖來描述： a1 b1 a2 b2 X . . Y . .a

6、r bsP(bj/ai)例例1 二元對稱信道，二元對稱信道，BSC，Binary Symmetrical Channel解：此時(shí)，解：此時(shí)，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。傳遞概率傳遞概率:pPabPpPabPppPabPppPabP )0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211 p是單個(gè)符號傳輸發(fā)生錯(cuò)誤的概率。是單個(gè)符號傳輸發(fā)生錯(cuò)誤的概率。（1-p表示是無錯(cuò)誤傳輸?shù)母怕?。表示是無錯(cuò)誤傳輸?shù)母怕省?轉(zhuǎn)移矩陣轉(zhuǎn)移矩陣: -1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp符號符號“2表

7、示接收到了表示接收到了“0”、“1以外的特殊以外的特殊符號符號 qqpp1001 0 2 101p0 01p1 1q1q2例例2二元?jiǎng)h除信道。二元?jiǎng)h除信道。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此時(shí)，此時(shí)，r 2，s 3，傳遞矩陣為：傳遞矩陣為： 一般離散單符號信道的傳遞概率可用矩陣形式表示，即 sjijijpp110 矩陣P完全描述了信道的特性，可用它作為離散單符號信道的另一種數(shù)學(xué)模型的形式。 P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕?。所以該矩陣又稱為信道矩陣轉(zhuǎn)移矩陣） 。 rsrrsspppppppppP.:.2122

8、22111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)3.2 3.2 信道疑義度與平均互信息信道疑義度與平均互信息 本節(jié)進(jìn)一步研究離散單符號信道的數(shù)學(xué)模型下的信本節(jié)進(jìn)一步研究離散單符號信道的數(shù)學(xué)模型下的信息傳輸問題。息傳輸問題。一、信道疑義度一、信道疑義度信道輸入信源X的熵 H(X)是在接收到輸出是在接收到輸出Y以前，關(guān)于輸入變量以前，關(guān)于輸入變量X的先驗(yàn)不的先驗(yàn)不確定性，稱為先驗(yàn)熵。確定性，稱為先驗(yàn)熵。 )(log)()(1log)(

9、)(1xPxPaPaPXHXirii接受到接受到bj后，關(guān)于后，關(guān)于X的不確定性為的不確定性為 后驗(yàn)熵在輸出符號集Y范圍內(nèi)是個(gè)隨機(jī)量，對后驗(yàn)熵在符號集Y中求數(shù)學(xué)期望，得條件熵-信道疑義度：這是接收到輸出符號這是接收到輸出符號bj后關(guān)于后關(guān)于X的后驗(yàn)熵。的后驗(yàn)熵。 后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號后驗(yàn)熵是當(dāng)信道接收端接收到輸出符號bj后，關(guān)于輸入后，關(guān)于輸入符號的信息測度。符號的信息測度。)|(1log)|()|(jXjjbxPbxPbXH )/()()/()|(1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPxyPY

10、X互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后獲得關(guān)于后獲得關(guān)于xi的信的信息量息量)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI二、平均互信息二、平均互信息)()|(log)();()();(ijijijijijijixpyxpyxpyxIyxpYXI平均互信息平均互信息I(X; Y)： I(xi ; yj)的統(tǒng)計(jì)平均。的統(tǒng)計(jì)平均。l它代表接收到符號集Y后平均每個(gè)符號獲得的關(guān)于X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。I(X;Y) = 0。若若I(X;Y) = 0，表示在信道輸出端接收到

11、輸，表示在信道輸出端接收到輸出符號出符號Y后不獲得任何關(guān)于輸入符號后不獲得任何關(guān)于輸入符號X的信息的信息量量-全損信道。全損信道。平均互信息與各類熵的關(guān)系平均互信息與各類熵的關(guān)系)(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHYX H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY) 兩種特殊信道兩種特殊信道)(0)(1)|(xfyjixfyjixypij)(0)(1)|(xfyjixfyjiyxpjiY

12、yXxyPxyp)()|(YyXxxPyxp)()|( 三、平均互信息的性質(zhì)三、平均互信息的性質(zhì)平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性：（1非負(fù)性非負(fù)性 即即 I(X;Y) = 0 當(dāng)當(dāng)X、Y統(tǒng)計(jì)獨(dú)立時(shí)等式成立。統(tǒng)計(jì)獨(dú)立時(shí)等式成立。（2極值性極值性 即即 I(X;Y) = H(X) 當(dāng)當(dāng) H(X/Y)=0 時(shí)，即信道中傳輸信息無損時(shí)，等式時(shí)，即信道中傳輸信息無損時(shí)，等式成立。成立。（3交互性對稱性）交互性對稱性） 即即 I(X;Y) = I(Y;X) 當(dāng)當(dāng) X、Y統(tǒng)計(jì)獨(dú)立時(shí)統(tǒng)計(jì)獨(dú)立時(shí) I(X;Y) = I(Y;X)=0 當(dāng)信道無干擾時(shí)當(dāng)信道無干擾時(shí) I(X;Y) = I

13、(Y;X)=H(X)=H(Y),(| )(| )(;)( ;)()log( ) (| )log( )( )( )( ) (| )X YX YXP y xP y xI X YI Y XP xyP x P y xP yP yP yP x P y x其中：l 平均互信息平均互信息I(X;Y)是輸入信源的概率分布是輸入信源的概率分布P(x)的的型凸函數(shù)。型凸函數(shù)。l 平均互信息平均互信息I(X;Y)是信道傳遞的概率是信道傳遞的概率P(y/x)的的型凸函數(shù)。型凸函數(shù)。 當(dāng)信源固定后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關(guān)于信源的信息量是不同的。 對每一種信源都存在一種最差的信道，此時(shí)干擾

14、(噪聲) 最大，而輸出端獲得的信息量最小。3.3 3.3 離散無記憶信道的擴(kuò)展信道離散無記憶信道的擴(kuò)展信道sjijijpp110)|().|.()|(12121ijNiNNxyPxxxyyyPxyP rsrrsspppppppppP.:.:.2122221112111 11111 111 12221 12(. )(. )(.)(. )(|): (.)(. )NNNNkkrrrsssrsa aabbba aabbbpXYa aab bb NNNNNNsrrrss212222111211(|)khhkp1212(|)hhhNkkkNp b bba aa1(|)1,2,1,2,NNNhikiip b

15、akirhis22222222pppppppppppppppppppppppp2112131241(/)(00/00)(0/0) (0/0)(/)(01/00)(0/0) (1/0)(/)(10/00)(1/0) (0/0)(/)(11/00)(1/0) (1/0)PPPPpPPPPppPPPPppPPPPp);();(NNYXIYXI)/()(NNNYXHXH)/()(NNNXYHYHNiiixyPP1)/()/(xyNiiiYXIYXI1);();(),(),(1iiNiYXIIYX),(),(),(1YXNIYXIIiiNiYX 研究信道的目的是要討論信道中平均每個(gè)符號所研究信道的目的是

16、要討論信道中平均每個(gè)符號所能傳送的信息量能傳送的信息量-信息傳輸率信息傳輸率R 平均互信息平均互信息I(X;Y)就是接收到符號就是接收到符號Y后平均每個(gè)符后平均每個(gè)符號獲得的關(guān)于號獲得的關(guān)于X的信息量。的信息量。 所以：所以： R = I(X;Y) = H(X) H(X|Y) (比特比特/符號符號)3.4 3.4 離散信道的信道容量離散信道的信道容量 信道中每秒平均傳輸?shù)男畔⒘啃诺乐忻棵肫骄鶄鬏數(shù)男畔⒘?信息傳輸速率信息傳輸速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒）一、一、 信道容量的定義信道容量的定義 由于平均互信息由于平均互信息I

17、(X;Y)是輸入隨機(jī)變量的是輸入隨機(jī)變量的型凸函數(shù)型凸函數(shù) ，所以對一固定的信道，總存在，所以對一固定的信道，總存在一種信源，使傳輸每個(gè)符號平均獲得的信息一種信源，使傳輸每個(gè)符號平均獲得的信息量最大。量最大。即存在一個(gè)最大的信息傳輸率即存在一個(gè)最大的信息傳輸率 -定義定義為信道容量為信道容量C);(max)(YXICXP tCCt例例4 信道容量的計(jì)算信道容量的計(jì)算)(1);(maxpHYXImax(; )max()( )1( )CIX YHppH pH p ()( )HppH p當(dāng)當(dāng)12二、簡單離散信道的信道容量二、簡單離散信道的信道容量100010001)3 , 2 , 1,(10)/()

18、/(jijijibaPabPjiij)/(loglog)(max)(max)()(symbolbitsrYHXHCyPxP1000000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項(xiàng)后驗(yàn)概率為baPbaPbaPbaPbaPbaPsymbolbitrXHCxP/log)(max)(無噪有損信道無噪有損信道()max( )log(/)P yCH Ysbit symbol三、對稱離散信道的信道容量三、對稱離散信道的信道容量2161313121616131213131616161613131PP和7 . 01 . 02 .

19、01 . 02 . 07 . 03161316161613131PP和.11.11:.11ppprrpppPrrppprr1pp)/() ,., (log),., ()(max2121)(symbolbitpppHspppHYHCssxP YXxypxypxpXYH)|(1log)|()()|()/()(xXYHxpXYxypxypxXYH)|(1log)|()|(),., ()/(21spppHxXYH3131616161613131P四、離散無記憶四、離散無記憶N次擴(kuò)展信道的信道容量次擴(kuò)展信道的信道容量),(),(1iiNiYXII YX即：即：CN = NC()()1()11max (;

20、 ) max(;) max (;) iNP XNiiP XiNiiP XiNiiCI X YI X YI X YC 3 35 5 連續(xù)信道的信道容量連續(xù)信道的信道容量 幅度連續(xù)的單個(gè)符號信源熵幅度連續(xù)的單個(gè)符號信源熵 補(bǔ)充：連續(xù)信源的熵與互信息補(bǔ)充：連續(xù)信源的熵與互信息xdxxpxdxxpxpXHXHxxpxxpxpxpXHxxpdxxpxpxiaxiaxnabxbaxnbaiXnbaiXiXnnniiXiXniiinxiaxiaiXXiiloglim)(loglim)(log)()(lim)()(log)()(log)()()()()(,)1(,/)(,11)1(b ba ai iX Xi

21、iX X) )d dx x( (x x) )l lo og gp p( (x xp p利用中值定理可得令)/()(),()()()/()();();()/()(),()/(log),()/(),(log),(),()(log)()(,XYHYHYXHYHXHYXHXHXYIYXIXYHXHYXHdxdyxypyxpXYHdxdyyxpyxpYXHdxxpxpXHccccccccccYYXcYXYXcXXc互信息條件熵聯(lián)合熵相對熵 波形信源熵波形信源熵)/(lim)(/ )()(lim)()(log)()()(log)(),()(,21XYXyxy/xyx,Y/XxxxXYXcLccLcYYXc

22、XXLccHtxtyHHtxHLddppHdppXXXHH隨機(jī)波形信源取條件熵相對熵和平穩(wěn)隨機(jī)矢量 最大熵定理具有最大熵當(dāng)它是均勻分布時(shí)變量對于定義域有限的隨機(jī)限峰功率最大熵定理，X，:)(1log1)()()(log)(1log)()(log)()(log)()()()(1log)()(log)()(,(1211212121211111111111iiNiNbabaiiNiNbabaNbabaNbabaNbabacabdxdxdxxpxqxpeabdxdxdxxpxqxpdxdxdxxqxpdxdxdxxqxqxpxpdxdxdxxpxpxpxHNNNNNNNNNN 最大熵定理 限平均功率最

23、大熵定理：對于相關(guān)矩陣一定隨機(jī)變量X，當(dāng)它是正態(tài)分布時(shí)具有最大熵)2log(212log2log2log)(2)(log2log)(2log)2)(exp()log(21log)()(21)(222222222222)(22)(22222 eeedxxpmxedxxpdxmxxpdxexpXHexpmxcmx 一、連續(xù)單符號加性高斯噪聲信道的信道容量一、連續(xù)單符號加性高斯噪聲信道的信道容量22log)(enh2020log212log2logPeePC)1log(21)1log(212nssPPP二、多維無記憶高斯加性連續(xù)信道二、多維無記憶高斯加性連續(xù)信道NiiNiiinpxypxypnp11

24、)()/()/()(NiiiYXIYXI1);();(NinisiPP11log21NinisiPP11log21);(max)(YXICxpX1Y1=X1 +n1n1XNYN=XN +nNnNnsPPNC1log2NininiPPC11log210 00 )(xxxxnisiPPPPXENisiNii112nisiPPnisiPP)( 11WPNisi65. 00 . 1.2 . 01 . 011011011NiniPP517. 06 . 0.2 . 01 . 01616161iniPP5 . 05 . 0.2 . 01 . 01515151iniPP5 . 04 . 0.2 . 01 .

25、01414141iniPP35. 24 . 03 . 02 . 01 . 05 . 0log21log21log211log21443214141nnnniniinisiPPPPPPPC53. 48 . 0.2 . 01 . 0825. 0log21log21log2188765432181nnnnnnnniniPPPPPPPPPC85. 00 . 1.2 . 01 . 031011011NiniPP)(31WPNisi825. 08 . 0.2 . 01 . 0381三、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量三、限頻限時(shí)限功率的加性高斯白噪聲信道的信道容量 12( ,.,)Lxx xx

26、12(,.,)Lyy yyyxn2LWT和，而在頻帶內(nèi)的高斯噪聲是彼此獨(dú)立的，從而有按照采樣定理，在0，T范圍內(nèi)要求。這是多維無記憶高斯加性信道，其信道容量為： 211log 12LiiiPC0 =log(1)sPWTN W -這是重要的香農(nóng)公式。當(dāng)信道輸入信號是平均功率受這是重要的香農(nóng)公式。當(dāng)信道輸入信號是平均功率受限的高斯白噪聲信號時(shí)，信息傳輸率才達(dá)到此信道容量。限的高斯白噪聲信號時(shí)，信息傳輸率才達(dá)到此信道容量。WNPWTCCsTt01loglim比特秒比特秒3.6 3.6 信源與信道的匹配信源與信道的匹配 在一般情況下，當(dāng)信源與信道相連接時(shí)，其信息傳輸率并未達(dá)到最大。我們總希望能使信息傳