信道及其容量學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1信道信道(xn do)及其容量及其容量第一頁(yè)，共70頁(yè)。第1頁(yè)/共69頁(yè)第二頁(yè)，共70頁(yè)。 等效信道 干擾源 物理信道 解調(diào)器 編碼器 譯碼器 信宿 信源 調(diào)制器 實(shí)際信道 編碼信道 圖3.1.1 數(shù)字通信系統(tǒng)(xtng)的一般模型第2頁(yè)/共69頁(yè)第三頁(yè)，共70頁(yè)。根據(jù)信息根據(jù)信息(xnx)傳輸?shù)姆绞絺鬏數(shù)姆绞降?頁(yè)/共69頁(yè)第四頁(yè)，共70頁(yè)。第4頁(yè)/共69頁(yè)第五頁(yè)，共70頁(yè)。第5頁(yè)/共69頁(yè)第六頁(yè)，共70頁(yè)。第6頁(yè)/共69頁(yè)第七頁(yè)，共70頁(yè)。)(0)(1)|(xfyxfyxyP第7頁(yè)/共69頁(yè)第八頁(yè)，共70頁(yè)。(2)有干擾無(wú)記憶信道有干擾無(wú)記憶信道信道輸入和輸出信道輸入和輸出(shc

2、h)之間的條件概率是一般的概率分布。之間的條件概率是一般的概率分布。如果任一時(shí)刻輸出如果任一時(shí)刻輸出(shch)符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)符號(hào)只統(tǒng)計(jì)依賴于對(duì)應(yīng)時(shí)刻的輸入符號(hào)，則這種信道稱為無(wú)記憶信道。，則這種信道稱為無(wú)記憶信道。)|().|.()|(iiNiNNxyPxxxyyyPxyP12121第8頁(yè)/共69頁(yè)第九頁(yè)，共70頁(yè)。第9頁(yè)/共69頁(yè)第十頁(yè)，共70頁(yè)。第10頁(yè)/共69頁(yè)第十一頁(yè)，共70頁(yè)。 a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)第11頁(yè)/共69頁(yè)第十二頁(yè)，共70頁(yè)。pPabPpPabPppPabPppPabP )0|1()|()1|0()|

3、(1)1|1()|(1)0|0()|(12212211 p是單個(gè)符號(hào)是單個(gè)符號(hào)(fho)傳輸發(fā)生錯(cuò)誤的概率。傳輸發(fā)生錯(cuò)誤的概率。（1-p）表示是無(wú)錯(cuò)誤傳輸?shù)母怕省＃┍硎臼菬o(wú)錯(cuò)誤傳輸?shù)母怕省?轉(zhuǎn)移矩陣轉(zhuǎn)移矩陣: -1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp第12頁(yè)/共69頁(yè)第十三頁(yè)，共70頁(yè)。符號(hào)符號(hào)(fho)“2”表示接收到了表示接收到了“0”、“1”以外的特殊以外的特殊符號(hào)符號(hào)(fho) qqpp1001 0 2 101p0 01p1 1q1q2第13頁(yè)/共69頁(yè)第十四頁(yè)，共70頁(yè)。sjijijpp110 矩陣P完全描述了信道的特性，可用它作為離散單符號(hào)信

4、道的另一種數(shù)學(xué)模型的形式(xngsh)。 P中有些是信道干擾引起的錯(cuò)誤概率，有些是信道正確傳輸?shù)母怕省Ｋ栽摼仃囉址Q為信道矩陣（轉(zhuǎn)移矩陣） 。 rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)第14頁(yè)/共69頁(yè)第十五頁(yè)，共70頁(yè)。第15頁(yè)/共69頁(yè)第十六頁(yè)，共70頁(yè)。 H(X)是在接收到輸出是在接收到輸出Y以前，關(guān)于輸入變量以前，關(guān)于輸入變量X的先驗(yàn)的先驗(yàn)(xin yn)不確定性，稱為

5、先驗(yàn)不確定性，稱為先驗(yàn)(xin yn)熵。熵。 )(log)()(1log)()(1xPxPaPaPXHXirii第16頁(yè)/共69頁(yè)第十七頁(yè)，共70頁(yè)。這是接收這是接收(jishu)到輸出符號(hào)到輸出符號(hào)bj后關(guān)于后關(guān)于X的后驗(yàn)熵。的后驗(yàn)熵。 后驗(yàn)熵是當(dāng)信道接收后驗(yàn)熵是當(dāng)信道接收(jishu)端接收端接收(jishu)到輸出到輸出符號(hào)符號(hào)bj后，關(guān)于輸入符號(hào)的信息測(cè)度。后，關(guān)于輸入符號(hào)的信息測(cè)度。)|(1log)|()|(jXjjbxPbxPbXH )/()()/()|(1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPx

6、yPYX第17頁(yè)/共69頁(yè)第十八頁(yè)，共70頁(yè)。)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI二、平均互信息二、平均互信息第18頁(yè)/共69頁(yè)第十九頁(yè)，共70頁(yè)。)()|(log)();()();(ijijijijijijixpyxpyxpyxIyxpYXI平均平均(pngjn)互信息互信息I(X; Y)： I(xi ; yj)的統(tǒng)計(jì)平的統(tǒng)計(jì)平均均(pngjn)。l 它代表接收到符號(hào)它代表接收到符號(hào)(fho)集集Y后平均每個(gè)符號(hào)后平均每個(gè)符號(hào)(fho)獲得的關(guān)獲得的關(guān)于于X的信息量，也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約的信息量，

7、也表示了輸入與輸出兩個(gè)隨機(jī)變量之間的統(tǒng)計(jì)約束程度。束程度。第19頁(yè)/共69頁(yè)第二十頁(yè)，共70頁(yè)。YX-全損信道。全損信道。第20頁(yè)/共69頁(yè)第二十一頁(yè)，共70頁(yè)。平均平均(pngjn)互信息與各類熵的互信息與各類熵的關(guān)系關(guān)系)(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHYX 第21頁(yè)/共69頁(yè)第二十二頁(yè)，共70頁(yè)。H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY)第22頁(yè)/共69頁(yè)第二十三頁(yè)，共70頁(yè)

8、。 兩種特殊兩種特殊(tsh)信道信道)(0)(1)|(xfyjixfyjixypij)(0)(1)|(xfyjixfyjiyxpji第23頁(yè)/共69頁(yè)第二十四頁(yè)，共70頁(yè)。YyXxyPxyp)()|(YyXxxPyxp)()|(第24頁(yè)/共69頁(yè)第二十五頁(yè)，共70頁(yè)。第25頁(yè)/共69頁(yè)第二十六頁(yè)，共70頁(yè)。第26頁(yè)/共69頁(yè)第二十七頁(yè)，共70頁(yè)。第27頁(yè)/共69頁(yè)第二十八頁(yè)，共70頁(yè)。,(| )(| )(;)( ;)()log( ) (| )log( )( )( )( ) (| )X YX YXP y xP y xI X YI Y XP xyP x P y xP yP yP yP x P y

9、 x其中：第28頁(yè)/共69頁(yè)第二十九頁(yè)，共70頁(yè)。第29頁(yè)/共69頁(yè)第三十頁(yè)，共70頁(yè)。第30頁(yè)/共69頁(yè)第三十一頁(yè)，共70頁(yè)。3.3 3.3 離散無(wú)記憶信道離散無(wú)記憶信道(xn do)(xn do)的擴(kuò)展信道的擴(kuò)展信道(xn do)(xn do)sjijijpp110)|().|.()|(12121ijNiNNxyPxxxyyyPxyP rsrrsspppppppppP.:.:.212222111211第31頁(yè)/共69頁(yè)第三十二頁(yè)，共70頁(yè)。1 11111 111 12221 12(. )(. )(.)(. )(|): (.)(. )NNNNkkrrrsssrsa aabbba aabbbp

10、XYa aab bb NNNNNNsrrrss212222111211(|)khhkp1212(|)hhhNkkkNp b bba aa1(|)1,2,1,2,NNNhikiip bakirhis第32頁(yè)/共69頁(yè)第三十三頁(yè)，共70頁(yè)。22222222pppppppppppppppppppppppp2112131241(/)(00/00)(0/0) (0/0)(/)(01/00)(0/0) (1/0)(/)(10/00)(1/0) (0/0)(/)(11/00)(1/0) (1/0)PPPPpPPPPppPPPPppPPPPp第33頁(yè)/共69頁(yè)第三十四頁(yè)，共70頁(yè)。);();(NNYXIYXI

11、)/()(NNNYXHXH)/()(NNNXYHYH第34頁(yè)/共69頁(yè)第三十五頁(yè)，共70頁(yè)。NiiixyPP1)/()/(xyNiiiYXIYXI1);();(第35頁(yè)/共69頁(yè)第三十六頁(yè)，共70頁(yè)。),(),(1iiNiYXIIYX),(),(),(1YXNIYXIIiiNiYX第36頁(yè)/共69頁(yè)第三十七頁(yè)，共70頁(yè)。3.4 3.4 離散離散(lsn)(lsn)信道的信道容量信道的信道容量信道中每秒平均信道中每秒平均(pngjn)傳輸?shù)男畔⒘總鬏數(shù)男畔⒘?信息傳信息傳輸速率輸速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒）第37頁(yè)/共69

12、頁(yè)第三十八頁(yè)，共70頁(yè)。);(max)(YXICXP tCCt第38頁(yè)/共69頁(yè)第三十九頁(yè)，共70頁(yè)。例例4 信道容量的計(jì)算信道容量的計(jì)算(j sun)(1);(maxpHYXImax(; )max()( )1( )CIX YHppH pH p ()( )HppH p當(dāng)當(dāng)12第39頁(yè)/共69頁(yè)第四十頁(yè)，共70頁(yè)。二、簡(jiǎn)單離散二、簡(jiǎn)單離散(lsn)信道的信道容量信道的信道容量100010001)3 , 2 , 1,(10)/()/(jijijibaPabPjiij)/(loglog)(max)(max)()(symbolbitsrYHXHCyPxP第40頁(yè)/共69頁(yè)第四十一頁(yè)，共70頁(yè)。1000

13、000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各項(xiàng)后驗(yàn)概率為baPbaPbaPbaPbaPbaPsymbolbitrXHCxP/log)(max)(第41頁(yè)/共69頁(yè)第四十二頁(yè)，共70頁(yè)。無(wú)噪有損信道無(wú)噪有損信道(xn do)()max( )log(/)P yCH Ysbit symbol第42頁(yè)/共69頁(yè)第四十三頁(yè)，共70頁(yè)。三、對(duì)稱三、對(duì)稱(duchn)離散信道的信道離散信道的信道容量容量2161313121616131213131616161613131PP和第43頁(yè)/共69頁(yè)第四十四頁(yè)，共70頁(yè)。7 . 0

14、1 . 02 . 01 . 02 . 07 . 03161316161613131PP和第44頁(yè)/共69頁(yè)第四十五頁(yè)，共70頁(yè)。.11.11:.11ppprrpppPrrppprr1pp第45頁(yè)/共69頁(yè)第四十六頁(yè)，共70頁(yè)。)/() ,., (log),., ()(max2121)(symbolbitpppHspppHYHCssxP YXxypxypxpXYH)|(1log)|()()|()/()(xXYHxpXYxypxypxXYH)|(1log)|()|(),., ()/(21spppHxXYH第46頁(yè)/共69頁(yè)第四十七頁(yè)，共70頁(yè)。3131616161613131P第47頁(yè)/共69頁(yè)第

15、四十八頁(yè)，共70頁(yè)。四、離散無(wú)記憶四、離散無(wú)記憶N次擴(kuò)展次擴(kuò)展(kuzhn)信道的信道信道的信道容量容量),(),(1iiNiYXII YX第48頁(yè)/共69頁(yè)第四十九頁(yè)，共70頁(yè)。即：即：CN = NC()()1()11max (; ) max(;) max (;) iNP XNiiP XiNiiP XiNiiCI X YI X YI X YC 第49頁(yè)/共69頁(yè)第五十頁(yè)，共70頁(yè)。35 連續(xù)(linx)信道的信道容量第50頁(yè)/共69頁(yè)第五十一頁(yè)，共70頁(yè)。一、連續(xù)一、連續(xù)(linx)單符號(hào)加性高斯噪聲信道的信道單符號(hào)加性高斯噪聲信道的信道容量容量22log)(enh2020log212log

16、2logPeePC)1log(21)1log(212nssPPP第51頁(yè)/共69頁(yè)第五十二頁(yè)，共70頁(yè)。二、多維無(wú)記憶高斯二、多維無(wú)記憶高斯(o s)加性連續(xù)加性連續(xù)信道信道NiiNiiinpxypxypnp11)()/()/()(NiiiYXIYXI1);();(NinisiPP11log21NinisiPP11log21);(max)(YXICxpX1Y1=X1 +n1n1XNYN=XN +nNnN第52頁(yè)/共69頁(yè)第五十三頁(yè)，共70頁(yè)。nsPPNC1log2NininiPPC11log210 00 )(xxxxnisiPPPPXENisiNii112nisiPP第53頁(yè)/共69頁(yè)第五十四

17、頁(yè)，共70頁(yè)。nisiPP第54頁(yè)/共69頁(yè)第五十五頁(yè)，共70頁(yè)。)( 11WPNisi65. 00 . 1.2 . 01 . 011011011NiniPP第55頁(yè)/共69頁(yè)第五十六頁(yè)，共70頁(yè)。517. 06 . 0.2 . 01 . 01616161iniPP5 . 05 . 0.2 . 01 . 01515151iniPP5 . 04 . 0.2 . 01 . 01414141iniPP第56頁(yè)/共69頁(yè)第五十七頁(yè)，共70頁(yè)。35. 24 . 03 . 02 . 01 . 05 . 0log21log21log211log21443214141nnnniniinisiPPPPPPPC第

18、57頁(yè)/共69頁(yè)第五十八頁(yè)，共70頁(yè)。53. 48 . 0.2 . 01 . 0825. 0log21log21log2188765432181nnnnnnnniniPPPPPPPPPC85. 00 . 1.2 . 01 . 031011011NiniPP)( 31WPNisi825. 08 . 0.2 . 01 . 0381第58頁(yè)/共69頁(yè)第五十九頁(yè)，共70頁(yè)。三、限頻限時(shí)限功率的加性高斯白噪聲三、限頻限時(shí)限功率的加性高斯白噪聲(zoshng)信道的信道的信道容量信道容量 12(,.,)Lxx xx12(,.,)Lyy yyyxn2LWT和，而在頻帶內(nèi)的高斯噪聲(zoshng)是彼此獨(dú)立的

19、，從而有按照采樣定理，在0，T范圍內(nèi)要求。這是多維無(wú)記憶高斯加性信道，其信道容量為： 211log 12LiiiPC0 =log(1)sPWTN W -這是重要的這是重要的香農(nóng)公式香農(nóng)公式。當(dāng)信道輸入信號(hào)是平均功率受限的高。當(dāng)信道輸入信號(hào)是平均功率受限的高斯白噪聲信號(hào)時(shí)，信息傳輸率才達(dá)到此信道容量。斯白噪聲信號(hào)時(shí)，信息傳輸率才達(dá)到此信道容量。第59頁(yè)/共69頁(yè)第六十頁(yè)，共70頁(yè)。第60頁(yè)/共69頁(yè)第六十一頁(yè)，共70頁(yè)。WNPWTCCsTt01loglim比特秒比特秒第61頁(yè)/共69頁(yè)第六十二頁(yè)，共70頁(yè)。第62頁(yè)/共69頁(yè)第六十三頁(yè)，共70頁(yè)。);(YXIC CYXIC);( 第63頁(yè)/共69頁(yè)第六十四頁(yè)，共70頁(yè)。rXHlog)(1第64頁(yè)/共69頁(yè)第六十五頁(yè)，共70頁(yè)。例如(lr)，某離散無(wú)記憶信源 通過(guò)(tnggu)一個(gè)無(wú)噪無(wú)損二元離散信道進(jìn)行傳輸。對(duì)二元離散信道的信道容量為：C1(比特信道符號(hào))對(duì)本信源的信息熵為 H(X)1.937(比特信源符號(hào))要使信源在此二元信道中傳輸，必須對(duì)X進(jìn)行二元編碼：123456()1/21/41/81/161/321/32XxxxxxxP X第65頁(yè)/共69頁(yè)第六十六頁(yè)，共70頁(yè)。因此，必須通過(guò)合適的信源編碼(bin m)，使信道的信息傳輸率接近或等于信道容量。123456120000010100111001