第五章 數(shù)字通信(信道容量和信道編碼)_xie

1、南京理工大學(xué)南京理工大學(xué)電光學(xué)院通信工程系電光學(xué)院通信工程系Nanjing University of Science and TechnologyDepartment of Communication Engineering5 5信道容量和信道編碼信道容量和信道編碼Digital Communications2本章的主要內(nèi)容本章的主要內(nèi)容t 5.1 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 5.2 信道容量信道容量t 5.3 隨機編碼隨機編碼Digital Communications3本章的主要內(nèi)容本章的主要內(nèi)容t 5.1 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 5.2 信道容量信道容量t 5.3

2、隨機編碼隨機編碼Digital Communications4調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 通信系統(tǒng)設(shè)計目標(biāo)通信系統(tǒng)設(shè)計目標(biāo)t 差錯概率平面差錯概率平面t 帶寬效率平面帶寬效率平面t 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡Digital Communications5通信系統(tǒng)設(shè)計目標(biāo)通信系統(tǒng)設(shè)計目標(biāo)t Nyquist最小帶寬要求最小帶寬要求(WRs/2=1/2Ts)t Shannon-Hartley容量理論容量理論(以及以及Shannon極限極限)t 管理規(guī)則管理規(guī)則(頻率分配頻率分配)t 技術(shù)限制技術(shù)限制(元器件當(dāng)前發(fā)展水平元器件當(dāng)前發(fā)展水平)t 其他系統(tǒng)需求其他系統(tǒng)需求(衛(wèi)星軌道衛(wèi)星軌道)

3、Digital Communications6差錯概率平面差錯概率平面t 差錯概率平面：差錯概率性能曲線族所在平面。差錯概率平面：差錯概率性能曲線族所在平面。t 等效帶寬曲線：對于給定的系統(tǒng)信息速率，差錯概率平面的等效帶寬曲線：對于給定的系統(tǒng)信息速率，差錯概率平面的每條曲線都與一個不同的額定最小帶寬需求相關(guān)聯(lián)。每條曲線都與一個不同的額定最小帶寬需求相關(guān)聯(lián)。Digital Communications7差錯概率平面差錯概率平面在在PB和和Eb/N0間權(quán)衡間權(quán)衡在在PB和和W間間權(quán)衡權(quán)衡在在W和和Eb/N0間權(quán)衡間權(quán)衡Digital Communications8帶寬效率平面帶寬效率平面t 帶寬效

4、率平面：歸一化信道帶寬帶寬效率平面：歸一化信道帶寬R/W (b/s/Hz)與與Eb/N0的關(guān)系的關(guān)系曲線。曲線。t 相關(guān)相關(guān)MPSK調(diào)制信號的帶寬效率：調(diào)制信號的帶寬效率： R/W=log2M，注意，注意BPSK和和QPSK需要相同的需要相同的Eb/N0值，且值，且BPSK的帶寬效率為的帶寬效率為1 b/s/Hz ，而，而QPSK的帶寬效率為的帶寬效率為2 b/s/Hz ，這是由于，這是由于QPSK是由兩路是由兩路BPSK信號有效的正交合成的。信號有效的正交合成的。t 非相關(guān)正交非相關(guān)正交MFSK調(diào)制信號的帶寬效率調(diào)制信號的帶寬效率(log2M)/M.注意注意BFSK和和QFSK有相同的帶寬效

5、率，盡管在相同的誤比特率下前者有相同的帶寬效率，盡管在相同的誤比特率下前者比后者需要更大的比后者需要更大的Eb/N0。因為。因為BFSK帶寬效率為帶寬效率為1 b/s/2Hz，而而QFSK帶寬效率為帶寬效率為2 b/s/4Hz。Digital Communications9帶寬效率平面帶寬效率平面在在PB和和Eb/N0間權(quán)衡間權(quán)衡在在PB和和W間間權(quán)衡權(quán)衡在在W和和Eb/N0間權(quán)衡間權(quán)衡Digital Communications10調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 在在功率受限系統(tǒng)功率受限系統(tǒng)（ power-limited system ）：通過改變調(diào)制）：通過改變調(diào)制和編碼方式，和編碼方

6、式，以犧牲帶寬為代價節(jié)約能量以犧牲帶寬為代價節(jié)約能量。(多維正交調(diào)制方多維正交調(diào)制方式，增大式，增大M)t 在在帶寬受限系統(tǒng)帶寬受限系統(tǒng)（ bandwidth-limited system ）：使用頻帶）：使用頻帶高效調(diào)制方式，高效調(diào)制方式，以犧牲功率為代價來減少所需帶寬以犧牲功率為代價來減少所需帶寬。(多進制多進制調(diào)制，調(diào)制，PAM、PSK)Digital Communications11調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡:l權(quán)衡參數(shù)：權(quán)衡參數(shù)：PB，W，R/W，P(或或S/N)。l標(biāo)識標(biāo)識G，C，F(xiàn)表示表示“GAIN”， “COST”， “FIX”。l差錯

7、概率平面對功率受限系統(tǒng)更有效差錯概率平面對功率受限系統(tǒng)更有效，當(dāng)工作點在曲線間移動時，誤，當(dāng)工作點在曲線間移動時，誤比特性能一目了然，而帶寬要求只能推算，其上箭頭表示工作點向香比特性能一目了然，而帶寬要求只能推算，其上箭頭表示工作點向香農(nóng)極限方向移動，以犧牲帶寬為代價，改善農(nóng)極限方向移動，以犧牲帶寬為代價，改善PB或降低所需傳輸功率?；蚪档退鑲鬏敼β省帶寬效率平面對帶寬受限系統(tǒng)更有效帶寬效率平面對帶寬受限系統(tǒng)更有效，當(dāng)工作點在曲線間移動時，帶，當(dāng)工作點在曲線間移動時，帶寬要求一目了然，而誤比特性能只能推算，其上箭頭表示工作點向容寬要求一目了然，而誤比特性能只能推算，其上箭頭表示工作點向容量

8、極限方向移動，以功率增大或量極限方向移動，以功率增大或PB性能下降為代價，提高帶寬效率。性能下降為代價，提高帶寬效率。l最感興趣是固定誤比特性能（由系統(tǒng)要求限制）的箭頭。最感興趣是固定誤比特性能（由系統(tǒng)要求限制）的箭頭。Digital Communications12調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡Digital Communications13本章的主要內(nèi)容本章的主要內(nèi)容t 5.1 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 5.2 信道容量信道容量t 5.3 隨機編碼隨機編碼Digital Communications14本章的主要內(nèi)容本章的主要內(nèi)容t 5.1 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t

9、5.2 信道容量信道容量t 5.3 隨機編碼隨機編碼Digital Communications15信道容量信道容量t 信道模型信道模型t 信道容量信道容量t 以正交信號獲取信道容量以正交信號獲取信道容量t 信道可靠性函數(shù)信道可靠性函數(shù)Digital Communications16信道模型信道模型t 二進制離散信道（二進制離散信道（BSC：Binary Symmetric Channal ）t 離散無記憶信道離散無記憶信道 (MDC: Discrete Memoryless Channel)t 離散輸入、連續(xù)輸出信道離散輸入、連續(xù)輸出信道t 波形信道波形信道Digital Communica

10、tions17二進制離散信道二進制離散信道t 輸入符號集輸入符號集 X = 0 , 1 , 輸出符號集輸出符號集 Y = 0 , 1 t 轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣ppppP11Digital Communications18離散無記憶信道離散無記憶信道t 輸入符號集輸入符號集 X = x1 , x2 , , xq ，輸出符號集，輸出符號集 Y = y1 , y2 , , yQ 。t 信道的輸出符號僅對應(yīng)時刻的一個輸入符號有關(guān)信道的輸出符號僅對應(yīng)時刻的一個輸入符號有關(guān) , 而與以前而與以前的輸入無關(guān)的輸入無關(guān) , 這種信道稱為這種信道稱為無記憶信道或隨機信道無記憶信道或隨機信道。t 轉(zhuǎn)移概率矩陣

11、轉(zhuǎn)移概率矩陣)|()|()|()|()|()|()|()|()|(212222111211qQqqQQxypxypxypxypxypxypxypxypxypP1)|(1 QjijxypDigital Communications19離散無記憶信道離散無記憶信道Digital Communications20離散輸入、連續(xù)輸出信道離散輸入、連續(xù)輸出信道t AWGN信道信道t 無記憶條件無記憶條件GXY222)(21)|(kxykexXypniiiinnnuXypuXuXuXyyyp1221121)|(),|,(Digital Communications21波形信道波形信道t 輸入是波形，輸出也

12、是波形。輸入是波形，輸出也是波形。t 無記憶條件無記憶條件t 實際上，可以實際上，可以Nyquist采樣速率采樣速率2W樣值樣值/s采樣，在時間采樣，在時間T內(nèi)存內(nèi)存在在N=2WT個樣值。個樣值。)()()(tntxtyiiitfyty)()(iiitfxtx)()(iiitfntn)()(iiinxy222)(21)|(iiixyiiiexypNiiiNNxypxxxyyyp12121)|(),|,(f(t)為標(biāo)準(zhǔn)正交集為標(biāo)準(zhǔn)正交集Digital Communications22信息論信息論t 熵：平均信息量或平均不確定度熵：平均信息量或平均不確定度t 條件熵條件熵t 互信息互信息 iiai

13、xpxpXHlog)(jijiajijjjyxyxpyYXHypYXH)|(log),()|()()/()/()();(YXHXHYXIijiajijyxyxpyYXH)|(log)|()|(Digital Communications23t 互信息的解釋互信息的解釋信息論信息論)/()();(YXHXHYXIDigital Communications24信息論信息論t 信源壓縮（有效性）信源壓縮（有效性）lH（X）：壓縮前）：壓縮前X中含有的信息量（不確定度）中含有的信息量（不確定度）lH（X|Y）：收到）：收到Y(jié)的條件下，的條件下， 關(guān)于關(guān)于X的信息量（不確定度）的信息量（不確定度）lI

14、（X；Y）：信源壓縮目的是使壓縮碼流）：信源壓縮目的是使壓縮碼流Y中含有關(guān)于中含有關(guān)于X的信息量的信息量I（X；Y）最?。M足一定失真度條件），便于節(jié)省傳輸帶寬，即）最?。M足一定失真度條件），便于節(jié)省傳輸帶寬，即H（X|Y）最大。）最大。l設(shè)計信源壓縮編碼信道設(shè)計信源壓縮編碼信道P（Y|X） 。Digital Communications25信息論信息論t 信道傳輸（可靠性）信道傳輸（可靠性）lH（X）：傳輸前）：傳輸前X中含有的信息量（不確定度）中含有的信息量（不確定度）lH（X|Y）：收到）：收到Y(jié)的條件下，的條件下， 關(guān)于關(guān)于X的信息量（不確定度）的信息量（不確定度）lI（X；Y）：通

15、信傳輸目的就是使接收信號）：通信傳輸目的就是使接收信號Y中含有關(guān)于中含有關(guān)于X的信息量的信息量I（X；Y）最大，即在已知）最大，即在已知Y的條件下，關(guān)于的條件下，關(guān)于X的不確定度的不確定度H（X|Y）最）最小。小。l通過波形編碼調(diào)制和信道編碼來設(shè)計發(fā)送信息通過波形編碼調(diào)制和信道編碼來設(shè)計發(fā)送信息X的概率分布的概率分布P（X） 。Digital Communications26信道容量信道容量t 考慮考慮DMC信道，輸入符號集信道，輸入符號集 X = x1 , x2 , , xq ，輸出符，輸出符號集號集Y = y1 , y2 , , yQ 。信道轉(zhuǎn)移概率。信道轉(zhuǎn)移概率 p( yj | xi )

16、 , 則信則信道容量為道容量為t 若信道平均傳輸一個符號需要若信道平均傳輸一個符號需要t秒種，則單位時間的信道容秒種，則單位時間的信道容量記為量記為Ct=C/t，單位，單位:bit/S)()|(log)|()(max);(max11)()(jijqiQjijixpxPypxypxypxpYXICii0)(, 1)(1iqiixpxp信道容量的單位：信道容量的單位：bit/信道符號或信道符號或bit/符符號號Digital Communications信道容量信道容量t 為使為使I(x;y)最大化以便求取最大化以便求取DMC容量，輸入概率集容量，輸入概率集p(xi)必須必須滿足充分和必要條件如下

17、：滿足充分和必要條件如下： t I(xi;y)=C，對于所有滿足，對于所有滿足p(xi)0的的i。t I(xi;y)C，對于所有滿足，對于所有滿足p(xi)0的的i 。t 此處此處C是信道容量，且是信道容量，且 )()|(log1)|();(jypixjypQjixjyPYixIDigital Communications帶限帶限AWGN波形信道波形信道t 信道容量信道容量t 離散表示互信息離散表示互信息t 由信息論知，當(dāng)由信息論知，當(dāng)xi是統(tǒng)計獨立且服從零均值的高斯分布時，是統(tǒng)計獨立且服從零均值的高斯分布時，I(XN,YN)達到最大。達到最大。);(1maxlim)(YXITCxpTiiNi

18、iiiiiiNNdxdyypxypxpxypI 1)()|(log)()|();(YX02)(021)|(NxyiiiieNxyp22221)(xixxiexpDigital Communications帶限帶限AWGN波形信道波形信道t 最大互信息最大互信息t 平均功率限制平均功率限制t 所以所以0202102)(21log21log221log21);(maxNWTNNNIxxNixNNxpYXWPNTPTNxETdttxETPavavxxNiiTav2)(1)(12212020)(1log);(maxWNPWTIavNNxpYXDigital Communications帶限帶限AWGN

19、波形信道波形信道t 信道容量信道容量t 如果將容量作為信號功率與噪聲功率之比的函數(shù)。容量隨著如果將容量作為信號功率與噪聲功率之比的函數(shù)。容量隨著SNR的增加而單調(diào)增加。因此，對于一個固定的帶寬，波形的增加而單調(diào)增加。因此，對于一個固定的帶寬，波形信道的容量隨著傳輸信號功率的增大而增加。信道的容量隨著傳輸信號功率的增大而增加。01logWNPWCavDigital Communications帶限帶限AWGN波形信道波形信道t 如果如果 Pav固定，容量隨著帶寬的增加而增加。注意：當(dāng)固定，容量隨著帶寬的增加而增加。注意：當(dāng)W趨趨于無窮大時，信道容量趨于一個漸進值于無窮大時，信道容量趨于一個漸進值

20、 )/(2lnlog020sbNPeNPCavavexxx/10)1 (limDigital Communications帶限帶限AWGN波形信道波形信道t 歸一化信道容量歸一化信道容量)1 (log02NEWCWCbWCNEWCb/12/0bavCEP )0( 1, 10dBNEWCb當(dāng)呈指數(shù)增長當(dāng),ln2lnexp/2,/0WCWCWCNEWCWCb)6 . 1(2ln/12lim, 0/0/0dBWCNEWCWCWCb當(dāng)香農(nóng)極限香農(nóng)極限D(zhuǎn)igital Communications噪聲信道編碼定理噪聲信道編碼定理t 只要傳輸速率只要傳輸速率RC ，不，不可能有任何一種編碼能使差錯概率趨于零

21、?？赡苡腥魏我环N編碼能使差錯概率趨于零。Digital Communications以正交信號獲取信道容量以正交信號獲取信道容量t M元正交信號的錯誤概率元正交信號的錯誤概率t 聯(lián)合邊界，當(dāng)有聯(lián)合邊界，當(dāng)有yy0時比較緊密。時比較緊密。t 當(dāng)當(dāng)y較小且較小且M較大時，聯(lián)合邊界超過一個單位量，不太準(zhǔn)確。較大時，聯(lián)合邊界超過一個單位量，不太準(zhǔn)確。又因為又因為t M元正交信號錯誤概率的上界元正交信號錯誤概率的上界2122,0211111 ()exp() 222xyMse McEPPedxydyN 2/12)() 1()(1 1yMMeyQMyQ1)(1 11MyQdyeeMdyePyyyyyM022

22、022/)2(2/2/)2(221Digital Communications以正交信號獲取信道容量以正交信號獲取信道容量t最優(yōu)的最優(yōu)的y0t不等式放縮不等式放縮tM元正交信號的錯誤概率元正交信號的錯誤概率2ln2log2ln2ln2202/20kMMyMey)22/( ,2)2/0( , 2 02/)2()2/(2/ )(2/)2(02/ )(2/ )(2/)2(20202020202020yeeeeyeeePyyyyyyyM)2ln42)(lnln41( ,2)2ln4)(41(ln,22)2ln(2/ )2ln2(bkbkMMeMePbbbkDigital Communications以

23、正交信號獲取信道容量以正交信號獲取信道容量t 無限帶寬無限帶寬AWGN信道的容量信道的容量2ln22ln20RTky)41( ,2)(2*2)410( ,)21(2*2CRCRCTCRRCTMP2ln0NavPC2ln0TCNavTPDigital Communications信道可靠性函數(shù)信道可靠性函數(shù)t 無限帶寬無限帶寬AWGN信道上的信道上的M元正交信號差錯概率的指數(shù)邊界元正交信號差錯概率的指數(shù)邊界t 無限帶寬無限帶寬AWGN信道可靠性函數(shù)信道可靠性函數(shù)t 聯(lián)合邊界的指數(shù)邊界聯(lián)合邊界的指數(shù)邊界)(2*2RTEMP)41( ,2)()410( , 21)(CRCRCCRRCRE)210(

24、,)21(2*21CRRCTMP比較松弛比較緊密Digital Communications信道可靠性函數(shù)信道可靠性函數(shù)t 無限帶寬無限帶寬AWGN信道可靠性函數(shù)信道可靠性函數(shù)Digital Communications39本章的主要內(nèi)容本章的主要內(nèi)容t 5.1 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 5.2 信道容量信道容量t 5.3 隨機編碼隨機編碼Digital Communications40本章的主要內(nèi)容本章的主要內(nèi)容t 5.1 調(diào)制與編碼的權(quán)衡調(diào)制與編碼的權(quán)衡t 5.2 信道容量信道容量t 5.3 隨機編碼隨機編碼Digital Communications隨機編碼隨機編碼t 在高效的

25、信息傳輸中，編碼調(diào)制的設(shè)計存在兩條基本路徑：在高效的信息傳輸中，編碼調(diào)制的設(shè)計存在兩條基本路徑：一是代數(shù)路徑，主要運用代數(shù)編解碼技術(shù)來設(shè)計特定的碼，一是代數(shù)路徑，主要運用代數(shù)編解碼技術(shù)來設(shè)計特定的碼，如循環(huán)分組碼、卷積碼等。另一條路徑為采用概率方法，分如循環(huán)分組碼、卷積碼等。另一條路徑為采用概率方法，分析一般編碼信號的性能，在一定特性的信道上通信時，求出析一般編碼信號的性能，在一定特性的信道上通信時，求出差錯概率的上下邊界。差錯概率的上下邊界。t 基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 基于基于M元多幅度信號的隨機編碼元多幅度信號的隨機編碼Digital Commun

26、ications隨機編碼隨機編碼t 基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 基于基于M元多幅度信號的隨機編碼元多幅度信號的隨機編碼t R0*與與AWGN信道容量的比較信道容量的比較Digital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 信號表示信號表示t 假設(shè)進入編碼器的信息速率是假設(shè)進入編碼器的信息速率是R b/s，一次將，一次將k比特塊映射為比特塊映射為M個編碼波形之一。因此，個編碼波形之一。因此，k=RT，共需要，共需要M=2k=2RT 種編碼種編碼波形。定義波形。定義D=n/T 維維/s。N=DT為信號空間

27、維數(shù)為信號空間維數(shù).超立方體總超立方體總共有個共有個2n=2DT頂點，其中頂點，其中M個編碼波形實際被用來傳送信息個編碼波形實際被用來傳送信息。如果。如果DR，超立方體中用作編碼波形的頂點數(shù)與頂點總數(shù)，超立方體中用作編碼波形的頂點數(shù)與頂點總數(shù)之比為之比為1 , 0),(1ijiniicccCMicEcEstfstsijcijcijnjjiji, 1,0,1, )()(1Misssinii, 1),(1TRDDTRTnkF)(22222Digital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 問題：能否在全部問題：能否在全部2n=2DT個可用的

28、頂點中選出一個含個可用的頂點中選出一個含M=2RT個頂點的子集，使得當(dāng)個頂點的子集，使得當(dāng)T- （或（或n- ）時，差錯概率趨于）時，差錯概率趨于零。零。t 思路：不計算某個具體思路：不計算某個具體M編碼波形的差錯概率，而是從總體編碼波形的差錯概率，而是從總體上考慮超立方體的上考慮超立方體的2n=2DT個有效頂點中選取個有效頂點中選取M個的方法，每個的方法，每種選擇都構(gòu)成一種碼集，共種選擇都構(gòu)成一種碼集，共(2n)M種不同的選法。然后計算平種不同的選法。然后計算平均差錯概率的上界，若平均差錯概率當(dāng)均差錯概率的上界，若平均差錯概率當(dāng)T- （或（或n- ）時）時趨于零，則可斷言趨于零，則可斷言(2

29、n)M個碼集中必存在好碼。個碼集中必存在好碼。Digital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼Digital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 假設(shè)假設(shè)M個編碼波形隨機等概選取個編碼波形隨機等概選取t 考慮一個考慮一個k比特消息比特消息Xk=x1 x2 x3 xk。條件差錯概率在整個。條件差錯概率在整個碼集上的平均是碼集上的平均是t 為第為第m個二進制通信系統(tǒng)利用兩個信號矢量傳輸兩個二進制通信系統(tǒng)利用兩個信號矢量傳輸兩個等概信號之一時的差錯概率，所以個等概信號之一時的差錯概率，

30、所以nMmisP 2)(nMnMmmienMmimmieesPsPsPP2121)(2)()()()()(mimikekesPsXPXP所有碼，M12mssP)(kllklmikesXP），（，Mk12Mk12m,)()(llklllklmiekessPssPsPXP）（）（所有碼），（klssP2mDigital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 表示在表示在(2n)M個碼或通信系統(tǒng)上的集合平均。個碼或通信系統(tǒng)上的集合平均。t 對于加性高斯白噪聲信道，二進制差錯概率對于加性高斯白噪聲信道，二進制差錯概率）（）（），（分量不同，個和設(shè)

31、0Nc2dQ02N2QP4)(2m1222ElkdkslsdEssssddsscnjkjljkllkkl）（klssP,2每個碼字比每個碼字比特能量特能量Digital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t二進制差錯概率在所有碼集上的集合平均二進制差錯概率在所有碼集上的集合平均002NcdEeNcdEQndNcdEQdnnndNcdEQdPkslsPdnndP00221002)(),(221)(nNcEenNcEenndNcdEednnkslsP)01 (21)01 (210021),(2Digital Communications基于基

32、于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 無條件平均差錯概率無條件平均差錯概率nNcEeMkslsPeP)01 (21Mkl1l,2)kX(）（nNcEeMkkXPnNcEeMkkXPkXePeP)01 (21)()01 (21)()(Digital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 截止速率（截止速率（cutoff rate）,單位比特單位比特/維，維，0 R0 1。)0N/ce1 (2log10N/ce122log0REEnkDTRTDRcRcRRnDRRnnkRnnRknRMeP)0(2)/0(2)/0(202

33、02020/122log2)0/1 (212log2)0/1 (21nRMNcEenMNcEenMnNcEeMePDigital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 結(jié)論：只要信息速率結(jié)論：只要信息速率RDR0，T時，平均差錯概率趨于時，平均差錯概率趨于零。只要碼率零。只要碼率RcR0，當(dāng)碼塊長度，當(dāng)碼塊長度n 時，平均差錯概率趨時，平均差錯概率趨于零。于零。 由于由于n 時平均差錯概率可以任意小，因此在時平均差錯概率可以任意小，因此在2nM個個碼集中一定存在若干個碼，它們的差錯概率不大于平均差錯碼集中一定存在若干個碼，它們的差錯概率不

34、大于平均差錯概率。概率。t 注意，差錯概率超過平均差錯概率的碼不一定是壞碼?？傊⒁?，差錯概率超過平均差錯概率的碼不一定是壞碼?？傊么a是很多的，即使用隨機選擇的方法也很容易找到。好碼是很多的，即使用隨機選擇的方法也很容易找到。Digital Communications基于基于M元二進制編碼信號的隨機編碼元二進制編碼信號的隨機編碼t 比特信噪比表示（比特信噪比表示（ 0為歸一化為歸一化信噪比），只要信噪比），只要 b 0 ，當(dāng)，當(dāng)k 時，平均差錯概率趨于零。時，平均差錯概率趨于零。 1/,/,cEbEcRcEbkEnbkEcnEE)1 (2log100,) 10/(2bcRebcRbRcRbkePDigital Communications基于基于M元多幅度信號的隨機編碼元多幅度信號的隨機編碼t 進行非二進制編碼，碼字碼元進行非二進制編碼，碼字碼元Cij選自集合選自集合0，1，.，q-1，每個碼元映射到，每個碼元映射到q個可能的幅度電平之一，與碼元個可能的幅度電平之一，與碼元0，1，.，q-1對應(yīng)的對應(yīng)的q個幅度可表達為個幅度可表達為a1 a2 a3 aq，假設(shè)他們，假設(shè)他們按照某種指定的概率按照某種指定的概率pi選取的。幅值