第12講——時(shí)間離散連續(xù)信道的容量

1、 信道容量信道容量),(maxYXICkQDMC信道容量信道容量);(YXIReview信道容量計(jì)算信道容量計(jì)算幾種特殊類型的信道幾種特殊類型的信道 無(wú)噪無(wú)損信道無(wú)噪無(wú)損信道 有噪無(wú)損信道有噪無(wú)損信道 無(wú)噪有損信道無(wú)噪有損信道準(zhǔn)對(duì)稱準(zhǔn)對(duì)稱DMC信道信道可逆矩陣信道可逆矩陣信道N次擴(kuò)展信道次擴(kuò)展信道組合信道組合信道最佳分布為等概最佳分布為等概解方程、試解解方程、試解NC積信道、和信道、級(jí)聯(lián)信道積信道、和信道、級(jí)聯(lián)信道Review信道信道1和信道和信道2同時(shí)傳送信息同時(shí)傳送信息) ,(kk) ,(jj) ()() (kjpkjpkkjjp信道1 kaX 1 jbY 1)( kjp積信道積信道21C

2、CCReview最佳利用：最佳利用：使每個(gè)分信道的輸入相使每個(gè)分信道的輸入相互獨(dú)立，且分布為最佳互獨(dú)立，且分布為最佳若任一時(shí)間隨機(jī)選用（若任一時(shí)間隨機(jī)選用（兩者不能同時(shí)選用兩者不能同時(shí)選用）21XXX21YYY2121Y j ,Y,Xk,Xk: ) (),(jkjpkjp和信道和信道信道1 kaX 1 jbY 1)( kjp)()(21)|(00)|(MJNKMNJKuvpxyp21222CCCReview最佳利用：最佳利用：CCnnp 2并使每個(gè)分信道的輸入并使每個(gè)分信道的輸入分布為最佳分布為最佳若將信道若將信道1的輸出作為信道的輸出作為信道2的輸入，信道的輸入，信道1的輸入的輸入集就是組合

3、信道的輸入集，信道集就是組合信道的輸入集，信道2的輸出集就是組的輸出集就是組合信道的輸出集。稱這樣組成的信道為級(jí)聯(lián)信道，合信道的輸出集。稱這樣組成的信道為級(jí)聯(lián)信道，又稱串行信道。又稱串行信道。信道1 kaX 1 jbY 1)( kjp 級(jí)聯(lián)信道級(jí)聯(lián)信道轉(zhuǎn)移概率轉(zhuǎn)移概率jjkjpkjpkjp)()()(無(wú)記憶信道無(wú)記憶信道 Nnnnxypp1)()(xy恒參（平穩(wěn)）信道恒參（平穩(wěn)）信道 )()(mmnnxypxyp mn. Xxxmn, Yyymn, 時(shí)間離散的連續(xù)信道時(shí)間離散的連續(xù)信道信道容量信道容量),(max)(YXICxQ可加噪聲信道可加噪聲信道若連續(xù)信道的條件概率密度滿足若連續(xù)信道的條

4、件概率密度滿足)()()(zpxypxyp就稱它為可加噪聲信道，其中就稱它為可加噪聲信道，其中 稱作加性噪聲。稱作加性噪聲。xyz+XxZz)(xQ)(zpYzxy)(yw輸入輸出干擾X與與Z相互獨(dú)立相互獨(dú)立可加噪聲信道容量可加噪聲信道容量 dxdyxypxypxQ)(log)()(dxdzzpzpxQ)(log)()( )()()(ZHdxZHxQcc噪聲熵噪聲熵)()()()();(ZHYHXYHYHYXIcccc在加性噪聲信道情況下，當(dāng)信道在加性噪聲信道情況下，當(dāng)信道 給定，給定，即干擾噪聲的概率密度即干擾噪聲的概率密度 給定。那么求信道容給定。那么求信道容量就在于對(duì)所有的輸入分布求量就

5、在于對(duì)所有的輸入分布求 的最大值。的最大值。)(XYHc)(zp)(YHc)(XYHc可加噪聲信道容量可加噪聲信道容量 dxdyxypxypxQ)(log)()(dxdzzpzpxQ)(log)()( )()()(ZHdxZHxQcc噪聲熵噪聲熵)()()()();(ZHYHXYHYHYXIcccc在加性噪聲信道情況下，當(dāng)信道在加性噪聲信道情況下，當(dāng)信道 給定，給定，即干擾噪聲的概率密度即干擾噪聲的概率密度 給定。那么求信道容給定。那么求信道容量就在于對(duì)所有的輸入分布求量就在于對(duì)所有的輸入分布求 的最大值。的最大值。)(XYHc)(zp)(YHc)(XYHc【例】【例】已知條件：給定一個(gè)可加噪

6、聲信道已知條件：給定一個(gè)可加噪聲信道（1）干擾）干擾z與信道輸入與信道輸入x相互獨(dú)立相互獨(dú)立（2）), 0(2zNz，即，即222exp21)()()(zzzpxypxypz（3）), 0(2xNx，即，即222exp21)(xxxxp求信道輸入和輸出之間的平均互信息？求信道輸入和輸出之間的平均互信息？【解】由已知，信道輸出【解】由已知，信道輸出y是兩個(gè)正態(tài)分布的疊加，因而是兩個(gè)正態(tài)分布的疊加，因而), 0(22zxNy，于是信道輸入輸出之間的互信息量為，于是信道輸入輸出之間的互信息量為)()();(ZHYHYXIcc2222log21)(2log21zzxee)1log(2122zx【注】：

7、當(dāng)信道干擾給定下，若輸入功率不受限制，【注】：當(dāng)信道干擾給定下，若輸入功率不受限制， I(X;Y)可為任意大?？蔀槿我獯蟆６ɡ矶ɡ? 平均功率受限的時(shí)間離散、恒參、可加平均功率受限的時(shí)間離散、恒參、可加高斯噪聲高斯噪聲 信道的容量為信道的容量為)1log(212SC平均功率受限的可加噪聲平均功率受限的可加噪聲信道容量信道容量其中，其中，S是輸入平均功率的上限，是輸入平均功率的上限， 是均值為是均值為0的高的高斯噪聲的方差。最佳輸入分布就是均值為斯噪聲的方差。最佳輸入分布就是均值為0、方差、方差為為S的高斯型分布。的高斯型分布。2平均功率受限的可加噪聲平均功率受限的可加噪聲信道容量信道容量證明證

8、明 對(duì)可加噪聲信道有對(duì)可加噪聲信道有 )()();(ZHYHYXIcc22222SzExEzxEyE（X與與Z獨(dú)立）獨(dú)立）要使要使I(X;Y)最大，即要最大，即要)(YHc最大，從而最大，從而), 0(2SNY此時(shí)有此時(shí)有)(2log21)(2SeYHc22log21)(eZHc從而可得從而可得)1log(21)()(max);(max2)()(SZHYHYXICccxQxQ要使要使Y正態(tài)分布，正態(tài)分布，), 0(SNX平均功率受限的可加噪聲平均功率受限的可加噪聲信道容量信道容量定理定理2（平均功率受限的可加（平均功率受限的可加非高斯噪聲非高斯噪聲信道）信道） 平均功率受限、時(shí)間離散、恒參、可

9、加噪聲信道的容量平均功率受限、時(shí)間離散、恒參、可加噪聲信道的容量)log(21)log(212222SCS其中，其中，2是是Z的熵功率。的熵功率。在給定噪聲功率情況下，高斯干擾是最壞的干擾，在在給定噪聲功率情況下，高斯干擾是最壞的干擾，在它的作用下的信道容量最小。如果信道干擾統(tǒng)計(jì)特性它的作用下的信道容量最小。如果信道干擾統(tǒng)計(jì)特性未知，把干擾看作高斯分布比較安全。未知，把干擾看作高斯分布比較安全。【注】【注】)log(2122S證明：證明： 在可加噪聲下，信道輸出功率為在可加噪聲下，信道輸出功率為22222)(SzExEzxEyE輸出熵為輸出熵為 )(2log21)(2SeYHc由由)()();

10、(ZHYHYXIcc可知可知)()(2log212ZHSeCc222log21)(2log21eSe22log21S即上限成立。即上限成立。平均功率受限的可加噪聲平均功率受限的可加噪聲信道容量信道容量平均功率受限的可加噪聲平均功率受限的可加噪聲信道容量信道容量熵功率不等式熵功率不等式對(duì)于集合對(duì)于集合X,Y,Z,若若zxy,且且X,Z是相互獨(dú)立、均值為是相互獨(dú)立、均值為0，則，則22222xyx若選擇輸入功率為若選擇輸入功率為S的高斯信號(hào)的高斯信號(hào)x，由上不等式左邊部分，有，由上不等式左邊部分，有)(2log21)(2SeYHc從而從而), 0()(2);();(maxxSNXxQYXIYXIC

11、222log21)(2log21eSe )1log(212S即下限成立。即下限成立。平行可加高斯噪聲平行可加高斯噪聲信道容量信道容量最佳分布為各個(gè)輸入符號(hào)相互獨(dú)立，并保證每個(gè)最佳分布為各個(gè)輸入符號(hào)相互獨(dú)立，并保證每個(gè)符號(hào)的輸入分別最佳。符號(hào)的輸入分別最佳。1NnnCCN個(gè)獨(dú)立并行信道的組合個(gè)獨(dú)立并行信道的組合平行可加高斯噪聲平行可加高斯噪聲信道容量信道容量若各時(shí)刻上的噪聲都是均值為若各時(shí)刻上的噪聲都是均值為0，方差為，方差為 的高斯的高斯噪聲，此時(shí)信道容量為噪聲，此時(shí)信道容量為22log(1)2NSC當(dāng)且僅當(dāng)輸入信號(hào)當(dāng)且僅當(dāng)輸入信號(hào)X各分量統(tǒng)計(jì)獨(dú)立，并都是均值各分量統(tǒng)計(jì)獨(dú)立，并都是均值 為為0

12、，方差為，方差為S的高斯變量時(shí)等號(hào)成立。的高斯變量時(shí)等號(hào)成立。若各時(shí)刻上的噪聲仍是均值為若各時(shí)刻上的噪聲仍是均值為0，但方差為不同的，但方差為不同的高斯噪聲時(shí)，情況怎樣呢？高斯噪聲時(shí)，情況怎樣呢？NnnnSC12)1log(21平行可加高斯噪聲平行可加高斯噪聲信道容量信道容量若信道輸入為若信道輸入為),(21Nxxxx，輸出為，輸出為),(21Nyyyy信道干擾信道干擾 z ,), 0(2nNNn, 2 , 1，則信道容量為，則信道容量為NnnnSC12)1log(21約束條件為約束條件為SSNnn1當(dāng)輸入各分量服從當(dāng)輸入各分量服從), 0(nSN時(shí)達(dá)到信道容量。時(shí)達(dá)到信道容量。nS應(yīng)該如何取

13、值，才能使應(yīng)該如何取值，才能使NnnnS12)1log(21在約束條件在約束條件SSNnn1下取最大值？下取最大值？問(wèn)題：?jiǎn)栴}：平行可加高斯噪聲平行可加高斯噪聲信道容量信道容量并行可加高斯噪聲（并行可加高斯噪聲（AWGN）信道的組合信道的容量）信道的組合信道的容量BnnNnnnnBSC2:212log21)1log(21其中，其中，2n是噪聲在各單位時(shí)間上的方差，是噪聲在各單位時(shí)間上的方差，B為常數(shù)。為常數(shù)。Bn2時(shí)，選時(shí)，選BSnn2當(dāng)當(dāng)Bn2時(shí)，選時(shí)，選0nSSn的選擇應(yīng)該這樣進(jìn)行：的選擇應(yīng)該這樣進(jìn)行：當(dāng)當(dāng)平行可加高斯噪聲平行可加高斯噪聲信道容量信道容量這個(gè)結(jié)果形象的解釋就是將信道看作是底

14、部由干擾方這個(gè)結(jié)果形象的解釋就是將信道看作是底部由干擾方差所決定的起伏不平的容器，將信號(hào)能量差所決定的起伏不平的容器，將信號(hào)能量E看作是水，看作是水，將這些水倒入容器中就形成一個(gè)高為將這些水倒入容器中就形成一個(gè)高為B的水平面。當(dāng)?shù)乃矫妗．?dāng) 時(shí)，就沒有水注入該單元；時(shí)，就沒有水注入該單元； 越小，進(jìn)入該單元的水越小，進(jìn)入該單元的水就越多，即分到的能量就越大。就越多，即分到的能量就越大。Bn22n注水注水定理定理用拉格朗日乘因子法來(lái)求解極值問(wèn)題。用拉格朗日乘因子法來(lái)求解極值問(wèn)題。NnnNnnnNsSSSSSSF11221)1log(21),(令令0),(21NsnSSSFS，可得，可得01212

15、nnS從而從而KSnn212將上式代入約束條件將上式代入約束條件SSNnn121NnnSNK即即NSKNnn12（各分量平均功率的算術(shù)平均值）（各分量平均功率的算術(shù)平均值） 首先作輔助函數(shù)首先作輔助函數(shù)可得可得綜上，各信道的輸出功率應(yīng)相等，且等于各分量平均綜上，各信道的輸出功率應(yīng)相等，且等于各分量平均功率的算術(shù)平均值時(shí)，即功率的算術(shù)平均值時(shí)，即NSSNnnnn122才能保證聯(lián)合信道容量最大。才能保證聯(lián)合信道容量最大。212nNllnNSS Nn, 2 , 1注意求解過(guò)程中，并沒有考慮注意求解過(guò)程中，并沒有考慮0nS因此上述結(jié)果需要驗(yàn)證。因此上述結(jié)果需要驗(yàn)證。這一條件，這一條件，平行可加高斯噪聲

16、平行可加高斯噪聲信道容量信道容量因而因而若計(jì)算出若計(jì)算出 的有負(fù)值，必須置的有負(fù)值，必須置 來(lái)代替算得的負(fù)來(lái)代替算得的負(fù)值。這就為邊界極值問(wèn)題，表明當(dāng)某一信道的噪聲功值。這就為邊界極值問(wèn)題，表明當(dāng)某一信道的噪聲功率率 大于常數(shù)大于常數(shù)K時(shí)，該信道無(wú)法利用。為了保持總功時(shí)，該信道無(wú)法利用。為了保持總功率不超過(guò)率不超過(guò)S，另一些信道的輸入功率還必須相應(yīng)調(diào)整。，另一些信道的輸入功率還必須相應(yīng)調(diào)整。設(shè)有設(shè)有q個(gè)個(gè) ，即，即 小于小于0，則功率重新分配，則功率重新分配為為nS0nS2n0lSqSSS, ,210nS qn, 2 , 1212nNqllnqNSS Nqn, 1若此時(shí)仍有若此時(shí)仍有0lS，再

17、次進(jìn)行調(diào)整，直至剩余的所有，再次進(jìn)行調(diào)整，直至剩余的所有 0lS假如經(jīng)過(guò)多次調(diào)整，有假如經(jīng)過(guò)多次調(diào)整，有m個(gè)個(gè)0lS，即，即mSSS, ,21 小于小于0，則功率重新分配為，則功率重新分配為0nSmn, 2 , 1212nNmllnmNSS Nmn, 1從而求得從而求得 NmiiNmjjmNSC1212)(log21 令令)(12mNSBNmjj則上式可寫成則上式可寫成NBnnnBC2:2log21于是，定理得證。于是，定理得證。【注】這個(gè)定理說(shuō)明，當(dāng)并行組合信道各分信道的干【注】這個(gè)定理說(shuō)明，當(dāng)并行組合信道各分信道的干擾功率不等時(shí)，為達(dá)到最大傳信能力，要求對(duì)輸入信擾功率不等時(shí)，為達(dá)到最大傳信

18、能力，要求對(duì)輸入信號(hào)總能量適當(dāng)?shù)倪M(jìn)行分配。分配按條件進(jìn)行，當(dāng)號(hào)總能量適當(dāng)?shù)倪M(jìn)行分配。分配按條件進(jìn)行，當(dāng) 時(shí)，時(shí)，不分配能量，既不傳任何信息；當(dāng)不分配能量，既不傳任何信息；當(dāng) 時(shí)，使信號(hào)時(shí)，使信號(hào)功率和信道噪聲功率之和為常數(shù)，這樣才能保證總的功率和信道噪聲功率之和為常數(shù)，這樣才能保證總的容量最大。容量最大。Bn2Bn2BnnNnnnnBSC2:212log21)1log(21平行可加高斯噪聲平行可加高斯噪聲信道容量信道容量平行可加高斯噪聲平行可加高斯噪聲信道容量信道容量【例】設(shè)有【例】設(shè)有10個(gè)獨(dú)立并行的高斯信道，其干擾強(qiáng)度個(gè)獨(dú)立并行的高斯信道，其干擾強(qiáng)度 分分 別為別為0.1,0.2,0.3,

19、0.4,0.5,0.6,0.7,0.8,0.9和和1.0。求容許。求容許 輸入總功率輸入總功率S分別為分別為5和和1時(shí)的組合信道的容量？時(shí)的組合信道的容量？2n S=5 05. 1100 . 12 . 01 . 05K KSn 05. 1KB2nnBS,求得分別為求得分別為0.95,0.85,0.75,0.65,0.05NBnnnBC2:2log21bits1 . 60 . 12 . 01 . 005. 1log2110(2) S=1 65. 0100 . 12 . 01 . 011K010987SSSS517. 066 . 02 . 01 . 012K 06S310.10.20.50.55K

20、B 2nnBS,求得分別為求得分別為0.4,0.3,0.2,0.1,0,0,0,0,0,0NBnnnBC2:2log21bits4 . 24 . 03 . 02 . 01 . 05 . 0log214【例】設(shè)有【例】設(shè)有10個(gè)獨(dú)立并行的高斯信道，其干擾強(qiáng)度個(gè)獨(dú)立并行的高斯信道，其干擾強(qiáng)度 分分 別為別為0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和和1.0。求容許。求容許 輸入總功率輸入總功率S分別為分別為5和和1時(shí)的組合信道的容量？時(shí)的組合信道的容量？例：雙輸出高斯信道例：雙輸出高斯信道考慮在X上帶有兩個(gè)相關(guān)觀察的可加高斯噪聲信道，即輸出Y=(Y1,Y2)，其中 Y1=X+Z1 Y2=X+Z2并對(duì)X的功率限定為P，