容量代價(jià)函數(shù)

1、信息與編碼實(shí)驗(yàn)二、容量代價(jià)函數(shù)的計(jì)算一、問題描述假定一個(gè)離散無記憶信源(DMC )的輸入符號(hào)集為AX=1,2,.,r,輸出符號(hào) 集為AY=1,2,.,s，信道的轉(zhuǎn)移概率矩陣P(Y|X):p(y|x);該信道不是免費(fèi)的， 其輸入代價(jià)為b(x)。利用Matlab畫出容量代價(jià)函數(shù)C(J的曲線圖。二、實(shí)驗(yàn)環(huán)境計(jì)算機(jī)、Windows 2000或以上、Matlab 6.5或以上三、實(shí)驗(yàn)?zāi)康?. 了解容量代價(jià)函數(shù)性質(zhì)、意義。2. 掌握簡(jiǎn)單的容量代價(jià)函數(shù)計(jì)算方法；3. 掌握使用Matlab實(shí)現(xiàn)一般容量代價(jià)函數(shù)的計(jì)算方法；4. 掌握Matlab求解非線性方程組的方法。四、實(shí)驗(yàn)原理1. C()的一般計(jì)算方法：計(jì)算

2、:min是很容易的。'-min = min b(x);xX當(dāng)血max時(shí)，設(shè)試驗(yàn)信源X達(dá)到了 C(J ,即 C( J=maxl(X;Y):E(b(x)=。在數(shù)學(xué)上，就是在約束條件下：rE(b(x)八 p(x)b(x)(1)x=1r、p(x) =1 并且 P(x)_0(2)X母的約束下求平均互信息量l(X;Y)八' p(x)p(y|x)log-p)x#y#p(y)的條件極大值。為此引入待定常數(shù) S和，并作輔助函數(shù)r sFp(x) = » p(x)p(y |x)logx 4 y Jp(y |x)p(y)rr-S' p(x)b(x)-八 p(x)x 4x 4r其中 p

3、(y)八 p(x)p(y|x)x4由于=0得,R(x)' p(y | x)log p(y |x) =loge Sb(x) - y4p(y)上式兩邊同乘以p(x)并對(duì)x求和：“p(x)p(y|x)|og=|oge S旦b(x)，CC)=loge+S：+)(5)顯然提供r個(gè)方程，再加上(1)(2)的方程，共葉2個(gè)方程；而有r個(gè)未知數(shù)p(x)、及S、，共葉2未知數(shù)，顯然可以求解。一般來說，S、是一:的函數(shù)。(1)(2)(4) 組成的葉2個(gè)方程是一個(gè)非常復(fù)雜的非線性方程組。(4)式可以寫成矩陣形式：p(y=1|x=1) p(y=2|x = 1). p(y = s|x=1) logp(y=1)p

4、(y=1|x=2) p(y=2|x=2)p(y = s|x = 2)logp(y =2).p(y=1|x = r) p(y = 2|x = r).p(y = s|x = 2)_Jog p(y =s) 一-H(Y|x=1) -Sb(1) -loge-卩-H(Y|x=2)_Sb(2)_loge_ H (Y | x = r) _Sb(r) Toge-卩2.一般非線性方程組求解方法：下面介紹求非線性方程組一組是實(shí)根的梯度法:設(shè)非線性方程組為fi 二 fi(x°,X1,XnG =0,i =0,1,n -1并定義目標(biāo)函數(shù)為：n -1F = F(Xo"，,X八 fi2i =0則梯度法的計(jì)

5、算過程如下:(1) 選取一組初值 Xo,Xl,.,Xn-l(2) 計(jì)算目標(biāo)函數(shù)值F(3) 若F，則X=(xo,xi,.,xn-1)即為方程組的一組實(shí)根，過程結(jié)束;否則繼續(xù)(4) 計(jì)算目標(biāo)函數(shù)在(X0,X1,.,Xn-1)的偏導(dǎo)數(shù):FXn Jf j=2、fj -i =0,1,.,n -1j =0-Xi2 FF c 再計(jì)算D(上)2j =0 欣 j(5)計(jì)算xi - Xi?i 0,1,.山 一1ci其中=F/D。重復(fù)(2)(5)直到滿足精度要求為止。在上述過程中，如果D=0，則說明遇到了目標(biāo)函數(shù)的局部極值點(diǎn)，此時(shí)可改 變初值在試試。在我們的問題中，不會(huì)遇到該問題。另在計(jì)算中我們限制一個(gè)最大循環(huán)次數(shù)

6、, 以防D過小，使計(jì)算時(shí)間過長的情況。五、實(shí)驗(yàn)過程(1)先從理論上計(jì)算r=s=2,傳輸錯(cuò)誤率為p, b(0)=0,b(1)=1的BSC信道的容 量代價(jià)函數(shù)。這里5in =0,簡(jiǎn)化信道只有一個(gè)輸入0，因此Cmin二C(0) = 0，有PX=1= ，PX=0=1- -，而 C：)=I(X;Y)=H(Y)-H(Y|X)，由于 H (x)在 x=0.5 時(shí)達(dá)到極大值，故 一：=0.5 時(shí) H(Y)達(dá)到最大值，C(-)的公式如下。-H(1)qp-H(p),(log2-H(p),0 ：卩 < 0.5P 0.5(2)對(duì)一般性的 DMC信道，計(jì)算容量代價(jià)函數(shù)CC)非常困難，我們借助matlab2012B

7、來求解，具體代碼見附錄，這里只貼出代入數(shù)值后的結(jié)果。給定：r=s=2;p(y=0|x=0)=p(y=1|x=1)0.4,p=(y=1|x=0)=p(y=0|x=1)=0.6;b(0)=0,b(1)=1。由matlab計(jì)算繪制的圖像如下圖5.1 Pe=0.6時(shí)容量代價(jià)函數(shù)圖像 以下是誤碼率為0.8和0.55時(shí)的容量代價(jià)函數(shù)圖5.2容量代價(jià)函數(shù) Pe=0.85.3容量代價(jià)函數(shù)0.55從圖中不難的值C(B )的性質(zhì)：在B minw B max內(nèi)，是一個(gè)嚴(yán)格上升函數(shù)。C( B min)=Cmin, C( B max)=Cmax當(dāng)BB max時(shí)，C( B )是一個(gè)常數(shù)Cmax因此 C( B )=maxl

8、(X;Y):Eb(x)= B , B min< B w B max 這說明,達(dá)到 C( B ) 的試驗(yàn)信號(hào)，可以在 Eb(x)= B的區(qū)域中找到，實(shí)際上也只能在這個(gè)區(qū)域內(nèi)找 到。(2)接下來測(cè)試程序運(yùn)行時(shí)間，誤碼率為0.55，代碼見附錄測(cè)試結(jié)果如下Norm ofFirst-orderIrust-regionIterationFunc-countf (x)st epoptimalityradius059. 927556.3111101. 6020419. 1I2150. 849696I3.3813200, 1795140- 7036170.88214252,57715e-l80.30085

9、23. 34e-09INorm ofFirst-order Irust-regionIterationFunc-countf(x)st epoptimalityradius059.837556.711I101.3965117,8612111.396512.5；.862.53160.474430.6252,40.6254210. 1028S80,6250.81T0,6255260.0009594360. 1952230.06410.6256312. 29769e-200.0221253工 14e-100.625Norm ofFirst-orderTrust-regionIt erst ionfu

10、nc-countf(x)stepopt imalityradius059. 76755 6111101, 2484716*9212111.249472.56. 922. 53160,4274570.6252.210.6254216 09142310,6250.770.6255260.000522323D1491340.04710. 625巧314*2o907e-210.0162B481.35e-100. 625Norm ofF lr st-orderIrust-regionIterationFunc-cauntf(x)st epopt ijnalityradius059.717556.511I

11、10E 14757I6. 231211L147572.55. 233160*3976140. 6252. 030.6254210.0836F330. 6250. 742C.6255250.0002939620, 1190420.03520,6256314.5S234e-210.0121877L39e-100.625Norm ofFirst-ord亡匕Trust-reg ionterationFunc-countst epoptimal ityradius059 6B7556.4111101. 0660315*7312111. 0E6032. 55. 732. 53150.3820350.625

12、1.990.矽54210.07820190.6250-720. 6255260. 00017&5590. 1032850. 02740*62563】2. 73302e-210. 00950302L07e-100, 625Norm ofFirst-orderTrust-rejionIterationFunc-countf (x)st epoptimalityradius059.67755S.ll110L05S0915.3S1211L 068092. 55.3S2.53160.738690.6251.930.525a210,07415310.6250.7030,5255260. 00012

13、59850.09736390. 02290.625u315.63644e-220.007941424.87e-ll0.525Norm ofFirst-orderTrust-regionHerat ionfunc-countf(i)st亡popt inalityradius059. 68755e. 311101. 0595S15. 1612111.059532.55. 152*53150.3870610.6251. 90.6254210.07105820.6250. 6920.6255260.0001063960.09693930-02110.6256312.3&126e-210.007

14、28062le-100,625Hom ofFirst-orderTrust-regionIterationFunc-countf(x)st epopt Lihalityradius059,717556.31I101.08757I5,0512IL087572.55.052.53160.40S1730*625L 90.6254210.06896170. 6250.6870-6255250.0001098450. 1011860. 02150.6256315. 48819tr220. 0073796ISle-ll0.625Norn ofFirst-orderTrust-regionIteration

15、Func-ccuntf獨(dú)）st epoptimalityradius059. 767551110L1400315.0212II1. 140032. 55.022.53IS0.4362170.6251.910.6254210.0634005C.6250.6890, 5255260.0001354GB0. 1129370,0240.625631I,8&127e-220, 008172532.76el10.625Norm ofFirst-orderlrust-r«gionIterationFunc-countf 'X)st epcptimalityradius059.E37

16、556.311101.215B15. Oc12111.21562.55. 062.53160.4775160.6251.95Q.6254210,1666570. 9312770,8451.56526L53635e-180.287612. 57e-091.56fsolve completed becsus* the vector of function values is near zero as measured by the selected value of th亡 funcpnJ:口leraiK% and th亡 problf負(fù) appears業(yè)Lar as measured by th

17、e gradient-Norm ofFirst*orderTrust-raionIt erationFunc-countf(x)st ?poptimalityradius05B. 92755S.311101.3133715. 1712111.313372.55.172.53160,5305740.6252. 010.625i210.1748440. 9737790. 871.56525A11942e-190. 2940159. 58e-101. 56Equation sajvFcLfsolve completad because the vector of function values is

18、 near zero5E neasured by the selected value of the funct:Lon_tml已fanej and the problem appears e亡gular as measured by the gradient,tstgppin雀亡ria detailsElapsed time is 0.324402 seconds結(jié)果顯示，fsolve函數(shù)進(jìn)行了分次迭代，共循環(huán)了62次，耗時(shí)0.324402秒，那么平均每一次迭代耗費(fèi)時(shí)間0.005232秒3.結(jié)果分析由上面的圖像可見，誤碼率越接近 0.5，即輸入越接近等概，容量代價(jià)函數(shù) 最大值越小，。根據(jù)上面

19、的推論，當(dāng)p=0.5時(shí)，容量代價(jià)函數(shù)為0,這也符合實(shí) 驗(yàn)的結(jié)果。六、附錄代碼(1)繪制容量代價(jià)函數(shù)圖像fun cti on c=C(beta,b,Py_x)sizeB=size(b); sizePy_x=size(Py_x);if (sizeB(2)=sizePy_x(1)disp('參數(shù)b的列數(shù)應(yīng)該與Py_x的行數(shù)相同');c=-1;return;endm=sizePy_x(1);n=sizePy_x(2);sumPy=sum(Py_x');if (all(Py_x>=0)&all(sumPy=1)disp('參數(shù)Py_x每個(gè)數(shù)都不為負(fù)，且每一行

20、之和應(yīng)為1');c=-1;return;endmi nBeta=mi n(b);if beta<min Betadisp('參數(shù) beta太 小');c=-1;return;endx0=on es(1,m+2)./m;optio ns=optimset('TolFu n',0.000001,'Display','iter'); %設(shè)置收斂條件及查看迭代次數(shù)r=fsolve(c_bate,x0,optio ns,beta,b,Py_x);s=r(m+1);u=r(m+2);c=log2(exp(1)+s*beta+u;En