信息論基礎(chǔ)復(fù)習(xí)課件

信息論基礎(chǔ)復(fù)習(xí)信息論基礎(chǔ)復(fù)習(xí)1根據(jù)隨機(jī)信號的釆樣定理,可將隨機(jī)信號離散化因此,對時(shí)間離散信道的輸入和輸出序列可分別表示為X=(X1,X2,…,)和Y=(F,y,)隨機(jī)噪聲可表示為Z=(Z1,Z2…)則加性噪聲信道可表示如下X.→)根據(jù)隨機(jī)信號的釆樣定理,可將隨機(jī)信號離散化2其輸入序列為X1,X2……輸出序列為Y2,Y2,輸入和輸出序列有以下關(guān)系:Y=X1+2其中z=(z,Z2,…)與X=(X1,X2,…)相互獨(dú)立當(dāng)Z是平穩(wěn)過程時(shí),稱該信道為平穩(wěn)信道當(dāng)Z,Z,…獨(dú)立同分布時(shí),稱信道為無記憶加性噪聲信道.特別地,如果它們的公共分布是正態(tài)分布N(0,N)時(shí),該信道稱為無記憶高斯信道,這樣的噪聲稱白噪聲.其輸入序列為X1,X2……輸出序列為Y2,Y2,3如果噪聲Z的方差為0,則可以實(shí)現(xiàn)無干擾傳輸,由于X,取值于實(shí)數(shù)R,因此,信道容量為無窮.因此通常對信道輸入應(yīng)有某種約束,最常用的輸入代價(jià)的約束是能量(或功率)的約束為<P如果噪聲Z的方差為0,則可以實(shí)現(xiàn)無干擾傳輸,4定義6.4.1有輸入功率約束P的高斯信道容量定義為C-maxI(X;Y)f(x):EXsP這個(gè)信道容量的計(jì)算并不是困難,事實(shí)上,取約束條件為EX2=P,則:I(X;r)=h(r)-h(rX)=h(r)-h(X+X)h(r)-h(zx)=h(r)-h(z)=h(r)--log2ten定義6.4.1有輸入功率約束P的高斯信道容量定義為5于是計(jì)算信道容量的問題就轉(zhuǎn)化為求h(Y)的極大值問題注意到Z與X獨(dú)立,且EZ=0,EZ2=N,而YX+Z,所以Er=E(X+Z=EX+Ez=0EY=EX+EZ=P+M由定理6.2.6知,有方差為P+N的連續(xù)隨機(jī)變量的最大熵在正態(tài)分布N(0,P+N)時(shí)到達(dá),所以h(Y)≤log2me(P+N)5于是計(jì)算信道容量的問題就轉(zhuǎn)化為求h(Y)的極大值問題6其中等號成立當(dāng)且僅當(dāng)YN(0,P+N),從而I(X;Y)<log2e(P+N)-log2eNg(+C=maxI(X;Y)=log(l+由于達(dá)到信道容量當(dāng)且僅當(dāng)YN(0,P+N)又因?yàn)閆口N(0,N),所以由X=Y-Z,可得,X□N(0,P)即達(dá)到信道容量的輸入分布為正態(tài)分布N(0,P)其中等號成立當(dāng)且僅當(dāng)YN(0,P+N),從而7一般無記憶加性噪聲信道當(dāng)加性噪聲功率為Ez2=N,輸入功率約束為EX2≤P時(shí)信道容量也可定義為C-max/(X;Y)f(x):EX2≤P或等價(jià)地表示為C=max(h(r)-h(z))(x):EX≤P由于有相同功率約束高斯信道是其特例,所以log(l+下界一般無記憶加性噪聲信道8另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=0EY=EX+EZ=P+N所以C≤-log2re(P+N)-h(Z)上界進(jìn)一步,因?yàn)榕cEZ2=N有相同方差的分布中正態(tài)分布N(O,N)有最大熵,所以h(Z)≤log(2eN)定義2丌e為具有可微熵h(Z)的熵功率它就是具有可微熵的高斯隨機(jī)變量的功率上一頁下一頁8另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=09所以C≤log2ne(P+N)-h(Z)就變?yōu)?C<-log2e(p+N)--log(rep)P+wg一般無記憶加性噪聲信道容量的上、下界:P+NP+wogN≤C≤-oP所以C≤log2ne(P+N)-h(Z)就變?yōu)?0復(fù)習(xí)提要序論信息論的形成及歷史claudeshannon及其主要貢獻(xiàn)、通信系統(tǒng)的模型信源、信道、信宿及相互關(guān)系、信息論的基本研究內(nèi)容復(fù)習(xí)提要11信息論基礎(chǔ)復(fù)習(xí)課件12信息論基礎(chǔ)復(fù)習(xí)課件13信息論基礎(chǔ)復(fù)習(xí)課件14信息論基礎(chǔ)復(fù)習(xí)課件15信息論基礎(chǔ)復(fù)習(xí)課件16信息論基礎(chǔ)復(fù)習(xí)課件17信息論基礎(chǔ)復(fù)習(xí)課件18信息論基礎(chǔ)復(fù)習(xí)課件19信息論基礎(chǔ)復(fù)習(xí)課件20信息論基礎(chǔ)復(fù)習(xí)課件21信息論基礎(chǔ)復(fù)習(xí)課件22信息論基礎(chǔ)復(fù)習(xí)課件23信息論基礎(chǔ)復(fù)習(xí)課件24信息論基礎(chǔ)復(fù)習(xí)課件25信息論基礎(chǔ)復(fù)習(xí)課件26信息論基礎(chǔ)復(fù)習(xí)課件27信息論基礎(chǔ)復(fù)習(xí)課件28信息論基礎(chǔ)復(fù)習(xí)課件29信息論基礎(chǔ)復(fù)習(xí)課件30信息論基礎(chǔ)復(fù)習(xí)課件31信息論基礎(chǔ)復(fù)習(xí)課件32信息論基礎(chǔ)復(fù)習(xí)課件33信息論基礎(chǔ)復(fù)習(xí)課件34信息論基礎(chǔ)復(fù)習(xí)課件35信息論基礎(chǔ)復(fù)習(xí)課件36信息論基礎(chǔ)復(fù)習(xí)課件3766、節(jié)制使快樂增加并使享受加強(qiáng)?！轮兛死?/p>

67、今天應(yīng)做的事沒有做，明天再早也是耽誤了。——裴斯泰洛齊

68、決定一個(gè)人