現(xiàn)代通信原理(02-3)

1、現(xiàn)代通信原理二、信號(hào)、噪聲與信息論(3)8/10/2022127 信息的度量 信息（INFORMATION）：抽象的、本質(zhì)的。是消息的有效內(nèi)容。 消息（MESSAGE）：隨機(jī)的、無法預(yù)知的。是信息的載體，信號(hào)的內(nèi)容。 信號(hào)（SINGNAL）：消息的載體形式。 用相同的消息量來表達(dá)的信息量是不一樣的。對(duì)于一個(gè)通信系統(tǒng)，若用相同長度的二進(jìn)制信號(hào)，能傳輸?shù)男畔⒘吭酱螅f明其通信能力越強(qiáng)。8/10/20222271 消息的統(tǒng)計(jì)特性 離散信源：產(chǎn)生離散消息，有限種符號(hào)，可以看成是一種有限個(gè)狀態(tài)的隨機(jī)序列，用離散型隨機(jī)過程的統(tǒng)計(jì)特性予以描述。 連續(xù)信源：產(chǎn)生連續(xù)消息。8/10/20223 假設(shè)離散信源為包

2、含N種符號(hào)x1,x2,xN的集合，每個(gè)符號(hào)出現(xiàn)的概率分別為P(x1),P(x2),p(XN),那么可以用概率場來描述信源。 x1, x2, , Xn P(x1), P(X2), , P(Xn)() P(Xi)=1 8/10/20224表2-1 英文字母的出現(xiàn)概率 符號(hào)概率符號(hào)概率符號(hào)概率空隙0.20s0.052y,w0.012e0.105h0.047g0.011t0.072d0.035b0.0105o0.0654i0.029v0.008a0.063c0.023k0.003n0.059f,u0.0225x0.002l0.055m0.021j,q,z0.001r0.054p0.01758/10/2

3、0225表2-2 漢字電報(bào)中數(shù)字代碼的出現(xiàn)概率 數(shù)字0123456789概率026016008006200600630155006200480052 一般情況下，離散信號(hào)中各符號(hào)的出現(xiàn)是相互關(guān)聯(lián)的。即當(dāng)前出現(xiàn)的符號(hào)，其概率與先前出現(xiàn)過的符號(hào)有關(guān)，必須用條件概率來描述離散消息。8/10/20226 通常，只考慮前一個(gè)符號(hào)對(duì)后一個(gè)符號(hào)的影響，用轉(zhuǎn)移概率矩陣來描述。 對(duì)于連續(xù)信源，其消息的取值是無限的，必須用概率密度函數(shù)反映其統(tǒng)計(jì)特性。消息各點(diǎn)之間的統(tǒng)計(jì)關(guān)聯(lián)性可以用二維或多維概率密度來描述。8/10/20227 2.7.2 離散信源的信息量 對(duì)二進(jìn)制來說： 1位符號(hào)可以表示2個(gè)事件。 2位符號(hào)可以表

4、示4個(gè)事件。 3位符號(hào)可以表示8個(gè)事件。 對(duì)于二維離散序列，N位符號(hào)所構(gòu)成的隨機(jī)離散序列可能出現(xiàn)的消息量為2N。 8/10/20228 基于這一考慮，哈特首先提出采用消息出現(xiàn)概率的對(duì)數(shù)（以2為底）來作為離散消息的度量單位，稱為信息量，用I（xi）表示：I(xi)=log1/P(xi)=-logP(xi) 式中，P(xi)為該消息發(fā)生的概率。當(dāng)對(duì)數(shù)以2為底時(shí)，信息量單位為比特(bit)；對(duì)數(shù)以e為底時(shí)，信息量單位為奈特(nit)。 目前常用比特。8/10/20229 例2-1 例2-2 以上是單一符號(hào)出現(xiàn)的信息量。對(duì)于由一串符號(hào)構(gòu)成的消息，如果各符號(hào)的出現(xiàn)相互獨(dú)立，整個(gè)消息的信息量II=- ni

5、logP(xi)例2-3 8/10/202210 當(dāng)存在兩個(gè)信源X和Y時(shí)，它們所出現(xiàn)的符號(hào)分別為xi和yj，則定義這兩個(gè)信源的聯(lián)合信息量為I（xiyj）I（xiyj）=-logP(xiyj) 式中P(xiyj)為信源X出現(xiàn)xi而信源Y出現(xiàn)yj的聯(lián)合概率。當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)，聯(lián)合信息量等于X和Y各自信息量之和,如下式：I（xiyj）=-logP(xiyj) =-logP(xi)P(yj) =-logP(xi)+-logP(yj)8/10/202211 在數(shù)字通信系統(tǒng)中，信源發(fā)送的離散符號(hào)集合可以看成是X，信宿接收的離散符號(hào)集合可以看成是Y，通常X的概率場是已知的，稱為先驗(yàn)概率，記為P（xi）。

6、當(dāng)接收端每收到Y(jié)中的一個(gè)符號(hào)yj以后，接收者要重新估計(jì)發(fā)送端各符號(hào)xi的出現(xiàn)概率分布，這個(gè)概率分布稱為條件概率或后驗(yàn)概率，用P（xi/yj）表示。 8/10/202212互信息量：后驗(yàn)概率與先驗(yàn)概率之比的對(duì)數(shù)。I(xi,yj)=logP(xi/yj)/P(xi) 式中P(xi/yj)為條件概率 I(xi,yj)反映了兩個(gè)隨機(jī)事件之間的統(tǒng)計(jì)關(guān)聯(lián)程度，其物理意義為接收端獲取信源信息的能力。 8/10/202213 1、若xi與yj之間統(tǒng)計(jì)獨(dú)立，即出現(xiàn)yj與出現(xiàn)xi無關(guān)。P(xi/yj)= P(xi)， I(xi,yj)=0，互信息量為0。 2、若出現(xiàn)xi就一定要出現(xiàn)yj。P(xi/yj)=1， I

7、(xi,yj)= I(xi) ，互信息量等于信源信息量。例248/10/202214273 離散信源的平均信息量（熵） 當(dāng)消息很長時(shí)，用符號(hào)出現(xiàn)的概率來計(jì)算消息的信息量是比較麻煩的，此時(shí)引入平均信息量（熵）的概念。 平均信息量（熵）：每個(gè)符號(hào)所含信息量的統(tǒng)計(jì)平均值，用H（X）表示H（X）=- p(xi)logp(xi)（2-7） 例2-58/10/202215一消息由0、1、2、3四種符號(hào)組成，各符號(hào)出現(xiàn)概率分別為3/8，1/4，1/4和1/8。消息總長57 個(gè)符號(hào)，其中0出現(xiàn)23次，1出現(xiàn)14次，2出現(xiàn)13次，3出現(xiàn)7次。用上述二種方法求該消息的信息量。 8/10/202216解法一：解法二

8、：8/10/202217 如果消息中各符號(hào)出現(xiàn)統(tǒng)計(jì)相關(guān)，則式（2-7）不再適用，必須用條件概率來計(jì)算平均信息量，此時(shí)引入條件熵的概念：H(xj/xi)= p(xi) -p(xj/xi)logp(xj/xi) =- p(xi)p(xj/xi)logp(xj/xi)=- p(xi,xj)logp(xj/xi) 8/10/202218 例2-6 某離散信源由A、B、C三種符號(hào)組成。相鄰兩符號(hào)出現(xiàn)統(tǒng)計(jì)相關(guān)，其轉(zhuǎn)移概率矩陣= 且已知P（A）= P（B）= P（C）=求該信源的條件平均信息量。8/10/202219H（xj/xi）=-=-P(A)P(A/A)logp(A/A)+P(B/A)logP(B/A

9、)+P(C/A)logp(C/A)-P(B)P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B)-P(C)P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C)=0.872(bit/符號(hào))若上例中A、B、C符號(hào)統(tǒng)計(jì)獨(dú)立，則可求得平均信息量 H（X）=- ) 符號(hào)間統(tǒng)計(jì)獨(dú)立時(shí)信源的熵高于統(tǒng)計(jì)相關(guān)的熵，符號(hào)間相互關(guān)聯(lián)將使平均信息量減小。8/10/202220通信中要尋求解決的問題 通信系統(tǒng)的目的是信息傳輸，接收端（信宿）要能最大的獲取發(fā)送端（信源）的信息。要解決以下問題：1、發(fā)送信號(hào)的概率如何分布才能的到最大熵？2、

10、最大熵是多少？8/10/202221 當(dāng)離散信源中每個(gè)符號(hào)等概出現(xiàn)，而且各符號(hào)的出現(xiàn)為統(tǒng)計(jì)獨(dú)立時(shí)，該信源的平均信息量最大。此時(shí)最大熵Hmax= - 8/10/202222若二元離散信源的統(tǒng)計(jì)特性為P+Q=1 H(X)=-(Plogp+QlogQ)=-PlogP+(1-P)log(1-P)對(duì)此式求導(dǎo)求極值，由dH(X)/DP=0,可知當(dāng)概率P=Q=1/2時(shí)，有信源的最大熵H(X)max=1(bit)8/10/202223圖 2-1 熵與概率的關(guān)系8/10/202224 對(duì)于三元離散信源，當(dāng)概率P1=P2=P3=1/3時(shí)信源最大熵H(X)max=1.585(bit),此結(jié)論可以推廣到N元離散信源。

11、 減小或消除符號(hào)間的關(guān)聯(lián)，并使各符號(hào)的出現(xiàn)趨于等概，將使離散信源達(dá)到最大熵，從而以最少的符號(hào)傳輸最大的信息量。這就是離散信源編碼的目的。8/10/202225 對(duì)于兩個(gè)離散信源X和Y的情況，X中xi和Y中yi同時(shí)出現(xiàn)的平均信息量稱為聯(lián)合熵或共熵，定義為H(XY)=- P(xiyj)logP(xiyj) 8/10/202226 兩個(gè)離散信源X和Y，X中出現(xiàn)xI的條件下Y中出現(xiàn)yi的平均信息量稱為條件熵，定義為H(X/Y)=- P(xiyj)logP(xi/yj)同理有H(Y/X)=- P(xiyj)logP(yi/xj)8/10/202227互信息量的統(tǒng)計(jì)平均值稱為平均互信息量，定義為I(X，Y

12、)=- P(xiyj)I(xj，yi) =- P(xiyj) log8/10/2022281、共熵與熵和條件熵的關(guān)系為H（XY）=H（X）+H（Y/X）H（XY）=H（Y）+H（X/Y）2、平均互信息量與熵和條件熵的關(guān)系為I（X，Y）=H（X）-H（X/Y）I（X，Y）=H（Y）-H（Y/X）3、平均互信息量與熵和共熵的關(guān)系為I（X，Y）=H（X）+H（Y）-H（YX）8/10/202229274 連續(xù)信源的信息度量 根據(jù)抽樣定理，如果一個(gè)連續(xù)的低通信號(hào)其上限頻率為W，那么可以用頻率為2W的抽樣序列進(jìn)行無失真的表示。 設(shè)一連續(xù)的平穩(wěn)隨機(jī)函數(shù)，其一元概率密度為p(xi)，我們將隨機(jī)變量的取值范圍

13、內(nèi)分成2N小段，當(dāng)N足夠大時(shí)，xi小段內(nèi)的概率可近似表示為 P(xixxi+x)p(xi)xi8/10/202230 當(dāng)各抽樣點(diǎn)統(tǒng)計(jì)獨(dú)立時(shí)每個(gè)點(diǎn)包含的平均信息量（熵）為： H(X)- p(xi)xilogp(xi)xi 令xi0,N,則可得連續(xù)每個(gè)抽樣點(diǎn)的平均信息量 H(X)= - p(xi) xilogp(xi)8/10/202231=- p(x)dxlogp(x)dx=- p(x)logp(x)dx-logdx p(x)dx=- p(x)logp(x)dx+log(1/dx)稱為絕對(duì)熵。定義 H（X）=- p(x)logp(x)dx為相對(duì)熵。 例2-78/10/202232 如前所述，離散

14、消息源當(dāng)所有符號(hào)等概輸出時(shí)，其熵最大。 連續(xù)信息源的最大熵條件如何求得？最大熵是多少？ 8/10/202233 取決于消息源輸出上所受的限制。常見的限制有兩種。 峰值受限：對(duì)于有線性要求的系統(tǒng)，為了避免線性失真，對(duì)信號(hào)的峰值幅度有限制。 均方值受限（功率受限）：無線性要求的系統(tǒng)。 8/10/2022341、對(duì)于均方值受限系統(tǒng)（功率受限系統(tǒng) 最佳概率密度函數(shù)為正態(tài)分布p(x)= exp-x2/(2 2) 其中數(shù)學(xué)期望為0，方差為 2最佳分布時(shí)的最大熵為 H(X)=log (bit) 8/10/2022352、對(duì)于峰制受限情況（功率受限系統(tǒng)） 最佳概率密度函數(shù)為均勻分布 p(x)= 其中x的取值范

15、圍為（-A，A） 最佳分布時(shí)的最大熵為 H(X)=log(2A)(bit) 8/10/202236 連續(xù)信源編碼的目的，就是要根據(jù)信源輸出的受限情況，將其信源的概率密度函數(shù)變換為符合最大熵條件的概率密度函數(shù)，以得到最大熵。8/10/202237 與離散信源相對(duì)應(yīng)，當(dāng)發(fā)送端連續(xù)信源為X，接收到的連續(xù)信源為Y時(shí)，它們的相對(duì)條件熵H(X/Y)=- p(y)p(x/y)log(x/y)dxdy 其中P(y)為接收信號(hào)y的概率密度函數(shù)，p(x/y)為條件概率密度。 同理有： H(X/Y)=- p(x)p(y/x)log(y/x)dxdy 8/10/202238連續(xù)信源的平均互信息量I(X,Y)= - p

16、(xy)log dxdy平均互信息量與條件熵和熵之間的關(guān)系為：I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）8/10/2022392.8 信道容量和香農(nóng)公式 信道容量： 單位時(shí)間內(nèi)信道上所能傳輸?shù)淖畲笮畔⒘糠Q為信道容量。8/10/202240281 有擾離散信道的信息傳輸 離散信道:信道輸入和輸出都是離散符號(hào)。 1、當(dāng)信道中無干擾時(shí)，離散信道輸入符號(hào)X和輸出符號(hào)Y之間有一一對(duì)應(yīng)的關(guān)系。 2、當(dāng)信道中存在干擾時(shí)，輸入符號(hào)與輸出符號(hào)之間不存在一一對(duì)應(yīng)關(guān)系，只存在一定的統(tǒng)計(jì)相關(guān)性。8/10/202241 這種統(tǒng)計(jì)相關(guān)性取決于轉(zhuǎn)移概率p(yj/xi)。離散無記憶信道的轉(zhuǎn)移概率可用下列矩陣

17、表示： P(yj/xi)= 8/10/202242同理有 P(xi/yj)= 8/10/202243無記憶信道 每個(gè)輸出符號(hào)只取決于當(dāng)前的輸入符號(hào)，而與其它輸入符號(hào)無關(guān)。 信道轉(zhuǎn)移概率矩陣中各行和各列具有相同集合的元素。對(duì)稱信道- p(yj/xi)logp(yj/xi)=常數(shù)即上述求和與i無關(guān) 8/10/202244對(duì)稱信道的輸入、輸出符號(hào)集合之間的條件熵H(Y/X)=- p(xiyj)logp(yj/xi) =- p(xi)p(yj/xi)logp(yj/xi) =- p(yj/xi) logp(yj/xi) p(xi) =- p(yj/xi) logp(yj/xi) 上式表明，對(duì)稱信道的條

18、件熵H（Y/X）與輸入符號(hào)p(xi)的概率無關(guān)，僅與信道轉(zhuǎn)移概率p(yj/xi)有關(guān)。8/10/202245同理有H(X/Y)= - p(xi/yj) logp(xi/yj) 以有擾信道無記憶的二進(jìn)制對(duì)稱信道為例，如圖2-2所示，它的傳輸特性可用轉(zhuǎn)移概率矩陣來表示。 p(yj/xi)=8/10/202246平均互信息量 I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X） 表示了從Y中獲取的關(guān)于X的信息，因而也就是有擾信道所傳輸?shù)男畔⒘俊?即有擾信道上所傳輸?shù)男畔⒘坎坏c條件熵H（X/Y）或H（Y/X）有關(guān)，而且與熵H（X）或H（Y）有關(guān)。 盡管對(duì)稱信道的條件熵只取決于信道轉(zhuǎn)移概率，但

19、H（X）或H（Y）卻與p(x)或p(y)有關(guān)。8/10/202247 假設(shè)通信系統(tǒng)發(fā)送端每秒發(fā)出r個(gè)符號(hào)，則有擾信道的信息傳輸速率RR=I(X,Y)r=H(X)-H(X/Y)r =H(Y)-H(Y/X)r 有擾信道的信道容量： 有擾離散信道的最高信息傳輸速率。用C表示。8/10/202248C=Rmax=maxH(X)-H(X/Y)r =maxH(Y)-H(Y/X)r 顯然，在條件熵一定的情況下（即信道情況一定時(shí)），若能使H（X）或H（Y）達(dá)到最大，即可求得有擾離散對(duì)稱信道的信道容量。8/10/202249 在對(duì)稱信道時(shí)，若信道輸入符號(hào)是等概分布的，輸出符號(hào)也是等概分布的。 證明：設(shè)輸入符號(hào)等

20、概分布，即p(xi)=1/L,對(duì)稱信道轉(zhuǎn)移矩陣中第j列元素為p(yj/xi) p(yj/x2) p(yj/XL)，則信道輸出符號(hào)yj的概率 p(yj)= p(xi)p(yj/xi)= p(yj/xi) 8/10/202250 因此輸出符號(hào)也是等概分布的，此時(shí)H（Y）達(dá)到最大熵，Hmax(Y)=logM。得有擾離散信道的信道容量 ：C=logM+ p(yj/xi)logp(yj/xi)r例2-8 8/10/2022512.8.2有擾連續(xù)信息的信息傳輸 在有擾連續(xù)信道中，接受到的信號(hào)y是發(fā)送信號(hào)x和信道噪聲n的線性疊加，即 y=x+n 假設(shè)信號(hào)和噪聲在各抽樣點(diǎn)上均為獨(dú)立的正態(tài)分布。此時(shí)只需考慮一維

21、概率密度，而且條件概率密度函數(shù)p(y/x)等于噪聲n的概率密度函數(shù)f(n),即 p(y/x)=f(y-x)=f(n) 8/10/202252由連續(xù)信源的相對(duì)條件熵定義式（2-34）可得 H(Y/X)=- p(x)dx p(y/x)logp(y/x)dy =- p(x)dx f(n)logf(n)dn =- f(n)logf(n)dn=H(N) 上式表明，條件熵H（Y/X）就是噪聲源的熵H（N）?；バ畔⒘?I（X，Y）=H（Y）-H（Y/X）=H（Y）-H（N）8/10/202253 對(duì)于頻帶限于W的連續(xù)信號(hào)，可以用抽樣定理變換為離散信號(hào)，理想情況下最低抽樣頻率為2W，因此有擾連續(xù)信道的信道容量

22、C=maxH(X)-H(X/Y)*2W=maxH(Y)-H(Y/X)*2W 假設(shè)干擾為與信號(hào)獨(dú)立的白色高斯噪聲，信號(hào)功率為S，噪聲功率為N。 8/10/202254 在平均功率受限（均方值受限）的條件下可知，H（X）或H（Y）達(dá)到最大熵的最佳概率密度函數(shù)為高斯（正態(tài)）分布，并且最大熵為 H(X)=log H(Y)=log H(X)=log8/10/202255 可得連續(xù)信道的信道容量公式（香農(nóng)公式）如下： C=Wlog(1+S/N)(b/s) 香農(nóng)公式可得到如下結(jié)論：1、提高信噪比能增加信道容量。 2、無干擾信道容量為無窮大。3、增加信道頻帶W并不能無限制增大信道容量。 （證明在下頁） 4、信道容量一定時(shí)，帶寬W與信噪比S/N之間可以彼此互換。8/10/202256噪聲功率N=Wn0(其中n0為噪聲的單邊帶功率譜密度)所以C= Wlog(1+S/n0W) =(S/n0) (n0W/S)log(1+S/n0W) =(S/n0)loge =1.44(S/n0)8/10/202257 香農(nóng)公式給出了信道容量的理論極限，并未給出怎樣來實(shí)現(xiàn)這一極限。 通信原理這門課程主要要討論的問題就是采用怎樣的編碼調(diào)制來達(dá)到香農(nóng)極限。 圖2-3和圖2-4