信息論與編碼（第3版） 課件 ch04波形信源和波形信道

第4章波形信源和波形信道普通高等教育“十一五”國(guó)家級(jí)規(guī)劃教材信息論與編碼（第3版）01連續(xù)信源和波形信源的信息測(cè)度首先,我們討論單個(gè)變量的基本連續(xù)信源的信息測(cè)度?；具B續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變量?？捎米兞康母怕拭芏?、變量間的條件概率密度和聯(lián)合概率密度來(lái)描述。變量的一維概率密度函數(shù)為連續(xù)信源的差熵連續(xù)信源的差熵連續(xù)信源的差熵連續(xù)信源的差熵由式(4.7)可知,所定義的連續(xù)信源的熵并不是實(shí)際信源輸出的絕對(duì)兼j,而連續(xù)信源的絕對(duì)熵應(yīng)該還要加上一項(xiàng)無(wú)限大常數(shù)項(xiàng)。這一點(diǎn)是可以理解的，因?yàn)檫B續(xù)信源的可能取值為無(wú)限多個(gè)，設(shè)取值是等概率分布，那么，信源的不確定性為無(wú)限大。當(dāng)確知輸出為某值后，所獲得的信息量也將為無(wú)限大。可見(jiàn),h(X)已不能代表信源的平均不確定性大小，也不能代表連續(xù)信源輸出的信息量。既然如此，為什么要定義連續(xù)信源的熵為式(4.7)呢？連續(xù)信源的差熵一方面，因?yàn)檫@樣定義可與離散信源的頰在形式上統(tǒng)一起來(lái);另一方面，因?yàn)樵趯?shí)際問(wèn)題中常常討論的是熵之間差值的問(wèn)題，如平均互信息。在討論熵差時(shí)，無(wú)限大常數(shù)項(xiàng)將有兩項(xiàng)，一項(xiàng)為正，一項(xiàng)為負(fù)，只要兩者離散逼近時(shí)所取的間隔▲一致，這兩個(gè)無(wú)限大項(xiàng)將互相抵消掉。因此在任何包含有熵差的問(wèn)題中，式(4.7)定義的連續(xù)信源的熵具有信息的特性。由此可見(jiàn)，通常將連續(xù)信源的熵h(X)稱(chēng)為差熵(或相對(duì)熵)，也稱(chēng)微分端,以區(qū)別于原來(lái)的絕對(duì)熵。連續(xù)信源的差熵同理,我們可以定義兩個(gè)連續(xù)變量X、Y的聯(lián)合熵和條件熵，即這樣定義的熵雖然在形式上和離散信源的熵相似，但在概念上不能把它作為信息熵來(lái)理解。連續(xù)平穩(wěn)信源和波形信源的差熵連續(xù)平穩(wěn)信源和波形信源的差熵連續(xù)平穩(wěn)信源和波形信源的差熵兩種特殊連續(xù)信源的差熵現(xiàn)在來(lái)計(jì)算兩種常見(jiàn)的特殊連續(xù)信源的差熵。1.均勻分布連續(xù)信源的熵值一維連續(xù)隨機(jī)變量X在[a,b]區(qū)間內(nèi)均勻分布時(shí)，概率密度函數(shù)為則得當(dāng)取對(duì)數(shù)以2為底時(shí)，單位為比特/自由度。N維連續(xù)平穩(wěn)信源輸出N維矢量X=(XlX2....XN),其分量分別在［a1,b1］，［a2,b2］，…，［aN,bN］的區(qū)域內(nèi)均勻分布，即N維聯(lián)合概率密度兩種特殊連續(xù)信源的差熵則稱(chēng)其為在N維區(qū)域內(nèi)均勻分布的連續(xù)平穩(wěn)信源。由式(4.23)可知,其滿(mǎn)足式(4.24)表明N維矢量X中各變量Xi(i=1,???,N)彼此統(tǒng)計(jì)獨(dú)立，則此連續(xù)平穩(wěn)信源為無(wú)記憶信源。由式(4.13)可求得此N維連續(xù)平穩(wěn)無(wú)記憶信源的差熵為兩種特殊連續(xù)信源的差熵可見(jiàn),N維區(qū)域內(nèi)均勻分布的連續(xù)平穩(wěn)無(wú)記憶信源的差熵就是w維區(qū)域的體積的對(duì)數(shù)。也等于各變量擊在各自取值區(qū)間［ai,bi］內(nèi)均勻分布時(shí)的差熵h(Xi)之和。因此，無(wú)記憶連續(xù)平穩(wěn)信源和無(wú)記憶離散平穩(wěn)信源一樣,其差熵也滿(mǎn)足已知限頻(F)、限時(shí)(T)的隨機(jī)過(guò)程可用2FT維連續(xù)隨機(jī)矢量來(lái)表示，即N=2FT。如果隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立，并且每一變量都在[a,b]們區(qū)間內(nèi)均勻分布，則可得限頻、限時(shí)均勻分布的波形信源的熵為在波形信源中常采用單位時(shí)間內(nèi)信源的差熵——熵率。因?yàn)樽畹腿勇蕿?/2F秒，所以單位間內(nèi)(秒)取樣數(shù)有2F個(gè)自由度。那么，均勻分布的波形信源的熵率為ht(X)=2Flog(b—a) (4.28)其單位為比特/秒。其中下標(biāo)t表示單位時(shí)間內(nèi)信源的熵，以區(qū)別于單位自由度的熵。2.高斯信源的熵值

基本高斯信源是指信源輸出的一維連續(xù)型隨機(jī)變量X的概率密度函數(shù)是正態(tài)分布，即兩種特殊連續(xù)信源的差熵兩種特殊連續(xù)信源的差熵02連續(xù)信源熵的性質(zhì)及最大差熵定理差熵的性質(zhì)

與離散信源的信息熵比較,連續(xù)信源的差矯具有以下一些性質(zhì):1.可加性任意兩個(gè)相互關(guān)聯(lián)的連續(xù)信源X和Y有并類(lèi)似離散情況，可以證得h(X\Y)≤h(X)或h(Y\X)≤h(Y)當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)，上兩式等式成立。進(jìn)而可得h(XY)≤h(X)+h(Y)當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)，等式成立。差熵的性質(zhì)差熵的性質(zhì)4.變換性連續(xù)信源輸出的隨機(jī)變量(或隨機(jī)矢量)通過(guò)確定的一一對(duì)應(yīng)變換，其差熵會(huì)發(fā)生變化，即:差熵的性質(zhì)差熵的性質(zhì)實(shí)際信源發(fā)出的消息大都要通過(guò)一系列的信息處理設(shè)備后才能在信道中傳輸。我們已知，在離散信源中若有確定的一一對(duì)應(yīng)變換關(guān)系，則變換后信源的炳是不變的。而連續(xù)信源的差熵要發(fā)生改變，它不具有變換的不變性?？梢?jiàn)，通過(guò)處理網(wǎng)絡(luò)后,變換器(處理網(wǎng)絡(luò))的輸出信源的熵等于輸入信源的熵減去雅可比行列式對(duì)數(shù)的統(tǒng)計(jì)平均值。這正是連續(xù)信源的差熵與離散信源熵的一個(gè)不同之處。5.極值性(即最大差熵定理)連續(xù)信源的差熵存在極大值。但與離散信源不同的是，其在不同的限制條件下,信源的最大熵是不同的。具有最大差熵的連續(xù)信源在離散信源中，當(dāng)信源符號(hào)等概率分布時(shí)信源的熵取最大值。在連續(xù)信源中差熵也具有極大值,但其情況有所不同。除存在完備集條件以外,還有其他約束條件。當(dāng)各約束條件不同時(shí)，信源的最大差熵值不同。通常求連續(xù)信源差熵的最大值,就是在下述若干約束條件下求泛函數(shù)的極值。具有最大差熵的連續(xù)信源1.峰值功率受限條件下信源的最大熵

具有最大差熵的連續(xù)信源2.平均功率受限條件下信源的最大熵

03熵功率熵功率

從上節(jié)已知，當(dāng)信號(hào)平均功率受限時(shí)，高斯分布信源的熵最大。令其平均功率為P,則其熵為如果另一信號(hào)的平均功率也為P，但不是高斯分布，那它的炳一定比式(4.43)計(jì)算的小。為此，我們引進(jìn)一個(gè)“熵功率”的概念。若平均功率為P的非高斯分布信源的熵為如稱(chēng)熵也為h的高斯信源的平均功率為熵功率即熵功率04連續(xù)信道和波形信道的信息傳輸率連續(xù)信道和波形信道的分類(lèi)

1.按信道輸入和輸出的統(tǒng)計(jì)特性分類(lèi)當(dāng)信道的輸入和輸岀都是隨機(jī)過(guò)程｛x(t)}和｛y(t)}時(shí)，即輸入和輸出都是隨機(jī)模擬信號(hào)時(shí)，這個(gè)信道稱(chēng)之為波形信道，又稱(chēng)為模擬信道，如圖4.3所示。實(shí)際模擬通信系統(tǒng)中，信道都是波形信道。連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)

和離散無(wú)記憶信道的定義一樣，若連續(xù)信道在任一時(shí)刻輸岀的變量只與對(duì)應(yīng)時(shí)刻的輸入變量有關(guān)，與以前時(shí)刻的輸入、輸岀變量無(wú)關(guān)，也與其后的輸入變量無(wú)關(guān)，則此信道為無(wú)記憶連續(xù)信道。同樣可以證明，式(4.48)是滿(mǎn)足連續(xù)無(wú)記憶信道的充要條件。一般情況，式(4.48)不滿(mǎn)足，也就是連續(xù)信道任何時(shí)刻的輸出變量與其他任何時(shí)刻的輸入、輸岀變量都有關(guān)，則此信道稱(chēng)為連續(xù)有記憶信道。連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)

2.按噪聲的統(tǒng)計(jì)特性分類(lèi)另外，如圖4.3所示，波形信道中有噪聲{n(t}(加入。所以，從另一角度來(lái)看,研究波形信道就要研究噪聲。在通信系統(tǒng)模型中，我們把來(lái)自各部分的噪聲都集中在一起，認(rèn)為都是通過(guò)信道加入的。實(shí)際無(wú)線電通信系統(tǒng)中所遇到的噪聲可分為兩類(lèi)。第一類(lèi)是系統(tǒng)外的噪聲,第二類(lèi)是系統(tǒng)內(nèi)部產(chǎn)生的噪聲。第一類(lèi)噪聲還可以進(jìn)一步分為人為的和非人為的干擾。無(wú)線電通信系統(tǒng)性能的基本限制因素是系統(tǒng)本身內(nèi)部的噪聲。這類(lèi)噪聲基本上有兩種噪聲成分:①在絕對(duì)零度以上，任何溫度的物體內(nèi)的電子均有隨機(jī)的熱運(yùn)動(dòng)，稱(chēng)它為熱噪聲;②在真空器件內(nèi)的電流或半導(dǎo)體器件內(nèi)的越結(jié)電流的統(tǒng)計(jì)起伏的變化，稱(chēng)它為散粒噪聲。這兩種內(nèi)部噪聲都是平穩(wěn)的隨機(jī)過(guò)程。因此,我們通常還可以按噪聲的性質(zhì)和作用來(lái)對(duì)波形信道進(jìn)行分類(lèi)。連續(xù)信道和波形信道的分類(lèi)按噪聲的統(tǒng)計(jì)特性來(lái)分類(lèi)——有高斯信道、白噪聲信道、高斯白噪聲信道和有色噪聲信道。?高斯信道——信道中的噪聲是高斯噪聲,則此信道為高斯信道。高斯噪聲是平穩(wěn)遍歷的隨機(jī)過(guò)程,其瞬時(shí)值的概率密度函數(shù)服從高斯分布（即正態(tài)分布）,其一維概率密度函數(shù)如式（4.29）所示。?白噪聲信道——信道中的噪聲是白噪聲，則此信道為白噪聲信道。白噪聲也是平穩(wěn)遍歷的隨機(jī)過(guò)程。它的功率譜密度均勻分布于整個(gè)頻率區(qū)間即功率譜密度為一常數(shù),其雙邊譜密度為工程上習(xí)慣釆用單邊譜密度，為連續(xù)信道和波形信道的分類(lèi)

?高斯白噪聲信道一信道中的噪聲{n(t}是高斯白噪聲，則此信道稱(chēng)為高斯白噪聲信道。高斯白噪聲是平穩(wěn)遍歷的隨機(jī)過(guò)程，其瞬時(shí)值的概率密度函數(shù)服從高斯分布（即正態(tài)分布），而且其功率譜密度均勻分布于整個(gè)頻率區(qū)間也就是一般情況下，把服從高斯分布而功率譜密度又是均勻分布的噪聲稱(chēng)為高斯白噪聲。熱噪聲就是高斯白噪聲的一個(gè)典型實(shí)例。因此，通信系統(tǒng)中的波形信道常假設(shè)為高斯白噪聲信道。連續(xù)信道和波形信道的分類(lèi)

3.按噪聲對(duì)信號(hào)的作用功能分類(lèi)按噪聲對(duì)信號(hào)的作用功能來(lái)分類(lèi)一一有加性信道和乘性信道。?乘性信道——信道中噪聲對(duì)信號(hào)的干擾作用表現(xiàn)為與信號(hào)相乘的關(guān)系，則信道稱(chēng)為乘性信道，此噪聲稱(chēng)為乘性干擾。在實(shí)際無(wú)線電通信系統(tǒng)中常遇到乘性干擾，主要的乘性干擾是衰落（瑞利）干擾，它是短波和超短波無(wú)線電通信中的主要干擾。其形成機(jī)理是由于多徑傳輸?shù)母鱾€(gè)信號(hào)在接收端互相干擾，因而引起合信號(hào)幅度的起伏。它可以看成信號(hào)在傳輸過(guò)程中由于信道參量的隨機(jī)起伏而引起的后果，所以可釆用信號(hào)通過(guò)線性時(shí)變系統(tǒng)的方式來(lái)處理。連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的分類(lèi)連續(xù)信道和波形信道的信息傳輸率

1.基本連續(xù)信道的平均互信息基本連續(xù)信道(又稱(chēng)單符號(hào)連續(xù)信道)的數(shù)學(xué)模型為[X,p(y|x),Y],如圖4.5所示。其輸入信源X為輸岀信源Y為而信道的傳遞概率密度函數(shù)為p(y|x)，滿(mǎn)足式(4.49)。連續(xù)信道和波形信道的信息傳輸率

連續(xù)信道和波形信道的信息傳輸率

連續(xù)信道平均互信息的特性

兩個(gè)連續(xù)型隨機(jī)變量之間的平均互信息的表達(dá)式與兩個(gè)離散隨機(jī)變量之間的平均互信息的表達(dá)式不但相類(lèi)似，而且具有相同的性質(zhì)。下面我們給出并論證兩連續(xù)型隨機(jī)變量之間的平均互信息的特性。1.非負(fù)性連續(xù)信道平均互信息的特性連續(xù)信道平均互信息的特性2對(duì)稱(chēng)性(交互性)連續(xù)信道平均互信息的特性3凸?fàn)钚?/p>

連續(xù)變量之間的平均互信息I(X;Y)是輸入連續(xù)變量X的概率密度函數(shù)p(x)的?形凸函數(shù)；I(X;Y)又是連續(xù)信道傳遞概率密度函數(shù)p(y|x)的U形凸函數(shù)。同理，連續(xù)隨機(jī)序列之間的平均互信息I(X;Y)是輸入信源X的多維概率密度函數(shù)p(x)的?形凸函數(shù)；I(X;Y)又是多維連續(xù)信道傳遞概率密度函數(shù)p(y|x)的U形凸函數(shù)。凸?fàn)钚缘淖C明方法類(lèi)似離散情況中的證明，在此從略。連續(xù)信道平均互信息的特性4信息不增性連續(xù)信道輸入變量為x,輸出變量為Y若對(duì)連續(xù)隨機(jī)變量Y再進(jìn)行處理而成為另一個(gè)連續(xù)隨機(jī)變量Z,一般總會(huì)丟失一些信息，最多保持原獲得的信息不變，而所獲得的信息不會(huì)增加。這也就是數(shù)據(jù)處理定理，即若連續(xù)隨機(jī)變量X→Y→Z形成馬氏鏈，則有I(X；Z)≤I(X；Y) (4.77)其中z=f(y),當(dāng)且僅當(dāng)該函數(shù)是一一對(duì)應(yīng)時(shí)，式(4.77)等式成立。對(duì)于多維連續(xù)型隨機(jī)序列，此性質(zhì)也成立。即若多維連續(xù)隨機(jī)序列X→Y→Z形成馬氏鏈，則有I(X；Z)≤I(X；Y) (4.78)當(dāng)且僅當(dāng)Y與Z是一一對(duì)應(yīng)變換時(shí)，式(4.78)等號(hào)成立。本性質(zhì)的證明過(guò)程完全與離散串聯(lián)信道的證明類(lèi)似，在此從略。從此性質(zhì)也可以得出，如果連續(xù)隨機(jī)變量Z和Y只是坐標(biāo)發(fā)生一一對(duì)應(yīng)的變換，雖然差熵會(huì)發(fā)生變化,但其平均互信息應(yīng)該不變。連續(xù)信道平均互信息的特性5.坐標(biāo)變換平均互信息的不變性

若信源發(fā)岀的消息(連續(xù)隨機(jī)變量)S,首先通過(guò)變換器I把它變換成適合信道傳輸?shù)妮斎胄盘?hào)X,而信道輸出的連續(xù)信號(hào)為Y,然后通過(guò)變換器II將F變換成相應(yīng)的連續(xù)信號(hào)Z,即S→X→Y→Z。若連續(xù)變量X、Y分別按一定關(guān)系一一映射成連續(xù)變量S、Z,則有I(S；Z)=I(X；Y) (4.79)若S、X、Y、Z是多維連續(xù)隨機(jī)序列，此性質(zhì)仍成立。我們已知通過(guò)一一對(duì)應(yīng)的變換，差熵會(huì)發(fā)生變化,但所傳輸?shù)钠骄畔⒘渴遣蛔兊?。因?yàn)槠骄バ畔⑹莾伸刂?通過(guò)變換后雅可比行列式對(duì)數(shù)的統(tǒng)計(jì)平均那一項(xiàng)正好抵消，因此，平均互信息保持不變。這一結(jié)果是合理的，因?yàn)樵谝灰粚?duì)應(yīng)的變換下，傳輸?shù)男畔⒘坎粫?huì)增加，也不會(huì)減少，符合數(shù)據(jù)處理定理。連續(xù)信道平均互信息的特性現(xiàn)在來(lái)論證，在一一對(duì)應(yīng)的變換條件下平均互信息的不變性?？紤]一般通信系統(tǒng)如圖4.7所示。設(shè)信源發(fā)出的消息為S,首先通過(guò)變換器I把它變換成適合信道傳輸?shù)男盘?hào)X,而信道輸出的信號(hào)為Y,然后通過(guò)變換器Ⅱ把Y變換成相應(yīng)的信號(hào)Z,送至收信者。連續(xù)信道平均互信息的特性連續(xù)信道平均互信息的特性連續(xù)信道平均互信息的特性6I（X,Y）與I（Xi,Yi）的關(guān)系

05高斯加性波形信道的信道容量單符號(hào)高斯加性信道單符號(hào)高斯加性信道是指信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是加性高斯噪聲。設(shè)信道疊加的噪聲n是均值為零,方差為?2的一維高斯噪聲測(cè)其概率密度函數(shù)見(jiàn)式(4.29)。根據(jù)式(4.30)求得噪聲信源的熵為單符號(hào)高斯加性信道限帶高斯白噪聲加性波形信道高斯白噪聲加性波形信道(AWGN)是常用的一種波形信道。此信道的輸入和輸岀信號(hào)是隨機(jī)過(guò)程{x(t)}和{y(t)},而加入信道的噪聲是加性高斯白噪聲{n(t)}(其均值為零，功率譜密度為N0/2)，所以輸岀信號(hào)滿(mǎn)足{y(t)}={x(t)}+{n(t)}此信道又稱(chēng)為可加波形信道。一般信道的頻帶寬度總是有限的，設(shè)其帶寬為W(即|f|≤W),這樣信道的輸入、輸出信號(hào)和噪聲都是限頻的隨機(jī)過(guò)程。根據(jù)取樣定理，可把一個(gè)時(shí)間連續(xù)的信道變換成時(shí)間離散的多維連續(xù)信道來(lái)處理，如圖4.8所示。由于是加性信道，所以多維連續(xù)信道也滿(mǎn)足Y=X+n限帶高斯白噪聲加性波形信道因?yàn)樾诺赖念l帶是受限的,所以加入信道的噪聲為限帶的高斯白噪聲。根據(jù)低頻限帶高斯白噪聲的重要性質(zhì)，限頻的高斯白噪聲過(guò)程可分解成N(=2WT)維統(tǒng)計(jì)獨(dú)立的隨機(jī)序列，其中每個(gè)分量ni都是均值為零、方差為的隨機(jī)變量。得其N(xiāo)維的聯(lián)合概率密度函數(shù)為對(duì)加性信道來(lái)說(shuō)，若上式成立，則有所以信道是無(wú)記憶的。這就是多維無(wú)記憶高斯加性信道'，其可等效成N個(gè)獨(dú)立的并聯(lián)高斯加性信道。限帶高斯白噪聲加性波形信道限帶高斯白噪聲加性波形信道式中,Ps是信號(hào)的平均功率，N0W中為高斯白噪聲在帶寬戸內(nèi)的平均功率（其功率譜密度為N0/2）,可見(jiàn),信道容量與信噪功率比和帶寬有關(guān)。式（4.90）就是重要的香農(nóng)公式。當(dāng)輸入信號(hào)是平均功率受限的高斯白噪聲信號(hào)時(shí)，信道的信息傳輸率才達(dá)到此信道容量。一些實(shí)際信道是非高斯波形信道。但在平均功率受限條件下，高斯白噪聲的熵最大，所以高斯加性信道是平均功率受限條件下的最差信道。香農(nóng)公式可適用于其他一般非高斯波形信道，由香農(nóng)公式得到的值是非高斯波形信道的信道容量的下限值。香農(nóng)公式的重要實(shí)際指導(dǎo)意義1.提高信號(hào)與噪聲功率之比能增加信道容量

信道能夠傳輸?shù)淖畲笮畔⑺俾适桥c信道的信噪功率比成正