波形信源和波形信道

波形信源和波形信道第1頁，課件共52頁，創(chuàng)作于2023年2月4.1波形信源的統(tǒng)計(jì)特性和離散化實(shí)際某些信源的輸出常常是時間和取值都是連續(xù)的消息。例如語音信號、電視信號。這樣的信源成為隨機(jī)波形信源，其輸出消息可以用隨機(jī)過程{x(t)}來表示。隨機(jī)過程{x(t)}可以看成由一族時間函數(shù)組成稱為樣本函數(shù)。每個樣本函數(shù)是隨機(jī)過程的一個實(shí)現(xiàn)。圖4.1一個隨機(jī)過程第2頁，課件共52頁，創(chuàng)作于2023年2月連續(xù)信源：信源輸出的消息是在時間上離散，而取值上連續(xù)的、隨機(jī)的。如遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)。隨機(jī)波形信源：信源輸出的消息不僅在時間上是連續(xù)的而且在取值上也是連續(xù)的、隨機(jī)的。于是定義隨機(jī)波形信源的特點(diǎn)：（1）隨機(jī)波形信源中消息數(shù)是無限的。每一個可能的消息是隨機(jī)過程的一個樣本函數(shù)。每個樣本函數(shù)是隨機(jī)過程的一個實(shí)現(xiàn)。第3頁，課件共52頁，創(chuàng)作于2023年2月（2）隨機(jī)波形信源可用有限維概率密度函數(shù)族以及與各維概率密度函數(shù)有關(guān)的統(tǒng)計(jì)量來描述。平穩(wěn)隨機(jī)過程：統(tǒng)計(jì)特性不隨時間平移而變化。非平穩(wěn)隨機(jī)過程：統(tǒng)計(jì)特性隨時間平移而變化。第4頁，課件共52頁，創(chuàng)作于2023年2月隨機(jī)過程時間離散的隨機(jī)序列取樣定理時間連續(xù)函數(shù)f(t)的頻帶受限（上限頻率為F）取樣間隔為這樣，通過取樣，隨即過程就成為可數(shù)的無限維的隨機(jī)序列。如果隨機(jī)過程又是限時的，時間間隔為T，則就第5頁，課件共52頁，創(chuàng)作于2023年2月成為2FT個有限維的隨機(jī)序列。取樣之后還要對取值的離散化。取樣加量化才使隨機(jī)過程變換成時間的取值都是離散的隨機(jī)序列。量化必然帶來量化噪聲，引起信息損失。第6頁，課件共52頁，創(chuàng)作于2023年2月4.2.1連續(xù)信源的差熵

先看單個變量的基本連續(xù)信源的信息測度?；具B續(xù)信源的輸出是取值連續(xù)的單個隨機(jī)變量?？捎米兞康母怕拭芏?，變量間的條件概率密度和聯(lián)合概率密度來描述。4.2連續(xù)/波形信源的信息測度變量的一維概率密度函數(shù)為第7頁，課件共52頁，創(chuàng)作于2023年2月

聯(lián)合概率密度函數(shù)為一維概率分布函數(shù)為條件概率密度函數(shù)為它們之間的關(guān)系為第8頁，課件共52頁，創(chuàng)作于2023年2月圖4.2概率密度分布

并滿足

基本連續(xù)信源的數(shù)學(xué)模型為第9頁，課件共52頁，創(chuàng)作于2023年2月于是，連續(xù)信源的熵定義為無限大常數(shù)單位為：奈特/自由度第10頁，課件共52頁，創(chuàng)作于2023年2月

同理，兩個連續(xù)隨機(jī)變量X、Y的聯(lián)合熵和條件熵可以定義為4.2.2連續(xù)平穩(wěn)信源和波形信源的差熵

連續(xù)平穩(wěn)信源輸出的消息是連續(xù)型的平穩(wěn)隨機(jī)序列。其數(shù)字模型是概率空間[X,p(x)],第11頁，課件共52頁，創(chuàng)作于2023年2月連續(xù)平穩(wěn)無記憶信源1.N維聯(lián)合差熵2.N維條件差熵第12頁，課件共52頁，創(chuàng)作于2023年2月且當(dāng)隨機(jī)序列中各變量統(tǒng)計(jì)獨(dú)立時等式成立。所以得，波形信源的差熵由于波形信源輸出的消息是平穩(wěn)的隨機(jī)過程，它通過取樣分解成取值連續(xù)的無窮維隨機(jī)序列對于限頻F/限時T的平穩(wěn)隨機(jī)過程，它可以近似地用有限維N=2FT平穩(wěn)隨機(jī)序列來表示。這樣，一個頻帶和時間都為有限的波形信源就轉(zhuǎn)化為多維連續(xù)平穩(wěn)信源來處理。第13頁，課件共52頁，創(chuàng)作于2023年2月4.2.3兩種特殊連續(xù)信源的差熵

1.均勻分布連續(xù)信源的差熵

第14頁，課件共52頁，創(chuàng)作于2023年2月若限頻（F）、限時（T）均勻分布的波形信源的熵率第15頁，課件共52頁，創(chuàng)作于2023年2月2.高斯信源的熵值一維高斯連續(xù)信源第16頁，課件共52頁，創(chuàng)作于2023年2月可見，正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與其方差有關(guān)。當(dāng)均值m=0時，X的方差就等于信源輸出的平均功率P：如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機(jī)矢量是正態(tài)分布則稱此信源為N維高斯信源。若各隨機(jī)變量之間統(tǒng)計(jì)獨(dú)立，可得N維統(tǒng)計(jì)獨(dú)立的正態(tài)分布隨機(jī)矢量的差熵為第17頁，課件共52頁，創(chuàng)作于2023年2月4.3連續(xù)信源熵的性質(zhì)及最大差熵定理連續(xù)信源的差熵只具有熵的部分含義和性質(zhì)。1.可加性并當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時所以可得2.凸?fàn)钚院蜆O值性4.3.1差熵的性質(zhì)第18頁，課件共52頁，創(chuàng)作于2023年2月3.差熵可為負(fù)值在[a,b]區(qū)間內(nèi)均勻分布的連續(xù)信源其差熵為第19頁，課件共52頁，創(chuàng)作于2023年2月圖4.3空間A一一對應(yīng)地映射成空間B

4.變換性連續(xù)信源輸出的隨機(jī)變量（或隨機(jī)矢量）通過一一對應(yīng)變換，其差熵會發(fā)生變化。第20頁，課件共52頁，創(chuàng)作于2023年2月結(jié)論：連續(xù)信源的差熵不具有變換的不變性。第21頁，課件共52頁，創(chuàng)作于2023年2月圖4.4信息處理網(wǎng)絡(luò)

例4.1P154增加熵值第22頁，課件共52頁，創(chuàng)作于2023年2月4.3.2具有最大差熵的連續(xù)信源

1.峰值功率受限條件下信源的最大差熵

第23頁，課件共52頁，創(chuàng)作于2023年2月圖4.5輸出幅度受限的信源當(dāng)熵為最大時的概率密度分布

若當(dāng)N維隨機(jī)矢量受限時，也只有各隨機(jī)分量統(tǒng)計(jì)獨(dú)立，并均勻分布時具有最大熵。第24頁，課件共52頁，創(chuàng)作于2023年2月2.平均功率受限條件下信源的最大差熵第25頁，課件共52頁，創(chuàng)作于2023年2月4.5熵功率

第26頁，課件共52頁，創(chuàng)作于2023年2月圖4.7波形信道轉(zhuǎn)化成多維連續(xù)信道

當(dāng)信道的輸入和輸出都是隨機(jī)過程和4.6連續(xù)信道和波形信道的分類

4.6.1按信道輸入和輸出的統(tǒng)計(jì)特性分類時，這個信道稱之為波形信道或模擬信道第27頁，課件共52頁，創(chuàng)作于2023年2月

多維連續(xù)信道的輸入是N維連續(xù)型隨機(jī)序列輸出也是N維連續(xù)型隨機(jī)序列，而信道轉(zhuǎn)移概率密度函數(shù)是第28頁，課件共52頁，創(chuàng)作于2023年2月圖4.8基本連續(xù)信道

基本連續(xù)信道就是輸入和輸出都是單個連續(xù)型隨機(jī)變量的信道。4.6.2按噪聲統(tǒng)計(jì)特性分類高斯信道、白噪聲信道、高斯白噪聲信道和有色噪聲信道第29頁，課件共52頁，創(chuàng)作于2023年2月高斯白噪聲信道：信道中的噪聲是高斯白噪聲。

低頻限帶高斯白噪聲可以看成是無限帶寬的高斯白噪聲通過一個理想低通濾波器后所得。傳遞函數(shù)的頻率響應(yīng)為低頻限帶高斯白噪聲的功率譜密度為按噪聲對信號的作用功能分類加性和乘性信道第30頁，課件共52頁，創(chuàng)作于2023年2月加性信道：信道中噪聲對信號的干擾作用表現(xiàn)為與信號相加的關(guān)系。圖4.8加性信道

在加性連續(xù)信道中，信道的轉(zhuǎn)移概率密度函數(shù)等于噪聲的轉(zhuǎn)移概率密度函數(shù)。在加性信道中，條件熵為第31頁，課件共52頁，創(chuàng)作于2023年2月第32頁，課件共52頁，創(chuàng)作于2023年2月4.7連續(xù)信道和波形信道的信息傳輸率

4.7.1基本連續(xù)信道的平均互信息

輸入信源X為輸出信源Y為信道的轉(zhuǎn)移概率密度函數(shù)滿足第33頁，課件共52頁，創(chuàng)作于2023年2月

基本連續(xù)信道的信息傳輸率為比特/自由度第34頁，課件共52頁，創(chuàng)作于2023年2月4.7.2多維連續(xù)信道的平均互信息

信道的轉(zhuǎn)移概率密度函數(shù)多維連續(xù)信道的平均互信息第35頁，課件共52頁，創(chuàng)作于2023年2月多維連續(xù)信道的信息傳輸率為

比特/N個自由度

比特/自由度

平均每個自由度的信息傳輸率為4.7.3波形信道的信息傳輸率

比特/秒

第36頁，課件共52頁，創(chuàng)作于2023年2月2、對稱性3、凸?fàn)钚?、信息不增性圖4.10兩個串接連續(xù)信道

與離散信道的證明類似4.7.4連續(xù)信道平均互信息的特性

1、非負(fù)性第37頁，課件共52頁，創(chuàng)作于2023年2月5、坐標(biāo)變換平均互信息的不變性圖4.11一般通信系統(tǒng)的信號變換

變換前后概率密度函數(shù)有第38頁，課件共52頁，創(chuàng)作于2023年2月第39頁，課件共52頁，創(chuàng)作于2023年2月結(jié)論：在一一變換條件下，平均互信息保持不變。信源無記憶信道無記憶信源信道皆無記憶第40頁，課件共52頁，創(chuàng)作于2023年2月4.8連續(xù)信道和波形信道的信道容量一般加性波形信道的信道容量為：

比特/秒

在實(shí)際信道中，輸入信號和噪聲的平均功率總是有限的。現(xiàn)在平均功率受限的條件下，討論各種連續(xù)信道和波形信道的信道容量。4.8.1單符號高斯加性信道第41頁，課件共52頁，創(chuàng)作于2023年2月平均功率受限高斯信道的信道容量單符號高斯加性信道的輸入和輸出都是取值連續(xù)的一維隨機(jī)變量，而加入信道的噪聲是加性高斯噪聲。設(shè)信道迭加的噪聲n是均值為零，方差為的一維高斯噪聲，噪聲信源的熵為單符號高斯加性信道的信道容量第42頁，課件共52頁，創(chuàng)作于2023年2月只有當(dāng)信道的輸入信號是均值為零，平均功率為高斯分布的隨機(jī)變量時，信息傳輸率才能達(dá)到最大值。4.8.5限帶高斯白噪聲加性波形信道

而加入信道的噪聲是加性高斯白噪聲（均值為零、功率譜密度為），所以輸出信號滿足此信道稱為高斯白噪聲加性波形信道。信道的輸入和輸出信號都是隨機(jī)過程第43頁，課件共52頁，創(chuàng)作于2023年2月

圖4.14限帶高斯白噪聲加性信道變換成N個獨(dú)立并聯(lián)高斯加性信道

第44頁，課件共52頁，創(chuàng)作于2023年2月在[0，T]高斯白噪聲加性信道的信道容量為第45頁，課件共52頁，創(chuàng)作于2023年2月高斯白噪聲加性信道單元時間的信道容量為

比特/秒

其中Ps是信號的平均功率，為高斯白噪聲在帶寬W內(nèi)的平均功率。可見，信道容量與信噪功率比和帶寬有關(guān)。這就是重要的香農(nóng)公式。當(dāng)信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達(dá)到此信道容量。第46頁，課件共52頁，創(chuàng)作于2023年2月把信道的統(tǒng)計(jì)參量（信道容量）和物理量（頻帶寬W、T、信噪功率比），聯(lián)系了起來。4.8.7香農(nóng)公式的重要實(shí)際指導(dǎo)意義由香農(nóng)公式得出的幾個重要結(jié)論：1.提高信號與噪聲功率之比能增加信道的信道容量。第47頁，課件共52頁，創(chuàng)作于2023年2月例4.4（p181）

比特/秒

2.當(dāng)噪聲功率時，信道容量，這意味著無干擾連續(xù)信道的信道容量為無窮大。3.增加信道帶寬（也就是信號的帶寬）w，并不能無限制地使信道容量增大。第48頁，課件共52頁，創(chuàng)作于2023年2月令，可得由于當(dāng)時，，所以比特/秒

由香農(nóng)公式可以看出，當(dāng)帶寬W增大時，信道容量也開始增大，當(dāng)時，趨于一極限值。第49頁，課件共52頁，創(chuàng)作于2023年2月4.信道容量一定時，帶寬W、傳輸時間T和信噪功率比三者之間可以相互轉(zhuǎn)換。

（1）若傳輸時間T固定，則擴(kuò)展信道的帶寬W就可以降低信噪比的要求；反之，帶變窄，就要增加信噪功率比。例4.5（p181）注：帶寬與信噪功率比互換的過程并不是自然而然地實(shí)現(xiàn)的，可以采用調(diào)制解調(diào)方法。第50頁，課件共52頁，創(chuàng)作于2023年2月圖4.16理想