信息論與編碼[第四章波形信源和波形信道]山東大學(xué)期末考試知識點復(fù)習(xí)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上第四章 波形信源和波形信道411連續(xù)信源的差熵差熵(有稱為相對熵或稱微分熵)已不具有信息熵的物理含義。但在任何包含有兩個信息熵的“熵差”問題中，它能替代信息熵H(X)而具有信息的特征。其單位是：對數(shù)以2為底，是比特自由度；以e為底，是奈特自由度；以10為底，是哈特自由度。412 多維連續(xù)平穩(wěn)信源的信息熵則各連續(xù)型隨機(jī)變量彼此統(tǒng)計獨立，稱為連續(xù)平穩(wěn)無記憶信源。否則，為平穩(wěn)有記憶信源。 N維連續(xù)平穩(wěn)信源可用下列一些差熵進(jìn)行信息測度： 1聯(lián)合差熵 (1)二維聯(lián)合差熵2條件差熵(1)二維連續(xù)隨機(jī)序列X=X1X2的條件差熵 3各種差熵之間的關(guān)系413 波形信源的差熵414 差熵

2、的性質(zhì) 與離散信源的信息熵比較，連續(xù)信源的差熵具有以下一些性質(zhì)： 1可加性 任意兩個相互關(guān)聯(lián)的連續(xù)信源X和Y，有3差熵可為負(fù)值不存在非負(fù)性。4極值性即最大差熵定理。 5變換性 連續(xù)信源輸出的隨機(jī)變量(或隨機(jī)矢量)通過確定的一一對應(yīng)變換，其差熵發(fā)生變化。但對于離散信源來說，其信息熵是不變的。415 最大差熵定理 1峰值功率受限(取值幅度受限) (1)連續(xù)隨機(jī)變量X，其取值幅度限于區(qū)間a，b內(nèi)，則其概率密度函數(shù)是均勻分布時，差熵具最大值。最大值為 3協(xié)方差矩陣受限 N維隨機(jī)矢量X=X1X2XN，其N維協(xié)方差矩陣C受限(即各隨機(jī)變量Xi的均值限定為mi(i=1，2，N)，隨機(jī)變量Xi與Xj之間的二階

3、中心矩限定為ij(i，j=1，2，N)，則N維高斯信源(即XN(mi，C)的差熵最大，最大值為416 連續(xù)信源熵的變換 1連續(xù)隨機(jī)變量418 波形信道和連續(xù)信道的分類和數(shù)學(xué)模型 1波形信道(模擬信道) 信道的輸入輸出信號都是平穩(wěn)隨機(jī)過程x(t)和y(t)，則稱之為波形信道。波形信道在限頻、限時條件下，根據(jù)取樣定理，可離散化成多維連續(xù)信道。2多維連續(xù)信道4加性信道 信道中噪聲對信號的作用： 5高斯白噪聲信道 若信道的噪聲是高斯噪聲，即噪聲是平穩(wěn)隨機(jī)過程，其瞬時值的概率密度函數(shù)服從正態(tài)分布(高斯分布)，則此信道稱為高斯信道。 若信道的噪聲是白噪聲，即噪聲是平穩(wěn)隨機(jī)過程，其功率譜密度均勻分布于整個頻

4、域，則此信道稱為白噪聲信道。 若信道的噪聲是高斯分布的白噪聲，則此信道稱為高斯白噪聲信道。419 連續(xù)信道和波形信道的平均互信息及其特性 1基本連續(xù)信道4110 連續(xù)信道和波形信道的信道容量 連續(xù)信道和波形信道的信道容量基本同于離散信道，是對輸入信號概率密度函數(shù)求平均互信息的極大值。不同的是，還需考慮輸入信號和信道噪聲所受的不同限制條件。一般情況，只研究平均功率受限的加性噪聲信道。 1單符號高斯加性信道4111 香農(nóng)公式的重要實際指導(dǎo)意義 香農(nóng)公式將信息傳輸率(信道的統(tǒng)計信息參量)與信道的實際物理量(帶寬W、傳輸時間T，以及信噪功率比PsPn)聯(lián)系了起來。一旦這三個物理量確定，理想通信系統(tǒng)的極限信息傳輸率也就確定了。香農(nóng)公式有以下幾個重要結(jié)論： (1)信道容量一定時，在理想情況下，連續(xù)信道與信息傳輸有以下三種匹配方式： 在固定傳輸時間T下，以帶寬換取信噪比； 在固定信噪比PsPn下，以頻帶換取時間； 在固定頻帶W下，以時間換取信噪比。 (2)無干擾連續(xù)信道的信道容量為無窮大。 (3)提高信道的信噪功率比，能增加信道的信道容量。 (4)