§4 波形信源與波形信道

1、4 波形信源與波形信道4.1 連續(xù)性信源的熵4.2 Shannon公式 連續(xù)信源的熵 波形信源的熵 連續(xù)信源熵的性質(zhì)一、連續(xù)信源的熵4.1 連續(xù)性信源的熵1. 量化逼近法 將X的取值范圍a,b作N等分，每份=(b-a)/Np(x)ab0a+(i-1)a+ix一、連續(xù)信源的熵那么X落在第i區(qū)間內(nèi)的概率為：Pi4.1 連續(xù)性信源的熵那么連續(xù)信源X: 此信源合理！一、連續(xù)信源的熵4.1 連續(xù)性信源的熵討論X之熵稱為信源X的相對熵差熵4.1 連續(xù)性信源的熵一、連續(xù)信源的熵2. 相對熵4.1 連續(xù)性信源的熵一、連續(xù)信源的熵例1：求高斯信源熵與均值無關(guān)！均值方差4.1 連續(xù)性信源的熵一、連續(xù)信源的熵2.

2、相對熵二、波形信源的熵波形信源熵那么，波形信源的相對熵為：對于限頻W、限時T的平穩(wěn)隨機(jī)過程，N=2WT4.1 連續(xù)性信源的熵三、連續(xù)信源熵的性質(zhì)1. 鏈?zhǔn)椒敲春酮?dú)立界 2. 可為負(fù)例2.解： 假設(shè)b-a1，那么h(X)0 假設(shè)b-a1，那么h(X) 04.1 連續(xù)性信源的熵三、連續(xù)信源熵的性質(zhì)3. 變換性例3： 設(shè)一個連續(xù)信源，其輸出信號在1，1 范圍內(nèi)具有均勻的概率密度函數(shù)，試求該信源的相對熵；假設(shè)將輸出信號放大1倍，再求相對熵。解：比照離散信源.4.1 連續(xù)性信源的熵結(jié)論：三、連續(xù)信源熵的性質(zhì)3. 變換性 當(dāng)變換為平移或旋轉(zhuǎn)時，熵不變。4.1 連續(xù)性信源的熵例4： 設(shè)信源X方差為2，均值

3、為0的正態(tài)分布。經(jīng)過放大倍數(shù)為k，直流分量為a的放大器輸出，y=kx+a，求h(Y)。解： Y是均值為a，方差為k22的正態(tài)變量。4.1 連續(xù)性信源的熵定理4.1 一個連續(xù)信源輸出信號的平均功率限定為P，則當(dāng)輸出信號幅度的概率密度分布是高斯分布時，信源具有最大熵，其值為 。離散信源也存在最大熵?。ㄗ畲箅x散熵定理） h(X) 為p(x) 的上凸函數(shù)，對某種p(x)的分布，h(X)可到達(dá)最大值。三、連續(xù)信源熵的性質(zhì)4.1 連續(xù)性信源的熵4. 凸?fàn)钚訟、平均功率受限條件下信源的最大熵定理 假設(shè)信源X輸出的幅度被限定在區(qū)域a,b 內(nèi)，那么當(dāng)輸出信號的概率密度函數(shù)是均勻分布時，信源具有最大熵。4. 凸?fàn)?/p>

4、性四、連續(xù)信源熵的性質(zhì)B、幅度受限條件下的最大信源熵信號幅度受限也即峰值功率受限約束條件：4.1 連續(xù)性信源的熵4 波形信源與波形信道4.1 連續(xù)性信源的熵4.2 Shannon公式 波形信道中的平均互信息 波形信道中的信道容量 Shannon公式及其意義4.2 Shannon公式一、平均互信息波形信道x(t)y(t)1.根本公式采樣后：Y=X+n, X與n獨(dú)立信道nXY 2. 加性噪聲信道的平均互信息一、平均互信息4.2 Shannon公式A.信道特點(diǎn)B. 條件熵噪聲熵一、平均互信息噪聲源熵C. 平均互信息4.2 Shannon公式二、信道容量4.2 Shannon公式 1.定義： 2. 平

5、均功率受限的高斯加性信道的信道容量當(dāng)Y正態(tài)分布時，h(Y)最大，有：二、信道容量 設(shè)噪聲為均值為0，方差為2高斯白噪聲 設(shè)信道輸出Y的平均功率限于P0最佳輸入概率密度：(bit/samp)4.2 Shannon公式二、信道容量4.2 Shannon公式 設(shè)信號有效帶寬為B，采樣速率 時，采樣序列可以攜帶信源的全部信息量?？紤]單位時間傳輸情況bit/secbit/sec 香農(nóng)公式：2=N0B 二、Shannon公式及其意義4.2 Shannon公式bit/secbit/sec 香農(nóng)公式：2=N0B 香農(nóng)公式的條件：1. 信源平均功率受限為PS ；2. 噪聲為加性高斯白噪聲；3. 信道帶寬受限為B

6、。帶限AWGN信道的容量 1. 建立了連續(xù)信道的帶寬B，信噪比Ps/ 2，信道容量Ct之間的定量關(guān)系，這三者之間可以互換。 帶寬不變(B不變)，增加信號功率或者提高信噪比，可使Ct增大； 信噪比不變，擴(kuò)展頻帶寬度B也可增大信道容量Ct ；二、Shannon公式及其意義4.2 Shannon公式信道容量（bps/Hz）信噪比（S/N）B=1MHz3. 2 信道容量例：音頻 的帶寬為B=3kHz，鏈路的典型信噪比為30dB，那么 信道容量為： 如果 網(wǎng)的信噪比沒有改善或不使用壓縮方法，Modem將達(dá)不到更高速率。 綜合業(yè)務(wù)數(shù)字網(wǎng)ISDN出現(xiàn)后，取消了音頻帶寬3kHz的限制，使雙絞線帶寬得到充分利用

7、，傳輸速率到達(dá)144kbps。ADSL技術(shù)誕生后，開辟10130kHz和1301100kHz兩個頻帶分別用于上下行數(shù)據(jù)傳輸，通過增加帶寬和采用全新數(shù)字調(diào)制技術(shù)，上行到達(dá)1Mbps，下行可高達(dá)8Mbps。二、Shannon公式及其意義 1. 建立了連續(xù)信道的帶寬W，信噪比Ps/ 2，信道容量Ct之間的定量關(guān)系，這三者之間可以互換。 帶寬不變(B不變)，增加信號功率或者提高信噪比，可使Ct增大； 信噪比不變，擴(kuò)展頻帶寬度B也可增大信道容量Ct ； Ct一定時，帶寬與信噪比可互換； 適用于高斯加性信道，對于非高斯信道可作下限。二、Shannon公式及其意義4.2 Shannon公式2. 香農(nóng)限4.2

8、 Shannon公式二、Shannon公式及其意義帶寬無窮大，是不是可以獲得無窮大的信道容量？增加帶寬可以增加信道容量。信道容量（bps/Hz）帶寬PS/N0=107二、Shannon公式及其意義2. 香農(nóng)限4.2 Shannon公式假設(shè)B趨近于，且Rt趨近于C，那么帶寬增加到無窮大，信噪比可不可以無限??？Ct一定時，帶寬與信噪比可互換二、Shannon公式及其意義2. 香農(nóng)限4.2 Shannon公式 在帶寬不受限的高斯白噪聲信道中，只要每赫茲頻帶傳輸一比特信息的信噪比不低于dB，通過最正確信道編碼，就有可能實(shí)現(xiàn)無過失的傳輸！這是高斯信道中傳輸信息的極限能力，稱為香農(nóng)限！ 3. 香農(nóng)限4.2

9、 Shannon公式二、Shannon公式及其意義3.香農(nóng)限AWGN1) Turbo碼：1/2碼率，BPSK，65536隨機(jī)交織，18次迭代，PE=10-5, Eb/N02) 非規(guī)那么LDPC碼：N = 107, 1/2碼率， PE=10-5, Eb/N04.2 Shannon公式二、Shannon公式及其意義3.香農(nóng)限提高信道容量的有效措施信道1X1Y1信道2X2Y2信道NXNYN并用信道的容量： 將多個信道并聯(lián)使用，構(gòu)成多輸入多輸出信道，可以有效提高信道容量，這就是MIMO通信的理論根底。 即使帶寬無窮大，信道容量也是有限值。帶寬增大到一定程度后，信道容量不再增加。 要增加信道容量需要采取

10、新的措施如MIMO技術(shù)！4.2 Shannon公式二、Shannon公式及其意義3.香農(nóng)限(6x6) MIMO提高信道容量的有效措施MIMO技術(shù)顯著提高系統(tǒng)容量如何進(jìn)行輸入信號功率的最正確分配？MIMO通信原理空時頻發(fā)射鏈路空時頻接收鏈路數(shù)據(jù)入數(shù)據(jù)出MIMOMutiple-Input Multiple-Output通信是指在收發(fā)兩端都使用多個天線的通信方式，依靠不同天線對之間的信道的不相關(guān)性來別離信息，提高信道容量。4.2 Shannon公式二、Shannon公式及其意義思考： 設(shè)模擬信源輸出信號的頻率在108kHz以內(nèi)，現(xiàn)對其用最低采樣率采樣，并對樣值進(jìn)行256級量化，之后進(jìn)行二進(jìn)制編碼。設(shè)

11、基帶傳輸信道的通頻帶恰好能不失真地傳送該編碼信號，且設(shè)信道干擾為加性白高斯噪聲AWGN，S/N=30dB，求該基帶傳輸系統(tǒng)的信道容量。4.2 Shannon公式 習(xí)題：P55頁 6. 9. 10. 12。4.2 Shannon公式設(shè)BSC信道矩陣為1假設(shè)，求及2求該信道容量及其最正確輸入分布。 。4.2 Shannon公式 習(xí)題1：P55頁T6求用題9圖求信道的信道容量及其最正確輸入概率分布。 題9圖4.2 Shannon公式 習(xí)題2：P55頁 T 9有一個BSC，其信道矩陣為設(shè)該信道以1500個二元符號秒的速度傳輸輸入符號，現(xiàn)有一消息序列共有14000個二元符號，并設(shè)在這消息中 ，問從信息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真地傳送完。4. 設(shè)某一信號的信息率為 k bit/s，噪聲功率譜為N=5*10