§4 波形信源與波形信道

1、4 波形信源與波形信道4.1 連續(xù)性信源的熵4.2 Shannon公式 連續(xù)信源的熵 波形信源的熵 連續(xù)信源熵的性質一、連續(xù)信源的熵4.1 連續(xù)性信源的熵1. 量化逼近法 將X的取值范圍a,b作N等分，每份=(b-a)/Np(x)ab0a+(i-1)a+ix一、連續(xù)信源的熵那么X落在第i區(qū)間內的概率為：Pi4.1 連續(xù)性信源的熵那么連續(xù)信源X: 此信源合理！一、連續(xù)信源的熵4.1 連續(xù)性信源的熵討論X之熵稱為信源X的相對熵差熵4.1 連續(xù)性信源的熵一、連續(xù)信源的熵2. 相對熵4.1 連續(xù)性信源的熵一、連續(xù)信源的熵例1：求高斯信源熵與均值無關！均值方差4.1 連續(xù)性信源的熵一、連續(xù)信源的熵2.

2、相對熵二、波形信源的熵波形信源熵那么，波形信源的相對熵為：對于限頻W、限時T的平穩(wěn)隨機過程，N=2WT4.1 連續(xù)性信源的熵三、連續(xù)信源熵的性質1. 鏈式法那么和獨立界 2. 可為負例2.解： 假設b-a1，那么h(X)0 假設b-a1，那么h(X) 04.1 連續(xù)性信源的熵三、連續(xù)信源熵的性質3. 變換性例3： 設一個連續(xù)信源，其輸出信號在1，1 范圍內具有均勻的概率密度函數，試求該信源的相對熵；假設將輸出信號放大1倍，再求相對熵。解：比照離散信源.4.1 連續(xù)性信源的熵結論：三、連續(xù)信源熵的性質3. 變換性 當變換為平移或旋轉時，熵不變。4.1 連續(xù)性信源的熵例4： 設信源X方差為2，均值

3、為0的正態(tài)分布。經過放大倍數為k，直流分量為a的放大器輸出，y=kx+a，求h(Y)。解： Y是均值為a，方差為k22的正態(tài)變量。4.1 連續(xù)性信源的熵定理4.1 一個連續(xù)信源輸出信號的平均功率限定為P，則當輸出信號幅度的概率密度分布是高斯分布時，信源具有最大熵，其值為 。離散信源也存在最大熵?。ㄗ畲箅x散熵定理） h(X) 為p(x) 的上凸函數，對某種p(x)的分布，h(X)可到達最大值。三、連續(xù)信源熵的性質4.1 連續(xù)性信源的熵4. 凸狀性A、平均功率受限條件下信源的最大熵定理 假設信源X輸出的幅度被限定在區(qū)域a,b 內，那么當輸出信號的概率密度函數是均勻分布時，信源具有最大熵。4. 凸狀

4、性四、連續(xù)信源熵的性質B、幅度受限條件下的最大信源熵信號幅度受限也即峰值功率受限約束條件：4.1 連續(xù)性信源的熵4 波形信源與波形信道4.1 連續(xù)性信源的熵4.2 Shannon公式 波形信道中的平均互信息 波形信道中的信道容量 Shannon公式及其意義4.2 Shannon公式一、平均互信息波形信道x(t)y(t)1.根本公式采樣后：Y=X+n, X與n獨立信道nXY 2. 加性噪聲信道的平均互信息一、平均互信息4.2 Shannon公式A.信道特點B. 條件熵噪聲熵一、平均互信息噪聲源熵C. 平均互信息4.2 Shannon公式二、信道容量4.2 Shannon公式 1.定義： 2. 平

5、均功率受限的高斯加性信道的信道容量當Y正態(tài)分布時，h(Y)最大，有：二、信道容量 設噪聲為均值為0，方差為2高斯白噪聲 設信道輸出Y的平均功率限于P0最佳輸入概率密度：(bit/samp)4.2 Shannon公式二、信道容量4.2 Shannon公式 設信號有效帶寬為B，采樣速率 時，采樣序列可以攜帶信源的全部信息量。考慮單位時間傳輸情況bit/secbit/sec 香農公式：2=N0B 二、Shannon公式及其意義4.2 Shannon公式bit/secbit/sec 香農公式：2=N0B 香農公式的條件：1. 信源平均功率受限為PS ；2. 噪聲為加性高斯白噪聲；3. 信道帶寬受限為B

6、。帶限AWGN信道的容量 1. 建立了連續(xù)信道的帶寬B，信噪比Ps/ 2，信道容量Ct之間的定量關系，這三者之間可以互換。 帶寬不變(B不變)，增加信號功率或者提高信噪比，可使Ct增大； 信噪比不變，擴展頻帶寬度B也可增大信道容量Ct ；二、Shannon公式及其意義4.2 Shannon公式信道容量（bps/Hz）信噪比（S/N）B=1MHz3. 2 信道容量例：音頻 的帶寬為B=3kHz，鏈路的典型信噪比為30dB，那么 信道容量為： 如果 網的信噪比沒有改善或不使用壓縮方法，Modem將達不到更高速率。 綜合業(yè)務數字網ISDN出現后，取消了音頻帶寬3kHz的限制，使雙絞線帶寬得到充分利用

7、，傳輸速率到達144kbps。ADSL技術誕生后，開辟10130kHz和1301100kHz兩個頻帶分別用于上下行數據傳輸，通過增加帶寬和采用全新數字調制技術，上行到達1Mbps，下行可高達8Mbps。二、Shannon公式及其意義 1. 建立了連續(xù)信道的帶寬W，信噪比Ps/ 2，信道容量Ct之間的定量關系，這三者之間可以互換。 帶寬不變(B不變)，增加信號功率或者提高信噪比，可使Ct增大； 信噪比不變，擴展頻帶寬度B也可增大信道容量Ct ； Ct一定時，帶寬與信噪比可互換； 適用于高斯加性信道，對于非高斯信道可作下限。二、Shannon公式及其意義4.2 Shannon公式2. 香農限4.2

8、 Shannon公式二、Shannon公式及其意義帶寬無窮大，是不是可以獲得無窮大的信道容量？增加帶寬可以增加信道容量。信道容量（bps/Hz）帶寬PS/N0=107二、Shannon公式及其意義2. 香農限4.2 Shannon公式假設B趨近于，且Rt趨近于C，那么帶寬增加到無窮大，信噪比可不可以無限?。緾t一定時，帶寬與信噪比可互換二、Shannon公式及其意義2. 香農限4.2 Shannon公式 在帶寬不受限的高斯白噪聲信道中，只要每赫茲頻帶傳輸一比特信息的信噪比不低于dB，通過最正確信道編碼，就有可能實現無過失的傳輸！這是高斯信道中傳輸信息的極限能力，稱為香農限！ 3. 香農限4.2

9、 Shannon公式二、Shannon公式及其意義3.香農限AWGN1) Turbo碼：1/2碼率，BPSK，65536隨機交織，18次迭代，PE=10-5, Eb/N02) 非規(guī)那么LDPC碼：N = 107, 1/2碼率， PE=10-5, Eb/N04.2 Shannon公式二、Shannon公式及其意義3.香農限提高信道容量的有效措施信道1X1Y1信道2X2Y2信道NXNYN并用信道的容量： 將多個信道并聯使用，構成多輸入多輸出信道，可以有效提高信道容量，這就是MIMO通信的理論根底。 即使帶寬無窮大，信道容量也是有限值。帶寬增大到一定程度后，信道容量不再增加。 要增加信道容量需要采取

10、新的措施如MIMO技術！4.2 Shannon公式二、Shannon公式及其意義3.香農限(6x6) MIMO提高信道容量的有效措施MIMO技術顯著提高系統(tǒng)容量如何進行輸入信號功率的最正確分配？MIMO通信原理空時頻發(fā)射鏈路空時頻接收鏈路數據入數據出MIMOMutiple-Input Multiple-Output通信是指在收發(fā)兩端都使用多個天線的通信方式，依靠不同天線對之間的信道的不相關性來別離信息，提高信道容量。4.2 Shannon公式二、Shannon公式及其意義思考： 設模擬信源輸出信號的頻率在108kHz以內，現對其用最低采樣率采樣，并對樣值進行256級量化，之后進行二進制編碼。設

11、基帶傳輸信道的通頻帶恰好能不失真地傳送該編碼信號，且設信道干擾為加性白高斯噪聲AWGN，S/N=30dB，求該基帶傳輸系統(tǒng)的信道容量。4.2 Shannon公式 習題：P55頁 6. 9. 10. 12。4.2 Shannon公式設BSC信道矩陣為1假設，求及2求該信道容量及其最正確輸入分布。 。4.2 Shannon公式 習題1：P55頁T6求用題9圖求信道的信道容量及其最正確輸入概率分布。 題9圖4.2 Shannon公式 習題2：P55頁 T 9有一個BSC，其信道矩陣為設該信道以1500個二元符號秒的速度傳輸輸入符號，現有一消息序列共有14000個二元符號，并設在這消息中 ，問從信息傳輸的角度來考慮，10秒鐘內能否將這消息序列無失真地傳送完。4. 設某一信號的信息率為 k bit/s，噪聲功率譜為N=5*10