§4 波形信源與波形信道

1、4 波形信源與波形信道4.1 連續(xù)性信源的熵4.2 Shannon公式 連續(xù)信源的熵 波形信源的熵 連續(xù)信源熵的性質(zhì)一、連續(xù)信源的熵4.1 連續(xù)性信源的熵1. 量化逼近法 將X的取值范圍a,b作N等分，每份=(b-a)/Np(x)ab0a+(i-1)a+ix一、連續(xù)信源的熵那么X落在第i區(qū)間內(nèi)的概率為：Pi4.1 連續(xù)性信源的熵那么連續(xù)信源X: 此信源合理！一、連續(xù)信源的熵4.1 連續(xù)性信源的熵討論X之熵稱(chēng)為信源X的相對(duì)熵差熵4.1 連續(xù)性信源的熵一、連續(xù)信源的熵2. 相對(duì)熵4.1 連續(xù)性信源的熵一、連續(xù)信源的熵例1：求高斯信源熵與均值無(wú)關(guān)！均值方差4.1 連續(xù)性信源的熵一、連續(xù)信源的熵2.

2、相對(duì)熵二、波形信源的熵波形信源熵那么，波形信源的相對(duì)熵為：對(duì)于限頻W、限時(shí)T的平穩(wěn)隨機(jī)過(guò)程，N=2WT4.1 連續(xù)性信源的熵三、連續(xù)信源熵的性質(zhì)1. 鏈?zhǔn)椒敲春酮?dú)立界 2. 可為負(fù)例2.解： 假設(shè)b-a1，那么h(X)0 假設(shè)b-a1，那么h(X) 04.1 連續(xù)性信源的熵三、連續(xù)信源熵的性質(zhì)3. 變換性例3： 設(shè)一個(gè)連續(xù)信源，其輸出信號(hào)在1，1 范圍內(nèi)具有均勻的概率密度函數(shù)，試求該信源的相對(duì)熵；假設(shè)將輸出信號(hào)放大1倍，再求相對(duì)熵。解：比照離散信源.4.1 連續(xù)性信源的熵結(jié)論：三、連續(xù)信源熵的性質(zhì)3. 變換性 當(dāng)變換為平移或旋轉(zhuǎn)時(shí)，熵不變。4.1 連續(xù)性信源的熵例4： 設(shè)信源X方差為2，均值

3、為0的正態(tài)分布。經(jīng)過(guò)放大倍數(shù)為k，直流分量為a的放大器輸出，y=kx+a，求h(Y)。解： Y是均值為a，方差為k22的正態(tài)變量。4.1 連續(xù)性信源的熵定理4.1 一個(gè)連續(xù)信源輸出信號(hào)的平均功率限定為P，則當(dāng)輸出信號(hào)幅度的概率密度分布是高斯分布時(shí)，信源具有最大熵，其值為 。離散信源也存在最大熵?。ㄗ畲箅x散熵定理） h(X) 為p(x) 的上凸函數(shù)，對(duì)某種p(x)的分布，h(X)可到達(dá)最大值。三、連續(xù)信源熵的性質(zhì)4.1 連續(xù)性信源的熵4. 凸?fàn)钚訟、平均功率受限條件下信源的最大熵定理 假設(shè)信源X輸出的幅度被限定在區(qū)域a,b 內(nèi)，那么當(dāng)輸出信號(hào)的概率密度函數(shù)是均勻分布時(shí)，信源具有最大熵。4. 凸?fàn)?/p>

4、性四、連續(xù)信源熵的性質(zhì)B、幅度受限條件下的最大信源熵信號(hào)幅度受限也即峰值功率受限約束條件：4.1 連續(xù)性信源的熵4 波形信源與波形信道4.1 連續(xù)性信源的熵4.2 Shannon公式 波形信道中的平均互信息 波形信道中的信道容量 Shannon公式及其意義4.2 Shannon公式一、平均互信息波形信道x(t)y(t)1.根本公式采樣后：Y=X+n, X與n獨(dú)立信道nXY 2. 加性噪聲信道的平均互信息一、平均互信息4.2 Shannon公式A.信道特點(diǎn)B. 條件熵噪聲熵一、平均互信息噪聲源熵C. 平均互信息4.2 Shannon公式二、信道容量4.2 Shannon公式 1.定義： 2. 平

5、均功率受限的高斯加性信道的信道容量當(dāng)Y正態(tài)分布時(shí)，h(Y)最大，有：二、信道容量 設(shè)噪聲為均值為0，方差為2高斯白噪聲 設(shè)信道輸出Y的平均功率限于P0最佳輸入概率密度：(bit/samp)4.2 Shannon公式二、信道容量4.2 Shannon公式 設(shè)信號(hào)有效帶寬為B，采樣速率 時(shí)，采樣序列可以攜帶信源的全部信息量?？紤]單位時(shí)間傳輸情況bit/secbit/sec 香農(nóng)公式：2=N0B 二、Shannon公式及其意義4.2 Shannon公式bit/secbit/sec 香農(nóng)公式：2=N0B 香農(nóng)公式的條件：1. 信源平均功率受限為PS ；2. 噪聲為加性高斯白噪聲；3. 信道帶寬受限為B

6、。帶限AWGN信道的容量 1. 建立了連續(xù)信道的帶寬B，信噪比Ps/ 2，信道容量Ct之間的定量關(guān)系，這三者之間可以互換。 帶寬不變(B不變)，增加信號(hào)功率或者提高信噪比，可使Ct增大； 信噪比不變，擴(kuò)展頻帶寬度B也可增大信道容量Ct ；二、Shannon公式及其意義4.2 Shannon公式信道容量（bps/Hz）信噪比（S/N）B=1MHz3. 2 信道容量例：音頻 的帶寬為B=3kHz，鏈路的典型信噪比為30dB，那么 信道容量為： 如果 網(wǎng)的信噪比沒(méi)有改善或不使用壓縮方法，Modem將達(dá)不到更高速率。 綜合業(yè)務(wù)數(shù)字網(wǎng)ISDN出現(xiàn)后，取消了音頻帶寬3kHz的限制，使雙絞線(xiàn)帶寬得到充分利用

7、，傳輸速率到達(dá)144kbps。ADSL技術(shù)誕生后，開(kāi)辟10130kHz和1301100kHz兩個(gè)頻帶分別用于上下行數(shù)據(jù)傳輸，通過(guò)增加帶寬和采用全新數(shù)字調(diào)制技術(shù)，上行到達(dá)1Mbps，下行可高達(dá)8Mbps。二、Shannon公式及其意義 1. 建立了連續(xù)信道的帶寬W，信噪比Ps/ 2，信道容量Ct之間的定量關(guān)系，這三者之間可以互換。 帶寬不變(B不變)，增加信號(hào)功率或者提高信噪比，可使Ct增大； 信噪比不變，擴(kuò)展頻帶寬度B也可增大信道容量Ct ； Ct一定時(shí)，帶寬與信噪比可互換； 適用于高斯加性信道，對(duì)于非高斯信道可作下限。二、Shannon公式及其意義4.2 Shannon公式2. 香農(nóng)限4.2

8、 Shannon公式二、Shannon公式及其意義帶寬無(wú)窮大，是不是可以獲得無(wú)窮大的信道容量？增加帶寬可以增加信道容量。信道容量（bps/Hz）帶寬PS/N0=107二、Shannon公式及其意義2. 香農(nóng)限4.2 Shannon公式假設(shè)B趨近于，且Rt趨近于C，那么帶寬增加到無(wú)窮大，信噪比可不可以無(wú)限??？Ct一定時(shí)，帶寬與信噪比可互換二、Shannon公式及其意義2. 香農(nóng)限4.2 Shannon公式 在帶寬不受限的高斯白噪聲信道中，只要每赫茲頻帶傳輸一比特信息的信噪比不低于dB，通過(guò)最正確信道編碼，就有可能實(shí)現(xiàn)無(wú)過(guò)失的傳輸！這是高斯信道中傳輸信息的極限能力，稱(chēng)為香農(nóng)限！ 3. 香農(nóng)限4.2

9、 Shannon公式二、Shannon公式及其意義3.香農(nóng)限AWGN1) Turbo碼：1/2碼率，BPSK，65536隨機(jī)交織，18次迭代，PE=10-5, Eb/N02) 非規(guī)那么LDPC碼：N = 107, 1/2碼率， PE=10-5, Eb/N04.2 Shannon公式二、Shannon公式及其意義3.香農(nóng)限提高信道容量的有效措施信道1X1Y1信道2X2Y2信道NXNYN并用信道的容量： 將多個(gè)信道并聯(lián)使用，構(gòu)成多輸入多輸出信道，可以有效提高信道容量，這就是MIMO通信的理論根底。 即使帶寬無(wú)窮大，信道容量也是有限值。帶寬增大到一定程度后，信道容量不再增加。 要增加信道容量需要采取

10、新的措施如MIMO技術(shù)！4.2 Shannon公式二、Shannon公式及其意義3.香農(nóng)限(6x6) MIMO提高信道容量的有效措施MIMO技術(shù)顯著提高系統(tǒng)容量如何進(jìn)行輸入信號(hào)功率的最正確分配？MIMO通信原理空時(shí)頻發(fā)射鏈路空時(shí)頻接收鏈路數(shù)據(jù)入數(shù)據(jù)出MIMOMutiple-Input Multiple-Output通信是指在收發(fā)兩端都使用多個(gè)天線(xiàn)的通信方式，依靠不同天線(xiàn)對(duì)之間的信道的不相關(guān)性來(lái)別離信息，提高信道容量。4.2 Shannon公式二、Shannon公式及其意義思考： 設(shè)模擬信源輸出信號(hào)的頻率在108kHz以?xún)?nèi)，現(xiàn)對(duì)其用最低采樣率采樣，并對(duì)樣值進(jìn)行256級(jí)量化，之后進(jìn)行二進(jìn)制編碼。設(shè)

11、基帶傳輸信道的通頻帶恰好能不失真地傳送該編碼信號(hào)，且設(shè)信道干擾為加性白高斯噪聲AWGN，S/N=30dB，求該基帶傳輸系統(tǒng)的信道容量。4.2 Shannon公式 習(xí)題：P55頁(yè) 6. 9. 10. 12。4.2 Shannon公式設(shè)BSC信道矩陣為1假設(shè)，求及2求該信道容量及其最正確輸入分布。 。4.2 Shannon公式 習(xí)題1：P55頁(yè)T6求用題9圖求信道的信道容量及其最正確輸入概率分布。 題9圖4.2 Shannon公式 習(xí)題2：P55頁(yè) T 9有一個(gè)BSC，其信道矩陣為設(shè)該信道以1500個(gè)二元符號(hào)秒的速度傳輸輸入符號(hào)，現(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)在這消息中 ，問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真地傳送完。4. 設(shè)某一信號(hào)的信息率為 k bit/s，噪聲功率譜為N=5*10