信息論第五講1課件

(1)Markov鏈串聯(lián)信道關(guān)系(作業(yè))DMC1DMC2XYZ定理:對(duì)于所有滿足p(x,y,z)>0的(x,y,z)，當(dāng)且僅當(dāng)p(z/x,y)=p(z/y)時(shí)，即滿足馬爾可夫鏈時(shí),等式成立。從Z中獲得X,Y的信息量總是大于等于從Z中獲得的Y的信息量。7/28/20231說明：p(y/x)為DMC1的信道轉(zhuǎn)移概率；p(z/y)為DMC2的信道轉(zhuǎn)移概率；p(z/x,y)為串聯(lián)信道的信道轉(zhuǎn)移概率；p(z/x,y)=p(z/y)，說明DMC2的輸出只取決于DMC2的輸入，這個(gè)串聯(lián)信道具有馬爾可夫鏈性質(zhì)。I(X,Y;Z)－由輸出狀態(tài)Z中得到的關(guān)于聯(lián)合狀態(tài)(X,Y)的信息量。I(Y;Z)－由輸出狀態(tài)Z中得到的關(guān)于狀態(tài)Y的信息量。7/28/20232I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)7/28/20233DMC1DMC2XYZ同理：對(duì)于所有滿足p(x,y,z)>0的(x,y,z)，當(dāng)且僅當(dāng)p(z/x,y)=p(z/x)時(shí)，等式成立。從Z中獲得X,Y的信息量總是大于等于從Z中獲得的X的信息量。7/28/20234根據(jù):I(X;Z)=H(X)-H(X/Z)=H(Z)-H(Z/X)=I(Z;Y)7/28/20235即:當(dāng)p(z/x,y)=p(z/x)時(shí)，等式成立。說明信道1是一種無失真的變換。7/28/20236(2)數(shù)據(jù)處理定理p(y/x)p(z/xy)XYZ定理：若X,Y,Z為離散隨機(jī)變量，并且構(gòu)成一個(gè)馬爾可夫鏈，則有：I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)證明2:如果滿足馬爾可夫鏈，即p(z/xy)=p(z/y)。則串聯(lián)信道定理中的等號(hào)成立。7/28/20237p(y/x)p(z/xy)XYZI(X,Y;Z)=I(Y;Z)同時(shí)在串聯(lián)信道定理中還有：I(X,Y;Z)≥I(X;Z)因此得到:I(X;Z)≤I(Y;Z)同樣可以證明I(X;Z)≤I(X;Y)7/28/20238(3)數(shù)據(jù)處理定理推廣信源編碼器譯碼器信道這是一個(gè)通信系統(tǒng)基本模型。其中的U，X，Y，V為離散隨機(jī)矢量。7/28/20239對(duì)于一個(gè)實(shí)際通信系統(tǒng)來說，U，X，Y，V構(gòu)成的離散隨機(jī)矢量序列形成一個(gè)馬爾可夫鏈。也就是說他們滿足：這是山農(nóng)信息理論對(duì)通信系統(tǒng)模型的一個(gè)基本假設(shè)。信源編碼器譯碼器信道7/28/202310信源編碼器譯碼器信道這是山農(nóng)信息理論對(duì)通信系統(tǒng)模型的一個(gè)基本假設(shè)。根據(jù)數(shù)據(jù)處理定理可以得到：7/28/202311說明：信息的處理，例如編碼，譯碼等，只能損失信息，不能增加信息。只有當(dāng)信息處理是一一對(duì)應(yīng)時(shí)，等號(hào)成立。這一點(diǎn)在理論上是正確的，但是為了有效并可靠的傳輸信息，數(shù)據(jù)處理還是必要的。信源編碼器譯碼器信道7/28/202312(4)多符號(hào)信源—離散隨機(jī)矢量7/28/2023132.7.4信源的剩余度關(guān)于離散信源熵的總結(jié)：實(shí)際信源一般是非平穩(wěn)的、有記憶、隨機(jī)序列信源；其極限熵是不存在的；解決的方法是假設(shè)其為離散平穩(wěn)隨機(jī)序列信源，極限熵存在，但求解困難；進(jìn)一步假設(shè)其為m階Markov信源，其信源熵用極限熵Hm+1近似；再進(jìn)一步假設(shè)為一階Markov信源，用其極限熵H1+1(X2/X1)來近似；最簡化的信源是離散無記憶信源，其熵為H(x)=H1(X);最后可以假定為等概的離散無記憶信源，其熵為H0(X)=logn；7/28/202314它們之間的關(guān)系可以表示為：logn=H0(X)≥H1(X)≥H1+1(X)≥H2+1(X)≥…≥Hm+1(X)≥H∞離散有記憶信源的記憶長度越長，信源熵越??；而獨(dú)立且等概的信源，熵最大。[例]英文字母信源：26個(gè)字母加1個(gè)空格符H0=log27=4.76bit(等概)H1=4.02bit（不等概）H1+1=3.32bit（一階M-信源）H2+1=3.1bit（二階M-信源）H∞=1.4bit7/28/202315剩余度：用來衡量由于信源內(nèi)部的消息狀態(tài)的相關(guān)性和分布性，使其熵減少的程度稱為剩余度。相對(duì)熵：=H∞/H0=H(X)/Hmax(X)

=[(實(shí)際信源熵)/(離散信源最大熵)]內(nèi)熵(信息熵差)：=H0-H∞=H(X)-Hmax(X)=[（最大熵）-（實(shí)際信源熵）]剩余度：7/28/202316連續(xù)信源熵與信道容量上一章我們討論的是離散信源，實(shí)際應(yīng)用中還有一類信源稱為連續(xù)信源，這種信源的時(shí)間和取值都是連續(xù)的，例如語音信號(hào)，電視圖像信號(hào)都是連續(xù)信號(hào)。時(shí)間離散狀態(tài)連續(xù)的信源熵可以用連續(xù)信源熵表示，相當(dāng)于一個(gè)連續(xù)隨機(jī)變量。而時(shí)間連續(xù)的信源，為一個(gè)隨機(jī)過程，只要信號(hào)頻譜有限，則可以根據(jù)采樣定理，將其變?yōu)闀r(shí)間離散信源。這里我們只討論單變量連續(xù)信源，即時(shí)間離散狀態(tài)連續(xù)的連續(xù)信源。7/28/2023173.1連續(xù)信源的熵3.1.1連續(xù)信源熵的定義①連續(xù)信源的狀態(tài)概率用概率密度來表示。如果連續(xù)隨機(jī)變量X，取值為實(shí)數(shù)域R，其概率密度函數(shù)為p(x)，則如果取值為有限實(shí)數(shù)域[a,b]，則這時(shí)X的概率分布函數(shù)為：7/28/202318②連續(xù)信源的數(shù)學(xué)模型X：R(或[a,b])P(X)：p(x)③連續(xù)信源熵的表達(dá)式利用離散信源熵的概念來定義連續(xù)信源熵，首先看一個(gè)再[a,b]取間的連續(xù)隨機(jī)變量，如圖

首先把X的取值區(qū)間[a,b]分割為n個(gè)小區(qū)間，小區(qū)間寬度為：Δ=(b-a)/n根據(jù)概率分布為概率密度函數(shù)曲線的區(qū)間面積的關(guān)系，X取值為xi的概率為：Pi=p(xi).△7/28/202319這樣可以得到離散信源Xn的信源空間為：且有：當(dāng)n趨無窮時(shí)，按離散信源熵的定義：可得離散信源Xn的熵：7/28/202320當(dāng)△趨于0，n趨于無窮時(shí)，離散隨機(jī)變量Xn將接近于連續(xù)隨機(jī)變量X，這時(shí)可以得到連續(xù)信源的熵為：其中：連續(xù)信源的熵定義為：7/28/202321①連續(xù)信源熵為一個(gè)相對(duì)熵，其值為絕對(duì)熵減去一個(gè)無窮大量。H(X)=Hc(X)-∞②連續(xù)信源有無窮多個(gè)狀態(tài)，因此根據(jù)SHANNON熵的定義必然為無窮大。③連續(xù)信源的熵不等于一個(gè)消息狀態(tài)具有的平均信息量。其熵是有限的，而信息量是無限的。④連續(xù)信源熵不具有非負(fù)性，可以為負(fù)值。盡管連續(xù)信源的絕對(duì)熵為一個(gè)無窮大量，但信息論的主要問題是信息傳輸問題，連續(xù)信道的輸入輸出都是連續(xù)變量，當(dāng)分析其交互信息量時(shí)是求兩個(gè)熵的差，當(dāng)采用相同的量化過程時(shí)，兩個(gè)無窮大量將被抵消，不影響分析。7/28/202322連續(xù)信源的疑義度：則平均交互信息量為：

I(X,Y)=H(X)-H(X/Y)3.1.2幾種連續(xù)信源的熵⑴均勻分布的連續(xù)信源熵設(shè)一維連續(xù)隨機(jī)變量X的取值區(qū)間是[a,b]，在[a,b]中的概率密度函數(shù)是7/28/202323這種連續(xù)信源稱為均勻分布的連續(xù)信源。其熵為：這時(shí)可以看到：當(dāng)(b-a)<1時(shí)，H(X)<0，即H(X)不具有熵函數(shù)的非負(fù)性，因?yàn)镠(X)是相對(duì)熵，相對(duì)熵可以為負(fù)值，但絕對(duì)熵仍然為正值。⑵高斯分布的連續(xù)信源熵設(shè)一維隨機(jī)變量X的取值范圍是整個(gè)實(shí)數(shù)R，概率密度函數(shù)為：7/28/202324其中，m是隨機(jī)變量X的均值σ2是隨機(jī)變量X的方差當(dāng)均值m=0時(shí)，方差σ2就是隨機(jī)變量的平均功率，7/28/202325這個(gè)信源稱為高斯分布的連續(xù)信源，其數(shù)學(xué)模型為：這時(shí)可以得到高斯連續(xù)信源的熵為：7/28/202326⑶指數(shù)分布的連續(xù)信源熵設(shè)一隨機(jī)變量X的取值取間為[0，∞]，其概率密度函數(shù)為則稱為指數(shù)分布的連續(xù)信源。其中常數(shù)a為隨機(jī)變量X的均值。即指數(shù)分布的連續(xù)信源的熵為7/28/2023273.2連續(xù)信源的最大熵3.2.1連續(xù)信源的最大熵為了求出連續(xù)信源的最大熵，將利用數(shù)學(xué)中的變分法的方法來求解。連續(xù)信源的熵為：其基本約束條件為：其它約束條件為：7/28/202328建立輔助函數(shù)：其中有：根據(jù)極值的條件有：及m個(gè)約束方程，可以確定最大熵和所對(duì)應(yīng)的信源概率密度分布p(x)。

7/28/202329⑴輸出幅度受限時(shí)的最大熵（瞬時(shí)功率受限）其基本條件為：|x|≤v，x2≤S，這時(shí)對(duì)應(yīng)只有一個(gè)約束方程，可以得到：7/28/202330這里的對(duì)數(shù)為以e為底，由約束方程可得：結(jié)論：對(duì)于瞬時(shí)功率受限的連續(xù)信源，在假定信源狀態(tài)為獨(dú)立時(shí)，當(dāng)概率密度分布為常數(shù)時(shí)，信源具有最大熵。其最大熵為：7/28/202331⑵輸出平均功率受限時(shí)的最大熵推導(dǎo)：這時(shí)的約束條件為：可知：7/28/202332由極值條件：可得：7/28/202333將其代入約束條件,可得：得到：得到連續(xù)信源獲得最大熵時(shí)的概率密度函數(shù)：7/28/202334這是一個(gè)均值為0的高斯分布。其最大熵為：7/28/202335如果平均功率為N=σ2;

則有結(jié)論：（最大熵定理）對(duì)于輸出平均功率受限的連續(xù)信源，在假設(shè)狀態(tài)相互獨(dú)立時(shí)，當(dāng)其概率密度函數(shù)為高斯分布時(shí)，具有最大熵。其最大熵值隨功率N的增加而增加。7/28/2023363.2.2連續(xù)信源的熵功率①對(duì)于平均功率受限的連續(xù)信源，當(dāng)信源為高斯分布時(shí)有最大熵，如果信源不是高斯分布，則信源熵將小于最大熵。熵功率則用來描述連續(xù)信源熵的剩余度。即說明信源是可以改造的程度。②一個(gè)平均功率為N的非高斯分布的連續(xù)信源的熵功率等于與其有同樣熵的高斯信源的平均功率。③當(dāng)非高斯連續(xù)信源與高斯信源具有相同熵時(shí)，那非高斯信源的平均功率一定大于高斯信源的功率。④當(dāng)非高斯連續(xù)信源與高斯信源具有相同平均功率時(shí)，那非高斯信源的熵一定小于高斯信源的熵。7/28/202337平均功率為N的非高斯信源的熵功率為：（“目標(biāo)功率”）非高斯信源：高斯信源：當(dāng)時(shí)；一定有：當(dāng)時(shí)；一定有：7/28/2023383.2.3連續(xù)信源的共熵和條件熵同離散信源相似，連續(xù)信源也可定義其共熵和條件熵，其基本關(guān)系為：

H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X,Y)≤H(X)+H(Y)H(X/Y)≤H(X)H(Y/X)≤H(Y)7/28/2023393.3連續(xù)有噪聲信道的信道容量3.3.1連續(xù)信道的平均交互信息量設(shè)信道輸入的隨機(jī)變量X的取值為[a,b]，信道輸出隨機(jī)變量Y的取值為[a’,b’]，信道轉(zhuǎn)移概率為p(y/x),(a≤x≤b,a’≤y≤b’)，如圖3-2所示。7/28/202340其連續(xù)信道的平均交互信息量為：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)其中熵函數(shù)的表達(dá)式：7/28/202341可知：I(X,Y)≥0；即平均交互信息量為非負(fù)值，當(dāng)X，Y相互獨(dú)立時(shí)，p(x,y)=p(x)p(y)，I(X,Y)=0。同時(shí)有：I(X,Y)=I(Y,X)與離散信道情況相似，有相應(yīng)的概率關(guān)系：p(x,y)=p(x)p(y/x)=p(y)p(x/y)7/28/2023423.3.2連續(xù)信道的熵速率與信道容量⑴熵速率在一個(gè)高斯白噪聲連續(xù)信道中，接收隨機(jī)變量Y為發(fā)送消息狀態(tài)X于噪聲n之和。即為加性高斯白噪聲（GAWN）信道，關(guān)系如圖所示。7/28/202343定義：接收熵速率為（不考慮符號(hào)速率，r=1）首先考慮X,n的聯(lián)合熵，由于X與n相互獨(dú)立。即。所以有：聯(lián)合熵（等于獨(dú)立熵之和）7/28/202344注意：由于Y=X+n，有p(x,n)=p(x)p(n)，即X與n獨(dú)立，并且有：對(duì)于給定的xi,p(y/x)=p(n/x)=p(n)

因?yàn)閅=X+n；且x與n獨(dú)立。所以有7/28/202345山農(nóng)公式說明加性高斯白噪聲信道的輸入信號(hào)X與噪聲n相加得到輸出的接收信號(hào)Y，如圖所示。根據(jù)概率論的相關(guān)知識(shí)，如果X為N維隨機(jī)變量，Y為N維隨機(jī)變量，并且X與Y有函數(shù)關(guān)系，Yi=gi(X);Xi=fi(Y);(如Y=X+n)，則他們的聯(lián)合概率密度函數(shù)存在關(guān)系：7/28/202346其中J為雅可比行列式。對(duì)于加性高斯白噪聲信道，坐標(biāo)變換為：X=X(f1)；n=Y-X(f2)。7/28/202347因此：（X與n相互獨(dú)立）另外：則：最終得到：7/28/202348就是說：加性高斯白噪聲連續(xù)信道的條件概率密度函數(shù)p(y/x)就是噪聲n的概率密度函數(shù)p(n)，這是加性高斯噪聲信道的一個(gè)重要特征。則有:可得：熵速率為：R=H(X)-H(X/Y)=H(Y)-H(n)結(jié)論：在連續(xù)有噪聲信道上，接收熵速率等于接收得總信息速率H(Y)減去噪聲信息速率H(n)。7/28/202349⑵信道容量（Shannon公式）與離散信道的信道容量的概念一樣，在連續(xù)信道中，對(duì)于給定的信道[p(y/x)]，最大的接收熵速率為信道容量。當(dāng)考慮到隨機(jī)變量X的符號(hào)速率為r時(shí)：已知X與n相互獨(dú)立，則H(n)與p(x)無關(guān)。7/28/202350三點(diǎn)假設(shè)：①信道為加性高斯白噪聲信道，功率譜均勻，平均功率為N。②信道帶寬滿足信號(hào)頻譜要求，為W，符號(hào)速率為r=2W。③信源為平均功率受限，信號(hào)功率為P。由于Y=X+n。為了使H(Y)為最大，Y應(yīng)為高斯分布。若Y為高斯分布，同時(shí)已知n為高斯分布，則X也應(yīng)為高斯分布。(Y=X+n)由此得知：對(duì)于高斯白噪聲信道，當(dāng)信源為高斯分布時(shí)，接收熵速率為最大。7/28/202351推導(dǎo)：設(shè)Y為在接收端的一個(gè)平均功率受限的信源，功率為P+N；則有：若把信道噪聲看成一個(gè)平均功率為N的噪聲源，則有：這樣由信道容量的關(guān)系式可得：這樣就得到了Shannon公式,單位為net/s。7/28/202352Shannon公式的理解：在加性高斯信道上，其信道容量C與信號(hào)帶寬W和信號(hào)噪聲功率比P/N有關(guān)。在加性高斯信道上，當(dāng)信源信號(hào)為高斯分布時(shí)，信道熵速率等于信道容量。對(duì)于連續(xù)信源來說，高斯白噪聲信道危害最大，因?yàn)镠’(n)大使熵速率R減小。本公式給出了信道容量的理論極限值，目前還很難實(shí)現(xiàn)，因?yàn)樾旁床豢赡転楦咚狗植?。信道容量的?jì)算比較復(fù)雜，一些簡單情況下是可以計(jì)算的。7/28/2023533-3-3Shannon公式的參數(shù)互換由Shannon公式可知：（注意：這時(shí)的單位可以為比特，因?yàn)樗莾蓚€(gè)熵函數(shù)之差，不同單位的信道容量表達(dá)式是相同的。）如果考慮通信時(shí)間為T，在T秒鐘傳輸?shù)目偟男畔⒘繛椋罕３挚偟男畔⒘坎蛔?，T、W、P/N之間的互換關(guān)系。①當(dāng)信噪比P/N一定時(shí)：W↑→T↓，T↑→W↓，②當(dāng)傳輸時(shí)間T一定時(shí)：W↑→P/N↓，W↓→P/N↑，③當(dāng)帶寬W一定時(shí)：T↑→P/N↓，T↓→P/N↑，7/28/2023543.4關(guān)于連續(xù)信源熵和山農(nóng)公式[1]連續(xù)信源的剩余度平均功率為N的非高斯信源的熵為HN(X)；令則HN(X)的熵功率為：是HN(X)的熵功率。是這個(gè)非高斯信源的剩余度。7/28/202355[2]關(guān)于信道噪聲在通信系統(tǒng)中，我們把來自各方面的噪聲都集中在一起，認(rèn)為都是從信道加入的。實(shí)際系統(tǒng)的噪聲分為外部噪聲和內(nèi)部噪聲。外部噪聲又分為人為噪聲（火花）和自然噪聲（大氣噪聲）。內(nèi)部噪聲包括熱噪聲（電子熱運(yùn)動(dòng)）和散粒噪聲（器件中電流起伏）。按噪聲性質(zhì)對(duì)信道進(jìn)行分類：高斯噪聲信道；白噪聲信道；高斯白噪聲信道；有色噪聲信道；

7/28/202356[3]高斯噪聲信道信道中的噪聲為高斯分布（正態(tài)分布）的平穩(wěn)、各態(tài)歷經(jīng)的隨機(jī)過程。其幅度值的概率密度函數(shù)為高斯分布。內(nèi)部噪聲的熱噪聲和散粒噪聲都是高斯噪聲。高斯噪聲的一維概率密度函數(shù)為：[4]白噪聲信道白噪聲信道就是信道中的噪聲為白噪聲過程，白噪聲是一種平穩(wěn)、各態(tài)歷經(jīng)的隨機(jī)過程。它的功率譜密度在整個(gè)頻域上為均勻分布，也就是說功率譜密度為常數(shù)。7/28/202357白噪聲幅度值的概率密度函數(shù)為任意的