信息論第五講1課件

(1)Markov鏈串聯(lián)信道關(guān)系(作業(yè))DMC1DMC2XYZ定理:對于所有滿足p(x,y,z)>0的(x,y,z)，當且僅當p(z/x,y)=p(z/y)時，即滿足馬爾可夫鏈時,等式成立。從Z中獲得X,Y的信息量總是大于等于從Z中獲得的Y的信息量。7/28/20231說明：p(y/x)為DMC1的信道轉(zhuǎn)移概率；p(z/y)為DMC2的信道轉(zhuǎn)移概率；p(z/x,y)為串聯(lián)信道的信道轉(zhuǎn)移概率；p(z/x,y)=p(z/y)，說明DMC2的輸出只取決于DMC2的輸入，這個串聯(lián)信道具有馬爾可夫鏈性質(zhì)。I(X,Y;Z)－由輸出狀態(tài)Z中得到的關(guān)于聯(lián)合狀態(tài)(X,Y)的信息量。I(Y;Z)－由輸出狀態(tài)Z中得到的關(guān)于狀態(tài)Y的信息量。7/28/20232I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)7/28/20233DMC1DMC2XYZ同理：對于所有滿足p(x,y,z)>0的(x,y,z)，當且僅當p(z/x,y)=p(z/x)時，等式成立。從Z中獲得X,Y的信息量總是大于等于從Z中獲得的X的信息量。7/28/20234根據(jù):I(X;Z)=H(X)-H(X/Z)=H(Z)-H(Z/X)=I(Z;Y)7/28/20235即:當p(z/x,y)=p(z/x)時，等式成立。說明信道1是一種無失真的變換。7/28/20236(2)數(shù)據(jù)處理定理p(y/x)p(z/xy)XYZ定理：若X,Y,Z為離散隨機變量，并且構(gòu)成一個馬爾可夫鏈，則有：I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)證明2:如果滿足馬爾可夫鏈，即p(z/xy)=p(z/y)。則串聯(lián)信道定理中的等號成立。7/28/20237p(y/x)p(z/xy)XYZI(X,Y;Z)=I(Y;Z)同時在串聯(lián)信道定理中還有：I(X,Y;Z)≥I(X;Z)因此得到:I(X;Z)≤I(Y;Z)同樣可以證明I(X;Z)≤I(X;Y)7/28/20238(3)數(shù)據(jù)處理定理推廣信源編碼器譯碼器信道這是一個通信系統(tǒng)基本模型。其中的U，X，Y，V為離散隨機矢量。7/28/20239對于一個實際通信系統(tǒng)來說，U，X，Y，V構(gòu)成的離散隨機矢量序列形成一個馬爾可夫鏈。也就是說他們滿足：這是山農(nóng)信息理論對通信系統(tǒng)模型的一個基本假設(shè)。信源編碼器譯碼器信道7/28/202310信源編碼器譯碼器信道這是山農(nóng)信息理論對通信系統(tǒng)模型的一個基本假設(shè)。根據(jù)數(shù)據(jù)處理定理可以得到：7/28/202311說明：信息的處理，例如編碼，譯碼等，只能損失信息，不能增加信息。只有當信息處理是一一對應時，等號成立。這一點在理論上是正確的，但是為了有效并可靠的傳輸信息，數(shù)據(jù)處理還是必要的。信源編碼器譯碼器信道7/28/202312(4)多符號信源—離散隨機矢量7/28/2023132.7.4信源的剩余度關(guān)于離散信源熵的總結(jié)：實際信源一般是非平穩(wěn)的、有記憶、隨機序列信源；其極限熵是不存在的；解決的方法是假設(shè)其為離散平穩(wěn)隨機序列信源，極限熵存在，但求解困難；進一步假設(shè)其為m階Markov信源，其信源熵用極限熵Hm+1近似；再進一步假設(shè)為一階Markov信源，用其極限熵H1+1(X2/X1)來近似；最簡化的信源是離散無記憶信源，其熵為H(x)=H1(X);最后可以假定為等概的離散無記憶信源，其熵為H0(X)=logn；7/28/202314它們之間的關(guān)系可以表示為：logn=H0(X)≥H1(X)≥H1+1(X)≥H2+1(X)≥…≥Hm+1(X)≥H∞離散有記憶信源的記憶長度越長，信源熵越?。欢毩⑶业雀诺男旁?，熵最大。[例]英文字母信源：26個字母加1個空格符H0=log27=4.76bit(等概)H1=4.02bit（不等概）H1+1=3.32bit（一階M-信源）H2+1=3.1bit（二階M-信源）H∞=1.4bit7/28/202315剩余度：用來衡量由于信源內(nèi)部的消息狀態(tài)的相關(guān)性和分布性，使其熵減少的程度稱為剩余度。相對熵：=H∞/H0=H(X)/Hmax(X)

=[(實際信源熵)/(離散信源最大熵)]內(nèi)熵(信息熵差)：=H0-H∞=H(X)-Hmax(X)=[（最大熵）-（實際信源熵）]剩余度：7/28/202316連續(xù)信源熵與信道容量上一章我們討論的是離散信源，實際應用中還有一類信源稱為連續(xù)信源，這種信源的時間和取值都是連續(xù)的，例如語音信號，電視圖像信號都是連續(xù)信號。時間離散狀態(tài)連續(xù)的信源熵可以用連續(xù)信源熵表示，相當于一個連續(xù)隨機變量。而時間連續(xù)的信源，為一個隨機過程，只要信號頻譜有限，則可以根據(jù)采樣定理，將其變?yōu)闀r間離散信源。這里我們只討論單變量連續(xù)信源，即時間離散狀態(tài)連續(xù)的連續(xù)信源。7/28/2023173.1連續(xù)信源的熵3.1.1連續(xù)信源熵的定義①連續(xù)信源的狀態(tài)概率用概率密度來表示。如果連續(xù)隨機變量X，取值為實數(shù)域R，其概率密度函數(shù)為p(x)，則如果取值為有限實數(shù)域[a,b]，則這時X的概率分布函數(shù)為：7/28/202318②連續(xù)信源的數(shù)學模型X：R(或[a,b])P(X)：p(x)③連續(xù)信源熵的表達式利用離散信源熵的概念來定義連續(xù)信源熵，首先看一個再[a,b]取間的連續(xù)隨機變量，如圖

首先把X的取值區(qū)間[a,b]分割為n個小區(qū)間，小區(qū)間寬度為：Δ=(b-a)/n根據(jù)概率分布為概率密度函數(shù)曲線的區(qū)間面積的關(guān)系，X取值為xi的概率為：Pi=p(xi).△7/28/202319這樣可以得到離散信源Xn的信源空間為：且有：當n趨無窮時，按離散信源熵的定義：可得離散信源Xn的熵：7/28/202320當△趨于0，n趨于無窮時，離散隨機變量Xn將接近于連續(xù)隨機變量X，這時可以得到連續(xù)信源的熵為：其中：連續(xù)信源的熵定義為：7/28/202321①連續(xù)信源熵為一個相對熵，其值為絕對熵減去一個無窮大量。H(X)=Hc(X)-∞②連續(xù)信源有無窮多個狀態(tài)，因此根據(jù)SHANNON熵的定義必然為無窮大。③連續(xù)信源的熵不等于一個消息狀態(tài)具有的平均信息量。其熵是有限的，而信息量是無限的。④連續(xù)信源熵不具有非負性，可以為負值。盡管連續(xù)信源的絕對熵為一個無窮大量，但信息論的主要問題是信息傳輸問題，連續(xù)信道的輸入輸出都是連續(xù)變量，當分析其交互信息量時是求兩個熵的差，當采用相同的量化過程時，兩個無窮大量將被抵消，不影響分析。7/28/202322連續(xù)信源的疑義度：則平均交互信息量為：

I(X,Y)=H(X)-H(X/Y)3.1.2幾種連續(xù)信源的熵⑴均勻分布的連續(xù)信源熵設(shè)一維連續(xù)隨機變量X的取值區(qū)間是[a,b]，在[a,b]中的概率密度函數(shù)是7/28/202323這種連續(xù)信源稱為均勻分布的連續(xù)信源。其熵為：這時可以看到：當(b-a)<1時，H(X)<0，即H(X)不具有熵函數(shù)的非負性，因為H(X)是相對熵，相對熵可以為負值，但絕對熵仍然為正值。⑵高斯分布的連續(xù)信源熵設(shè)一維隨機變量X的取值范圍是整個實數(shù)R，概率密度函數(shù)為：7/28/202324其中，m是隨機變量X的均值σ2是隨機變量X的方差當均值m=0時，方差σ2就是隨機變量的平均功率，7/28/202325這個信源稱為高斯分布的連續(xù)信源，其數(shù)學模型為：這時可以得到高斯連續(xù)信源的熵為：7/28/202326⑶指數(shù)分布的連續(xù)信源熵設(shè)一隨機變量X的取值取間為[0，∞]，其概率密度函數(shù)為則稱為指數(shù)分布的連續(xù)信源。其中常數(shù)a為隨機變量X的均值。即指數(shù)分布的連續(xù)信源的熵為7/28/2023273.2連續(xù)信源的最大熵3.2.1連續(xù)信源的最大熵為了求出連續(xù)信源的最大熵，將利用數(shù)學中的變分法的方法來求解。連續(xù)信源的熵為：其基本約束條件為：其它約束條件為：7/28/202328建立輔助函數(shù)：其中有：根據(jù)極值的條件有：及m個約束方程，可以確定最大熵和所對應的信源概率密度分布p(x)。

7/28/202329⑴輸出幅度受限時的最大熵（瞬時功率受限）其基本條件為：|x|≤v，x2≤S，這時對應只有一個約束方程，可以得到：7/28/202330這里的對數(shù)為以e為底，由約束方程可得：結(jié)論：對于瞬時功率受限的連續(xù)信源，在假定信源狀態(tài)為獨立時，當概率密度分布為常數(shù)時，信源具有最大熵。其最大熵為：7/28/202331⑵輸出平均功率受限時的最大熵推導：這時的約束條件為：可知：7/28/202332由極值條件：可得：7/28/202333將其代入約束條件,可得：得到：得到連續(xù)信源獲得最大熵時的概率密度函數(shù)：7/28/202334這是一個均值為0的高斯分布。其最大熵為：7/28/202335如果平均功率為N=σ2;

則有結(jié)論：（最大熵定理）對于輸出平均功率受限的連續(xù)信源，在假設(shè)狀態(tài)相互獨立時，當其概率密度函數(shù)為高斯分布時，具有最大熵。其最大熵值隨功率N的增加而增加。7/28/2023363.2.2連續(xù)信源的熵功率①對于平均功率受限的連續(xù)信源，當信源為高斯分布時有最大熵，如果信源不是高斯分布，則信源熵將小于最大熵。熵功率則用來描述連續(xù)信源熵的剩余度。即說明信源是可以改造的程度。②一個平均功率為N的非高斯分布的連續(xù)信源的熵功率等于與其有同樣熵的高斯信源的平均功率。③當非高斯連續(xù)信源與高斯信源具有相同熵時，那非高斯信源的平均功率一定大于高斯信源的功率。④當非高斯連續(xù)信源與高斯信源具有相同平均功率時，那非高斯信源的熵一定小于高斯信源的熵。7/28/202337平均功率為N的非高斯信源的熵功率為：（“目標功率”）非高斯信源：高斯信源：當時；一定有：當時；一定有：7/28/2023383.2.3連續(xù)信源的共熵和條件熵同離散信源相似，連續(xù)信源也可定義其共熵和條件熵，其基本關(guān)系為：

H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X,Y)≤H(X)+H(Y)H(X/Y)≤H(X)H(Y/X)≤H(Y)7/28/2023393.3連續(xù)有噪聲信道的信道容量3.3.1連續(xù)信道的平均交互信息量設(shè)信道輸入的隨機變量X的取值為[a,b]，信道輸出隨機變量Y的取值為[a’,b’]，信道轉(zhuǎn)移概率為p(y/x),(a≤x≤b,a’≤y≤b’)，如圖3-2所示。7/28/202340其連續(xù)信道的平均交互信息量為：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)其中熵函數(shù)的表達式：7/28/202341可知：I(X,Y)≥0；即平均交互信息量為非負值，當X，Y相互獨立時，p(x,y)=p(x)p(y)，I(X,Y)=0。同時有：I(X,Y)=I(Y,X)與離散信道情況相似，有相應的概率關(guān)系：p(x,y)=p(x)p(y/x)=p(y)p(x/y)7/28/2023423.3.2連續(xù)信道的熵速率與信道容量⑴熵速率在一個高斯白噪聲連續(xù)信道中，接收隨機變量Y為發(fā)送消息狀態(tài)X于噪聲n之和。即為加性高斯白噪聲（GAWN）信道，關(guān)系如圖所示。7/28/202343定義：接收熵速率為（不考慮符號速率，r=1）首先考慮X,n的聯(lián)合熵，由于X與n相互獨立。即。所以有：聯(lián)合熵（等于獨立熵之和）7/28/202344注意：由于Y=X+n，有p(x,n)=p(x)p(n)，即X與n獨立，并且有：對于給定的xi,p(y/x)=p(n/x)=p(n)

因為Y=X+n；且x與n獨立。所以有7/28/202345山農(nóng)公式說明加性高斯白噪聲信道的輸入信號X與噪聲n相加得到輸出的接收信號Y，如圖所示。根據(jù)概率論的相關(guān)知識，如果X為N維隨機變量，Y為N維隨機變量，并且X與Y有函數(shù)關(guān)系，Yi=gi(X);Xi=fi(Y);(如Y=X+n)，則他們的聯(lián)合概率密度函數(shù)存在關(guān)系：7/28/202346其中J為雅可比行列式。對于加性高斯白噪聲信道，坐標變換為：X=X(f1)；n=Y-X(f2)。7/28/202347因此：（X與n相互獨立）另外：則：最終得到：7/28/202348就是說：加性高斯白噪聲連續(xù)信道的條件概率密度函數(shù)p(y/x)就是噪聲n的概率密度函數(shù)p(n)，這是加性高斯噪聲信道的一個重要特征。則有:可得：熵速率為：R=H(X)-H(X/Y)=H(Y)-H(n)結(jié)論：在連續(xù)有噪聲信道上，接收熵速率等于接收得總信息速率H(Y)減去噪聲信息速率H(n)。7/28/202349⑵信道容量（Shannon公式）與離散信道的信道容量的概念一樣，在連續(xù)信道中，對于給定的信道[p(y/x)]，最大的接收熵速率為信道容量。當考慮到隨機變量X的符號速率為r時：已知X與n相互獨立，則H(n)與p(x)無關(guān)。7/28/202350三點假設(shè)：①信道為加性高斯白噪聲信道，功率譜均勻，平均功率為N。②信道帶寬滿足信號頻譜要求，為W，符號速率為r=2W。③信源為平均功率受限，信號功率為P。由于Y=X+n。為了使H(Y)為最大，Y應為高斯分布。若Y為高斯分布，同時已知n為高斯分布，則X也應為高斯分布。(Y=X+n)由此得知：對于高斯白噪聲信道，當信源為高斯分布時，接收熵速率為最大。7/28/202351推導：設(shè)Y為在接收端的一個平均功率受限的信源，功率為P+N；則有：若把信道噪聲看成一個平均功率為N的噪聲源，則有：這樣由信道容量的關(guān)系式可得：這樣就得到了Shannon公式,單位為net/s。7/28/202352Shannon公式的理解：在加性高斯信道上，其信道容量C與信號帶寬W和信號噪聲功率比P/N有關(guān)。在加性高斯信道上，當信源信號為高斯分布時，信道熵速率等于信道容量。對于連續(xù)信源來說，高斯白噪聲信道危害最大，因為H’(n)大使熵速率R減小。本公式給出了信道容量的理論極限值，目前還很難實現(xiàn)，因為信源不可能為高斯分布。信道容量的計算比較復雜，一些簡單情況下是可以計算的。7/28/2023533-3-3Shannon公式的參數(shù)互換由Shannon公式可知：（注意：這時的單位可以為比特，因為它是兩個熵函數(shù)之差，不同單位的信道容量表達式是相同的。）如果考慮通信時間為T，在T秒鐘傳輸?shù)目偟男畔⒘繛椋罕３挚偟男畔⒘坎蛔?，T、W、P/N之間的互換關(guān)系。①當信噪比P/N一定時：W↑→T↓，T↑→W↓，②當傳輸時間T一定時：W↑→P/N↓，W↓→P/N↑，③當帶寬W一定時：T↑→P/N↓，T↓→P/N↑，7/28/2023543.4關(guān)于連續(xù)信源熵和山農(nóng)公式[1]連續(xù)信源的剩余度平均功率為N的非高斯信源的熵為HN(X)；令則HN(X)的熵功率為：是HN(X)的熵功率。是這個非高斯信源的剩余度。7/28/202355[2]關(guān)于信道噪聲在通信系統(tǒng)中，我們把來自各方面的噪聲都集中在一起，認為都是從信道加入的。實際系統(tǒng)的噪聲分為外部噪聲和內(nèi)部噪聲。外部噪聲又分為人為噪聲（火花）和自然噪聲（大氣噪聲）。內(nèi)部噪聲包括熱噪聲（電子熱運動）和散粒噪聲（器件中電流起伏）。按噪聲性質(zhì)對信道進行分類：高斯噪聲信道；白噪聲信道；高斯白噪聲信道；有色噪聲信道；

7/28/202356[3]高斯噪聲信道信道中的噪聲為高斯分布（正態(tài)分布）的平穩(wěn)、各態(tài)歷經(jīng)的隨機過程。其幅度值的概率密度函數(shù)為高斯分布。內(nèi)部噪聲的熱噪聲和散粒噪聲都是高斯噪聲。高斯噪聲的一維概率密度函數(shù)為：[4]白噪聲信道白噪聲信道就是信道中的噪聲為白噪聲過程，白噪聲是一種平穩(wěn)、各態(tài)歷經(jīng)的隨機過程。它的功率譜密度在整個頻域上為均勻分布，也就是說功率譜密度為常數(shù)。7/28/202357白噪聲幅度值的概率密度函數(shù)為任意的