信息論理論基礎(chǔ)

信息論理論基礎(chǔ)1第1頁，課件共118頁，創(chuàng)作于2023年2月第2章基本信息論2.1信息度量2.2離散信源的熵2.3二元聯(lián)合信源的共熵與條件熵2.4連續(xù)信源的熵2.5熵速率和信道容量2.6離散有噪聲信道的熵速率和信道容量2.7連續(xù)有噪聲信道的熵速率和信道容量2.8使信源與信道匹配的編碼2023/7/302第2頁，課件共118頁，創(chuàng)作于2023年2月2.1信息度量2023/7/303第3頁，課件共118頁，創(chuàng)作于2023年2月2.1.1信息度量的必要性通信的目的是為了傳遞信息。單位時(shí)間內(nèi)信道所傳遞的信息量稱為傳信率，它是衡量通信系統(tǒng)性能的重要指標(biāo)之一。為了得出通信系統(tǒng)的傳信率，必須對(duì)消息或信源所含有的信息有一個(gè)數(shù)量上的度量方法這就是我們研究信息度量的目的。

2023/7/304第4頁，課件共118頁，創(chuàng)作于2023年2月2.1.2信源的不確定性1.研究不確定性的目的【例】A.明天太陽將從東方升起。

B.明天小張會(huì)給小王打電話。

C.明天上午小張會(huì)給小王打電話。結(jié)論：(1)信源發(fā)出的消息狀態(tài)應(yīng)該存在某種程度的不確定性；(2)信息的多少與信源的不確定性有關(guān)。2023/7/305第5頁，課件共118頁，創(chuàng)作于2023年2月2.不確定性的度量——不確定程度

不確定程度可以直觀理解為猜測(cè)某些隨機(jī)事件的難易程度。【例】布袋中有100個(gè)小球，大小、重量、手感完全相同，但顏色不同。從布袋中任取一球，猜測(cè)其顏色。

A.99個(gè)紅球，1個(gè)白球；

B.50個(gè)紅球，50個(gè)白球；

C.25個(gè)紅球，25個(gè)白球，25個(gè)黑球，25個(gè)黃球。2023/7/306第6頁，課件共118頁，創(chuàng)作于2023年2月(1)不確定程度與信源概率空間有關(guān)；(2)若狀態(tài)數(shù)相同，等概分布時(shí)不確定程度最大；(3)等概分布時(shí)，狀態(tài)數(shù)越多則不確定程度越大。2023/7/307第7頁，課件共118頁，創(chuàng)作于2023年2月3.不確定程度基本關(guān)系式——Hartley公式若信源X等概分布，則其不確定程度H(x)與概率P滿足：P越大，則H(x)越?。划?dāng)P=1時(shí)，則H(x)=0；當(dāng)P=0時(shí)，則H(x)=∞；信源不確定程度應(yīng)具有可加性。若X與X’相互獨(dú)立，則H(x,x’)=H(x)+H(x’)

對(duì)數(shù)可以取2、e、10為底，相應(yīng)不確定程度的單位分別為比特(bit)、奈特(nat)

、哈特萊(Hartley)

。2023/7/308第8頁，課件共118頁，創(chuàng)作于2023年2月不等概情況：消息xi的不確定程度2023/7/309第9頁，課件共118頁，創(chuàng)作于2023年2月2.1.3信息量1.概率基本關(guān)系式(1)(2)(3)2023/7/3010第10頁，課件共118頁，創(chuàng)作于2023年2月(4)(5)當(dāng)X和Y相互獨(dú)立時(shí)，(6)2023/7/3011第11頁，課件共118頁，創(chuàng)作于2023年2月2.信息量的定義：

收信者收到一個(gè)消息后，所獲得的信息量等于不確定度的減少量。I=不確定度的減少量2023/7/3012第12頁，課件共118頁，創(chuàng)作于2023年2月3.自信息量在沒有噪聲的情況下，信源發(fā)出xi

接收者就會(huì)收到xi。這時(shí)接收者收到的信息量就等于xi本身含有的信息量，稱為信源狀態(tài)xi的自信息量，記為I(xi)。收到xi前對(duì)xi的不確定程度：H(xi)收到xi后對(duì)xi的不確定程度：0自信息量2023/7/3013第13頁，課件共118頁，創(chuàng)作于2023年2月【例】一次擲兩個(gè)色子，作為一個(gè)離散信源，求下列消息的自信息量。

a.僅有一個(gè)為3；b.至少有一個(gè)為4；c.兩個(gè)之和為偶數(shù)。

解：p(a)=10/36=5/18

p(b)=11/36

p(c)=18/36=1/2I(a)=log(18/5)=1.848(bit)

I(b)=log(36/11)=1.7105(bit)

I(c)=log2=1(bit)2023/7/3014第14頁，課件共118頁，創(chuàng)作于2023年2月4.互信息量：

在有噪聲信道下，假設(shè)信源發(fā)出的狀態(tài)為xi，接收者收到的狀態(tài)為yj。接收者收到y(tǒng)j后，從yj中獲取到關(guān)于xi的信息量，就是信源發(fā)出xi后接收者收到的信息量，稱為互信息量，記為I(xi,yj)。2023/7/3015第15頁，課件共118頁，創(chuàng)作于2023年2月收到y(tǒng)j前對(duì)xi的不確定程度：收到y(tǒng)j后對(duì)xi的不確定程度：收到y(tǒng)j后對(duì)xi的不確定程度：2023/7/3016第16頁，課件共118頁，創(chuàng)作于2023年2月【例1】某電報(bào)系統(tǒng)發(fā)送傳號(hào)M和空號(hào)S的概率相等，即P(M)=P(S)=1/2。由于信道中噪聲的影響，使1/6的傳號(hào)收成空號(hào)，而半數(shù)的空號(hào)收成傳號(hào)。問收信者收到一個(gè)符號(hào)后所獲得的平均信息量是多少？

解：1.計(jì)算先驗(yàn)概率、聯(lián)合概率和后驗(yàn)概率發(fā)送符號(hào)：接收符號(hào)：

x1：發(fā)M，x2：發(fā)S，y1：收M，y2：收S

p(x1)=1/2，p(x2)=1/2

SSSSMMMMMMMMMSSSS

S

SMMMMMp(x1y1)=5/12，p(x1y2)=1/12，p(x2y1)=1/4p(x2

y2)=1/4p(x1|y1)=5/8，p(x1|y2)=1/4，p(x2|y1)=3/8，p(x2|

y2)=3/42023/7/3017第17頁，課件共118頁，創(chuàng)作于2023年2月2.計(jì)算收到一個(gè)消息所獲得的信息量2023/7/3018第18頁，課件共118頁，創(chuàng)作于2023年2月3.計(jì)算收到一個(gè)消息所獲得的平均信息量2023/7/3019第19頁，課件共118頁，創(chuàng)作于2023年2月2.2離散信源的熵2023/7/3020第20頁，課件共118頁，創(chuàng)作于2023年2月1.離散信源離散信源是指只能輸出有限數(shù)量消息(狀態(tài))的信源。2.離散信源的熵信源輸出一個(gè)消息(狀態(tài))所提供的平均信息量或信源的不肯定程度稱為信源熵。單位：bit/符號(hào)(消息)、nat/符號(hào)(消息)、Hartley/符號(hào)(消息)2023/7/3021第21頁，課件共118頁，創(chuàng)作于2023年2月【例1】計(jì)算只能輸出“1”和“0”兩個(gè)消息(狀態(tài))的簡(jiǎn)單二元信源的熵。解：假設(shè)p(1)=p,p(0)=1-p(0≤p≤1)(1)當(dāng)p=1/2時(shí)，H(x)=1bit/符號(hào)(2)當(dāng)p=0或p=1時(shí)，H(x)=0H(x)01/21p12023/7/3022第22頁，課件共118頁，創(chuàng)作于2023年2月3.熵函數(shù)的性質(zhì)(1)非負(fù)性H(x)≥0

由于0≤p(xi)≤1

所以logp(xi)≤0

因此有H(x)≥0

(2)對(duì)稱性

(3)確定性2023/7/3023第23頁，課件共118頁，創(chuàng)作于2023年2月(4)極值性

且N越大，Hmax(x)越大——離散信源的最大熵定理證明：作輔助函數(shù)2023/7/3024第24頁，課件共118頁，創(chuàng)作于2023年2月令：可得代入到約束方程可得因此2023/7/3025第25頁，課件共118頁，創(chuàng)作于2023年2月2.3二元聯(lián)合信源的共熵與條件熵2023/7/3026第26頁，課件共118頁，創(chuàng)作于2023年2月2.3.1二元聯(lián)合信源的共熵1.定義二元聯(lián)合信源的共熵是指二元聯(lián)合信源(X,Y)輸出一個(gè)組合消息狀態(tài)所發(fā)出的平均信息量，也稱為聯(lián)合熵，記作H(x,y)。2.表達(dá)式

(xi,yj)的信息量2023/7/3027第27頁，課件共118頁，創(chuàng)作于2023年2月2.3.2條件熵1.定義

X的狀態(tài)已知時(shí)，Y輸出一個(gè)狀態(tài)所發(fā)出的平均信息量稱為在X給定條件下，Y的條件熵，記作H(y|x)。在Y

給定條件下，X的條件熵，記作H(x|y)。2.表達(dá)式

已知xi的條件下，yj的信息量2023/7/3028第28頁，課件共118頁，創(chuàng)作于2023年2月3.H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)證明：將代入上式得由于因此2023/7/3029第29頁，課件共118頁，創(chuàng)作于2023年2月2.3.3H(x,y)≤H(x)+H(y)的證明當(dāng)X，Y相互獨(dú)立時(shí)取“=”，當(dāng)X，Y相關(guān)時(shí)取“<”證明：

由Lagrange中值定理可知若f(x)在[Z,Z+h]上連續(xù)，在(Z,Z+h)上可微，則在(Z,Z+h)上至少有一點(diǎn)C，使得f(Z+h)-f(Z)=hf’(C)C=Z+θh,0<θ<1f’(C)=f(Z+h)-f(Z)h2023/7/3030第30頁，課件共118頁，創(chuàng)作于2023年2月令則假設(shè)將(2)(3)(4)代入(1)中得2023/7/3031第31頁，課件共118頁，創(chuàng)作于2023年2月2023/7/3032第32頁，課件共118頁，創(chuàng)作于2023年2月2023/7/3033第33頁，課件共118頁，創(chuàng)作于2023年2月1)X，Y相互獨(dú)立對(duì)于所有i，j，有p(xi,yj)=p(xi)p(yj)因此aij=0

X，Y相互獨(dú)立時(shí),H(x,y)=H(x)+H(y)2)X，Y相關(guān)一定存在i，j，使p(xi,yj)≠p(xi)p(yj)，即aij≠0i)aij>0分子>0，分母>0ii)aij<0分子>0，分母>0

p(xi)p(yj)+θ

aij>p(xi)p(yj)+

aij=p(xi,yj)≥0因此X，Y相關(guān)時(shí),H(x,y)<H(x)+H(y)2023/7/3034第34頁，課件共118頁，創(chuàng)作于2023年2月推論1

由于H(x,y)≤H(x)+H(y)H(x,y)=H(x)+H(y|x)

所以H(x)+H(y|x)≤H(x)+H(y)因此同理推論2

H(y|x)≤H(y)H(x|y)≤H(x)H(x,y,…,z)≤H(x)+H(y)+…+H(z)2023/7/3035第35頁，課件共118頁，創(chuàng)作于2023年2月【例1】有兩個(gè)同時(shí)輸出消息的信源X和Y，X能輸出A，B，C三個(gè)消息，Y能輸出D，E，F(xiàn)，G四個(gè)消息。P(x)和P(y|x)的具體數(shù)值如表所示。求H(x)，H(y)，H(x,y)和H(y|x)。解：令

x1:A

x2:B

x3:C

y1:D

y2:E

y3:Fy4:GXABCP(x)1/21/31/6P(y|x)DEFG1/41/41/41/43/101/51/53/101/61/21/61/62023/7/3036第36頁，課件共118頁，創(chuàng)作于2023年2月

(1)

由可得

=3.417bit/對(duì)符號(hào)Xx1x2x3p(xi)p(yj|xi)y1y2y3y4p(xi,yj)x1x2x3y1y2y3y41/21/31/61/41/41/41/43/101/53/101/51/61/61/61/21/81/81/81/81/101/151/101/151/361/121/361/362023/7/3037第37頁，課件共118頁，創(chuàng)作于2023年2月(2)=1.461bit/符號(hào)(3)

由可得

=1.997bit/符號(hào)p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(y1)=91/360,p(y2)=99/360,p(y3)=79/360,p(y4)=91/3602023/7/3038第38頁，課件共118頁，創(chuàng)作于2023年2月(4)=1.956bit/符號(hào)

或

由H(x,y)=H(x)+H(y|x)得

H(y|x)

=H(x,y)-H(x)=3.417-1.461=1.956bit/符號(hào)p(xi,yj)x1x2x3y1y2y3y41/81/81/81/81/101/151/101/151/361/121/361/36p(yj|xi)x1x2x3y1y2y3y41/41/41/41/43/101/53/101/51/61/61/61/22023/7/3039第39頁，課件共118頁，創(chuàng)作于2023年2月離散平穩(wěn)有記憶信源的熵—極限熵1.離散平穩(wěn)有記憶信源所謂離散平穩(wěn)有記憶信源就是一種相關(guān)信源，信源發(fā)出的前后符號(hào)間具有相關(guān)性，并且信源的統(tǒng)計(jì)特性與時(shí)間無關(guān)。有記憶是指信源在某一個(gè)時(shí)刻的輸出狀態(tài)的統(tǒng)計(jì)特性與該信源以前的輸出狀態(tài)有關(guān)。假設(shè)信源發(fā)出的第一個(gè)符號(hào)記作X1，第二個(gè)符號(hào)記作X2，…，第N個(gè)符號(hào)記作XN，…若XN的概率分布與它前面的m個(gè)符號(hào)XN-1，XN-2，…，XN-m，有關(guān)，而與更前面的符號(hào)XN--m1，XN-m-2，…無關(guān)，則稱該離散信源的記憶長(zhǎng)度為m

。平穩(wěn)是指信源的統(tǒng)計(jì)特性與時(shí)間無關(guān)。2023/7/3040第40頁，課件共118頁，創(chuàng)作于2023年2月2.極限熵的概念假設(shè)離散平穩(wěn)有記憶信源X發(fā)出了N個(gè)符號(hào)：X1，X2，…，XN。則可以將這N個(gè)符號(hào)看作是一個(gè)N維聯(lián)合信源。N個(gè)符號(hào)提供的總的信息量為：

H(X1，X2，…，XN)平均每個(gè)符號(hào)提供的平均信息量為

H(X1，X2，…，XN)/N對(duì)于實(shí)際信源來說，是一種無限長(zhǎng)的序列，符號(hào)間相關(guān)性可以延伸到無窮。因此，離散平穩(wěn)有記憶信源輸出一個(gè)符號(hào)提供的平均信息量為：這個(gè)熵稱為離散平穩(wěn)有記憶信源的極限熵。2023/7/3041第41頁，課件共118頁，創(chuàng)作于2023年2月3.m階馬爾柯夫信源的極限熵如果一個(gè)離散平穩(wěn)有記憶信源在任意時(shí)刻輸出符號(hào)的概率僅依賴于它前面的m個(gè)時(shí)刻的輸出符號(hào)，而與更前面的符號(hào)無關(guān)，則該信源稱為記憶長(zhǎng)度為m的離散平穩(wěn)有記憶信源，也稱為m階馬爾柯夫信源。馬爾柯夫信源是一種特殊的、比較接近實(shí)際的離散平穩(wěn)有記憶信源。2023/7/3042第42頁，課件共118頁，創(chuàng)作于2023年2月2023/7/3043第43頁，課件共118頁，創(chuàng)作于2023年2月對(duì)于m階馬爾柯夫信源Hm+1——m階條件熵2023/7/3044第44頁，課件共118頁，創(chuàng)作于2023年2月幾點(diǎn)說明：對(duì)于實(shí)際的離散非平穩(wěn)有記憶信源，其極限熵是不存在的；可以假設(shè)其為記憶長(zhǎng)度為無窮大的離散平穩(wěn)有記憶信源，極限熵H∞存在，但求解困難；進(jìn)一步假設(shè)其為m階Markov信源，用其極限熵Hm+1近似；再進(jìn)一步假設(shè)其為一階Markov信源，用其極限熵H1+1近似；最簡(jiǎn)化的信源是離散無記憶信源，其熵為H(x)；最后可以假定為等概的離散無記憶信源，其熵為logN。

H∞≤Hm+1≤H1+1≤H(x)≤logN2023/7/3045第45頁，課件共118頁，創(chuàng)作于2023年2月【例2】已知離散信源的概率分布為

(1)當(dāng)符號(hào)間無相關(guān)性時(shí)，求該信源的熵。

解：bit/符號(hào)

X012P(X)11/364/91/42023/7/3046第46頁，課件共118頁，創(chuàng)作于2023年2月

(2)若信源為有記憶信源，且記憶長(zhǎng)度為1，求該信源的熵。

解：由得P(Xi+1|Xi)Xi

012Xi+1012

P(Xi，Xi+1)Xi

012Xi+1012

9/112/1101/83/41/802/97/91/41/1801/181/31/1801/187/362023/7/3047第47頁，課件共118頁，創(chuàng)作于2023年2月=0.890bit/符號(hào)2023/7/3048第48頁，課件共118頁，創(chuàng)作于2023年2月2.3.4消息的剩余度由于信源內(nèi)部的消息狀態(tài)的相關(guān)性和分布性，使其熵減少的現(xiàn)象稱為剩余。剩余產(chǎn)生的原因信源的不等概分布信源前后符號(hào)間具有相關(guān)性剩余的程度相對(duì)熵剩余度內(nèi)熵=H(x)/Hmax(x)=Hmax(x)-H(x)2023/7/3049第49頁，課件共118頁，創(chuàng)作于2023年2月2.4連續(xù)信源的熵2023/7/3050第50頁，課件共118頁，創(chuàng)作于2023年2月2.4.1連續(xù)信源熵的定義

所謂連續(xù)信源就是指它們輸出的量是連續(xù)的。這種信源的輸出量，在任一時(shí)刻，在某個(gè)范圍內(nèi)可以取無窮多個(gè)數(shù)值。

1.連續(xù)信源熵的表達(dá)式可以利用離散信源熵的概念來定義連續(xù)信源熵。2023/7/3051第51頁，課件共118頁，創(chuàng)作于2023年2月離散信源X’的概率分布為：當(dāng)dx→0時(shí)，H絕→H(x’)2023/7/3052第52頁，課件共118頁，創(chuàng)作于2023年2月定義連續(xù)信源的熵為：

2023/7/3053第53頁，課件共118頁，創(chuàng)作于2023年2月幾點(diǎn)說明：連續(xù)信源有無窮多個(gè)狀態(tài)，因此其絕對(duì)熵必然為無窮大。連續(xù)信源熵為一個(gè)相對(duì)熵。連續(xù)信源熵不具有非負(fù)性，可以為負(fù)值。研究信息傳輸問題時(shí)，分析信道的輸入和輸出的交互信息量時(shí)是求兩個(gè)熵的差，當(dāng)采用相同的量化過程時(shí)，兩個(gè)無窮大量將被抵消，不影響分析。2023/7/3054第54頁，課件共118頁，創(chuàng)作于2023年2月2.幾種典型連續(xù)信源的熵⑴均勻分布的連續(xù)信源熵設(shè)一維連續(xù)隨機(jī)變量X的取值區(qū)間是[a,b]，其概率密度函數(shù)為2023/7/3055第55頁，課件共118頁，創(chuàng)作于2023年2月(2)高斯分布的連續(xù)信源熵其中，m是隨機(jī)變量X的均值σ2是隨機(jī)變量X的方差2023/7/3056第56頁，課件共118頁，創(chuàng)作于2023年2月2023/7/3057第57頁，課件共118頁，創(chuàng)作于2023年2月2.4.2連續(xù)信源的最大熵變分法求函數(shù)p=p(x)使g最大構(gòu)造令2023/7/3058第58頁，課件共118頁，創(chuàng)作于2023年2月⑴輸出幅度受限（瞬時(shí)功率受限）時(shí)的最大熵2023/7/3059第59頁，課件共118頁，創(chuàng)作于2023年2月結(jié)論：對(duì)于瞬時(shí)功率受限的連續(xù)信源，在假定信源狀態(tài)為獨(dú)立時(shí)，當(dāng)信源為均勻分布時(shí)，具有最大熵。其最大熵為：2023/7/3060第60頁，課件共118頁，創(chuàng)作于2023年2月(2)輸出平均功率受限時(shí)的最大熵2023/7/3061第61頁，課件共118頁，創(chuàng)作于2023年2月2023/7/3062第62頁，課件共118頁，創(chuàng)作于2023年2月結(jié)論：（連續(xù)信源的最大熵定理）對(duì)于輸出平均功率受限的連續(xù)信源，在假設(shè)狀態(tài)相互獨(dú)立時(shí)，當(dāng)其概率分布為均值為0的高斯分布時(shí)，具有最大熵。其最大熵值隨功率N的增加而增加。2023/7/3063第63頁，課件共118頁，創(chuàng)作于2023年2月2.4.3熵功率對(duì)于平均功率受限的連續(xù)信源，當(dāng)信源為高斯分布時(shí)有最大熵。當(dāng)非高斯連續(xù)信源與高斯信源具有相同平均功率時(shí)，那么非高斯信源的熵一定小于高斯信源的熵。當(dāng)非高斯連續(xù)信源與高斯信源具有相同熵時(shí)，那么非高斯信源的平均功率一定大于高斯信源的功率。1.定義若平均功率為N的非高斯信源與平均功率為的高斯信源的熵相同，則稱為該非高斯信源的熵功率。2023/7/3064第64頁，課件共118頁，創(chuàng)作于2023年2月高斯信源的熵為H，功率為非高斯信源的熵為H，功率為N因此結(jié)論：熵功率永遠(yuǎn)小于信源的真正功率。2023/7/3065第65頁，課件共118頁，創(chuàng)作于2023年2月2.表達(dá)式

(1)若非高斯信源的熵為H（單位為nat），熵功率功率為則因此(2)若H的單位為bit，則(3)若H的單位為Hartley，則2023/7/3066第66頁，課件共118頁，創(chuàng)作于2023年2月2.4.4連續(xù)信源的共熵與條件熵離散信源的共熵和條件熵同離散信源相似，連續(xù)信源也可定義其共熵和條件熵

2023/7/3067第67頁，課件共118頁，創(chuàng)作于2023年2月關(guān)于離散信源獨(dú)立熵、共熵和條件熵的幾個(gè)關(guān)系式，對(duì)于連續(xù)信源仍然成立。H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)H(x,y)≤H(x)+H(y)H(y|x)≤H(y)H(x|y)≤H(x)2023/7/3068第68頁，課件共118頁，創(chuàng)作于2023年2月2.5熵速率和信道容量2023/7/3069第69頁，課件共118頁，創(chuàng)作于2023年2月2.5.1信源熵速率1.定義：信源在單位時(shí)間內(nèi)輸出的平均信息量稱為信源的熵速率，也稱為信息速率。2.離散信源的熵速率若離散信源的熵為H(x)，符號(hào)速率為n，則其熵速率為H’(x)=nH(x)3.連續(xù)信源的熵速率假設(shè)連續(xù)信源的熵為H(x)，帶寬為W。由采樣定理可知，當(dāng)采樣頻率fs≥2W時(shí)，可由各采樣值無失真地恢復(fù)出原始信號(hào)，因此H’(x)=2WH(x)2023/7/3070第70頁，課件共118頁，創(chuàng)作于2023年2月2.5.2信道容量1.定義：所謂信道容量是指信道對(duì)信源一切可能的概率分布而言，能夠傳送的最大熵速率，即最大接收熵速率。無噪聲信道：C=H’max(x)有噪聲信道：C<H’max(x)2.離散無噪聲信道的信道容量

假設(shè)離散信道每秒傳送n個(gè)等寬度，有K種狀態(tài)的符號(hào)，則C=H’max(x)=nlogK3.連續(xù)無噪聲信道的信道容量

假設(shè)帶寬為W，信號(hào)平均功率為N，則2023/7/3071第71頁，課件共118頁，創(chuàng)作于2023年2月2.6離散有噪聲信道的熵速率和信道容量2023/7/3072第72頁，課件共118頁，創(chuàng)作于2023年2月2.6.1接收熵速率

1.平均互信息量（接收熵）在有噪聲信道下，若信源發(fā)出的消息為xi，接收者收到的消息為yj，則接收者收到y(tǒng)j后，從yj中獲取到關(guān)于xi的信息量為接收者收到一個(gè)消息所獲得的的平均信息量為稱為Y關(guān)于X的平均互信息量，即接收熵。2023/7/3073第73頁，課件共118頁，創(chuàng)作于2023年2月H(x|y)：由于噪聲和干擾的作用，在傳輸過程中損失的信息量，表示收到Y(jié)后，對(duì)X仍然存在的疑惑性或不確定性，也稱為疑義度、可疑度或含糊度。2023/7/3074第74頁，課件共118頁，創(chuàng)作于2023年2月由于H(x,y)=H(x)+H(y|x)=H(y)+H(x|y)(2)因此H(x)-H(x|y)=H(y)-H(y|x)(3)H(x)=H(x,y)-H(y|x)(4)H(x|y)=H(x,y)-H(y)(5)(3)代入(1)得:I(x,y)=H(y)-H(y|x)

(4)代入(1)得:I(x,y)=H(x,y)-H(y|x)-H(x|y)(5)代入(1)得:I(x,y)=H(x)+H(y)-H(x,y)H(y|x)：表示信道輸入信號(hào)（即信源熵）由于干擾作用在輸出端表現(xiàn)的散布程度，通常稱為散布度。2023/7/3075第75頁，課件共118頁，創(chuàng)作于2023年2月平均互信息量、信源熵、信宿熵、聯(lián)合熵、疑義度和散布度之間的關(guān)系2023/7/3076第76頁，課件共118頁，創(chuàng)作于2023年2月平均互信息量的性質(zhì)非負(fù)性I(x,y)≥0，當(dāng)X，Y相互獨(dú)立時(shí)取“=”對(duì)稱性I(x,y)=I(y,x)極值性I(x,y)≤H(x)2.接收熵速率R=n×I(x,y)R=H’(x)-H’(x|y)R=H’(y)-H’(y|x)H’(x|y)=n×H(x|y)——疑義度熵速率H’(y|x)=n×H(y|x)——散布度熵速率2023/7/3077第77頁，課件共118頁，創(chuàng)作于2023年2月

【例1】一個(gè)信源以相等的概率及1000碼元/秒的速率把“0”和“1”碼送入有噪聲信道。由于信道中噪聲的影響，發(fā)送為“0”接收為“1”的概率是1/16，而發(fā)送為“1”接收為“0”的概率是1/32，求收信者接收的熵速率。解：x1：發(fā)送“0”x2：發(fā)送“1”

y1：接收“0”y2：接收“1”p(x1)=p(x2)=1/2p(yj|xi)y1y2x115/161/16

x21/3231/322023/7/3078第78頁，課件共118頁，創(chuàng)作于2023年2月由得由得p(y1)=31/64,p(y2)=33/64

bit/符號(hào)p(xi,yj)y1y2x115/321/32

x21/6431/642023/7/3079第79頁，課件共118頁，創(chuàng)作于2023年2月

bit/符號(hào)

bit/符號(hào)

R=nI(x,y)=1000×0.730=730bit/s2023/7/3080第80頁，課件共118頁，創(chuàng)作于2023年2月2.6.3信道容量信道容量是在給定信道條件下（即一定的信道轉(zhuǎn)移概率），對(duì)于所有可能的信源先驗(yàn)概率的最大接收熵速率。

信道容量C與信源無關(guān)，只是信道轉(zhuǎn)移概率的函數(shù)，不同的信道就有不同的信道容量。它反映了信道本身的傳信能力。2023/7/3081第81頁，課件共118頁，創(chuàng)作于2023年2月【例】已知某離散信道的符號(hào)速率為1000符號(hào)/秒，信道轉(zhuǎn)移概率矩陣為

求該信道的信道容量以及接收熵速率達(dá)到信道容量時(shí)信源的概率分布。2023/7/3082第82頁，課件共118頁，創(chuàng)作于2023年2月解：

=1.459bit/符號(hào)2023/7/3083第83頁，課件共118頁，創(chuàng)作于2023年2月當(dāng)Y為等概分布時(shí)，H(y)的值最大

bit/符號(hào)因此

bit/符號(hào)由于因此當(dāng)X的概率分布滿足以下關(guān)系式時(shí)，接收熵速率達(dá)到最大值，即信道容量。2023/7/3084第84頁，課件共118頁，創(chuàng)作于2023年2月當(dāng)X為等概分布時(shí)，接收熵速率最大，其最大值即信道容量為

bit/s2023/7/3085第85頁，課件共118頁，創(chuàng)作于2023年2月結(jié)論：對(duì)稱信道（信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的）的信道容量為2023/7/3086第86頁，課件共118頁，創(chuàng)作于2023年2月2.7連續(xù)有噪聲信道的熵速率和信道容量2023/7/3087第87頁，課件共118頁，創(chuàng)作于2023年2月2.7.1接收熵速率1.平均互信息量（接收熵）離散信道連續(xù)信道I(x,y)=H(x)-H(x|y)I(x,y)=H(y)-H(y|x)I(x,y)=H(x,y)-H(y|x)-H(x|y)I(x,y)=H(x)+H(y)-H(x,y)2023/7/3088第88頁，課件共118頁，創(chuàng)作于2023年2月加性高斯白噪聲信道X與n獨(dú)立，對(duì)于給定的xi

，p(y/x)=p(n/x)=p(n)2023/7/3089第89頁，課件共118頁，創(chuàng)作于2023年2月因此H(y/x)=H(n/x)=H(n)I(x,y)=H(y)-H(n)2.接收熵速率R=H’(x)-H’(x|y)R=H’(y)-H’(n)2023/7/3090第90頁，課件共118頁，創(chuàng)作于2023年2月2.7.2信道容量假設(shè)信道特性如下：信道干擾形式為加性隨機(jī)噪聲，其功率譜均勻，幅度概率分布為高斯分布，即所謂加性高斯白噪聲（AWGN），平均功率為N。信道為矩形帶寬，其寬度為W。信源平均功率受限，信號(hào)功率為P。推導(dǎo)：C=maxR=max[H’(y)-H’(n)]=H’max(y)-H’(n)噪聲為加性高斯白噪聲，因此H’(n)=Wlog(2πeN)2023/7/3091第91頁，課件共118頁，創(chuàng)作于2023年2月Y平均功率為(P+N)，因此當(dāng)Y服從均值為0的高斯分布時(shí)

H’max(y)=Wlog[2πe(P+N)]由于Y和n均服從均值為0的高斯分布，因此X=Y-n也服從均值為0的高斯分布。山農(nóng)公式2023/7/3092第92頁，課件共118頁，創(chuàng)作于2023年2月結(jié)論：對(duì)于AWGN信道，其信道容量C與信號(hào)帶寬W和信號(hào)噪聲功率比P/N有關(guān)，W或P/N愈大，則C愈大。平均功率受限的信道，當(dāng)其輸入信號(hào)為高斯分布時(shí)，該信道的傳信率R可以達(dá)到傳信率理論極限值——信道容量。平均功率受限的信道，高斯白噪聲的危害最大。這是因?yàn)楦咚拱自肼暤撵刈畲?。保持總的信息量不變，T、W、P/N之間的互換關(guān)系。當(dāng)信噪比P/N一定時(shí)：W↑→T↓，T↑→W↓當(dāng)傳輸時(shí)間T一定時(shí)：W↑→P/N↓，W↓→P/N↑當(dāng)帶寬W一定時(shí)：T↑→P/N↓，T↓→P/N↑2023/7/3093第93頁，課件共118頁，創(chuàng)作于2023年2月對(duì)于AWGN信道，當(dāng)帶寬增大時(shí)信道容量會(huì)增加，但是信道容量會(huì)隨著帶寬的增加而無限度增加嗎？由噪聲功率N=N0W令2023/7/3094第94頁，課件共118頁，創(chuàng)作于2023年2月2023/7/3095第95頁，課件共118頁，創(chuàng)作于2023年2月2.8使信源與信道匹配的編碼2023/7/3096第96頁，課件共118頁，創(chuàng)作于2023年2月2.8.1編碼定理1.無噪聲離散信道的編碼定理（有效性編碼定理，信源編碼定理）假設(shè)信源熵為H（bit/符號(hào)），無噪聲離散信道的容量為C（bit/s），則總可以找到一種編碼方法對(duì)信源的輸出進(jìn)行編碼，使得在信道上傳輸?shù)钠骄俾蕿槊棵耄–/H-ε）個(gè)符號(hào)。其中ε為任意小的正數(shù)。但要使平均速率大于C/H是不可能的。2023/7/3097第97頁，課件共118頁，創(chuàng)作于2023年2月2.有噪聲離散信道的編碼定理（可靠性編碼定理，信道編碼定理）假設(shè)有噪聲離散信道的信道容量為C

，離散信源的熵速率為R。如果R

≤C

，則存在一種編碼方法，使信源的輸出能以任意小的錯(cuò)誤概率在信道上傳輸。如果R

>C

，就不可能有象R

≤C那樣的編碼方法。2023/7/3098第98頁，課件共118頁，創(chuàng)作于2023年2月2.8.2信源最佳化

——傳輸效率無噪聲信道提高，就要使H最大化符號(hào)獨(dú)立化，解除符號(hào)間的相關(guān)性各符號(hào)概率均勻化——信源最佳化2023/7/3099第99頁，課件共118頁，創(chuàng)作于2023年2月1.弱記憶信源（弱相關(guān)信源）如果信源的符號(hào)序列中，只有相鄰的少數(shù)幾個(gè)符號(hào)之間有統(tǒng)計(jì)相關(guān)性，而相距較遠(yuǎn)的符號(hào)之間的統(tǒng)計(jì)相關(guān)性可以忽略不計(jì)，這種信源稱為弱記憶信源或弱相關(guān)信源。對(duì)于這種信源，我們可以把相關(guān)性較強(qiáng)的幾個(gè)相鄰符號(hào)看作一個(gè)大符號(hào)。于是這些大符號(hào)之間的相關(guān)性就小的多了。這種方法通常稱為延長(zhǎng)法或合并法。2.8.3符號(hào)獨(dú)立化2023/7/30100第100頁，課件共118頁，創(chuàng)作于2023年2月2.強(qiáng)記憶信源（強(qiáng)相關(guān)信源）如果信源序列具有很強(qiáng)的相關(guān)性，以致于根據(jù)其中一部分符號(hào)就可以推測(cè)出其余的符號(hào)，這種信源稱為強(qiáng)記憶信源或強(qiáng)相關(guān)信源。對(duì)于這種信源，那些可以被推知（或預(yù)測(cè)）的符號(hào)就無需傳送。一般來說，難以完全精確的預(yù)測(cè)，而只能根據(jù)信源的統(tǒng)計(jì)特性作近似地預(yù)測(cè)。這時(shí)，我們不必傳輸序列本身，而只需傳送序列的實(shí)際值與預(yù)測(cè)值之差。這種方法通常稱為預(yù)測(cè)法。預(yù)測(cè)法應(yīng)用的典型例子就是增量調(diào)制和差分編碼調(diào)制。2023/7/30101第101頁，課件共118頁，創(chuàng)作于2023年2月X=原始信源符號(hào)集；A=信道碼元符號(hào)集；W=輸出碼字（碼組）集。2.8.4概率均勻化——最佳編碼1.編碼的基本知識(shí)(1)編碼器編碼器的作用：用A中的元素構(gòu)成各個(gè)碼字建立X與W的對(duì)應(yīng)關(guān)系2023/7/30102第102頁，課件共118頁，創(chuàng)作于2023年2月(2)幾個(gè)基本概念D元代碼若碼元符號(hào)集A中有D種元素（碼元），則該代碼稱為D元代碼。同價(jià)代碼若各碼元長(zhǎng)度相同（占用時(shí)間相同），則該代碼稱為同價(jià)代碼。等長(zhǎng)代碼若任一碼字都有同樣多個(gè)碼元構(gòu)成，則該代碼稱為等長(zhǎng)代碼。例如，{00，01，10，11}——等長(zhǎng)代碼

{0，10，110，111}——非等長(zhǎng)代碼2023/7/30103第103頁，課件共118頁，創(chuàng)作于2023年2月單義代碼若任意一個(gè)有限長(zhǎng)的碼字序列，只能唯一地分割成一個(gè)個(gè)碼字，則稱該代碼為單義代碼。例如，{0，10，110，111}——單義代碼

0010101100…{0，10，110，010}——非單義代碼

0010101100…0010101100…非續(xù)長(zhǎng)代碼若任一個(gè)碼字都不是另一個(gè)碼字的續(xù)長(zhǎng)，則稱該代碼為非續(xù)長(zhǎng)代碼。例如，{0，10，110，111}——非續(xù)長(zhǎng)代碼

{0，10，110，010}——續(xù)長(zhǎng)代碼||||||||||||||2023/7/30104第104頁，課件共118頁，創(chuàng)作于2023年2月非續(xù)長(zhǎng)代碼與單義代碼的關(guān)系例如，{0，10，110，111}是非續(xù)長(zhǎng)代碼，也是單義代碼。

{0，01}是單義代碼，但不是非續(xù)長(zhǎng)代碼。

000100010非續(xù)長(zhǎng)代碼一定是單義的，但單義代碼不一定是非續(xù)長(zhǎng)的。||||||2023/7/30105第105頁，課件共118頁，創(chuàng)作于2023年2月單義代碼存在定理設(shè)碼元符號(hào)集為A:{a1,a2,…,aD}，碼字集合為W:{W1,W2,…Wm}，其碼長(zhǎng)分別為n1,n2,…,nm；則單義代碼存在的充要條件為碼長(zhǎng)組合滿足Kraft不等式，即Kraft不等式同時(shí)也是非續(xù)長(zhǎng)代碼存在的充要條件；滿足Kraft不等式的碼長(zhǎng)組合一定能構(gòu)成單義碼，單義碼的碼長(zhǎng)組合一定滿足Kraft不等式；有些碼字的碼長(zhǎng)組合滿足Kraft不等式，但不是單義碼。（編碼方法不對(duì)）

2023/7/30106第106頁，課件共118頁，創(chuàng)作于2023年2月【例】A={a1,a2},W={W1,W2,W3,W4},若各個(gè)碼字的碼長(zhǎng)分別為n1=1,n2=n3=2,n4=3。問是否存在單義代碼？若n1=1,n2=2,n3=n4=3呢？解：(1)

D=2，當(dāng)n1=1,n2=n3=2,n4=3時(shí)因此不存在單義代碼

(2)

當(dāng)n1=1,n2=2,n3=n4=3時(shí)因此存在單義代碼2023/7/30107第107頁，課件共118頁，創(chuàng)作于2023年2月(3)二元非續(xù)長(zhǎng)代碼的構(gòu)成方法例如，A={0,1},W={W1,W2,W3,W4},各個(gè)碼字的碼長(zhǎng)分別為n1=1,n2=2,n3=n4=3。“樹圖”

W1=0W2=10W3=110W4=111樹圖也可以用來解碼，如

100110010非續(xù)長(zhǎng)碼：從頂點(diǎn)到任一碼字都不能經(jīng)過其他的碼字||||根01W101W201W3W42023/7/30108第108頁，課件共118頁，創(chuàng)作于2023年2月2.最佳編碼法（信源編碼，有效性編碼）例：X：ABCD

P(X):1/21/41/81/8

編碼1：A:00，B:01，C:10，D:11碼長(zhǎng)L=2碼元/符號(hào)原始信源符號(hào)熵H(S)=1.75bit/符號(hào)信道碼元熵H(A)=H(S)/L=0.875bit/碼元編碼效率η=R/C=H(A)/H(A)max=0.875/1=87.5%2023/7/30109第109頁，課件共118頁，創(chuàng)作于2023年2月編碼2：A:0，B:10，C:110，D:111平均碼長(zhǎng)=1×0.5+2×0.25+3×0.25=1.75碼元/符號(hào)原始信源符號(hào)熵H(S)=1.75bit/符號(hào)信道碼元熵H(A)=H(S)/

=1bit/碼元編碼效率η=H(A)/H(A)max=1/1=100%信源編碼的基本思想：根據(jù)給定的消息概率，編碼成二元非續(xù)長(zhǎng)代碼：消息概率大，編成的代碼短；消息概率小，編成的代碼長(zhǎng)，從而減小平均碼長(zhǎng)，增大信道碼元熵，提高傳輸效率。2023/7/30110第110頁，課件共118頁，創(chuàng)作于2023年2月(1)Shannon-Fano編碼法步驟：①把原始信源的符號(hào)按概率從大到小重新排列；②把信源符號(hào)按盡可能概率相等分為2組，分別分配給“0”和“1”碼元；③將每個(gè)分組再次分組，直至分完；④從左至右將分得的碼元排列即得碼字Wi?！纠考僭O(shè)有一個(gè)離散的獨(dú)立信源，可以輸出8個(gè)獨(dú)立的消息。其信源空間如下：X:ABCDEFGHP(X):0.1