信息與編碼第7講

第七講香農(nóng)公式信源與信道的匹配失真函數(shù)Y

=

X

+

n2連續(xù)信道容量2021/7/73.4連續(xù)信道及其容量3

限時限頻限功率加性高斯白噪聲信道高斯白噪聲加性波形信道是常用的一種波形信道，其輸入和輸出信號是隨機過程{x(t)}和{y(t)}，而加入信道的噪聲是加性高斯白噪聲{n(t)}（其均值為零，功率譜密度為N0/2），輸出信號滿足{y(t)}={x(t)}+{n(t)}。此信道又稱為可加波形信道。設(shè)信道的帶寬為W（即|f|￡

W），此時信道的輸入、輸出信號和噪聲都是限頻的隨機過程。由取樣定理，可把一個時間連續(xù)的信道變換成時間離散的多維連續(xù)信道來處理。由于是加性信道，所以多維連續(xù)信道也滿足：信道的頻帶是受限的，所以加入信道的噪聲成為限帶的高斯白噪聲。2ninis

2=

P=

N0此N

維聯(lián)合概率密度函數(shù)為23連續(xù)信道容量2021/7/71iNNi=1-n2

/

2s

2i

nii=1

2ps

np(n)

=

p(n1n2

..nN

)

=

p(ni

)=

e低頻限帶高斯白噪聲過程可分解成N(=2WT)維統(tǒng)計獨立的隨機序列，其中每個分量ni

均值都為零，方差為3.4連續(xù)信道及其容量所以信道是無記憶的，即信道為多維無記憶高斯加性信道。因此信道可等效成N個獨立的并聯(lián)高斯加性信道。4連續(xù)信道容量2021/7/7i=1Ni=1對加性信道，若上式成立，可以推出：Np(

y

/

x)

=

p(n)

=

p(ni

)=

p(

yi

/

xi

)3.4連續(xù)信道及其容量信道ˉ輸入信號{x(t)}輸出信號{y(t)}=

{x(t)}+

{n(t)}噪聲{n(t)}信道ˉ輸入信號序列{x1,x2,

..

xN}輸出信號序列{y1,y2,..yN}={x1,

x2,..

xN}+{n1,

n2,

..

nN}取樣噪聲序列{n1,n2,

..

nN}5連續(xù)信道容量2021/7/7限帶高斯白噪聲加性信道變換成N(=2WT)個獨立的并聯(lián)高斯加性信道(1)3.4連續(xù)信道及其容量輸入x1輸出y1=x1+n1噪聲n1輸入x2輸出y2=x2+n2噪聲n2噪聲nN輸入

xN

輸出

yN=xN+nN限帶高斯白噪聲加性信道變換成N(=2WT)個獨立的并聯(lián)高斯加性信道(2)6連續(xù)信道容量2021/7/73.4連續(xù)信道及其容量12NNi

iniPsPi=1i=1I

(

X

;Y

)

￡

I

(

X

;Y

)

￡log(1+

i

)則：iiPsPn2

i=1C

=

max

I

(

X

;Y

)

=p

(

x)log(1+N1

)

(比特/N個自由度)2nini現(xiàn)在高斯白噪聲的每個分量均值為0，方差為s

2=

P=

N0每個信號樣本值的平均功率為PsT

=

PsT

=

PsN

2WT

2W7連續(xù)信道容量2021/7/7連續(xù)信道及其容量有：所以，[0,

T]時刻內(nèi)，信道的信道容量：28連續(xù)信道容量2021/7/7)iiPsPs

/

2W

)PnN0

/

2Ps2

N0WPsN0W2

i=1C

=

log(1+)

=

N

log(1+=

N

log(1+=

WT

log(1+N1

)

(比特/N個自由度)要達到這個信道容量則要求輸入N維隨機序列X中每一分量Xi

都是均值為零，方差為Ps，彼此統(tǒng)計獨立的高斯變量。由信號分析知道，高斯變量之間線性無關(guān)或相關(guān)系數(shù)為零，就能保證彼此統(tǒng)計獨立。否則傳送的信息將低于信道容量，信道得不到充分利用。3.4連續(xù)信道及其容量3.4連續(xù)信道及其容量=

lim[HC

(X)

+

HC

(Y)

-

HC

(XY)]=

lim[HC

(Y)

-

HC

(Y

X)]Lfi￥Lfi￥Lfi￥波形信道的平均互信息為I[x(t);

y(t)]

=

lim

I

(X;

Y)Lfi￥=

lim[HC

(X)

-

HC

(X

Y)]t信道容量為：C

=I

(X;

Y)

bit

s1max

limp(

x)

tB

fi

￥

tB9連續(xù)信道容量2021/7/7香農(nóng)公式：限帶高斯白噪聲加性(AWGN,AdditiveWhite

Gaussian

Noise)信道單位時間的信道容量：010連續(xù)信道容量2021/7/7tPsN

WT

fi

￥

TC

=

lim

C

=

W

log(1+)

(比特/秒)式中，Ps

是信號的平均功率，N0W

是高斯白噪聲在帶寬W內(nèi)的平均功率（其功率譜密度為N0/2），Ps

/N0W為信噪功率比。信道容量與信噪功率比和帶寬有關(guān)。3.4連續(xù)信道及其容量3.4連續(xù)信道及其容量CtSNR信道容量與信噪比的關(guān)系由香農(nóng)公式得到的幾個重要結(jié)論：(1)

提高信噪比能增加信道的信道容量。帶寬W一定時，信噪比SNR與信道容量Ct成對數(shù)關(guān)系11連續(xù)信道容量2021/7/7例：電話信道。一般電話信號的帶寬為3300Hz。若信道信噪比為20dB，求信道的信道容量。解：由10lg(Ps

/N0W

)=20

得Ps

/N0W

=100。代入香農(nóng)公式：t12連續(xù)信道容量2021/7/7PsN

WC

=

W

log(1+)

=

3300

log(1+100)0=21972

(比特/秒)計算結(jié)果約為22000

比特/秒。實際信道可以達到的最大信道傳輸率約為19200比特/秒，稍小于理論值（這是由于串擾、回聲等干擾因素所導(dǎo)致）。3.4連續(xù)信道及其容量3.4連續(xù)信道及其容量(2)

當輸入信號功率PS一定，增加信道帶寬，可以增加容量10

00N0

ln

2PPN

WPP

WN

P

PS1t=

S

bit

/秒=

lim

S

ln(1+

x)

xC

=

lim

C

=

lim

S

0

log(1+

S

)=

lim

S

log(1+

x)

xW

fi

￥

N0

ln

2W

fi

￥

NW

fi

￥

NW

fi

￥￥即當帶寬不受限制時，傳送1比特信息，信噪比最低只需－1.6dB

（香農(nóng)限）=1bit

s令：C￥則Ps

N0

=

ln

2

=

-1.6dB13連續(xù)信道容量2021/7/73.4連續(xù)信道及其容量(3)Ct一定時，帶寬W增大，信噪比SNR可降低，即兩者是可以互換的Ct/W

(bit/s/Hz)不可實現(xiàn)區(qū)域可實現(xiàn)區(qū)域1—1.6

0

SNR(dB)頻帶利用率與信噪比的關(guān)系14連續(xù)信道容量2021/7/73.4連續(xù)信道及其容量例：電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR＝100，求信道的容量Ct

=

W

log(1+

SNR)=

3.3log(1+100)

=

22

bit

s(4)當噪聲功率Nfi0時，信道容量Ct趨近于無窮，這意味著無干擾連續(xù)信道的信道容量為無窮大。15連續(xù)信道容量2021/7/7) (bit

/

s

/

Hz)CtWPsN0W=

log(1+①

若信噪功率比固定不變，則擴展信道的帶寬可以縮短傳送時間；或者花費更長的傳輸時間來換取帶寬的節(jié)省。②

若保持帶寬不變，可以通過增加傳輸時間來改善信噪比。實際應(yīng)用于弱信號接收技術(shù)的累積接收方法。③香農(nóng)公式對實際通信系統(tǒng)有著十分重要的指導(dǎo)意義。它給出了達到無錯誤通信的傳輸速率的理論極限值，稱為香農(nóng)極限。香農(nóng)公式的另外一種描述形式是：16連續(xù)信道容量2021/7/73.4連續(xù)信道及其容量：[例1]某圖片含2.25×106個像素，采用12級量化電平傳輸。假定各電平等概出現(xiàn)，信道中信噪比為30dB，若要求3分鐘完成傳輸，需要多大的帶寬？解：傳信率信噪比：10

lg(Px/Pn)=30dB；即Px/Pn

=103根據(jù)香農(nóng)公式：3.4連續(xù)信道及其容量17連續(xù)信道容量2021/7/7[例2]某通信系統(tǒng)采用調(diào)制指數(shù)β=5的調(diào)幅方式發(fā)送時，接收端信噪比為20dB；如果信道不變，采用單邊帶調(diào)制，理論上接收端信噪比應(yīng)為多少分貝才能使通信質(zhì)量保持不變？解：用腳標1表示調(diào)頻，腳標2表示調(diào)幅。應(yīng)有：B1log2(1+S1/N1)=

B2log2(1+S2/N2)換底：B1lg(1+S1/N1)=B2lg

(1+S2/N2)在信噪比大大大于1時：B1lg(S1/N1)=B2lg(S2/N2)現(xiàn)在

B1=2(β+1)Bm

=

2(β+1)

B2

=12

B2所以

lg

(S2/N2)=12

lg(S1/N1)即：

(S2/N2)dB=

12

(S1/N1)dB

=240dB18連續(xù)信道容量2021/7/7在一般情況下，當信源與信道相連接時，其信息傳輸率并未達到最大。我們總希望能使信息傳輸率越大越好，能達到或盡可能接近于信道容量，由前面的分析可知，信息傳輸率接近于信道容量只有在信源取最佳分布時才能實現(xiàn)。由此可見，當信道確定后，信道的信息傳輸率與信源分布是密切相關(guān)的。當達到信道容量時，我們稱信源與信道達到匹配，否則認為信道有剩余。19連續(xù)信道容量2021/7/73.5信源與信道的匹配表示信道的實際傳信率和信道容量之差。信道剩余度可以用來衡量信道利用率的高低。3.5信源與信道的匹配信道剩余度定義為：信道絕對冗余度=C

-I

(X

;Y

)C信道相對冗余度=1-I

(X

;Y

)20連續(xù)信道容量2021/7/7在無損信道中，信道容量C＝logr(r是信道輸入符號數(shù))。而

I(X;Y)＝H(X)，因而：無損信道的相對剩余度=1-H

(X

)21連續(xù)信道容量2021/7/7log

r上式說明提高無損信道信息傳輸率就等于減少信源的剩余度。對于無損信道，可以通過信源編碼、減少信源的剩余度，使信息傳輸率達到信道容量。3.5信源與信道的匹配3.5信源與信道的匹配22連續(xù)信道容量2021/7/7因此引入問題：在一般通信系統(tǒng)中，如何將信源發(fā)出的消息(符號)轉(zhuǎn)換成適合信道傳輸?shù)姆?信號)從而達到信源與信道的匹配。注：信道容量C和輸入信號的概率分布無關(guān)，它只是信道傳輸概率的函數(shù)，只與信道的統(tǒng)計特性有關(guān)。符號匹配：將信源符號變?yōu)樾诺滥軅鬏數(shù)姆栃畔⑵ヅ洌鹤儞Q后的符號分布概率能使信息傳輸率接近信 道容量通過一個無噪無損二元離散信道進行傳輸。對二元離散信道的信道容量為：C＝1(比特／信道符號)對本信源的信息熵為:

H(X)＝1.937(比特／信源符號)要使信源在此二元信道中傳輸，必須對X進行二元編碼：23連續(xù)信道容量2021/7/7X例如，某離散無記憶信源

x1=P(

X

)1/

2x2

x3

x4

x5

x61/

4

1/

8

1/16

1/

32

1/

32

3.5信源與信道的匹配\R2<R1<C,信道有剩余因此，必須通過合適的信源編碼，使信道的信息傳輸率接近或等于信道容量。x1

x2

x3

x4

x5

x6C1

000

001

010

011

100

101C2

0000

0001

0010

0011

0100

01011對于碼C13R

=H

(X

)=0.646

(比特／信道符號)424連續(xù)信道容量2021/7/72

2對于碼C

R

=

H

(

X

)

=

0.484

(比特／信道符號)3.5信源與信道的匹配本章小結(jié)信道容量25連續(xù)信道容量2021/7/7對稱DMC信道

準對稱DMC信道信道容量的定義單符號加性

噪聲連續(xù)信道香農(nóng)定理獨立并聯(lián)信道L次擴展信道多維連續(xù)加性

信道（注水法）本章小結(jié)26連續(xù)信道容量2021/7/7信道的定義、分類、描述信道與信源的匹配作業(yè)：3-1 3-4 3-7 3-12失真：是指信號在傳輸過程中與原有信號或標準相比所發(fā)生的偏差。如：在理想的放大器中，輸出波形除放大外，應(yīng)與輸入波形完全相同；但實際上，不能做到輸出與輸入的波形完全一樣，這種現(xiàn)象叫失真，又稱畸變。27連續(xù)信道容量2021/7/7第4章 信息率失真函數(shù)在實際信息處理過程中：由于存在信道噪聲的干擾，或信源信息以超過信道容量的速率傳輸時產(chǎn)生的差錯或失真,信宿接收到的信息會有一定的失真。實際傳輸允許有一定的失真：如何減小失真，允許失真到什么程度?在允許一定程度的失真條件下，把信源信息壓縮到什么程度?28連續(xù)信道容量2021/7/7第4章 信息率失真函數(shù)本章主要討論在信源允許一定失真情況下所需的最少信息率，從分析失真函數(shù)、平均失真出發(fā)，求出信息率失真函數(shù)R（D）

。29連續(xù)信道容量2021/7/74.1平均失真和信息率失真函數(shù)4.2離散信源的R（D）計算第4章 信息率失真函數(shù)4.1平均失真和信息率失真函數(shù)30連續(xù)信道容量2021/7/7在實際問題中，信號有一定的失真是可以容忍的。但是當失真大于某一限度后，信息質(zhì)量將被嚴重損傷，甚至喪失其實用價值。要規(guī)定失真限度，必須先有一個定量的失真測度。為此可引入失真函數(shù)。4.1平均失真和信息率失真函數(shù)31連續(xù)信道容量2021/7/7i

ji

jαα

>

0

x

?

y0

xi

=

y

jd

(

x

,y

)

=1

失真函數(shù)假如某一信源X，輸出樣值為xi，xi?

{a1,…an}，經(jīng)過有失真的信源編碼器，輸出Y，樣值為yj，yj

?{b1,…bm}。如果

xi＝y(tǒng)j，則認為沒有失真；如果xi

?yj，那么就產(chǎn)生了失

真。失真的大小，用一個量來表示，即失真函數(shù)d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函數(shù)定義為：4.1平均失真和信息率失真函數(shù)32連續(xù)信道容量2021/7/7d

(xi，,y稱j

)為單個符號的失真度的全體構(gòu)成的矩陣失真矩陣d(an

,b2

)d(an

,b1)

d(an

,bm

)2

m2

22

1d(a

,b

)

d(a

,b

)

d(a

,b

)d(a1,b1)

d(a1,b2

)

d(a1,bm

)d

=

4.1平均失真和信息率失真函數(shù)d

(

xi

,

y

j

)

=

xi

-

y

j

/

xi2d

(

x

i

,

y

j

)

=

(x

i

-

y

j

)d

(

xi

,

y

j

)

=

xi

-

y

j0,1，xi

=

y

j其它d

(

xi

,

y

j

)

=

d

(

xi

,

y

j

)

=

相對失真：誤碼失真：均方失真：絕對失真：最常用的失真函數(shù)：連續(xù)信源33連續(xù)信道容量2021/7/7離散信源

2

1

2

2

2

3

34連續(xù)信道容量2021/7/7d(x

,

y

),d(x

,

y

),d(x

,

y

)d(x1,

y1),d(x1,

y2),d(x1,

y3)

[d]

=例：設(shè)信源符號X∈｛0，1｝,編碼器輸出符號Y∈｛0,1,2｝,規(guī)定失真函數(shù)為d(0,0)＝d(1,1)＝0;

d(0,1)＝d(1,0)=1;d(0,2)＝d(1,2)＝0.5,

求失真矩陣d.解:

失真矩陣=

1

,

0 ,

0 .

5

0

,1

,

0 .

5

=

d

(1,0),

d

(1,1),

d

(1,2)

d

(0,0),

d

(0,1),

d

(0,2)4.1平均失真和信息率失真函數(shù)4.1平均失真和信息率失真函數(shù)失真函數(shù)的定義可以推廣到序列編碼情況，如果假定離散信源輸出符號序列X=(X1X2…Xl…XL)，其中L長符號序列樣值xi＝(