離散信源及其信息測

會計學1離散信源及其信息測本章介紹信源的統(tǒng)計特性和數(shù)學模型各類信源的信息測度----熵及其性質(zhì)引入信息理論的一些基本概念和重要結(jié)論第1頁/共83頁通信系統(tǒng)模型：對信息論的學習可從信源開始消息是信息的載荷者。信息是抽象的，消息是具體的。要研究信息，還得從研究消息入手。由于信源發(fā)送什么消息預先是不可知的，只能用概率空間來描述信源第2頁/共83頁1.1信源的數(shù)學模型及分類單符號信源：輸出是單個符號（代碼）的消息離散信源連續(xù)信源平穩(wěn)隨機序列信源：信源輸出的消息由一系列符號序列所組成，可用N維隨機矢量

X＝(X1,X2,…,XN)描述，且隨機矢量X的各維概率分布都與時間起點無關(guān)----平穩(wěn)！離散平穩(wěn)信源連續(xù)平穩(wěn)信源無記憶（獨立）離散平穩(wěn)信源有記憶信源m階馬爾可夫信源隨機波形信源第3頁/共83頁離散信源(單符號)特點：輸出是單個符號（代碼）的消息，符號集的取值A(chǔ):{a1,a2,…,aq}是有限的或可數(shù)的，可用一維離散型隨機變量X來描述。例：投硬幣、書信、電報符號等等。數(shù)學模型：設(shè)每個信源符號ai出現(xiàn)的(先驗)概率p(ai)(i=1,2,…,q)

滿足：概率空間能表征離散信源的統(tǒng)計特性，因此也稱概率空間為信源空間。第4頁/共83頁連續(xù)信源特點：輸出是單個符號（代碼）的消息，輸出消息的符號集A的取值是連續(xù)的，可用一維的連續(xù)型隨機變量X

來描述。例：語音信號、熱噪聲信號、遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)等等。數(shù)學模型：連續(xù)型的概率空間。即：

或滿足

或

第5頁/共83頁1.2離散信源的信息熵及其性質(zhì)

基本的離散信源可用一維隨機變量X來描述信源的輸出，信源的數(shù)學模型可抽象為:問題：這樣的信源能輸出多少信息?

每個消息的出現(xiàn)攜帶多少信息量?第6頁/共83頁信息的度量考慮：信息的度量（信息量）和不確定性消除的程度有關(guān)，消除的不確定性＝獲得的信息量；不確定性就是隨機性，可以用概率論和隨機過程來測度，概率?。?gt;不確定性大；推論：概率?。?gt;信息量大，即信息量是概率的單調(diào)遞減函數(shù)；信息量應(yīng)該具有可加性；第7頁/共83頁信息量的推導某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的先驗概率的函數(shù)。即：

I(ai)

＝f[p(ai)]根據(jù)客觀事實和人們的習慣概念，函數(shù)f[p(ai)]應(yīng)滿足以下條件：（1）它應(yīng)是先驗概率p(ai)的單調(diào)遞減函數(shù)，即當

p

(a1)>p

(a2)

時，有f

[

p

(a1)]

<f

[

p

(a2)

]

；（2）當p

(ai)=1時，f

[

p

(ai)]=0

（3）當p

(ai)=0時，f

[

p

(ai)]=（4）兩個獨立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。即統(tǒng)計獨立信源的信息量等于它們分別的信息量之和。可以證明對數(shù)函數(shù)滿足上述條件：第8頁/共83頁一.自信息設(shè)離散信源X的概率空間為：I(ai)代表兩種含義：（1）當事件ai發(fā)生以前，表示事件ai發(fā)生的不確定性（2）當事件ai發(fā)生以后，表示事件ai所提供的信息量稱事件ai發(fā)生所含有的信息量為ai的自信息量。定義為：第9頁/共83頁一點說明計算自信息量時要注意有關(guān)事件發(fā)生概率的計算；自信息量的單位取決于對數(shù)的底；底為2，單位為“比特（bit,binaryunit）”；底為e，單位為“奈特（nat,natureunit）”；底為10，單位為“哈特（hat,Hartley）”；根據(jù)換底公式得：一般計算都采用以“2”為底的對數(shù)，為了書寫簡潔，常把底數(shù)“2”略去不寫1nat=1.44bit,1hat=3.32bit；第10頁/共83頁[例]8個串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個燈泡已損壞，問每進行一次測量可獲得多少信息量？總共需要多少次測量才能獲知和確定哪個燈泡已損壞。解：收到某消息獲得的信息量(即收到某消息后獲得關(guān)于某事件發(fā)生的信息量)

＝不確定性減少的量＝(收到此消息前關(guān)于某事件發(fā)生的不確定性)-(收到此消息后關(guān)于某事件發(fā)生的不確定性)第11頁/共83頁已知8個燈泡等概率損壞，所以先驗概率P(x1)＝1/8

，即第二次測量獲得的信息量=

I[P(x2)]-I[P(x3)]=1(bit)第三次測量獲得的信息量=

I[P(x3)]=1(bit)至少要獲得3個比特的信息量就可確切知道哪個燈泡已壞了。

第一次測量獲得的信息量=

I[P(x1)]-I[P(x2)]=1(bit)經(jīng)過二次測量后，剩2個燈泡，等概率損壞，P(x3)＝1/2一次測量后，剩4個燈泡，等概率損壞，P(x2)＝1/4第12頁/共83頁二.信息熵對一個信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個隨機變量，不能用它來作為整個信源的信息測度。定義自信息的數(shù)學期望為平均自信息量Hr(X)，稱為信息熵：第13頁/共83頁由于這個表達式和統(tǒng)計物理學中熱熵的表達式相似，且在概念上也有相似之處，因此借用“熵”這個詞，把H(X)稱為信息“熵”；信息熵的單位由自信息量的單位決定，即取決于對數(shù)的底。H(X)的單位：r進制單位／符號（r>1）第14頁/共83頁熵的計算[例]：

有一布袋內(nèi)放l00個球，其中80個球是紅色的，20個球是白色的。隨便摸出一個球，猜測是什么顏色，那么其概率空間為：

如果被告知摸出的是紅球，那么獲得的信息量是：

I(a1)

＝－logp(a1)

＝－log0.8=0.32

（比特）如被告知摸出來的是白球，所獲得的信息量應(yīng)為：

I(a2)

＝

－logp(a2)

＝－log0.2

=2.32

（比特）平均摸取一次所能獲得的信息量為：

H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符號）第15頁/共83頁熵的含義熵是從整個集合的統(tǒng)計特性來考慮的，它從平均意義上來表征信源的總體特征。在信源輸出后，信息熵H(X)表示每個消息提供的平均信息量；在信源輸出前，信息熵H(X)

表示信源的平均不確定性；信息熵H(X)表征了變量X的隨機性。例如，有兩信源X、Y，其概率空間分別計算其熵，得：H(X)=0.08（bit/符號）

H(Y)=1（bit/符號）H(Y)＞H(X)，因此信源Y比信源X的平均不確定性要大。

第16頁/共83頁[例]

設(shè)甲地的天氣預報為：晴(占4／8)、陰(占2／8)、大雨(占1／8)、小雨(占1／8)。又設(shè)乙地的天氣預報為：晴(占7／8)，小雨(占1／8)。試求兩地天氣預報各自提供的平均信息量。若甲地天氣預報為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、小雨、大雨出現(xiàn)的概率都相等為1／4。試求這兩極端情況所提供的平均信息量。又試求乙地出現(xiàn)這兩極端情況所提供的平均信息量。兩個信源第17頁/共83頁解：甲地天氣預報構(gòu)成的信源空間為:則其提供的平均信息量即信源的信息熵:乙地天氣預報的信源空間為:結(jié)論：甲地天氣預報提供的平均信息量大于乙地，因為乙地比甲地的平均不確定性小。第18頁/共83頁甲地極端情況極端情況1：晴天概率＝1

結(jié)論：等概率分布時信源的不確定性最大，所以信息熵（平均信息量）最大。極端情況2：各種天氣等概率分布第19頁/共83頁乙地極端情況極端情況1：晴天概率＝1

結(jié)論：在極端情況2下，甲地比乙地提供更多的信息量。因為，甲地可能出現(xiàn)的消息數(shù)比乙地可能出現(xiàn)的消息數(shù)多。極端情況2：各種天氣等概率分布第20頁/共83頁信息熵是信源概率空間的一種特殊矩函數(shù)。這個矩函數(shù)的大小，與信源的符號數(shù)及其概率分布有關(guān)。我們用概率矢量P來表示概率分布P(x)：三、信息熵的基本性質(zhì)

這樣，信息熵H(X)是概率矢量P或它的分量p1，p2，…，pq的q-1元函數(shù)(因各分量滿足上述條件限制，所以獨立變量只有q-1元)。一般H(X)可寫成：第21頁/共83頁熵函數(shù)H(P)是概率矢量P的函數(shù)，稱為熵函數(shù)。用下述表示方法：用H(x)

表示以離散隨機變量x描述的信源的信息熵；用H(P)

或H(p1,p2,

…

,pq

)表示概率矢量為

P=(p1,p2,

…

,pq

)的q個符號信源的信息熵。若當q=2時，因為p1+p2=1,所以將兩個符號的熵函數(shù)寫成H(p1)或H(p2)。熵函數(shù)H(P)是一種特殊函數(shù)，具有以下性質(zhì)。第22頁/共83頁性質(zhì)：1、對稱性：H(P)的取值與分量p1,p2

,

···

,pq的順序無關(guān)。說明：

從數(shù)學角度：H(P)=pi·

logpi中的和式滿足交換率；從隨機變量的角度：熵只與隨機變量的總體統(tǒng)計特性有關(guān)。[例]第23頁/共83頁2、確定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0性質(zhì)說明：從總體來看，信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現(xiàn)，而其它符號則是幾乎不可能出現(xiàn)，那么，這個信源是一個確知信源，其熵等于零。

3、非負性：H(P)0說明：隨機變量X的概率分布滿足0＜pi＜1，當取對數(shù)的底大于1時，log(pi)

＜0，-pilog(pi)

＞0，即得到的熵為正值。只有當隨機變量是一確知量時熵才等于零。這種非負性合適于離散信源的熵，對連續(xù)信源來說這一性質(zhì)并不存在。以后可看到在相對熵的概念下，可能出現(xiàn)負值。

非負性體現(xiàn)信息是非負的。第24頁/共83頁4、擴展性性質(zhì)說明：信源的取值數(shù)增多時，若這些取值對應(yīng)的概率很小(接近于零)，則信源的熵不變。所以，上式成立因為第25頁/共83頁5、可加性

統(tǒng)計獨立信源X和Y的聯(lián)合信源的熵等于信源X和Y各自的熵之和。

H(XY)=H(X)+H(Y)

可加性是熵函數(shù)的一個重要特性，正因具有可加性，才使熵函數(shù)的形式是唯一的。第26頁/共83頁證明：第27頁/共83頁例如，甲信源為它們的聯(lián)合信源是可計算得聯(lián)合信源的聯(lián)合熵：H(Z)=H(XY)=log(nm)=logm+logn=H(X)+H(Y)乙信源為第28頁/共83頁6、強可加性兩個互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。

H（XY）=H（X）+H（Y/X）H（Y/X）表示信源X

輸出一符號的條件下，信源Y再輸出一符號所能提供的平均信息量，稱為條件熵。第29頁/共83頁H（XY）=H（X）+H（Y/X）的證明：H（XY）=H（X）+H（Y/X）第30頁/共83頁7、遞增性

若原信源X中有一個符號分割成了m個元素(符號)，這m個元素的概率之和等于原元素的概率，而其他符號的概率不變，則新信源的熵增加。熵的增加量等于由分割而產(chǎn)生的不確定性量。第31頁/共83頁證明可以從熵的定義或強可加性得出：第32頁/共83頁因為而當i≠n時pij=0，所以即得：第33頁/共83頁遞增性的推廣它表示n個元素的信源熵可以遞推成(n-1)個二元信源的熵函數(shù)的加權(quán)和。這樣，可使多元信源的熵函數(shù)的計算簡化成計算若干個二元信源的熵函數(shù)。因此，熵函數(shù)的遞增性又可稱為遞推性。第34頁/共83頁8、極值性(定理1.1)在離散信源情況下，信源各符號等概率分布時，熵值達到最大。性質(zhì)表明等概率分布信源的平均不確定性為最大。這是一個很重要的結(jié)論，稱為最大離散熵定理。證明：因為對數(shù)是∩型凸函數(shù)，滿足詹森不等式E[logY]logE[Y]，則有：第35頁/共83頁

二進制信源是離散信源的一個特例。

該信源符號只有二個，設(shè)為“0”和“1”。符號輸出的概率分別為“”和“1-”，即信源的概率空間為：H(X)=-log–(1-)log(1-)=H()

即信息熵H(x)是的函數(shù)。取值于[0，1]區(qū)間，可畫出熵函數(shù)H()的曲線來，如右圖所示。第36頁/共83頁熵函數(shù)H(P)是概率矢量P＝(p1，p2，…，pq)的嚴格∩型凸函數(shù)(或稱上凸函數(shù))。它表示：對任意概率矢量P1＝(p1,p2,…,pq)和P2＝(p’1,p’2,…,p’q)，和任意的0＜＜1，有：

H[P1十(1-)P2]＞

H(P1)十(1-)H(P2)因為熵函數(shù)具有上凸性，所以熵函數(shù)具有極值，其最大值存在。9、上凸性第37頁/共83頁當離散平穩(wěn)無記憶信源發(fā)出固定長度的消息序列時，則得到原信源的擴展信源。例如在電報系統(tǒng)中，若信源輸出的是二個二元數(shù)字組成的符號序列，此時可認為是一個新的信源，它由四個符號（00，01，10，11）組成，我們把該信源稱為二元無記憶信源的二次擴展信源。如果把N個二元數(shù)字組成一組，則信源等效成一個具有2N個符號的新信源，把它稱為二元無記信源的N次擴展信源。1.3離散無記憶信源的擴展信源第38頁/共83頁一般情況下，對一個離散無記憶信源X，其樣本空間為{a1,a2,…,aq}，對它的輸出消息序列，可用一組組長度為N的序列來表示它。這時，它等效成一個新信源。新信源輸出的符號是N維離散隨機矢量X

=(X1，X2,……,XN)，其中每個分量Xi(i＝1,2,…,N)都是隨機變量，它們都取值于同一信源符號集，并且分量之間統(tǒng)計獨立，則由隨機矢量X組成的新信源稱為離散無記憶信源X的N次擴展信源。

第39頁/共83頁單符號離散信源X的數(shù)學模型：N次擴展信源與單符號離散信源比較：數(shù)學模型相同但輸出不是單個符號，而是一串N個相互獨立的符號序列：

X＝(X1,X2,…,XN)，聯(lián)合分布密度P(X)=P(X1X2…XN)把X等效為一個新信源，稱為X的N次擴展信源，其數(shù)學模型：因為是無記憶的(彼此統(tǒng)計獨立)則：

第40頁/共83頁離散平穩(wěn)無記憶N次擴展信源的熵

H(X)=H(XN)=N·H(X)其中：同理計算式中其余各項，得到：H(XN)=H(X)+H(X)+……+H(X)=NH(X)

證：第41頁/共83頁[例]

求如下離散無記憶信源的二次擴展信源及其熵。解：二次擴展信源的概率空間為X2的信源符號123456789對應(yīng)的符號序列a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3概率P(i)1/41/81/81/81/161/161/81/161/16第42頁/共83頁一、離散平穩(wěn)信源的數(shù)學定義

在一般情況下，信源在t=i

時刻將要發(fā)出什么樣的符號決定于兩方面：

(1)信源在t=i

時刻隨機變量Xi

取值的概率分布P(xi)。

[一般P(xi)P(xj)](2)t=i

時刻以前信源發(fā)出的符號。

[即與條件概率P(xi/xi-1xi-2…)有關(guān)]對平穩(wěn)隨機序列，序列的統(tǒng)計性質(zhì)與時間的推移無關(guān)，即信源發(fā)出符號序列的概率分布與時間起點無關(guān)。

1.4聯(lián)合熵

第43頁/共83頁平穩(wěn)隨機序列的數(shù)學定義如下：

若當t=i，t=j時(i,j

是大于1的任意整數(shù))，P(xi)=P(xj)=P(x)，則序列是一維平穩(wěn)的。具有這樣性質(zhì)的信源稱為一維平穩(wěn)信源。除上述條件外，如果聯(lián)合概率分布P(xixi+1)也與時間起點無關(guān)，即P(xixi+1)=P(xjxj+1)(i,j為任意整數(shù)且ij)，則信源稱為二維平穩(wěn)信源。它表示任何時刻信源發(fā)出二個符號的聯(lián)合概率分布也完全相等。如果各維聯(lián)合概率分布均與時間起點無關(guān)，那么，信源是完全平穩(wěn)的。這種各維聯(lián)合概率分布均與時間起點無關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源。這時有：P(xi)=P(xj)P(xixi+1)=P(xjxj+1)……

P(xixi+1…xi+N)=P(xjxj+1…xi+N)第44頁/共83頁由于聯(lián)合概率與條件概率有以下關(guān)系：結(jié)論：對于平穩(wěn)信源來說，其條件概率均與時間起點無關(guān)，只與關(guān)聯(lián)長度N有關(guān)。即平穩(wěn)信源發(fā)出的平穩(wěn)隨機序列前后的依賴關(guān)系與時間起點無關(guān)。從平穩(wěn)性可得：第45頁/共83頁對平穩(wěn)信源如果某時刻發(fā)出什么符號只與前面發(fā)出的N個符號有關(guān)，那么任何時刻它們的依賴關(guān)系都是一樣的。即：第46頁/共83頁二、二維平穩(wěn)信源及其信息熵

最簡單的平穩(wěn)信源就是二維平穩(wěn)信源。它滿足一維和二維概率分布與時間起點無關(guān)。

同時已知：連續(xù)兩個信源符號出現(xiàn)的聯(lián)合概率分布為P(aiaj)

(i,j=1,…,q)

，且：設(shè)有一個離散一維平穩(wěn)信源，其概率空間為：第47頁/共83頁對離散二維平穩(wěn)信源的信息測度：

由于只有兩個符號有關(guān)聯(lián)，且其關(guān)聯(lián)與時間無關(guān)，則我們可把這個信源輸出的隨機序列分成每二個符號一組(因為相鄰的兩個符號才有關(guān)聯(lián))，每組構(gòu)成新信源的一個符號，并假設(shè)組與組之間統(tǒng)計無關(guān)(實際上，組尾的符號與下一組組頭的符號是有關(guān)的)。這時，等效成一個新的信源X1X2，它們的聯(lián)合概率空間為：

根據(jù)信息熵的定義，得：H(X1X2)稱為X1X2的聯(lián)合熵。第48頁/共83頁關(guān)于離散二維平穩(wěn)信源聯(lián)合熵H(X1X2)表示原來信源X輸出任意一對消息的共熵，即描述信源X輸出長度為2的序列的平均不確定性（或所含有的信息量）?？捎肏(X1X2)/2作為信源X的信息熵的近似值。第49頁/共83頁

從另一角度（來研究信源X的信息熵的近似值）：（1）由于信源X發(fā)出的符號序列中前后兩個符號之間有依賴性，可以先求出在已知前面一個符號Xl＝ai時，信源輸出下一個符號的平均不確定性：（2）前面一個符號Xl又可取ai{a1，a2，…，aq}中任一個，對某一個ai存在一個平均不確定性H(X2/X1＝ai)，那么對所有ai的可能值進行統(tǒng)計平均就得當前面一個符號巳知時，再輸出下一個符號的總的平均不確定性H(X2/X1)：第50頁/共83頁（3）根據(jù)概率關(guān)系，可以得到聯(lián)合熵與條件熵的關(guān)系：第51頁/共83頁

即：H(X1X2)＝H(X1)+H(X2/X1)

而H(X2/X1)

H(X2)因此H(X1X2)＝H(X1)+H(X2/X1)

H(X1)+H(X2)=2H(X)所以，一般情況下，輸出二個符號的聯(lián)合熵總是小于二倍信源的熵。

第52頁/共83頁[例]

某一離散二維平穩(wěn)信源其發(fā)出的符號只與前一個符號有關(guān)，即可用聯(lián)合概率P(aiaj)給出它們的關(guān)聯(lián)程度，如下表所示

求信源的熵H(X)、條件熵H(X2/X1)和聯(lián)合熵H(X1X2)。P(aiaj)ajai01201/41/18011/181/31/18201/187/36第53頁/共83頁

解：根據(jù)概率關(guān)系可計算得條件概率P（aj/ai）,計算結(jié)果列表如下：ajai01209/111/8012/113/42/9201/87/9P(aiaj)ajai01201/41/18011/181/31/18201/187/36第54頁/共83頁

得：第55頁/共83頁一、條件熵(信道疑義度)信道輸入信源X的熵

H(X)是在接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性，稱為先驗熵。

1.5條件熵和互信息量第56頁/共83頁接受到bj后，關(guān)于X的不確定性為

后驗熵在輸出符號集Y范圍內(nèi)是個隨機量，對后驗熵在符號集Y中求數(shù)學期望，得條件熵----信道疑義度：這是接收到輸出符號bj后關(guān)于X的后驗熵。后驗熵是當信道接收端接收到輸出符號bj后，關(guān)于輸入符號的信息測度。第57頁/共83頁互信息量

I(xi;yj)：收到消息yj

后獲得關(guān)于xi的信息量。即：互信息量表示先驗的不確定性減去尚存的不確定性，這就是收信者獲得的信息量二、平均互信息第58頁/共83頁平均互信息I(X;Y)：

I(xi;yj)的統(tǒng)計平均它代表接收到符號集Y后平均每個符號獲得的關(guān)于X的信息量，也表示了輸入與輸出兩個隨機變量之間的統(tǒng)計約束程度。第59頁/共83頁關(guān)于平均互信息I(X;Y)

互信息I(x;y)代表收到某消息y后獲得關(guān)于某事件x的信息量。它可取正值，也可取負值。若互信息I(x

;

y)<0，說明在未收到信息量y以前對消息x是否出現(xiàn)的不確定性較小，但由于噪聲的存在，接收到消息y后，反而對x是否出現(xiàn)的不確定程度增加了。

I(X;Y)是I(x;y)的統(tǒng)計平均，所以I(X;Y)>=0。若I(X;Y)=0，表示在信道輸出端接收到輸出符號Y后不獲得任何關(guān)于輸入符號X的信息量----全損信道。第60頁/共83頁I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：平均互信息與各類熵的關(guān)系第61頁/共83頁平均互信息與各類熵之間關(guān)系的集合圖（維拉圖）表示：

H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y)

H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)H(XY)圖中，左邊的圓代表隨機變量X的熵，右邊的圓代表隨機變量Y的熵，兩個圓重疊部分是平均互信息I(X;Y)。每個圓減去I(X;Y)后剩余的部分代表兩個疑義度。第62頁/共83頁

兩種特殊信道（1）離散無干擾信道(無損信道)

信道的輸入和輸出一一對應(yīng)，信息無損失地傳輸，稱為無損信道。

H(X|Y)=H(Y|X)=0[損失熵和噪聲熵都為“0”]

由于噪聲熵等于零，因此，輸出端接收的信息就等于平均互信息:I(X;Y)=H(X)=H(Y)

第63頁/共83頁（2）輸入輸出獨立信道(全損信道)

信道輸入端X與輸出端Y完全統(tǒng)計獨立

H(X|Y)=H(X),H(Y|X)=H(Y)

所以I(X;Y)=0[I(X;Y)=H(X)-H(X|Y)]

信道的輸入和輸出沒有依賴關(guān)系，信息無法傳輸，稱為全損信道。

接收到Y(jié)后不可能消除有關(guān)輸入端X的任何不確定性，所以獲得的信息量等于零。同樣，也不能從X中獲得任何關(guān)于Y的信息量。平均互信息I(X;Y)等于零，表明了信道兩端隨機變量的統(tǒng)計約束程度等于零。第64頁/共83頁二種極限信道各類熵與平均互信息之間的關(guān)系H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)無損信道：完全重迭全損信道：完全獨立無損信道：全損信道：第65頁/共83頁平均互信息的性質(zhì)平均互信息

I(X;Y)具有以下特性：（1）非負性即I(X;Y)>=0

當X、Y統(tǒng)計獨立時等式成立。（2）極值性即I(X;Y)<=H(X)

當H(X/Y)=0時，即信道中傳輸信息無損時，等式成立。第66頁/共83頁（3）交互性（對稱性）即I(X;Y)=I(Y;X)

當X、Y統(tǒng)計獨立時

I(X;Y)=I(Y;X)=0

當信道無干擾時

I(X;Y)=I(Y;X)=H(X)=H(Y)第67頁/共83頁（4）凸狀性

所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的傳遞概率P(y/x)的函數(shù)，即：

I(X;Y)=f[P(x),P(y|x)]第68頁/共83頁

平均互信息I(X;Y)是輸入信源的概率分布P(x)的∩型凸函數(shù)。（1）對固定信道，選擇不同的信源(其概率分布不同)與信道連接，在信道輸出端接收到每個符號后獲得的信息量是不同的。（2）對于每一個固定信道，一定存在有一種信源(某一種概率分布P(x))，使輸出端獲得的平均信息量為最大。第69頁/共83頁

平均互信息I(X;Y)是信道傳遞的概率P(y/x)的∪型凸函數(shù)。當信源固定后，選擇不同的信道來傳輸同一信源符號，在信道輸出端獲得關(guān)于信源的信息量是不同的。對每一種信源都存在一種最差的信道，此時干擾(噪聲)最大，而輸出端獲得的信息量最小。第70頁/共83頁1.6離散無記憶信道的擴展信道

離散無記憶信道(DMC，DiscreteMemorylessChannel)，其傳遞概率滿足：仍可用[X，P(y/x)，Y]概率空間來描述。設(shè)離散無記憶信道的輸入符號集A＝{a1，…，ar}，輸出符號集B＝{b1

，…，bs}，信道矩陣為:第71頁/共83頁則此無記憶信道的N次擴展信道的數(shù)學模型如圖所示:而信道矩陣：其中：

第72頁/共83頁[例3]求二元無記憶對稱信道（BSC）的二次擴展信道。解：BSC的輸入和輸出變量X和Y的取值都是0或1，因此，二次擴展信道的輸入符號集為A＝{00，01，10，11}，共有22＝4個符號，輸出符號集為B＝{00，01，10，11}。由于是