信息科學(xué)基礎(chǔ)課件

概率論基礎(chǔ)知識1基本概念1隨機(jī)事件

:

在給定條件下，可能發(fā)生，也可能不發(fā)生，其結(jié)果是無法事先預(yù)測的現(xiàn)象如:拋硬幣出現(xiàn)正/反面、擲骰子出現(xiàn)幾點(diǎn)都是隨機(jī)事件。2隨機(jī)試驗(yàn)：產(chǎn)生隨機(jī)事件的過程如:拋硬幣、擲骰子3樣本空間：隨機(jī)試驗(yàn)中可能出現(xiàn)的各種隨機(jī)事件全集。如:硬幣的正/反面、擲骰子的1－6點(diǎn)。2事件的關(guān)係運(yùn)算1.包含關(guān)係A

B:A發(fā)生必導(dǎo)致B發(fā)生

A＝B

A

B且B

A.2.和事件A

B：或者A發(fā)生或者B發(fā)生3.積事件A

B＝AB:A發(fā)生並且B發(fā)生4.差事件A－B：A發(fā)生並且B不發(fā)生5.6.

互不相容事件AB＝

：A、B互為對立事件,即A

B＝

,且AB＝

3事件與集合對應(yīng)關(guān)係類比

概率論

集合論樣本空間＝{}

事件子集事件A發(fā)生

A

事件A不發(fā)生

A

必然事件不可能事件

事件A發(fā)生導(dǎo)致事件B發(fā)生

AB事件A與B至少有一個(gè)發(fā)生A

B事件A與B同時(shí)發(fā)生A

B(或AB)事件A發(fā)生而B不發(fā)生A－B事件A與B互不相容AB＝

4概率1.定義

若對隨機(jī)試驗(yàn)E所對應(yīng)的樣本空間中的每一事件A，均賦予一實(shí)數(shù)P(A)，集合函數(shù)P(A)滿足條件：(1)非負(fù)性：對任一事件A，有P(A)≥0；(2)規(guī)範(fàn)性：

P(

)＝1；(3)可列可加性：設(shè)A1，A2，…,是一列兩兩互不相容的事件，即AiAj＝，(ij),i,j＝1,2,…,有

P(A1

A2

…

)＝P(A1)＋P(A2)+….則稱P(A)為事件A的概率。

不可能事件概率零：P(

)＝0；有限可加性：設(shè)A1，A2，…An,是n個(gè)兩兩互不相容的事件，即AiAj＝

，(ij),i,j＝1,2,…,n,則有

P(A1

A2

…

An)＝P(A1)＋P(A2)+…P(An);(3)單調(diào)不減性：若事件B

A，則P(B)≥P(A),且

P(B－A)＝P(B)－P(A)；互補(bǔ)性：P(A)＝1－P(A)，且P(A)

1;加法公式：對任意兩事件A、B，有

P(A

B)＝P(A)＋P(B)－P(AB)公式可推廣到任意n個(gè)事件A1，A2，…，An的情形(6)可分性：對任意兩事件A、B，有

P(A)＝P(AB)＋P(AB).5.概率的性質(zhì)6古典概型一、古典概型的特徵1.樣本有限性空間：＝{1,2,…,n};2.等可能性：P(i)＝1/n,(i＝1,2,…,n).古典概型也稱為等可能概型。二、古典概型的計(jì)算公式設(shè)事件A中包含k個(gè)樣本點(diǎn)(基本事件)7條件概率及概率計(jì)算公式一、條件概率設(shè)A、B是

中的兩個(gè)事件，即A、BF，則

稱為事件A發(fā)生的條件下事件B發(fā)生的條件概率。

例1、一只盒子中混有100只新、紅白舊乒乓球，各有紅、白兩色，分新

4030類如右：若取得的是一只紅球，舊

2010試求該紅球是新球的概率。二、乘法公式設(shè)A、B

F，則

P(AB)＝P(A)P(B|A).就稱為事件A、B的概率乘法公式。上式還可推廣到三個(gè)事件的情形：

P(ABC)＝P(A)P(B|A)P(C|AB).一般有下列公式：

P(A1A2…An)＝P(A1)P(A2|A1)...P(An|A1…An－1).例2、袋中有十只球，其中九白一紅，十人依次從袋中各取一球(不放回)，問第一個(gè)人取得紅球的概率是多少？第二、第三、…、最後一個(gè)人取得紅球的概率各是多少？三、全概率公式與貝葉斯(Bayes)公式定理1、設(shè)A1，…,An是

的一個(gè)劃分，且P(Ai)>0，(i＝1，…，n)，則對任何事件BF，有

上式就稱為全概率公式。例3、某廠有三個(gè)車間生產(chǎn)同一種產(chǎn)品，已知三個(gè)車間的產(chǎn)量分別占總產(chǎn)量的1/4、1/4、1/2，且次品率分別為2％、1％、3％，試求該廠這種產(chǎn)品的次品率。定理1、設(shè)A1，…,An是

的一個(gè)劃分，且P(Ai)>0，(i＝1，…，n)，則對任何事件BF，有

上式就稱為貝葉斯公式或逆概率公式。例4、在無線電通訊中，由於隨機(jī)因素的影響，當(dāng)發(fā)出短號“

”時(shí),收到“

”、“不清”和長號“－”的概率分別是0.7、0.2和0.1，當(dāng)發(fā)出長號“

”時(shí)，收到“－”、“不清”和“

”“的概率分別是0.9、0.1和0.若在整個(gè)發(fā)報(bào)過程中信號“

”及“－”出現(xiàn)的概率分別是0.6和0.4，當(dāng)收到信號“不清”時(shí)，試推測原發(fā)信號8事件的獨(dú)立性一、兩事件獨(dú)立定義1、設(shè)A、B是兩事件，若P(B)＝P(B|A)則稱事件A與B相互獨(dú)立。它等價(jià)於：

P(AB)＝P(A)P(B)定理、以下四件事等價(jià)：(1)事件A、B相互獨(dú)立；(2)事件A、B相互獨(dú)立；(3)事件A、B相互獨(dú)立；(4)事件A、B相互獨(dú)立。二、多個(gè)事件的獨(dú)立定義2、若三個(gè)事件A、B、C滿足：(1)P(AB)=P(A)P(B),P(AC)=P(A)P(C),P(BC)=P(B)P(C),則稱事件A、B、C兩兩相互獨(dú)立；若在此基礎(chǔ)上還滿足：(2)P(ABC)＝P(A)P(B)P(C),則稱事件A、B、C相互獨(dú)立。(3)一般地，設(shè)A1，A2，…，An是n個(gè)事件，如果對任意k(1

k

n),任意的1

i1

i2…

in

n，具有等式P(Ai1Ai2…Ain)＝P(Ai1)P(Ai2)…P(Ain)則稱n個(gè)事件A1，A2，…，An相互獨(dú)立。9貝努裏概型1.只有兩個(gè)可能結(jié)果的試驗(yàn)稱為貝努裏試驗(yàn)，常記為E。E也叫做“成功－失敗試驗(yàn)”,“成功”的概率常用p＝P(A)表示，其中A＝“成功”。2.把E重複獨(dú)立地進(jìn)行n次，所得的試驗(yàn)稱為n重貝努裏試驗(yàn)，記為En。3.把E重複獨(dú)立地進(jìn)行可列多次，所得的試驗(yàn)稱為可列重貝努裏試驗(yàn)，記為E

。10隨機(jī)變數(shù)的概念實(shí)例做試驗(yàn)拋一枚勻質(zhì)硬幣，其樣本空間＝{}＝{H,T}可規(guī)定隨機(jī)變數(shù)

X＝X(

)＝隨機(jī)變數(shù)實(shí)際上是定義在樣本空間上的一個(gè)實(shí)函數(shù)

定義

設(shè)隨機(jī)試驗(yàn)E的樣本空間是，X＝X(),是定義在上的一個(gè)單值實(shí)函數(shù)。若對任意實(shí)數(shù)x，樣本點(diǎn)的集合{|X()x}＝{Xx}是一隨機(jī)事件，則X()稱為隨機(jī)變數(shù)，簡記為X.隨機(jī)變數(shù)一般用英文大寫字母X、Y、Z等表示，也可用希臘字母、、等表示。隨機(jī)變數(shù)的分類：

隨機(jī)變數(shù)11一維離散型隨機(jī)變數(shù)的分佈律一、分佈律1.定義

若隨機(jī)變數(shù)X取值x1,x2,…,xn,…且取這些值的概率依次為p1,p2,…,pn,…,則稱X為離散型隨機(jī)變數(shù)，而稱P{X=xk}=pk,(k=1,2,…)為X的分佈律或概率分佈?？杀頌?/p>

X～P{X=xk}=pk,(k=1,2,…)，或

Xx1x2…xn…Pp1p2…pn…2.分佈律的性質(zhì)(1)pk0,k＝1,2,…;(2)例1設(shè)袋中有5只球，其中有2只白3只黑?，F(xiàn)從中任取3只球(不放回)，求抽得的白球數(shù)X為k的概率。解k可取值0，1，2

二、幾個(gè)常用的離散型分佈1.退化分佈(單點(diǎn)分佈)X～P{X＝a}＝1，其中a為常數(shù)。2.(0－1)分佈(兩點(diǎn)分佈)X～P{X＝k}＝pk(1－p)1－k,(0<p<1)k＝0，13.幾何分佈

X～P{X＝k}＝(1－p)k－1p,(0<p<1)k＝1,2,…4.二項(xiàng)分佈B(n,p)X～P{X＝k}＝pk(1－p)n－k,(0<p<1)k＝0,1,2,…,n5.泊松(Poisson)分佈P(

)X～P{X＝k}＝,k＝0,1,2,…(0)12二維離散型隨機(jī)變數(shù)一、聯(lián)合分佈律若二維隨機(jī)變數(shù)(X,Y)只能取至多可列個(gè)值(xi,yj),(i,j＝1,2,…)，則稱(X,Y)為二維離散型隨機(jī)變數(shù)。若二維離散型隨機(jī)變數(shù)(X,Y)取(xi,yj)的概率為pij,則稱P{X＝xi,Y＝y(tǒng)j,}＝pij，(i,j＝1,2,…)為二維離散型隨機(jī)變數(shù)(X,Y)的分佈律，或隨機(jī)變數(shù)X與Y的聯(lián)合分佈律.可記為(X,Y)～P{X＝xi,Y＝y(tǒng)j,}＝pij，(i,j＝1,2,…)，聯(lián)合分佈律的性質(zhì)(1)pij

0,i,j＝1,2,…；

(2)XYy1y2…yj…x1p11

p12...

P1j...x2p21

p22...

P2j...Xipi1

pi2...

Pij...........................二維離散型隨機(jī)變數(shù)的分佈律也可列表表示如下：二、條件分佈律

設(shè)隨機(jī)變數(shù)X與Y的聯(lián)合分佈律為

(X,Y)～P{X＝xi,Y＝y(tǒng)j,}＝pij，(i,j＝1,2,…)，X和Y的邊緣分佈律分別為

P{X＝xi}＝pi.＝，i＝1,2,…和

P{Y＝y(tǒng)j}＝p.j＝，j＝1,2,…若對固定的j,p.j>0,則稱

pi|j＝i=1,2,…為Y＝y(tǒng)j的條件下，X的條件分佈律;同理，若對固定的i,pi.

>0,則稱

pj|i＝j(luò)=1,2,…為X＝xi的條件下，Y的條件分佈律;三、離散型隨機(jī)變數(shù)的相互獨(dú)立性設(shè)隨機(jī)變數(shù)X與Y的聯(lián)合分佈律為(X,Y)～P{X＝xi,Y＝y(tǒng)j,}＝pij，(i,j＝1,2,…)，若對任意的i、j，有pij＝pi.

p.J,即P{X＝xi,Y＝y(tǒng)j,}＝P{X＝xi}P{Y＝y(tǒng)j}則稱隨機(jī)變數(shù)X與Y相互獨(dú)立。上述概念不難推廣到n維離散型隨機(jī)變數(shù)的情形。例如，設(shè)X1，X2，…,Xn分別可取這些實(shí)值，且對任意的i1,i2,…,in有則稱隨機(jī)變數(shù)X1，X2，…,Xn相互獨(dú)立。13一維連續(xù)性隨機(jī)變數(shù)及其分佈一、密度函數(shù)1.定義對於隨機(jī)變數(shù)X，若存在非負(fù)可積函數(shù)f(x)，(-

<x<+

)，使對任意實(shí)數(shù)x，都有則稱X為連續(xù)型隨機(jī)變數(shù)，f(x)為X的概率密度函數(shù)，簡稱概率密度或密度函數(shù).常記為

X～f(x),(-

<x<+

)密度函數(shù)的幾何意義為2.密度函數(shù)的性質(zhì)

(1)f(x)0，(-<x<)；(2)性質(zhì)(1)、(2)是密度函數(shù)的充要性質(zhì)；(3)若x是f(x)的連續(xù)點(diǎn)，則f(x)＝3.對任意實(shí)數(shù)b，若X～f(x)，(-<x<)，則P{X=b}＝0事實(shí)上，

從而，二、幾個(gè)常用的連續(xù)型分佈1.均勻分佈若X～f(x)＝則稱X在(a,b)內(nèi)服從均勻分佈。

對任意實(shí)數(shù)c,d(a<c<d<b)，都有這說明X落在(a,b)中任一區(qū)間的概率只與該區(qū)間的長度成正比，而與該區(qū)間的位置無關(guān)，這就是均勻分佈的概率意義。2.正態(tài)分佈若隨機(jī)變數(shù)其中

>0，為實(shí)數(shù)，則稱X服從參數(shù)為

2，的正態(tài)分佈,記為N(,2)，可表為X～N(,2).

易知f(x)

0;令可得正態(tài)分佈有三個(gè)特性：(1)單峰對稱其圖形關(guān)於直線x=

對稱；f()＝maxf(x)＝

(2)有兩個(gè)拐點(diǎn)(－，f(－))；(＋，f(＋))，

(3)

的大小直接影響概率的分佈越大，曲線越平坦，概率分佈越分散，曲線又矮又胖；越小，曲線越陡峻，概率分佈越集中，曲線又高又瘦。正態(tài)分佈也稱為高斯(Gauss)分佈。3.標(biāo)準(zhǔn)正態(tài)分佈參數(shù)＝0，2＝1的正態(tài)分佈稱為標(biāo)準(zhǔn)正態(tài)分佈，可表為N(0,1)。為了區(qū)別於一般的正態(tài)分佈，其密度函數(shù)表示為分佈函數(shù)表示為

注解：(1)(x)＝1－(－x)；(2)若X～N(,2)，則F(x)＝P{Xx}＝正態(tài)分佈是實(shí)踐中應(yīng)用最為廣泛，在理論上研究最多的分佈之一，故它在概率統(tǒng)計(jì)中佔(zhàn)有特別重要的地位。

14二維連續(xù)型隨機(jī)變數(shù)及其分佈一、聯(lián)合分佈及邊緣分佈1、聯(lián)合分佈函數(shù)

設(shè)(X,Y)是二維隨機(jī)變數(shù)，(x,y)

R2,則稱

F(X,Y)=P{X

x,Y

y}為(X,Y)的分佈函數(shù)，或X與Y的聯(lián)合分佈函數(shù)。幾何意義：對於(x1,y1),(x2,y2)

R2,(x1<

x2，y1<y2),則

P{x1<X

x2，y1<y

y2}

＝F(x2,y2)－F(x1,y2)－F(x2,y1)＋F(x1,y1).

二、二維連續(xù)型隨機(jī)變數(shù)及其密度函數(shù)1、定義

對於二維隨機(jī)變數(shù)(X,Y)，若存在一個(gè)非負(fù)可積函數(shù)f(x,y)，使對

(x,y)R2，其分佈函數(shù)

則稱(X,Y)為二維連續(xù)型隨機(jī)變數(shù)，f(x,y)為(X,Y)的密度函數(shù)(概率密度)，或X與Y的聯(lián)合密度函數(shù)，可記為(X,Y)～f(x,y)，(x,y)R22、聯(lián)合密度f(x,y)的性質(zhì)(1)非負(fù)性：f(x,y)

0,(x,y)

R2;(2)完備性：反之，具有以上兩個(gè)性質(zhì)的二元函數(shù)f(x,y)，必是某個(gè)二維連續(xù)型隨機(jī)變數(shù)的密度函數(shù)。此外，f(x,y)還有下述性質(zhì)(3)若f(x,y)在(x,y)

R2處連續(xù)，則有

三、邊緣密度函數(shù)

設(shè)(X,Y)～f(x,y),(x,y)

R2,則稱

為(X,Y)關(guān)於X的邊緣密度函數(shù)；同理，稱為(X,Y)關(guān)於Y的邊緣密度函數(shù)。易知N(

1,2,1,2,)的邊緣密度函數(shù)fX(x)是N(

1,1)的密度函數(shù)，而fX(x)是N(

2,2)的密度函數(shù)，故二維正態(tài)分佈的邊緣分佈也是正態(tài)分佈。15、先驗(yàn)概率和後驗(yàn)概率先驗(yàn)概率：根據(jù)以往經(jīng)驗(yàn)和分析得到的概率，後驗(yàn)概率：在得到“結(jié)果”的資訊後重新修正的概率，是基於新的資訊，修正原來的先驗(yàn)概率後所獲得的更接近實(shí)際情況的概率估計(jì)。先驗(yàn)概率和後驗(yàn)概率是相對的。如果以後還有新的資訊引入，更新了現(xiàn)在所謂的後驗(yàn)概率，得到了新的概率值，那麼這個(gè)新的概率值被稱為後驗(yàn)概率資訊科學(xué)基礎(chǔ)-緒論1.1

資訊理論的基本概念1.2通信系統(tǒng)的基本模型1.3資訊理論要解決的主要問題資訊科學(xué)基礎(chǔ)-緒論1.1

資訊理論的基本概念基本問題：資訊的度量。資訊：從“不知道”到“知道”，就是接收者在通信前後“不確定性”的消除量。資訊理論：應(yīng)用近代數(shù)理統(tǒng)計(jì)方法來研究資訊的傳輸和處理的科學(xué)。資訊科學(xué)基礎(chǔ)-緒論1.2通信系統(tǒng)的基本模型

資訊科學(xué)基礎(chǔ)-緒論1.3資訊理論要解決的主要問題：信源編碼通道編碼加密編碼信源是產(chǎn)生消息(或消息序列)的源，消息通常是符號序列或時(shí)間函數(shù)。在電報(bào)系統(tǒng)中，消息是由文字、符號、數(shù)字組成的報(bào)文(符號序列)，稱為離散消息；在電話系統(tǒng)中，消息是語聲波形(時(shí)間函數(shù))，稱為連續(xù)消息。消息取值服從一定的統(tǒng)計(jì)規(guī)律，故信源的數(shù)學(xué)模型是一個(gè)在信源符號集中取值的隨機(jī)變數(shù)序列或隨機(jī)過程。信源編碼器將信源產(chǎn)生的消息變換為一個(gè)數(shù)字序列(通常為二進(jìn)位數(shù)字序列)。資訊科學(xué)基礎(chǔ)-緒論在離散情形，設(shè)信源可能產(chǎn)生MN個(gè)消息，每個(gè)消息由N個(gè)信源符號組成，各個(gè)消息出現(xiàn)的概率分別為，這時(shí)信源編碼器可以做成從消息到數(shù)字序列的一一變換。設(shè)第i個(gè)消息對應(yīng)的數(shù)字序列長為

(包含個(gè)數(shù)字)。信源編碼速率：每個(gè)信源符號平均要用多少個(gè)數(shù)字來表示。信源編碼理論要回答兩個(gè)問題：對給定的信源，可能達(dá)到的最小編碼速率是多少？如何構(gòu)造實(shí)現(xiàn)這一速率的最優(yōu)編碼。資訊科學(xué)基礎(chǔ)-緒論

在連續(xù)情形，信源可能產(chǎn)生的消息是一個(gè)無窮集，通常的方法是先對連續(xù)消息進(jìn)行採樣和量化，變?yōu)殡x散消息，再將離散消息變換為數(shù)字序列。信源解碼器先將輸入的數(shù)字序列逆變換為離散消息，再用適當(dāng)?shù)膬?nèi)插法複製出連續(xù)消息。用這樣的方法傳送消息，即使在無噪通道的情形，收到的消息也不會與發(fā)送消息完全相同，它們之間必然存在誤差，稱為消息的失真?？梢赃x擇一個(gè)適當(dāng)?shù)姆秦?fù)函數(shù)d(u,z)來度量消息u、z之間失真的大小?，F(xiàn)在信源編碼理論要回答的問題是：(1)對給定的信源，在保證消息的平均失真不超過給定的允許限D(zhuǎn)的條件下，可能達(dá)到的最小編碼速率是多少?(2)如何構(gòu)造實(shí)現(xiàn)這一速率的最優(yōu)編碼?資訊科學(xué)基礎(chǔ)-緒論通道：傳輸信號的媒質(zhì)或通道，如架空明線、電線、射頻波束、人造衛(wèi)星等。在資訊理論的模型裏，有時(shí)為了研究方便，可以將發(fā)送端和接收端的一部分如調(diào)製器和解調(diào)器歸入通道，而且將系統(tǒng)各部分的雜訊和干擾都?xì)w入通道中考慮。根據(jù)雜訊和干擾的統(tǒng)計(jì)特性，通道有多種模型。最簡單的是離散無記憶(恒參)通道。通道編碼器將信源編碼器輸出的數(shù)字序列，每l個(gè)一組變換為N長的碼字信號(包含N個(gè)通道入口符號)

。通道編碼基本思想：通過編碼引進(jìn)冗餘度提高資訊傳送的可靠性。解碼器有可能利用這種多餘度，將受擾的錯(cuò)誤信號仍譯為正確的發(fā)送數(shù)字序列。資訊科學(xué)基礎(chǔ)-緒論通道編碼理論要回答的問題是：(1)對給定的通道，保證通道漸近無誤地傳送資訊所能達(dá)到的最大編碼速率是多少?(2)對給定的編碼速率R，其最優(yōu)編碼的解碼錯(cuò)誤概率隨編碼長度N的變化規(guī)律怎樣?(3)如何構(gòu)造實(shí)現(xiàn)最大速率傳輸?shù)淖顑?yōu)編碼?資訊科學(xué)基礎(chǔ)-緒論在密碼系統(tǒng)中，信源產(chǎn)生的消息或經(jīng)信源編碼後的數(shù)字消息稱為明文；加密編碼將明文變換為密文(通常是信源符號序列和數(shù)字序列間的一一變換)。加密編碼由密鑰控制，不同的密鑰產(chǎn)生不同的加密編碼。密文經(jīng)通道編碼後通過通道傳到收端，同時(shí)密鑰通過安全通道傳到收端。使收端可以用同一密鑰將密文譯為明文，供受信者使用。對密碼系統(tǒng)的要求主要有兩點(diǎn)：1)密鑰的數(shù)量比明文的數(shù)量小得多，使它可通過某安全通道傳送給收端而不洩露給任何非受信者；2)不擁有密鑰的任何人，在規(guī)定的時(shí)間內(nèi)，無法將密文譯為明文。密碼學(xué)的研究分兩個(gè)方面：密碼的設(shè)計(jì)和密碼的分析與破譯。這兩方面是緊密聯(lián)繫的。資訊科學(xué)基礎(chǔ)-熵和互信息1、信源的統(tǒng)計(jì)特性和數(shù)學(xué)模型2、各類離散信源的資訊測度——熵及其性質(zhì)。資訊科學(xué)基礎(chǔ)-自信息量假設(shè)一條電線上串聯(lián)的8個(gè)燈泡中有一個(gè)壞了，使得所有燈泡不亮，使用萬用表檢查需要經(jīng)過3次。第一次檢查就可以消除一些不確定性，獲得一定的資訊量。未測量前，燈泡損壞的先驗(yàn)概率是1/8，第一次檢查可以排除4個(gè)燈泡，只要猜測剩下的4個(gè)哪個(gè)是壞的，後驗(yàn)概率變?yōu)?/4，依此類推。在通信的一般情況下，收信者所獲取的資訊量，在數(shù)量上等於通信前後不確定性的消除(減少)的量,或者說關(guān)於先驗(yàn)概率和後驗(yàn)概率的函數(shù)的差值。資訊科學(xué)基礎(chǔ)-自信息量

自信息量：如果一個(gè)隨機(jī)試驗(yàn)有N個(gè)可能，如果它們出現(xiàn)的概率分別為其中，且，信源X發(fā)符號xi(i＝1，2，…，n)能提供的資訊量，即其自信息量資訊科學(xué)基礎(chǔ)-信源的分類

信源的分類：連續(xù)信源：發(fā)出在時(shí)間上和幅度上都是連續(xù)分佈的連續(xù)消息的信源；離散信源：發(fā)出在時(shí)間上和幅度上都是離散分佈的信源。離散信源又可以細(xì)分為：離散無記憶信源：所發(fā)出的各個(gè)符號之間是相互獨(dú)立的，發(fā)出的符號序列中的各個(gè)符號之間沒有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號的出現(xiàn)概率是它自身的先驗(yàn)概率。離散有記憶信源：發(fā)出的各個(gè)符號之間不是相互獨(dú)立的，各個(gè)符號出現(xiàn)的概率是有關(guān)聯(lián)的。發(fā)出單個(gè)符號的離散信源：信源每次只發(fā)出一個(gè)符號代表一個(gè)消息；發(fā)出符號序列的離散信源：信源每次發(fā)出一組含二個(gè)以上符號的符號序列代表一個(gè)消息。資訊科學(xué)基礎(chǔ)-信源的分類

將以上兩種分類結(jié)合，就有四種離散信源：發(fā)出單個(gè)符號的無記憶離散信源；發(fā)出符號序列的無記憶離散信源；發(fā)出單個(gè)符號的有記憶離散信源；發(fā)出符號序列的有記憶離散信源。馬爾可夫信源：某一個(gè)符號出現(xiàn)的概率只與前面一個(gè)或有限個(gè)符號有關(guān)，而不依賴更前面的那些符號。當(dāng)記憶長度為m+1時(shí)，稱這種有記憶信源為m階馬爾可夫信源。時(shí)齊馬爾可夫信源：條件概率與時(shí)間起點(diǎn)i無關(guān)。資訊科學(xué)基礎(chǔ)-N重概率空間內(nèi)的條件自信息量和聯(lián)合自信息量市場上供應(yīng)的燈炮中，甲廠占70%，乙廠占30%，甲廠的合格率是95%，乙廠的是80%。若用事件A、A’分別表示甲、乙兩廠的產(chǎn)品，B表示產(chǎn)品為合格品，有關(guān)事件的概率為：P(A)=70%,P(A’)=30%,P(B|A)=95%,P(B|A’)=80%有記憶信源的條件概率分佈：P(X1X2X3)=P(X1)P(X2|X1)P(X3|X1X2)信源的N重概率空間為：離散無記憶信源N維隨機(jī)向量的聯(lián)合概率分佈滿足資訊科學(xué)基礎(chǔ)-N重概率空間內(nèi)的條件自信息量和聯(lián)合自信息量聯(lián)合自信息量：兩個(gè)消息、同時(shí)出現(xiàn)的聯(lián)合自信息量用聯(lián)合概率表示，聯(lián)合自信息量為當(dāng)和相互獨(dú)立時(shí)，有

於是有

條件自信息量：當(dāng)、相互聯(lián)繫時(shí)，在事件出現(xiàn)的條件下，的自信息量稱為條件自信息量，定義為

為在事件出現(xiàn)的條件下，發(fā)生的條件概率。資訊科學(xué)基礎(chǔ)-資訊熵資訊熵H

：從整個(gè)信源的統(tǒng)計(jì)特性來考慮，定義自信息的數(shù)學(xué)期望為資訊熵。它是從平均意義上來表徵信源的總體特性的。資訊熵有三種物理含義：1。表示信源輸出的每個(gè)消息符號提供的平均資訊量。2。資訊熵H(x)是表示信源輸出前，信源的平均不確定性。3。用資訊熵H(x)來表徵變數(shù)x的隨機(jī)性。資訊熵是信源的平均不確定的描述。只有在無噪情況下，它才等於平均獲得的資訊量。資訊科學(xué)基礎(chǔ)-條件熵和聯(lián)合熵條件熵：在給定的條件下，的條件自信息量為，隨機(jī)事件X的條件熵H(X/yj)為

它表示信源Y發(fā)符號的前提下，信源x每發(fā)一個(gè)符號提供的平均資訊量。而

它表示信源Y每發(fā)一個(gè)符號的前提下，信源X再發(fā)一個(gè)符號所能提供的平均資訊量。H(X／Y)稱為X的條件熵。資訊科學(xué)基礎(chǔ)-條件熵和聯(lián)合熵

相應(yīng)有

它表示信源X每發(fā)一個(gè)符號的前提下，信源Y再發(fā)一個(gè)符號所能提供的平均資訊量。H(Y／X)為Y的條件熵。當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)，H(X／Y)＝H(X)資訊科學(xué)基礎(chǔ)-條件熵和聯(lián)合熵聯(lián)合熵：是聯(lián)合符號集合XY的每個(gè)元素對的自信息量的概率加權(quán)統(tǒng)計(jì)平均值，定義為

它表示X和Y同時(shí)發(fā)生的不確定度。聯(lián)合熵的性質(zhì)：定理2.1.1：對於任意兩個(gè)隨機(jī)變數(shù)X，Y，以及它們的聯(lián)合XY，有：H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)當(dāng)X，Y相互獨(dú)立，有：H(Y|X)=H(Y)，H(X|Y)=H(X)，此時(shí)H(X,Y)=H(X)+H(Y)。資訊科學(xué)基礎(chǔ)-熵的基本性質(zhì)熵函數(shù)有下列性質(zhì)：（1）對稱性。變數(shù)的順序任意互換，熵函數(shù)值不變。（2）確定性。即如果信源雖然有不同的輸出符號，但它只有一個(gè)符號幾乎必然出現(xiàn)，而其他符號都是幾乎不可能出現(xiàn)，那麼，這個(gè)信源是一個(gè)確知信源，其熵等於零。（3）非負(fù)性。即

非負(fù)性僅僅適用於離散信源的熵，對連續(xù)信源來說這一性質(zhì)並不存在。以後可以看到，在相對熵的概念下，可能出現(xiàn)負(fù)值。資訊科學(xué)基礎(chǔ)-熵的基本性質(zhì)（4）可擴(kuò)展性。（5）可加性。即統(tǒng)計(jì)獨(dú)立信源x和y的聯(lián)合信源的熵等於分別熵之和。（6）強(qiáng)可加性。即

它表明，在X和y相關(guān)聯(lián)的情況下，信源(XY)每發(fā)一個(gè)符號所提供的平均資訊量，等於信源X每發(fā)一個(gè)符號所提供的平均資訊量，再加上在X已知的條件下，信源Y再發(fā)一個(gè)符號所提供的平均資訊量。資訊科學(xué)基礎(chǔ)-熵的基本性質(zhì)（7）極值性。即

即等概率分佈時(shí)，熵達(dá)到極值。對於具有q個(gè)符號的離散信源，只有在q個(gè)信源符號等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值。這也表明等概率分佈信源的平均不確定性為最大。這是一個(gè)很重要的結(jié)論，稱為最大離散熵定理。這說明，任何一種能使概率p1，p2，…，pn趨於均等的變動，都會使熵增加。

（8）嚴(yán)格凸性。對於任何和任何兩個(gè)概率向量P1,P2有：資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息資訊流通的根本問題，是定量計(jì)算信宿收到通道輸出的某一符號後，從中獲取關(guān)於信源該符號的資訊量。信

源

X

有擾離散信

道信

宿

Y干擾源

簡單的通信系統(tǒng)模型

資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息H(x)是在接收到符號y以前，關(guān)於輸入符號x的先驗(yàn)不確定性的度量，所以稱為先驗(yàn)熵。如果通道中無干擾(雜訊)，通道輸出符號與輸入符號一一對應(yīng)，那麼，接收到傳送過來的符號後就消除了對發(fā)送符號的先驗(yàn)不確定性。但一般通道中有干擾(雜訊)存在，接收到符號y後對發(fā)送的是什麼符號仍有不確定性。那麼，怎樣來度量接受到y(tǒng)後關(guān)於x的不確定性呢?當(dāng)沒有接收到輸出符號y時(shí)，已知輸入符號X的概率分佈為P(X)；而當(dāng)接收到輸出符號y＝y(tǒng)j後，輸入符號的概率分佈發(fā)生了變化，變成後驗(yàn)概率分佈P(X/yj)。

資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息

那麼接收到輸出符號y＝y(tǒng)j後，關(guān)於x的平均不確定性為

這是接收到輸出符號為yj後關(guān)於X的後驗(yàn)熵?？梢姡邮盏捷敵龇杫j後先驗(yàn)熵變成後驗(yàn)熵。所以後驗(yàn)熵是當(dāng)通道接收端接收到輸出符號yj後，關(guān)於輸入符號的資訊測度。資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息後驗(yàn)熵在輸出符號集y範(fàn)圍內(nèi)是個(gè)隨機(jī)量，對後驗(yàn)熵在符號集y中求期望，得條件熵為這個(gè)條件熵稱為通道疑義度。它表示在輸出端收到全部輸出符號Y集後，對於輸入端的符號集X尚存在的不確定性(存在疑義)。對X集尚存在的不確定性是由於干擾(雜訊)引起的。如果是一一對應(yīng)通道，那麼接收到符號集Y後，對X集的不確性完全消除，則通道疑義度H(X/Y)＝0。資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息條件熵小於無條件熵，即H(X/Y)＜H(X)。這正說明接收到符號集Y的所有符號後，關(guān)於輸入符號X的平均不確定性減少了，即總能消除一些關(guān)於輸入端X的不確定性，從而獲得了一些資訊。已知H(X)代表接收到輸出符號集Y以前關(guān)於輸入符號集X的平均不確定性，而H(X/Y)代表接收到輸出符號集Y後關(guān)於輸入符號集X的平均不確定性。可見，通過通道傳輸消除了一些不確定性，獲得了一定的資訊。所以定義資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息I(X;Y)稱為X和Y之間的平均互信息。它代表接收到符號集Y後平均每個(gè)符號獲得的關(guān)於X的資訊量。

資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息平均互信息I(X;Y)就是互信息I(x;y)在兩個(gè)概率空間X和Y中求平均的結(jié)果?；バ畔(x;y)是代表收到消息y後獲得關(guān)於某事件x的資訊量。從平均互信息的定義中，可以進(jìn)一步理解熵只是平均不確定性的描述，而不確定性的消除(熵差)才等於接收端所獲得的資訊量。因此，資訊量不應(yīng)該與不確定性混為一談。資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息平均互信息量的物理意義：I(X;Y)是H(X)和H(X/Y)之差。因?yàn)镠(X)是符號集合X的熵或不確定度，而H(X/Y)是當(dāng)Y已知時(shí)X的不確定度，可見“Y已知”這件事使X的不確定度減少了I(X;Y)，這意味著“Y已知”後所獲得的關(guān)於X的資訊量是I(X;Y)。這可以看成是在有擾離散通道上傳輸?shù)钠骄Y訊量。信宿收到的平均資訊量等於信宿對信源符號不確定度的平均減少量。換句話說，在有擾離散通道上，各個(gè)接受符號y所提供的有關(guān)信源發(fā)出的各個(gè)符號x的平均資訊量I(X;Y)，等於唯一地確定信源符號x所需要的平均資訊量H(X)，減去收到符號y後，要確定x所需要的平均資訊量H(X/Y)。條件熵H(X/Y)可以看作是由於通道上存在干擾和雜訊而損失掉的平均資訊量，又可以看作是通道上的干擾和雜訊所造成的對信源符號x的平均不確定度，故又稱為疑義度。資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息而由互信息量的第二個(gè)關(guān)係式，互信息量可以看作在有擾離散通道上傳遞消息時(shí)，確定接受符號y所需要的平均資訊量H(Y)，減去當(dāng)信源消息已知時(shí)確定接受符號y仍然需要的平均資訊量H(Y/X)，因此，H(Y/X)也可以認(rèn)為是唯一地確定通道雜訊所需要的平均資訊量，故又稱為雜訊熵或散佈度，其關(guān)係可由圖2-2-3來形象地表示。資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息資訊科學(xué)基礎(chǔ)-條件相對熵和平均互信息平均互信息的性質(zhì)（1）非負(fù)性：（2）對稱性：（3）交換性：（4）極值性：資訊科學(xué)基礎(chǔ)-公式總結(jié)自信息量信源熵互信息量資訊科學(xué)基礎(chǔ)-公式總結(jié)一些關(guān)係式資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）兩種特殊情況：1．此時(shí)，這表明，當(dāng)後驗(yàn)概率p(xi/yj)＝1(即收到輸出符號yj，推測輸入符號xi的概率為1)時(shí)，收到y(tǒng)j即可確切無誤地收到輸入符號xi，消除對xi得全部不定度，從yj中獲取xi本身含有的全部資訊量，即xi的自信息量I(xi)。此時(shí)Y已知就完全解除了關(guān)於X的不確定度，所獲得的資訊就是X的不確定度或熵。也可以看成是無擾通道，由於沒有雜訊，疑義度H(X/Y)為零，雜訊熵也為零。於是有I(X;Y)=H(X)=H(Y)。資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）2．這時(shí)，由於後驗(yàn)概率等於先驗(yàn)概率，所以後驗(yàn)概率與先驗(yàn)概率的比值等於1，即有

這表明，當(dāng)後驗(yàn)概率等於先驗(yàn)概率時(shí)，收到y(tǒng)j後對信源發(fā)xi的不定度等於收到y(tǒng)j前對信源發(fā)xi的不定度，收到y(tǒng)j後並沒有減少對信源發(fā)xi的不定度，從yj中獲取不到關(guān)於xi的資訊量。

資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）

這就是說，輸出符號yj與輸入符號xi之間沒有任何聯(lián)繫，完全是互不相關(guān)的兩碼事。顯然，在這種情況下，xi與yj之間的交互資訊量應(yīng)該等於0。

這可以理解為X與Y相互獨(dú)立，無法從Y中提取關(guān)於X的資訊。也可以看成通道熵雜訊相當(dāng)大，以至有H(X/Y)=H(X)。在這種情況下，能夠傳輸?shù)钠骄Y訊量為0。成為全損通道。一般情況下，X和Y既非互相獨(dú)立，也不是一一對應(yīng)，那麼從Y獲得的X資訊必在0與H(X)之間，即常小於X的熵。資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）信源熵、互信息之間的關(guān)係：圖2.3信源熵與互信息量之間的關(guān)係圖

資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）

圖中，左邊的圓代表符號集X的熵，右邊的圓代表符號集Y的熵，兩個(gè)圓重疊部分是平均互信息I(X；Y)。每個(gè)圓減去平均互信息後剩餘的部分代表兩個(gè)疑義度。由上圖，可以有下列結(jié)論：1.2.3.資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）例題:二進(jìn)位通信系統(tǒng)用符號“0”和“1”，由於存在失真，傳輸時(shí)會產(chǎn)生誤碼，用符號表示下列事件：：一個(gè)“0”發(fā)出；：一個(gè)“1”發(fā)出；：一個(gè)“0”收到；：一個(gè)“1”收到。給定下列概率：，求：（1）已知發(fā)出一個(gè)“0”，收到符號後得到的資訊量；（2）已知發(fā)出的符號，收到符號後能得到的資訊量；（3）知道發(fā)出和收到的符號能得到的資訊量；（4）已知收到的符號，被告知發(fā)出的符號得到的資訊量。資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）解：（1）題目的要求是在已知輸入為的條件下，收到符號能得到的資訊量，也就是說，要知道在已知輸入為的條件下，輸出符號所具有的不確定度，即條件熵可求出故：資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）（2）題目要求在已知輸入符號的條件下，確定輸出符號後得到的資訊量，即在已知輸入符號的條件下，輸出符號所具有的不確定度，即條件熵而資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）因此（3）題目要求的是當(dāng)知道發(fā)出和收到的符號後，能得到多少資訊量，也就是要知道在未知發(fā)出和收到的符號的時(shí)候所具有的不確定度，即聯(lián)合熵解法（1）解法（2）資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）（4）題目要求求出在已知收到的符號的前提下，得知發(fā)出的符號時(shí)得到的資訊量，即在已知收到的符號的條件下，對發(fā)出符號所具有的不確定度，即條件熵解法（1）資訊科學(xué)基礎(chǔ)-互信息量（續(xù)）解法（2）資訊科學(xué)基礎(chǔ)-熵和互信息1、數(shù)據(jù)處理不等式2、連續(xù)信源的互信息和微分熵3、微分熵的極大化4、凸函數(shù)和互信息的凸性5、平穩(wěn)離散信源6、離散無記憶信源的序列熵7、離散有記憶信源的序列熵8、冗餘度9、馬爾可夫信源熵和互信息-數(shù)據(jù)處理不等式

串聯(lián)通道

如圖所示的串聯(lián)通道，X是輸入消息集合，Y是第一級通道輸出，Z是第二級數(shù)據(jù)處理後的輸出消息集合，可以證明：

第

一

級處理器X輸入

第

二

級處理器YZ數(shù)據(jù)處理中平均交互資訊量的不增性：

在一些實(shí)際的通信系統(tǒng)中，我們常常需要在通道輸出端對接收到的信號或數(shù)據(jù)進(jìn)行適當(dāng)?shù)奶幚?，這種處理稱為數(shù)據(jù)處理。數(shù)據(jù)處理系統(tǒng)一般可看成是一種通道，它與前面?zhèn)鬏敂?shù)據(jù)的通道是串聯(lián)關(guān)係。

熵和互信息-數(shù)據(jù)處理不等式從串接通道輸出端Z中獲取的關(guān)於輸入端X的平均交互資訊量I(X；Z)，總不會超過從第一級通道的輸出端Y中獲取關(guān)於輸入端X的平均交互資訊量I(X；Y)。如果第二級通道是數(shù)據(jù)處理系統(tǒng)，則對接收到的數(shù)據(jù)Y進(jìn)行處理後，無論Z是Y的確定對應(yīng)關(guān)係還是概率關(guān)係，決不會減少關(guān)於X的不確定性。數(shù)據(jù)處理不會增加從Z中獲取關(guān)於X的平均交互資訊量。這就是數(shù)據(jù)處理中平均交互資訊量的不增性。三維聯(lián)合集的平均互信息：

熵和互信息-連續(xù)信源的互信息和微分熵連續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變數(shù)，可用變數(shù)的概率密度來描述。連續(xù)信源的數(shù)學(xué)模型為：其中，R是全實(shí)數(shù)集，是變數(shù)X的取值範(fàn)圍。該連續(xù)變數(shù)可以用離散變數(shù)來逼近，即連續(xù)變數(shù)可以認(rèn)為是離散變數(shù)的極限情況。量化單位越小，則所得的離散變數(shù)和連續(xù)變數(shù)越接近。因此，連續(xù)變數(shù)的資訊度量可以用離散變數(shù)的資訊度量來逼近。熵和互信息-連續(xù)信源的互信息和微分熵把連續(xù)信源概率密度的取值區(qū)間[a,b]分割成n個(gè)社區(qū)間，各社區(qū)間設(shè)有等寬，那麼，X處於第區(qū)間的概率是：其中，是到之間的某一值。當(dāng)是x的連續(xù)函數(shù)時(shí)，由積分中值定理可知，必存在一個(gè)值使上式成立。熵和互信息-連續(xù)信源的互信息和微分熵此時(shí)，連續(xù)變數(shù)X就可以用取值為的離散變數(shù)來近似。連續(xù)信源X被量化為離散信源：且熵和互信息-連續(xù)信源的互信息和微分熵這時(shí)離散信源的熵是：當(dāng)時(shí)，離散隨機(jī)變數(shù)趨於連續(xù)隨機(jī)變數(shù)X，而離散信源的熵的極限值就是連續(xù)信源的資訊熵。熵和互信息-連續(xù)信源的互信息和微分熵一般情況下，上式的第一項(xiàng)是定值，而當(dāng)時(shí)，第二項(xiàng)是趨於無限大的常數(shù)。所以避開第二項(xiàng)，定義連續(xù)信源的熵為：熵和互信息-連續(xù)信源的互信息和微分熵由上式可知，所定義的連續(xù)信源的熵並不是實(shí)際信源輸出的絕對熵，連續(xù)信源的絕對熵應(yīng)該還要加上一項(xiàng)無限大的常數(shù)項(xiàng)。這一點(diǎn)可以這樣理解：因?yàn)檫B續(xù)信源的可能取值數(shù)是無限多個(gè)，若設(shè)取值是等概分佈，那麼信源的不確定性為無限大。當(dāng)確知信源輸出為某值後，所獲得的資訊量也將為無限大。既然如此，那麼為什麼還要那樣來定義連續(xù)信源的熵呢？一方面，因?yàn)檫@樣定義可與離散信源的熵在形式上統(tǒng)一起來（這裏用積分代替了求和）；另一方面，因?yàn)樵趯?shí)際問題中，常常討論的是熵之間的差值，如平均互信息等。在討論熵差時(shí)，只要兩者離散逼近時(shí)所取的間隔一致，無限大項(xiàng)常數(shù)將互相抵消掉。由此可見，連續(xù)信源的熵稱為差熵，以區(qū)別於原來的絕對熵。熵和互信息-連續(xù)信源的互信息和微分熵

同理，可以定義兩個(gè)連續(xù)變數(shù)X、Y的聯(lián)合熵和條件熵，即熵和互信息-連續(xù)信源的互信息和微分熵

它們之間也有與離散信源一樣的相互關(guān)係，並且可以得到有資訊特徵的互信息：

這樣定義的熵雖然形式上和離散信源的熵相似，但在概念上不能把它作為資訊熵來理解。連續(xù)信源的差熵值具有熵的部分含義和性質(zhì)，而喪失了某些重要的特性。熵和互信息-微分熵的極大化在離散信源中，當(dāng)信源符號等概率分佈時(shí)信源的熵取最大值。在連續(xù)信源中，差熵也具有極大值，但其情況有所不同。除存在條件

以外，還要加上一些附加約束條件。通常我們最感興趣的是兩種情況：一種是信源的輸出的峰值功率受限；另一種是信源的輸出平均功率受限。下麵分別加以討論。熵和互信息-微分熵的極大化（1）峰值功率受限條件下信源的最大熵定理：若信源輸出的幅度被限定在[a,b]區(qū)域內(nèi)，則當(dāng)輸出信號的概率密度是均勻分佈時(shí)，信源具有最大熵。其值等於log(b-a)。此時(shí)，（2.2.7）熵和互信息-微分熵的極大化（2）平均功率受限條件下信源的最大熵定理：若一個(gè)連續(xù)信源輸出符號的平均功率被限定為P（這裏是指的交流功率，即方差），則其輸出信號幅度的概率密度分佈是正態(tài)分佈時(shí)，信源有最大的熵，其值為.正態(tài)分佈：（其中，m為數(shù)學(xué)期望，為方差）

熵和互信息-微分熵的極大化在限制信號平均功率的條件下，正態(tài)分佈的信源有最大差熵，其值隨平均功率的增加而增加。上述定理說明，連續(xù)信源在不同的限制條件下有不同的最大熵，在無限制條件時(shí)，最大熵不存在。根據(jù)最大熵定理可知，如果雜訊是正態(tài)分佈時(shí)，則雜訊熵最大，因此高斯白雜訊獲得最大雜訊熵。也就是說，高斯白雜訊是最有害的干擾，在一定平均功率下，造成最大數(shù)量的有害資訊。在通信系統(tǒng)中，往往各種設(shè)計(jì)都將高斯白雜訊作為標(biāo)準(zhǔn)，並不完全是為了簡化分析，而是根據(jù)最壞的條件進(jìn)行設(shè)計(jì)獲得可靠性。熵和互信息-凸函數(shù)和互信息的凸性熵的基本性質(zhì)（8）嚴(yán)格凸性。對於任何和任何兩個(gè)概率向量P1,P2有：熵和互信息-凸函數(shù)和互信息的凸性如果對於K維空間R上的任意向量a,b，有，則稱R是凸集。顯然概率向量組成的概率空間是凸的。凸函數(shù)概念:凸集R上定義的實(shí)函數(shù)f如果對所有R上的a,b都滿足那麼f稱為R上的凸函數(shù)。熵和互信息-凸函數(shù)和互信息的凸性定理1：當(dāng)條件分佈p(y|x)給定時(shí)，平均互信息I(X;Y)是輸入信源的概率分佈p(x)的n型凸函數(shù)。這意味著，當(dāng)固定某通道時(shí)，選擇不同信源（其概率分佈不同）與通道進(jìn)行連接，在通道輸出端接收到每個(gè)符號後獲得的資訊量是不同的。而且對於每個(gè)固定通道，一定存在某種信源（某種概率分佈p(x)），使得輸出端獲得的平均資訊量為最大（因?yàn)閚型凸函數(shù)存在最大值）。固定二元對稱通道的互信息熵和互信息-凸函數(shù)和互信息的凸性定理2：當(dāng)輸入分佈p(x)給定時(shí)，平均互信息I(X;Y)是通道傳遞概率分佈p(y|x)的u型凸函數(shù)。這意味著，當(dāng)信源固定後，選擇不同通道（其概率分佈不同）來傳輸信源符號時(shí)，在通道輸出端獲得的關(guān)於信源的資訊量是不同的。而且對於每個(gè)固定信源，一定存在某種最差的通道（某種概率分佈p(y|x)），此信道的干擾、雜訊最大，從而輸出端獲得的資訊量最?。ㄒ?yàn)閡型凸函數(shù)存在最小值）。固定二元信源的互信息熵和互信息-平穩(wěn)離散信源前面討論的是最基本的離散信源，即信源每次輸出單個(gè)符號。然而，往往很多實(shí)際信源輸出的消息是時(shí)間上或空間上的一系列符號，即離散隨機(jī)序列，在這個(gè)序列中，每一位出現(xiàn)哪個(gè)符號都是隨機(jī)的，而前後符號的出現(xiàn)則有統(tǒng)計(jì)依賴關(guān)係（有記憶離散信源序列）。此時(shí)，可用隨機(jī)向量來描述信源發(fā)出的消息，即，其中任一變數(shù)都是隨機(jī)變數(shù)，它表示t=i時(shí)刻所發(fā)出的符號。信源在t=i時(shí)刻將要發(fā)出什麼樣的符號決定於兩方面：(1)與信源在t=i時(shí)刻隨機(jī)變數(shù)的取值的概率分佈有關(guān)。一般情況下，t不同時(shí)，概率分佈也不同，即.熵和互信息-平穩(wěn)離散信源(2)與t=i時(shí)刻以前信源發(fā)出的符號有關(guān)，即與條件概率有關(guān)。同樣在一般情況下，它也是時(shí)刻t的函數(shù)，所以以上所敘述的是一般隨機(jī)序列的情況，它比較複雜。下麵我們只討論離散無記憶序列信源和兩種較簡單的離散有記憶序列信源：平穩(wěn)序列信源和齊次遍曆馬氏鏈信源。熵和互信息-離散無記憶信源的序列熵設(shè)信源輸出的隨機(jī)序列為，序列中的變數(shù)，即序列長為L。隨機(jī)序列的概率為熵和互信息-離散無記憶信源的序列熵對無記憶信源，這時(shí)，信源的序列熵為若又滿足平穩(wěn)性，即與序號無關(guān)時(shí)，有熵和互信息-信源及信源熵則信源的序列熵可以表示為H(X)=LH(X)，平均每個(gè)符號熵為：可見，離散無記憶平穩(wěn)信源平均每個(gè)符號的符號熵就等於單個(gè)符號信源的符號熵H(X)。熵和互信息-離散有記憶信源的序列熵討論兩種情況：平穩(wěn)有記憶信源序列和齊次遍曆馬氏鏈信源。一、平穩(wěn)有記憶信源序列（1）平穩(wěn)隨機(jī)序列的定義：不講嚴(yán)格的定義。所謂平穩(wěn)隨機(jī)序列，就是序列的統(tǒng)計(jì)特性（事件發(fā)生的概率）與時(shí)間的推移無關(guān)，即信源所發(fā)符號的概率分佈與時(shí)間起點(diǎn)無關(guān)。所以對於平穩(wěn)信源來講，其條件概率也均與時(shí)間起點(diǎn)無關(guān)，只與關(guān)聯(lián)長度N有關(guān)。熵和互信息-離散有記憶信源的序列熵（2）平穩(wěn)隨機(jī)序列的熵若信源輸出一個(gè)L長序列，則信源的序列熵為熵和互信息-離散有記憶信源的序列熵當(dāng)信源退化為無記憶時(shí)，有這一結(jié)論與離散無記憶信源結(jié)論是完全一致的。可見，無記憶信源是上述有記憶信源的特例。熵和互信息-離散有記憶信源的序列熵例題：已知離散有記憶信源中各符號的概率空間為現(xiàn)信源發(fā)出二重符號序列消息，這兩個(gè)符號的關(guān)聯(lián)性用條件概率表示，並由下表給出。求信源的序列熵和平均符號熵。熵和互信息-離散有記憶信源的序列熵

9/112/1101/83/41/802/97/9解：條件熵為單符號信源熵為熵和互信息-離散有記憶信源的序列熵發(fā)二重符號序列的熵為平均符號熵為比較上述結(jié)果可知：，即二重序列的符號熵值較單符號熵變小了，也就是不確定度減小了，這是由於符號之間存在相關(guān)性造成的。熵和互信息-離散有記憶信源的序列熵對離散平穩(wěn)信源，其聯(lián)合概率具有時(shí)間推移不變性，此時(shí)有如下結(jié)論：（1）是L的單調(diào)非增函數(shù)。（2）（3）是L的單調(diào)非增函數(shù)。（4）當(dāng)時(shí)，

稱為極限熵，又稱為極限資訊量。熵和互信息-離散有記憶信源的序列熵於是有：式中，為等概率無記憶信源單個(gè)符號的熵，為一般無記憶信源單個(gè)符號的熵，為兩個(gè)符號組成的序列平均符號熵，依此類推。結(jié)論（4）從理論上定義了平穩(wěn)離散有記憶信源的極限熵，對於一般的離散平穩(wěn)信源，實(shí)際上求此極限值是相當(dāng)困難的。但對於一般的離散平穩(wěn)信源，由於取L不很大時(shí)就能得出非常接近的因此，可用條件熵或者平均符號熵作為平穩(wěn)信源極限熵的近似值。熵和互信息-冗餘度前面我們討論了各類離散信源及其資訊熵。實(shí)際的離散信源可能是非平穩(wěn)的，對於非平穩(wěn)信源來說，其不一定存在，但可以假定它是平穩(wěn)的，用平穩(wěn)信源的來近似。然而，對於一般平穩(wěn)的離散信源，求值也是極其困難的。那麼，進(jìn)一步可以假設(shè)它是m階馬爾可夫信源，用m階馬爾可夫信源的平均資訊熵來近似。如再進(jìn)一步簡化信源，即可假設(shè)信源是無記憶信源，而信源符號有一定的概率分佈。這時(shí)，可用信源的平均自信息量來近似。最後，可以假定是等概分佈的無記憶離散信源，用最大熵來近似。熵和互信息-冗餘度由此可見，由於信源符號間的依賴關(guān)係使信源的熵減小。它們的前後依賴關(guān)係越長，信源的熵越小。當(dāng)信源符號間彼此無依賴、等概率分佈時(shí)，信源的熵才達(dá)到最大。也就是說，信源符號之間依賴關(guān)係越強(qiáng)，每個(gè)符號提供的資訊量就越小。每個(gè)符號提供的平均自信息量隨著符號間的依賴關(guān)係長度的增加而減少。為此，我們引進(jìn)信源的冗餘度（也叫剩餘度或多餘度）來衡量信源的相關(guān)性程度。對於一般平穩(wěn)信源來說，極限熵為，這就是說，如果我們要傳送這一信源的資訊，理論上來說只需要有傳送的手段即可。熵和互信息-冗餘度但實(shí)際上我們對它的概率分佈不能完全掌握，如果把它近似成m階馬爾可夫信源，則可以用能傳送的手段去傳送熵?cái)?shù)為的信源，當(dāng)然這裏面就不太經(jīng)濟(jì)。我們定義資訊效率為：信源的冗餘度定義為熵和互信息-冗餘度由冗餘度的定義可見，信源的冗餘度能夠很好地反映信源輸出的符號序列中符號之間依賴關(guān)係的強(qiáng)弱。冗餘度越大，表示信源的實(shí)際熵越小，表明信源符號之間的依賴關(guān)係越強(qiáng)，即符號之間的記憶長度越長；反之，冗餘度越小，表明信源符號之間的依賴關(guān)係越弱，即符號之間的記憶長度越短。當(dāng)冗餘度等於零時(shí)，信源的熵就等於極大熵，表明信源符號之間不但統(tǒng)計(jì)獨(dú)立無記憶，而且各符號還是等概分佈。因此，冗餘度可以用來衡量信源輸出的符號序列中各符號之間的依賴程度。熵和互信息-冗餘度例如，以符號是英文字母的信源為例，英文字母加上空格共有27個(gè)，則最大熵為但實(shí)際上，用英文字母組成單詞，再由單詞組成句子時(shí)，英文字母並不是等概率出現(xiàn)，比如我們知道在英語中E出現(xiàn)的概率大於Q出現(xiàn)的概率。對在英文書中各符號的概率加以統(tǒng)計(jì)，可以得出各個(gè)字母出現(xiàn)的概率，由此得出第一級近似為無記憶信源的熵：熵和互信息-冗餘度考察英語的結(jié)構(gòu)我們知道，要組成有意義的單詞，英文字母的前後出現(xiàn)是有依賴關(guān)係的，當(dāng)前面某個(gè)字母出現(xiàn)後，後面將出現(xiàn)什麼字母，並不是完全不確定的，而是有一定的概率分佈。例如字母T後面出現(xiàn)H、R的可能性較大，出現(xiàn)J、K、L、M、N的可能性極小，而根本不會出現(xiàn)Q、F、X?？紤]到字母之間的依賴性，可以把英語信源做進(jìn)一步精確的近似，看作一階或二階馬爾可夫信源，這樣可以求得：熵和互信息-冗餘度因此可知，在信源所輸出的序列中依賴關(guān)係越複雜，資訊熵就越小。實(shí)際上，英文信源的資訊熵比還要小得多，一般認(rèn)為，。因此，資訊效率和冗餘度為熵和互信息-冗餘度這說明用英文字母寫成文章時(shí)，有71%是由語言結(jié)構(gòu)、實(shí)際意義等確定，而剩下只有29%是寫文字的人可以自由選擇的。這也就意味著在傳遞或存儲英語資訊時(shí)，只需要傳送或存儲那些必要的資訊，而有關(guān)聯(lián)的則可以大幅度地壓縮。例如100頁的英文書，大約只要存儲29頁就可以了，其中的71頁可以壓縮掉，這壓縮掉的文字完全可以根據(jù)英文的統(tǒng)計(jì)特性來恢復(fù)。信源的冗餘度正是表示這種信源可壓縮的程度的。熵和互信息-冗餘度從提高傳輸資訊效率的觀點(diǎn)出發(fā)，總是希望減少或去掉冗餘度。如發(fā)中文電報(bào)時(shí)，為了經(jīng)濟(jì)和節(jié)省時(shí)間，總希望在原意不變的情況下，盡可能地把電文寫得簡潔些。也就是說，實(shí)際的通信系統(tǒng)中，為了提高傳輸效率，往往需要把信源的大量冗餘進(jìn)行壓縮，這就是所謂的信源編碼。但是，冗餘度也有它的用處，因?yàn)槿唣N度大的消息具有強(qiáng)的抗干擾能力。當(dāng)干擾使消息在傳輸過程中出現(xiàn)錯(cuò)誤時(shí)，我們能從上下關(guān)聯(lián)中糾正錯(cuò)誤。例如我們收到“中X人民X和國”時(shí)，我們很容易把它糾正為“中華人民共和國”。但若我們收到的是壓縮後的“中國”，而出現(xiàn)了錯(cuò)誤變成了“X國”，就很難肯定發(fā)出的是“中國”、“美國”…，由此將會造成很大的錯(cuò)誤。所以，從提高抗干擾能力的角度來看，總是希望增加或者保留信源的冗餘度，或者是傳輸之前在信源編碼後去除冗餘的符號序列裏加入某些特殊的冗餘度，以達(dá)到通信系統(tǒng)理想的傳輸有效性和可靠性，這就是所謂的通道編碼。熵和互信息-馬爾可夫信源1.馬爾可夫信源設(shè)一般信源所處的狀態(tài)，在每一狀態(tài)下可能輸出的符號。定義：若信源輸出的符號序列和信源所處的狀態(tài)滿足以下兩個(gè)條件（1）某一時(shí)刻信源符號的輸出只與此時(shí)刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)及以前的輸出符號都無關(guān)，即熵和互信息-馬爾可夫信源當(dāng)具有齊次性時(shí)，有（2）信源某時(shí)刻所處的狀態(tài)由當(dāng)前的輸出符號和前一時(shí)刻信源的狀態(tài)唯一決定，即則此信源稱為馬爾可夫信源。熵和互信息-馬爾可夫信源上述定義和描述的是一般的馬爾可夫信源。但常見的是m階馬爾可夫信源，它在任何時(shí)刻，符號發(fā)生的概率只與前面m個(gè)符號有關(guān)，我們可以把這前面m個(gè)符號序列看作信源在此時(shí)刻所處的狀態(tài)。因?yàn)樾旁捶柤灿衠個(gè)符號，則信源可以有個(gè)不同的狀態(tài)，他們對應(yīng)於個(gè)長度為m的不同的符號序列。熵和互信息-馬爾可夫信源因此，m階馬爾可夫離散信源的數(shù)學(xué)模型可由一組信源符號集和一組條件概率確定：並滿足熵和互信息-馬爾可夫信源M階馬爾可夫信源在任何時(shí)刻，符號發(fā)生的概率只與前m個(gè)符號有關(guān)，所以可設(shè)狀態(tài)。由於均可取可得信源的狀態(tài)集。這樣一來，條件概率可變換成條件概率表示任何時(shí)刻信源處在狀態(tài)時(shí)，發(fā)出符號的概率。而可任取之一，所以可以簡化成表示。熵和互信息-馬爾可夫信源而在時(shí)刻，信源發(fā)出符號後，由符號組成了新的信源狀態(tài)，即信源所處的狀態(tài)也由轉(zhuǎn)移到，它們之間的轉(zhuǎn)移概率叫做一步轉(zhuǎn)移概率，簡記為，它可由條件概率來確定，表示在的情況下，經(jīng)一步轉(zhuǎn)移到狀態(tài)的概率。對於齊次馬爾可夫鏈，其轉(zhuǎn)移概率具有推移不變性，因此，可簡寫為。熵和互信息-馬爾可夫信源推廣可得，它表示系統(tǒng)在時(shí)刻m處於狀態(tài)，經(jīng)(n-m)步轉(zhuǎn)移後在時(shí)刻n處於狀態(tài)的概率。它具有以下性質(zhì)：記k步轉(zhuǎn)移概率為由於有個(gè)狀態(tài)，所以狀態(tài)轉(zhuǎn)移概率是一個(gè)矩陣，記為：熵和互信息-馬爾可夫信源矩陣P中第行元素對應(yīng)與從某一個(gè)狀態(tài)轉(zhuǎn)移到所有狀態(tài)的轉(zhuǎn)移概率，顯然矩陣中每一個(gè)元素都是非負(fù)的，並且每行元素之和均為1；第列元素對應(yīng)與從所有狀態(tài)轉(zhuǎn)移到同一個(gè)狀態(tài)的轉(zhuǎn)移概率，列元素之和不一定為1。注意：狀態(tài)轉(zhuǎn)移矩陣與條件概率矩陣是不同的。熵和互信息-馬爾可夫信源幾個(gè)基礎(chǔ)概念：無記憶源：信源發(fā)出的符號之間彼此統(tǒng)計(jì)獨(dú)立。有記憶源：平穩(wěn)源：信源輸出符號序列的概率分佈和起點(diǎn)無關(guān)。有限記憶源：信源在l時(shí)刻的輸出只和前面有限個(gè)隨機(jī)變數(shù)有關(guān)M階馬爾可夫源：信源在l時(shí)刻的輸出只和前面m個(gè)隨機(jī)變數(shù)有關(guān)。普通馬爾可夫源：m＝1。信源狀態(tài)：已發(fā)出的長度為m的前導(dǎo)符號序列。齊次馬爾可夫源：條件轉(zhuǎn)移概率和時(shí)間起點(diǎn)無關(guān)。穩(wěn)態(tài)馬爾可夫源：n＋1時(shí)刻的狀態(tài)分佈和n時(shí)刻的狀態(tài)分佈一樣。熵和互信息-馬爾可夫信源對於齊次馬爾可夫鏈來說，一步轉(zhuǎn)移概率完全決定了k步轉(zhuǎn)移概率。無條件狀態(tài)概率的計(jì)算：就是從初始狀態(tài)經(jīng)k步轉(zhuǎn)移後，停留在某一個(gè)狀態(tài)的概率。為計(jì)算該概率，需要知道初始狀態(tài)概率，即。這時(shí)，熵和互信息-馬爾可夫信源轉(zhuǎn)移概率的平穩(wěn)分佈：問題：此極限如果存在，其值是多少。求法：如果存在，且等於一個(gè)與起始狀態(tài)無關(guān)的被稱為平穩(wěn)分佈的，則不論起始狀態(tài)是什麼，此馬氏鏈可以達(dá)到最後的穩(wěn)定，即所有狀態(tài)的概率分佈均不變。在這種情況下，就可以用（P）這一矩陣來充分描述穩(wěn)定的馬氏鏈，起始狀態(tài)只使前面有限個(gè)變數(shù)的分佈改變。要求，只要它存在，則，上式中，與均為穩(wěn)態(tài)分佈概率。再加上約束條件，兩式聯(lián)立求解，就可以求出穩(wěn)態(tài)分佈概率。熵和互信息-馬爾可夫信源例題1:有一個(gè)二階馬氏鏈，其符號概率如表1，狀態(tài)變數(shù)