第2章離散信源及其信息測(cè)度-2015

第二章離散信源及其信息測(cè)度

第一節(jié)信源的數(shù)學(xué)模型及分類第二節(jié)離散信源的信息熵第三節(jié)信息熵的基本性質(zhì)第五節(jié)離散無記憶的擴(kuò)展信源第六節(jié)離散平穩(wěn)信源第七節(jié)馬爾可夫信源第八節(jié)信源剩余度與自然語言的熵第一節(jié)信源的數(shù)學(xué)模型及分類

在通信系統(tǒng)中，收信者在未收到信息以前，對(duì)信源發(fā)出什么樣的消息是不確定的，是隨機(jī)的，所以可以用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過程來描述信源輸出的消息，或者說用一個(gè)樣本空間及其概率測(cè)度來描述信源。不同的信源根據(jù)其輸出消息的不同的隨機(jī)性質(zhì)進(jìn)行分類。第一節(jié)信源的數(shù)學(xué)模型及分類1、離散信源(用一維隨機(jī)變量X來描述信源的輸出)數(shù)學(xué)模型如下：且滿足X為樣本空間P(x)為每個(gè)符號(hào)出現(xiàn)的概率，稱為先驗(yàn)概率理解例1信源：投硬幣書信文字計(jì)算機(jī)代碼電報(bào)符號(hào)阿拉伯?dāng)?shù)字碼二戰(zhàn)英國(guó)破譯“裙中密碼”

二戰(zhàn)德國(guó)轟炸考文垂美軍截獲的日軍通訊中，有一個(gè)“AF”名稱出現(xiàn)的頻率明顯多中途島之戰(zhàn)甲午戰(zhàn)爭(zhēng)了解第一節(jié)信源的數(shù)學(xué)模型及分類2、連續(xù)信源連續(xù)信源：信源輸出的都是單個(gè)符號(hào)的消息，符號(hào)集的取值是連續(xù)的或取值是實(shí)數(shù)集R=(-,)數(shù)學(xué)，模型如下：

每次只輸出一個(gè)消息，但消息的可能數(shù)目是無窮多個(gè)。例：電壓、溫度、壓力等。或且理解3.信源輸出的消息用隨機(jī)矢量描述中文語言文字作為信源灰度圖像信源

信源輸出的消息是按一定概率選取的符號(hào)序列，即隨機(jī)矢量(隨機(jī)序列)。表示為X=(X1X2…XN)理解離散平穩(wěn)信源信源輸出的隨機(jī)序列X=(X1X2…XN)中，每個(gè)隨機(jī)變量Xi(i=1,2,..,N)都是取值離散的離散型隨機(jī)變量，該信源稱為離散平穩(wěn)信源。例語言文字，圖像等理解連續(xù)平穩(wěn)信源

信源輸出的隨機(jī)序列X=(X1X2…XN)中，每個(gè)隨機(jī)變量Xi(i=1,2,..,N)都是取值為連續(xù)的連續(xù)型隨機(jī)變量，該信源稱為連續(xù)平穩(wěn)信源。例語音信號(hào){X(t)}，取樣離散化后的信源為X=…X1X2…Xi…XN…理解有關(guān)信源的定義：

無記憶信源有記憶信源離散無記憶信源N次擴(kuò)展信源馬爾可夫信源若信源先后發(fā)出的各個(gè)符號(hào)彼此統(tǒng)計(jì)獨(dú)立，則：若隨機(jī)變量Xi不同時(shí)刻的取值來自于同一個(gè)符號(hào)集合A：{a1,a2,…aq}.則有：若該信源不同時(shí)刻發(fā)出的符號(hào)之間無依賴關(guān)系，彼此統(tǒng)計(jì)獨(dú)立，則稱為離散無記憶信源。離散無記憶信源定義掌握

信源X所輸出的隨機(jī)矢量X所描述的信源稱為離散無記憶信源X的N次擴(kuò)展信源N次擴(kuò)展信源掌握若信源在不同時(shí)刻發(fā)出的符號(hào)之間是相互依賴的，這種信源為有記憶信源。通常符號(hào)之間的依賴關(guān)系（記憶長(zhǎng)度）是有限的，若記憶長(zhǎng)度為m+1,則稱這種有記憶信源為m階馬爾可夫信源。

用條件概率描述隨機(jī)序列中各隨機(jī)變量之間依賴關(guān)系：理解2.1信源的數(shù)學(xué)模型及分類若上述條件概率與時(shí)間起點(diǎn)無關(guān)，及條件概率也是平穩(wěn)的，則此信源為時(shí)齊馬爾可夫信源。

理解第一節(jié)信源的數(shù)學(xué)模型及分類4、信源輸出的消息用隨機(jī)過程描述時(shí)間和取值都是連續(xù)的隨機(jī)波形信源：語音信號(hào)X(t)熱噪聲信號(hào)n(t)

電視圖像信號(hào)X(x,y,t)了解2.2離散信源的信息熵1、自信息一個(gè)字符它所攜帶的信息量是和該字符出現(xiàn)的概率有關(guān)，概率可以表征自信息量的大小理解2.2信源的自信息

如果事件發(fā)生的概率為,事件發(fā)生所含有的信息量，就稱為自信息量，表示為不確定性I是概率的函數(shù)理解自信息量的特點(diǎn)1.如果，則2.當(dāng)，則3.當(dāng)，則4.兩個(gè)獨(dú)立事件聯(lián)合信息量等于他們分別的信息量之和自信息量的計(jì)算公式如果事件發(fā)生的概率為,事件發(fā)生的自信息量為掌握[例2.1]8個(gè)串聯(lián)的燈泡x1，x2，…，x8，其損壞的可能性是等概率的，現(xiàn)假設(shè)其中有一個(gè)燈泡已損壞，問每進(jìn)行一次測(cè)量可獲得多少信息量？總共需要多少次測(cè)量才能確定哪個(gè)燈泡已損壞。解：已知8個(gè)燈泡等概率損壞，所以先驗(yàn)概率P(x1)＝1/8

，即總的不確定性為：2.2離散信源的信息熵理解第一次測(cè)量后，剩4個(gè)燈泡。同樣等概率損壞，P(x2)＝1/4，因?yàn)榍懊娴呐袛?，不確定性減少拉，還剩余的不確定為：第三次測(cè)量后，即可判斷出哪個(gè)燈泡是壞的，則剩余不確定性減少為零。第二次測(cè)量后，剩2個(gè)燈泡，P(x3)＝1/2，不確定性進(jìn)一步減少，還剩余的不確定為：2.2離散信源的信息熵理解[例2.2]

若從裝有n個(gè)不同阻值電阻的袋中隨機(jī)取出一個(gè)并猜測(cè)所取得的阻值，困難程度是多少？解：這相當(dāng)于求事件的不確定性事件等概[例2.3]

袋中有n(n+1)/2個(gè)電阻，其中1Ω的1個(gè)，2Ω的2個(gè)，…，nΩ的n個(gè)，隨機(jī)取出一個(gè)，則“取出阻值為i的電阻”所獲得的信息量。解：“取出阻值為i的電阻”的概率是多少？2.2離散信源的信息熵理解2.2.2信息熵★對(duì)一個(gè)信源發(fā)出不同的消息所含有的信息量也不同。所以自信息I(ai)是一個(gè)隨機(jī)變量，不能用它來作為整個(gè)信源的信息測(cè)度★定義自信息的數(shù)學(xué)期望為平均自信息量Hr(X)，稱為信息熵:2.2離散信源的信息熵掌握例題

如果你在不知道今天是星期幾的情況下問你的朋友“明天是星期幾？”，答案中含有多少信息量？如果你在已知今天是星期四的情況下提出同樣的問題，則答案中你能獲得多少信息量（假設(shè)已知星期一至星期日的排序）？掌握設(shè)事件A為第一個(gè)事件事件B為第二個(gè)事件事件A的概率事件B的概率則從事件A中獲得的信息量則從事件B中獲得的信息量例題理解例：布袋中放入n種不同阻值，且每一種阻值又有m種不同功率的電阻，則選取“阻值為功率為的電阻”這一事件提供的信息量。

理解例：天氣預(yù)報(bào)，有兩個(gè)信源

則：說明第二個(gè)信源的平均不確定性更大一些第二節(jié)離散信源的信息熵掌握8個(gè)燈泡的例子此信源的信息熵（比特/符號(hào)）例題掌握

甲乙兩地的天氣預(yù)報(bào)為：晴（占4/8）、陰（占2/8）、大雨（占1/8）、小雨（占1/8）。某乙地的天氣預(yù)報(bào)為：晴（占7/8）、小雨（占1/8）。求兩地天氣預(yù)報(bào)各自提供的平均信息量。若甲地天氣預(yù)報(bào)為兩極端情況，一種是晴出現(xiàn)概率為1而其余為0。另一種是晴、陰、大雨、小雨出現(xiàn)的概率都相等，為1/4。求這兩極端情況所提供的平均信息量。又求乙地出現(xiàn)這兩極端情況所提供的平均信息量。例題掌握甲地天氣預(yù)報(bào)提供的平均信息量（信息熵）

（比特）乙地天氣預(yù)報(bào)提供的平均信息量（信息熵）

（比特）甲地極端情況1的信息熵（比特）甲地極端情況2的信息熵（比特）

同樣乙地的兩極端情況的信息熵分別為與第三節(jié)信息熵的基本性質(zhì)熵函數(shù)可以表示為：信源概率空間概率矢量：掌握第三節(jié)信息熵的基本性質(zhì)性質(zhì)1：非負(fù)性H(X)≥0由于0≤pi≤1,所以logpi≤0，logpi≥0，則總有H(X)≥0。性質(zhì)2：對(duì)稱性

理解2.3信息熵的基本性質(zhì)2、對(duì)稱性：H(P)的取值與分量p1,p2,···,pq的順序無關(guān)。從數(shù)學(xué)角度:H(P)=pilogpi中的和式滿足交換律；從隨機(jī)變量的角度:熵只與隨機(jī)變量的總體統(tǒng)計(jì)特性有關(guān)。例如：掌握第三節(jié)信息熵的基本性質(zhì)性質(zhì)3：確定性；當(dāng)信源X的信源空間[X，P]中。任一個(gè)概率分量等于1，根據(jù)完備空間特性，其它概率分量必為0，這時(shí)信源為一個(gè)確知信源，其熵為0。如果一個(gè)信源的輸出符號(hào)幾乎必然為某一狀態(tài)，那么這個(gè)信源沒有不確定性，信源輸出符號(hào)后不提供任何信息量。理解第三節(jié)信息熵的基本性質(zhì)性質(zhì)4：擴(kuò)展性

這說明信源空間中增加某些概率很小的符號(hào)，雖然當(dāng)發(fā)出這些符號(hào)時(shí)，提供很大的信息量，但由于其概率接近于0，在信源熵中占極小的比重，使信源熵保持不變。理解第三節(jié)信息熵的基本性質(zhì)性質(zhì)5：極值性

上式表明，對(duì)于具有q個(gè)符號(hào)的離散信源，只有在q個(gè)信源符號(hào)等可能出現(xiàn)的情況下，信源熵才能達(dá)到最大值，這也表明等概分布的信源的平均不確定性最大，這是一個(gè)很重要得結(jié)論，稱為最大離散熵定理例：對(duì)于一個(gè)二元信源

H(X)=H(1/2,1/2)=log2=1bit理解6）可加性如果有兩個(gè)隨機(jī)變量X和Y，他們彼此是統(tǒng)計(jì)獨(dú)立的，概率分布分別為與則有H(XY)=H(X)+H(Y)即其中理解熵函數(shù)的性質(zhì)——可加性證明理解7）信息熵的強(qiáng)可加性

兩個(gè)相互關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵即其中理解熵函數(shù)的性質(zhì)——可加性證明理解條件熵掌握8）信息熵的遞增性

其中理解9）信息熵的上凸性

熵函數(shù)是概率矢量的嚴(yán)格型凸函數(shù)。即對(duì)任意概率矢量和及任意則有理解例題為了傳輸一個(gè)由字母A,B,C,D組成的符號(hào)集，把每個(gè)字母編碼成兩個(gè)二元碼脈沖序列，以00代表A,01代表B,10代表C,11代表D。每個(gè)二元碼脈沖寬度為5ms。（1）不同字母等概率出現(xiàn)時(shí)，計(jì)算傳輸?shù)钠骄畔⑺俾?？?）若每個(gè)字母出現(xiàn)的概率分別為pA=1/5,pB=1/4,pC=1/4,pD=3/10,試計(jì)算傳輸?shù)钠骄畔⑺俾?？掌?）不同字母等概率出現(xiàn)時(shí)，平均每個(gè)字母含有的信息量為比特/符號(hào)一秒鐘可以傳輸?shù)淖帜競(jìng)€(gè)數(shù)為字母/秒傳輸?shù)钠骄畔⑺俾蕿楸忍?秒2）概率不同時(shí)，平均每個(gè)字母含有的信息量為比特/符號(hào)傳輸?shù)钠骄畔⑺俾蕿楸忍?秒掌握2.5離散無記憶的擴(kuò)展信源2.5離散無記憶信源信源X的符號(hào)集X={x1,x2…,xq}，每個(gè)符號(hào)的發(fā)生概率為p(xi)，信源每次發(fā)出一個(gè)符號(hào)，且符號(hào)發(fā)生的概率相互獨(dú)立，稱為單符號(hào)離散無記憶信源，簡(jiǎn)稱離散無記憶信源。理解2.5離散無記憶信源

離散無記憶信源的擴(kuò)展信源1離散無記憶二進(jìn)制信源的二次擴(kuò)展信源二次擴(kuò)展信源擴(kuò)展后的信源符號(hào)集合新概率的計(jì)算:舉例p(00)=p(0)p(0)…掌握2.5離散無記憶信源2離散無記憶二進(jìn)制信源的三次擴(kuò)展信源三次擴(kuò)展信源擴(kuò)展后的信源符號(hào)集合新概率的計(jì)算:舉例p(000)=p(0)p(0)p(0)…掌握2.5離散無記憶信源3任意進(jìn)制離散無記憶信源的N次擴(kuò)展信源N次擴(kuò)展信源掌握2.5離散無記憶信源N次擴(kuò)展信源的熵證明:離散無記憶信源X的N次擴(kuò)展信源XN的熵等于信源X的熵值的N倍.證明過程理解，結(jié)論掌握2.5離散無記憶信源2.5離散無記憶信源[例2-6]已知離散無記憶信源模型如下:解:已知二元信源X={0,1},其二次擴(kuò)展源X2=X1X2。則二次擴(kuò)展源X2的符號(hào)集為{00,01,10,11}.其信源模型如下:求其二次擴(kuò)展信源。掌握2.5離散無記憶信源[例2-7]求離散無記憶信源的二次擴(kuò)展信源及其熵。解：二次擴(kuò)展信源的概率空間為X2123456789序列a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3P(i)1/41/81/81/81/161/161/81/161/16掌握2.6離散平穩(wěn)信源2.6離散平穩(wěn)信源2.6.1離散平穩(wěn)信源的數(shù)學(xué)定義

一般信源輸出序列：…X-1X0X1X2…Xi…其中Xi是隨機(jī)變量,且其取值xi∈X={a1,a2,…aq}，i表示符號(hào)xi發(fā)送所對(duì)應(yīng)的時(shí)刻，信源發(fā)送符號(hào)之間的依賴關(guān)系可以用聯(lián)合概率來表示。2.6離散平穩(wěn)信源若發(fā)送序列中，一維概率分布不隨時(shí)間改變而改變，即：P(Xi=x)=P(Xj=x)=p(x)，則稱為一維離散平穩(wěn)信源；若一到N維聯(lián)合概率分布都不隨時(shí)間變化而改變，則信源為N維離散平穩(wěn)信源。即：若發(fā)送序列各維聯(lián)合概率都是平穩(wěn)的，由此還可以推論出相應(yīng)的條件概率也是平穩(wěn)的:理解2.6離散平穩(wěn)信源………………即對(duì)于平穩(wěn)信源，其條件概率均與時(shí)間起點(diǎn)無關(guān)，只與關(guān)聯(lián)長(zhǎng)度N有關(guān)。即平穩(wěn)信源發(fā)出的平穩(wěn)隨機(jī)序列前后的依賴關(guān)系與時(shí)間起點(diǎn)無關(guān)。理解2.6離散平穩(wěn)信源2.6.2二維離散平穩(wěn)信源及其信息熵

離散平穩(wěn)信源實(shí)際是一種有記憶信源，最簡(jiǎn)單的有記憶平穩(wěn)信源是二維平穩(wěn)信源，可看作是單符號(hào)離散信源的二次擴(kuò)展信源，是有記憶的擴(kuò)展信源。擴(kuò)展后的二維聯(lián)合概率空間為：理解根據(jù)信息熵的定義，可得：（1）聯(lián)合熵可以表征信源輸出長(zhǎng)度為2的平均不確定性，或所含有的信息量。因此可以用作為二維平穩(wěn)信源的信息熵的近似值掌握(2)條件熵則：掌握另外還可以得到：只有信源統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立?？梢宰C明：結(jié)論掌握理解幾個(gè)關(guān)系的證明:理解(2)熵的不增原理(條件熵不大于信息熵)理解2.6離散平穩(wěn)信源[例2-7]

某一離散二維平穩(wěn)信源其發(fā)出的符號(hào)只與前一個(gè)符號(hào)有關(guān)，即可用聯(lián)合概率P(aiaj)給出它們的關(guān)聯(lián)程度，如下表所示:P(aiaj)ajai01201/41/18011/181/31/18201/187/36求信源熵H(X)、條件熵H(X2|X1)和聯(lián)合熵H(X1X2)。掌握2.5離散平穩(wěn)信源解：根據(jù)概率關(guān)系可計(jì)算得條件概率P(aj|ai),計(jì)算結(jié)果列表如下：ajai01201/41/18011/181/31/18201/187/36ajai01209/111/8012/113/42/9201/87/9到底選取哪一個(gè)值更能接近實(shí)際二維平穩(wěn)信源的熵?掌握2.6離散平穩(wěn)信源2.6.3離散平穩(wěn)信源的極限熵一般的平穩(wěn)有記憶信源，輸出符號(hào)之間的相互依賴關(guān)系不僅存在于相鄰倆個(gè)符號(hào)之間，而且存在于更多(N>2)的符號(hào)之間。如何計(jì)算N長(zhǎng)信源序列的熵值？若離散有記憶信源概率空間為：

N長(zhǎng)信源序列可以看作是單符號(hào)信源的N次擴(kuò)展信源，即：X=X1X2…XN中各符號(hào)Xi，(i=1,2,…,N)均取自同一符號(hào)集合A=(a1,a2,…,aq)。了解2.6離散平穩(wěn)信源信源發(fā)出的符號(hào)序列為(X1,X2,…,XN,…)，假設(shè)信源符號(hào)之間的依賴長(zhǎng)度為N，各維概率分布為：簡(jiǎn)記為滿足：了解2.6離散平穩(wěn)信源根據(jù)聯(lián)合概率分布可求得離散平穩(wěn)信源的聯(lián)合熵：定義N長(zhǎng)的信源符號(hào)序列中平均每個(gè)信源符號(hào)所攜帶的信息量(平均符號(hào)熵)為：若已知前N-1個(gè)符號(hào)，第N個(gè)符號(hào)的平均不確定性(平均信息量)，可從條件熵定義得出：理解2.6離散平穩(wěn)信源對(duì)離散平穩(wěn)信源若H1(X)＜，則有以下性質(zhì)：(1)條件熵H(XN/X1X2…XN-1)隨N的增加是遞減的；(2)HN(X)H(XN/X1X2…XN-1)；(3)HN(X)也是隨N增加而遞減的；(4)H存在，并且:稱為平穩(wěn)信源的極限熵或者極限信息量，也有的稱此為平穩(wěn)信源的熵率。

記憶信源的符號(hào)熵可通過計(jì)算極限條件熵得到。了解2.6離散平穩(wěn)信源現(xiàn)在簡(jiǎn)單證明這幾個(gè)性質(zhì):(1)根據(jù)信源的平穩(wěn)性和熵的不增原理，得：即對(duì)于平穩(wěn)信源，條件越多，條件熵越不增加。了解2.6離散平穩(wěn)信源(2)證明N個(gè)的和不小于 即平均符號(hào)熵不小于條件熵。了解2.5離散平穩(wěn)信源(3)HN(X)隨N增加而遞減；證明:由于根據(jù)平均符號(hào)熵的定義和(2)的結(jié)果，有上式表明，平均符號(hào)熵不隨序列的長(zhǎng)度而增加。

了解2.5離散平穩(wěn)信源(4)由前面的證明我們可以得出:是存在的。計(jì)算:利用(1)的結(jié)果與平穩(wěn)性，有：了解2.5離散平穩(wěn)信源先令 后令，得: 另外，由(2)的結(jié)果，當(dāng) 時(shí)，有所以:了解2.5離散平穩(wěn)信源定理的注釋：(1)該定理提供了計(jì)算信源符號(hào)熵的方法，即通過計(jì)算極限條件熵得到。當(dāng)信源為有限記憶時(shí)，極限條件熵的計(jì)算要比極限平均符號(hào)熵的計(jì)算容易得多。例如：當(dāng)平穩(wěn)信源的記憶長(zhǎng)度為有限m個(gè)符號(hào)長(zhǎng)度時(shí),則得離散平穩(wěn)信源的極限值：(2）極限熵等于最小的平均符號(hào)熵。[例2-8]：有兩個(gè)同時(shí)輸出的信源X和Y，其中X:{A，B，C}，Y:{D，E，F(xiàn)，G}，已知P(X)和P(Y|X)，求信源X和Y及聯(lián)合信源的聯(lián)合熵和條件熵2.5離散平穩(wěn)信源XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：信源X的熵為：掌握2.5離散平穩(wěn)信源二維聯(lián)合信源XY輸出每一對(duì)消息的聯(lián)合概率為：P(XY)=P(Y/X)P(X)，結(jié)果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36XABCP(x)1/21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6H(XY)=H(X)+H(Y/X)=1.461+1.956=3.417(bit/符號(hào))掌握2.5離散平穩(wěn)信源第二個(gè)信源Y的熵H(Y)的計(jì)算。由全概率公式：聯(lián)合熵的最大值為：由于信源相關(guān)，使聯(lián)合熵減小，其減小量為：掌握772.7馬爾可夫信源

馬爾可夫鏈?zhǔn)邱R爾可夫過程中的一個(gè)特例。該過程中，在給定當(dāng)前知識(shí)或信息的情況下，只有當(dāng)前的狀態(tài)用來預(yù)測(cè)將來，過去(即當(dāng)前以前的歷史狀態(tài))對(duì)于預(yù)測(cè)將來(即當(dāng)前以后的未來狀態(tài))是無關(guān)的。

了解78馬爾可夫信源－研究意義

計(jì)算近似離散平穩(wěn)信源的極限熵，需要知道從1維－N維的條件概率分布，這在一般情況下比較困難為了求解平穩(wěn)信源的極限熵，可以用N維的條件熵來近似

了解79馬爾可夫信源－研究意義

馬爾可夫信源是一個(gè)非平穩(wěn)的信源，但是當(dāng)馬爾可夫信源進(jìn)入穩(wěn)定狀態(tài)后，就可以看成一個(gè)平穩(wěn)信源馬爾可夫信源熵的求解，只需知道與前N－1個(gè)分量的相互關(guān)系，這樣受約束程度大大降低了解80馬爾可夫信源－基本概念

描述馬爾可夫信源，除了信源符號(hào)集外，還須引入信源當(dāng)時(shí)所處的“狀態(tài)”，因?yàn)樾旁丛谀硶r(shí)刻輸出符號(hào)的概率與此時(shí)信源所處的狀態(tài)有關(guān).定義信源符號(hào)集，表示信源每一個(gè)分量可能的輸出：定義了信源所處的狀態(tài)理解81設(shè)某二階馬爾可夫信源所處的狀態(tài)

E={E0,E1,E2,E3}={00，01，10，11}，

在每一狀態(tài)下可能輸出的符號(hào)0，1。0010110011010……E0=001E1=010E2=101E1=011E3=110E2=10P(1|E0)=P(E1|E0)=P01符號(hào)集={0，1}掌握82馬爾可夫信源－基本概念

【定義】如果信源的輸出序列和信源所處的狀態(tài)滿足以下兩個(gè)條件，該信源為馬爾可夫信源1、某時(shí)刻信源輸出的符號(hào)只與信源所處的狀態(tài)相關(guān)，與以前的狀態(tài)及以前的輸出無關(guān)。即2、信源所處的狀態(tài)由前一時(shí)刻所處的狀態(tài)，和前一時(shí)刻輸出的符號(hào)唯一確定理解83馬爾可夫信源－基本概念

第一個(gè)條件表明：信源的輸出只與信源當(dāng)前所處的狀態(tài)有關(guān)，而與其他因素?zé)o關(guān)。第二個(gè)條件表明：在特定的狀態(tài)下，發(fā)出特定的符號(hào)后，信源狀態(tài)發(fā)生跳變，且必定100％跳變到一個(gè)特定的狀態(tài)。理解84馬爾可夫信源－基本概念馬爾可夫信源輸出的符號(hào)序列Xl完全由信源所處的狀態(tài)Sl決定。所以，可將信源的輸出符號(hào)系列變換成狀態(tài)系列，將信源輸出符號(hào)的不確定性問題變成信源狀態(tài)的轉(zhuǎn)換問題理解85馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

描述馬爾可夫信源，可以用馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖。1、把每個(gè)可能出現(xiàn)的狀態(tài)用一個(gè)圓圈表示；2、圓圈之間用有向線段連接，表示狀態(tài)的遷移；3、在有向線段旁邊，注明發(fā)出的符號(hào)及在狀態(tài)下發(fā)出的條件概率掌握86馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

該馬爾可夫信源有三個(gè)狀態(tài)：，其中設(shè)為初始狀態(tài)，初始概率為，等概率轉(zhuǎn)移到這兩個(gè)狀態(tài)例2.8掌握87馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

掌握88馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

為什么馬爾可夫信源是非平穩(wěn)的信源：初始概率為：進(jìn)入或兩個(gè)狀態(tài)。之后無論在哪個(gè)狀態(tài)，下一個(gè)輸出的符號(hào)有80％的可能性是1，轉(zhuǎn)移到，有20％的可能性是0，轉(zhuǎn)移到，所以 ，與初始概率不同，不滿足平穩(wěn)信源的定義。理解89馬爾可夫信源－狀態(tài)轉(zhuǎn)移圖

但是，如果我們把初始狀態(tài)除外，信源總是以80％的概率發(fā)1，以20％的概率發(fā)0，處在穩(wěn)定的狀態(tài)，這時(shí)可以看作是平穩(wěn)信源從初始狀態(tài)到平穩(wěn)狀態(tài)總是有個(gè)過程的。一般經(jīng)過足夠長(zhǎng)的時(shí)間后，總能達(dá)到穩(wěn)定狀態(tài)正是因?yàn)槌跏几怕屎头€(wěn)定概率不一樣，在進(jìn)入穩(wěn)定狀態(tài)以前，馬爾可夫信源是非平穩(wěn)的；而在進(jìn)入穩(wěn)定狀態(tài)后，馬爾可夫信源可以看做是平穩(wěn)的理解902.7.2m階馬爾可夫信源m階馬爾可夫信源：在任何時(shí)刻l，輸出分量的概率分布只與前面m個(gè)分量的輸出有關(guān)。前面m個(gè)分量組成的序列稱為l時(shí)刻信源所處的狀態(tài)。如果信源的符號(hào)集是則信源的狀態(tài)共有個(gè)了解912.7.2m階馬爾可夫信源例2.9二元二階馬爾可夫信源。二元指信源可能的輸出有2種取值，如0，1；馬爾可夫信源共有個(gè)狀態(tài)，前兩個(gè)分量可能取值的排列掌握922.7.2m階馬爾可夫信源

對(duì)于m階馬爾可夫信源，狀態(tài)的定義已經(jīng)給出，狀態(tài)轉(zhuǎn)移圖也可以很容易的畫出例：二元二階馬爾可夫信源，樣本空間為(0,1)，條件概率為：要求畫出狀態(tài)轉(zhuǎn)移圖。掌握93m階馬爾可夫信源掌握942.7.2m階馬爾可夫信源－熵非常重要。四個(gè)步驟：畫出狀態(tài)轉(zhuǎn)移圖；求狀態(tài)極限概率(并可求出符號(hào)極限概率)求在每個(gè)狀態(tài)下，信源的信息熵；求馬爾可夫信源的熵掌握95m階馬爾可夫信源－熵穩(wěn)定的狀態(tài)分布－狀態(tài)極限概率通過狀態(tài)轉(zhuǎn)移圖求出2.1322.133掌握96在上例中：求4元1次方程組掌握97m階馬爾可夫信源－熵

得到了狀態(tài)極限概率之后，可以順便求出符號(hào)極限概率2.142掌握98m階馬爾可夫信源－熵