《信息論與編碼》課件1第6章

第6章離散信源及其信息冗余

6.1信源的描述與分類6.2離散無記憶信源的擴(kuò)展信源6.3離散平穩(wěn)信源6.4馬爾可夫信源6.5信源的信息冗余習(xí)題66.1信源的描述與分類信源是發(fā)出信息的某種設(shè)備，可以是人、生物、機(jī)器或其他任何向外發(fā)出信息的事物。信源的輸出稱做消息。在人類的社會(huì)活動(dòng)中，發(fā)出信息的信息源多種多樣，其輸出可以是離散的符號(hào)，如書信中的文字和字母，也可以是連續(xù)的信號(hào)，如人發(fā)出的語聲。在信息理論的研究中，人們感興趣的僅僅是載荷著信息的信源輸出的符號(hào)或信號(hào)，而對(duì)于信源內(nèi)部的結(jié)構(gòu)和產(chǎn)生輸出符號(hào)的控制過程一般不需要作深入了解。例如，人用語言方式向外界發(fā)出信息，便是由大腦指揮發(fā)聲器官發(fā)出聲音，以“音”的排列構(gòu)成符號(hào)（消息）序列輸出某種信息。研究這樣的輸出語音的信源（人）時(shí)，我們并不需要考慮人腦控制發(fā)聲器官發(fā)出聲音并構(gòu)成某種“音”的排列的復(fù)雜過程，而只需要分析它的輸出，即載荷著信息的符號(hào)（消息）。因此，在下面的討論中，我們并不研究信源的內(nèi)部結(jié)構(gòu)和產(chǎn)生輸出符號(hào)的復(fù)雜關(guān)系，只是將信源看做一個(gè)發(fā)出某種符號(hào)（序列）的設(shè)備（見圖6-1）。圖6-1信源模型由于信息的基本屬性是隨機(jī)性，因此信源輸出的符號(hào)或符號(hào)序列具有隨機(jī)性，信源輸出的符號(hào)需要使用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過程表示。所以，信源的描述與分類也僅僅考慮信源的外部特性，即依據(jù)信源的輸出——符號(hào)（序列）所具有的特點(diǎn)和統(tǒng)計(jì)關(guān)系加以描述和分類。6.1.1信源的描述由于信源輸出的消息載荷著信息，這種消息所具有的一個(gè)基本屬性便是隨機(jī)性，因此信源輸出的符號(hào)或符號(hào)序列可以使用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過程表示。由第2章的討論我們知道，如果已知信源的消息集合（即樣本空間或值域）和消息發(fā)生的概率分布，則可以使用由樣本空間和它的概率分布所構(gòu)成的概率空間來描述信源。設(shè)信源輸出隨機(jī)變量X的樣本空間（值域）為R。若在此值域上隨機(jī)變量X的概率分布為P，則此信源的概率空間為［R,P］或［X,P］。6.1.2信源的分類信源的輸出是隨機(jī)變量，信源的描述是一個(gè)統(tǒng)計(jì)模型，那么對(duì)信源進(jìn)行分類也應(yīng)從信源的統(tǒng)計(jì)特性出發(fā)，即依據(jù)信源輸出的消息在取值范圍、概率分布及統(tǒng)計(jì)關(guān)系等方面的不同特點(diǎn)和性質(zhì)，將信源劃分為不同的類型。

1．連續(xù)信源與離散信源根據(jù)信源輸出消息X的取值特點(diǎn)，可將信源劃分為連續(xù)信源和離散信源。

1）離散信源信源輸出符號(hào)為離散隨機(jī)變量的信源稱為離散信源。設(shè)離散信源輸出隨機(jī)變量X的值域R為一離散集合R={a1,a2,…,an}，其中，n可以是有限正數(shù)，也可以是可數(shù)的無限大正數(shù)。若已知R上每一消息發(fā)生的概率分布為P(a1),P(a2),…,P(an)則離散信源X的概率空間為

(6.1)其中,信源輸出消息的概率P(ai)（i=1,2,…,n）滿足:

2)連續(xù)信源如果信源輸出符號(hào)的種類是不可數(shù)的無限值，即信源輸出隨機(jī)變量X的取值為一個(gè)連續(xù)區(qū)間，那么這樣的信源稱為連續(xù)信源。假設(shè)隨機(jī)變量X的取值是在一個(gè)連續(xù)區(qū)間(a,b)內(nèi)，即X∈R，而R=(a,b)（當(dāng)a→－∞,b→+∞時(shí)，這個(gè)區(qū)間成為一個(gè)包含所有實(shí)數(shù)的集合）。如果R內(nèi)X的概率密度分布為p(x)，則連續(xù)信源的概率空間為其中:p(x)≥0x∈R且

或

3)混合信源若信源的一些符號(hào)取值于一個(gè)連續(xù)區(qū)間，而另一些符號(hào)取值于離散集合，則這樣的信源稱為混合信源。

2．有記憶信源與無記憶信源實(shí)際信源的輸出往往是由信源輸出的一系列符號(hào)所組成的一個(gè)符號(hào)序列：…X－1X0X1…XNXN+1…信源輸出的符號(hào)序列為一個(gè)隨機(jī)變量序列，可以用隨機(jī)矢量來表示。例如，若將英文文字信源的取值集合看做26個(gè)英文字母和空格及標(biāo)點(diǎn)符號(hào)，則使用一段英文文字表達(dá)具有某種含義的信息時(shí)，該信源的輸出將是一個(gè)由不同字母、空格和標(biāo)點(diǎn)符號(hào)構(gòu)成的消息序列。由于信源輸出的符號(hào)序列是一個(gè)隨機(jī)變量序列，因此可以用隨機(jī)矢量來表示。設(shè)信源輸出為一個(gè)N維隨機(jī)矢量X=(X1,X2,…,XN)其中:Xi∈R

(i=1,2,…,N)。

N維隨機(jī)矢量X的統(tǒng)計(jì)特性需要使用聯(lián)合概率密度函數(shù)：P(X1=x1,X2=x2,…,XN=xN)=P(x1,x2,…,xN)=P(x)來描述。這里隨機(jī)變量的樣值為xi∈R

i=1,2,…,N于是，根據(jù)信源輸出的隨機(jī)矢量中各分量之間是否存在相關(guān)性，可將信源劃分為無記憶信源和有記憶信源。

1）無記憶信源如果信源輸出的隨機(jī)矢量中，各元素Xi相互獨(dú)立，則信源是無記憶的。對(duì)于輸出N維隨機(jī)矢量的離散無記憶信源，如果各元素Xi具有相同的概率密度，則其聯(lián)合概率密度可表示為

(6.2)

2)有記憶信源若隨機(jī)矢量X=(X1,X2,…,XN)中各分量之間存在某種關(guān)聯(lián)，則信源是有記憶信源。有記憶信源需要使用條件概率P(xN|x1,x2,…,xN－1)描述其統(tǒng)計(jì)關(guān)系。顯然，與無記憶信源相比，有記憶信源的描述要困難得多。當(dāng)信源輸出符號(hào)之間的記憶長(zhǎng)度較大時(shí)，有記憶信源的描述與分析將更加困難。

3．平穩(wěn)信源與非平穩(wěn)信源對(duì)于更一般的信源，其輸出實(shí)際上是時(shí)間t的一個(gè)連續(xù)函數(shù)X(t)，或者是一個(gè)任意的消息序列X1X2…Xi…，即信源的輸出是隨機(jī)過程或隨機(jī)序列。對(duì)這種信源的分析需要應(yīng)用隨機(jī)過程理論。對(duì)于一個(gè)隨機(jī)過程或隨機(jī)序列，根據(jù)其統(tǒng)計(jì)特性是否隨著時(shí)間的平移而改變可將其劃分為平穩(wěn)隨機(jī)過程和非平穩(wěn)隨機(jī)過程。相應(yīng)地，信源也可劃分為平穩(wěn)信源或非平穩(wěn)信源。如果信源輸出的隨機(jī)變量序列X1X2…Xi…是平穩(wěn)的隨機(jī)序列，則該信源是平穩(wěn)信源，否則該信源是非平穩(wěn)信源。6.2離散無記憶信源的擴(kuò)展信源實(shí)際信源的輸出往往是一個(gè)相當(dāng)長(zhǎng)的符號(hào)序列。例如，電報(bào)系統(tǒng)中的二進(jìn)制信源的輸出是一個(gè)由二進(jìn)制符號(hào)0、1（點(diǎn)、畫）構(gòu)成的數(shù)據(jù)序列?；叶葓D像信源輸出有256種取值可能，圖像信源輸出的一幅灰度圖像需要由若干行、若干列的像素組成，每一像素的取值可能為0~255。顯然，實(shí)際信源輸出的任意長(zhǎng)度符號(hào)序列的統(tǒng)計(jì)關(guān)系復(fù)雜，其輸出信息特性的分析非常困難。此處，我們首先從最簡(jiǎn)單的信源入手，針對(duì)離散無記憶信源所輸出的離散隨機(jī)變量序列，分析其統(tǒng)計(jì)關(guān)系、信息度量及基本關(guān)系。設(shè)離散無記憶信源輸出離散隨機(jī)變量序列為…X1X2…Xi…，為了便于分析此信源輸出信息的特性，將信源輸出的隨機(jī)變量分組（如取N個(gè)隨機(jī)變量為一組），并且將每組隨機(jī)變量表示為一個(gè)隨機(jī)矢量。于是，輸出隨機(jī)變量序列的信源可以等效為一個(gè)輸出N維隨機(jī)矢量的新信源，并且將這樣的新信源稱做原信源的N次擴(kuò)展信源。

例如，將輸出0、1符號(hào)的電報(bào)系統(tǒng)看做一個(gè)二進(jìn)制離散無記憶信源X。若將該信源X輸出的數(shù)據(jù)序…01000110000101000…中的每?jī)蓚€(gè)二進(jìn)制符號(hào)劃分為一組，則可等效為輸出二維隨機(jī)矢量的新信源。信源輸出二維隨機(jī)矢量X∈{00,01,10,11}。這個(gè)輸出二維隨機(jī)矢量X的新信源X2稱為二進(jìn)制離散無記憶信源X的二次擴(kuò)展信源。對(duì)于一般的離散無記憶信源X，定義其N次擴(kuò)展信源如下：設(shè)有一離散無記憶信源:若將其輸出的符號(hào)序列用一組長(zhǎng)度為N的矢量序列表示，則可等效為一個(gè)新信源。新信源輸出的符號(hào)是長(zhǎng)度為N的原符號(hào)序列，用N維隨機(jī)矢量表示X，其樣矢量為x=x1x2…xNxi∈X;i=1,2,…,N顯然，離散無記憶信源X輸出的長(zhǎng)度為N的符號(hào)序列（N維隨機(jī)矢量X）可以組成rN種不同的樣矢量，并且樣矢量中的各符號(hào)相互獨(dú)立。定義輸出N維隨機(jī)矢量X的新信源為離散無記憶信源X的N次擴(kuò)展信源XN。XN的概率空間為

(6.3)其中：

由于信源X是離散無記憶的，擴(kuò)展信源XN輸出的樣矢量x=x1x2…xN中各分量統(tǒng)計(jì)獨(dú)立，因此有：于是，N次擴(kuò)展信源XN的熵為

(6.4)

性質(zhì)離散無記憶信源X的N次擴(kuò)展信源XN的熵等于離散信源X的熵的N倍,即

H(X

N)=N·H(X)

(6.5)證明：

其中，內(nèi)和式為由于l≠j時(shí)：

則

因此

證畢。

【例6.1】有一離散無記憶信源，求出其三次擴(kuò)展信源X3的概率空間，計(jì)算H(X3)并與H(X)比較。

解：離散無記憶信源X的三次擴(kuò)展信源X3共包含23=8種不同的樣矢量。因?yàn)樾旁碭無記憶，所以有P(x)=P(x1)P(x2)P(x3)

xl∈X;l=1,2,3三次擴(kuò)展信源X3的樣矢量和相應(yīng)的概率分布為

X3:

x1

x2

x3

x4

x5

x6

x7

x8

符號(hào)取值：a1a1a1

a1a1a2

a1a2a1

a1a2a2

a2a1a1

a2a1a2

a2a2a1

a2a2a2概率分布：由此可以寫出三次擴(kuò)展信源的概率空間為分別計(jì)算信源X及其三次擴(kuò)展信源X3的熵為

比特/符號(hào)

因此H(X3)=3·H（X）以上結(jié)論也可以用熵的可加性解釋。由于矢量的各分量間統(tǒng)計(jì)獨(dú)立同分布，因此可以將擴(kuò)展信源的熵看成是三個(gè)統(tǒng)計(jì)獨(dú)立信源（信源熵均為H(X)）的聯(lián)合熵。由熵的可加性有：H(X3)=H(X)+H(X)+H(X)=3H(X)對(duì)于XN而言，使用N－1次熵的可加性即有：H(XN)=N·H（X）6.3離散平穩(wěn)信源實(shí)際信源的輸出往往是一個(gè)具有任意長(zhǎng)度的隨機(jī)變量序列。因此，對(duì)于實(shí)際信源輸出的信息量及其關(guān)系的討論是非常困難的。此處，我們限定隨機(jī)矢量的長(zhǎng)度為N，通過分析N維隨機(jī)矢量的統(tǒng)計(jì)關(guān)系，討論信源輸出信息的特性。設(shè)信源連續(xù)輸出的長(zhǎng)度為N的符號(hào)序列可以表示成N維隨機(jī)矢量xj=(xj+1,xj+2,…,xj+N)其中:xj+i∈X

X={a1,a2,…,ar};i=1,2,…,N（N為任意正整數(shù)）于是，N維隨機(jī)矢量的統(tǒng)計(jì)關(guān)系可以使用聯(lián)合概率分布描述，即：P(xj)=P(xj+1,xj+2,…,xj+N)由前幾章的討論可知，信源輸出信息量的大小依賴于符號(hào)的統(tǒng)計(jì)特性。在實(shí)際信源發(fā)出的符號(hào)序列中，信源的統(tǒng)計(jì)特性不僅與符號(hào)序列以及符號(hào)之間的統(tǒng)計(jì)關(guān)系有關(guān)，而且一般情況下這種統(tǒng)計(jì)關(guān)系也是時(shí)間或位置的函數(shù)，即有：因此，一般信源輸出的隨機(jī)變量序列應(yīng)當(dāng)是一個(gè)統(tǒng)計(jì)關(guān)系與時(shí)間、位置有關(guān)的非平穩(wěn)的隨機(jī)過程。顯然，對(duì)于這種輸出非平穩(wěn)隨機(jī)變量序列的非平穩(wěn)信源，其信息特性的分析是十分困難的。如果信源符號(hào)序列的統(tǒng)計(jì)關(guān)系與其起點(diǎn)和位置的起點(diǎn)無關(guān)，則由隨機(jī)過程理論可知，該符號(hào)序列具有平穩(wěn)性。輸出隨機(jī)變量序列滿足平穩(wěn)性的信源為離散平穩(wěn)信源。設(shè)有離散平穩(wěn)信源，其輸出為N維隨機(jī)矢量x=(x1,x2,…,xN)，由于N維隨機(jī)矢量x的聯(lián)合概率分布P(x)與時(shí)間和位置的起點(diǎn)無關(guān)，即P(xi)=P(xi+1,xi+2,…,xi+N)=P(xj+1,xj+2,…,xj+N)=P(xj)i≠j(6.6)于是，N維隨機(jī)矢量x的聯(lián)合概率分布P(x)可以表示為P(x)=P(x1,x2,…,xN)平穩(wěn)信源輸出的符號(hào)之間可能存在某種程度的關(guān)聯(lián)，這種關(guān)聯(lián)需要使用條件概率加以表示。依據(jù)聯(lián)合概率與條件概率的關(guān)系：P(xj)=P(x1)P(x2|x1)P(x3|x1x2)…P(xN|x1x2…xN－1)可知，平穩(wěn)信源輸出符號(hào)之間的條件概率也與時(shí)間、位置的起點(diǎn)無關(guān)，即滿足：(6.7)如果信源輸出的某一符號(hào)只與該符號(hào)前面的N-1個(gè)符號(hào)有統(tǒng)計(jì)依賴關(guān)系，則認(rèn)為該信源符號(hào)序列的關(guān)聯(lián)長(zhǎng)度為N。由于離散平穩(wěn)信源的熵及其特性的討論仍然比較復(fù)雜，因此此處我們僅給出反映離散平穩(wěn)信源信息特性的幾個(gè)定義和重要結(jié)論。設(shè)有離散平穩(wěn)有記憶信源，其中:該信源發(fā)出符號(hào)序列…X1X2…XNXN+1…,設(shè)符號(hào)間關(guān)聯(lián)長(zhǎng)度為N，則該平穩(wěn)信源輸出的長(zhǎng)度為N的樣矢量:x=x1x2…xN

xi∈X;i=1,2,…,N具有聯(lián)合概率分布P(x1,x2,…,xN)。下面首先給出度量平穩(wěn)信源輸出信息量的三個(gè)定義。

定義6.1

平穩(wěn)信源輸出的長(zhǎng)度為N的隨機(jī)矢量的聯(lián)合熵為

(6.8)

定義6.2

關(guān)聯(lián)長(zhǎng)度為N信源符號(hào)中平均每個(gè)符號(hào)所攜帶的信息量為平均符號(hào)熵，即

(6.9)

定義6.3

設(shè)信源符號(hào)序列之間的依賴關(guān)系長(zhǎng)度為N，若已知前面N－1個(gè)符號(hào)，則第N個(gè)符號(hào)所攜帶的平均信息量為條件熵，即

(6.10)

對(duì)于離散平穩(wěn)信源，當(dāng)H1(X)=H(X)<∞時(shí)，具有以下性質(zhì)：

性質(zhì)1

條件熵H(XN|X1X2…XN－2XN－1)隨N的增加是非遞增的，即H（X1）≥H(X2|X1)≥H(X3|X2X1)≥…

≥H(XN－1|X1X2…XN－2)≥H(XN|X1X2…XN－1)(6.11)

證明：第2章中式(2.33)所給出的條件熵的性質(zhì)H(X|Y)≤H(X)表明，對(duì)于任意的X和Y，在已知Y的條件下關(guān)于X的平均不確定性不會(huì)超過關(guān)于X的先驗(yàn)不確定性，即條件熵不大于無條件熵。因此，當(dāng)N=2，即平穩(wěn)信源輸出二維隨機(jī)矢量(X1,X2)時(shí)，有H(X2)≥H(X2|X1)由于X1,X2∈X且具有相同的概率分布，則H(X1)=H(X2)=H(X)因此H(X1)≥H(X2|X1)當(dāng)N≥3，即平穩(wěn)信源輸出N維隨機(jī)矢量(X1,X2,…,XN)時(shí)，考察：由于離散平穩(wěn)信源的聯(lián)合概率分布和條件概率分布與時(shí)間或位置的起點(diǎn)無關(guān)，有：因此

已知對(duì)數(shù)函數(shù)是上凸函數(shù)，于是：因此有：H(XN|X1X2…XN－1)≤H(XN－1|X1X2…XN－2)證畢。在觀察平穩(wěn)信源輸出的符號(hào)序列時(shí)，如果已知X1、X2、…、XN－1已發(fā)生，則關(guān)于將要發(fā)生的符號(hào)XN的平均不確定性為條件熵H(XN|X1X2…XN－1)。性質(zhì)1表明，當(dāng)條件增加時(shí)，關(guān)于信源輸出符號(hào)XN的平均不確定性不會(huì)增大。

性質(zhì)2HN(X)≥H(XN|X1X2…XN－1)

(6.12)

證明：由平均符號(hào)熵的定義知：因?yàn)?/p>

所以其中：于是有

(6.13)性質(zhì)1表明：

故必有

即

證畢。由定義6.2、6.3可以看出，對(duì)于平穩(wěn)信源輸出N個(gè)信源符號(hào)X1X2…XN－1XN，平均符號(hào)熵HN(X)以簡(jiǎn)單的算術(shù)平均表示每一符號(hào)所載荷的平均信息量，而條件熵H(XN|XN－1…X1)描述的是已知前面N－1個(gè)符號(hào)時(shí)關(guān)于符號(hào)XN的信息量。可見，平均符號(hào)熵HN(X)和條件熵H(XN|X1X2…XN－1)均為單個(gè)符號(hào)平均信息量的度量方法。由于當(dāng)已知條件的數(shù)量N增加時(shí)，符號(hào)XN所攜帶的信息量將單調(diào)減小，因此，以N個(gè)符號(hào)的算術(shù)平均度量單個(gè)符號(hào)的信息量，一定不小于N－1個(gè)符號(hào)已發(fā)生的條件下，關(guān)于第N個(gè)符號(hào)的信息量,即

性質(zhì)3HN(X)≤HN－1(X)

(6.14)證明：于是：

證畢。性質(zhì)3表明，平均符號(hào)熵HN(X)也是隨著N的增加而非遞增的。進(jìn)一步分析：對(duì)于信息熵H(X)<∞的平穩(wěn)信源X，由于熵具有非負(fù)性，即HN(X)≥0，因此由性質(zhì)3可以看出，信源符號(hào)序列長(zhǎng)度不同時(shí)，平穩(wěn)信源輸出的每一個(gè)符號(hào)所載荷的信息量，即平均符號(hào)熵滿足：(6.15)可見，隨著信源符號(hào)序列長(zhǎng)度N的增加，HN(X)將單調(diào)非遞增地收斂于某有限值。對(duì)于平穩(wěn)信源X，當(dāng)其輸出的符號(hào)序列足夠長(zhǎng)（N→∞）時(shí)，每一個(gè)信源符號(hào)所載荷的信息有效地反映出了信源輸出的實(shí)際信息量。因此，定義為離散平穩(wěn)信源X的極限信息量或極限熵。

性質(zhì)4

存在，且

(6.16)證明：對(duì)于一個(gè)任意的正整數(shù)k，有固定N，令k→∞，得

已知N→∞時(shí)，H+(X)的極限存在且為H∞，故有結(jié)合性質(zhì)2指出的關(guān)系可知，條件熵H(XN|X1X2…XN－1)滿足：H∞(X)≤H(XN|X1X2…XN－1)≤HN(X)令N→∞，因?yàn)?，所以于是?/p>

證畢。性質(zhì)2、3、4說明：當(dāng)平穩(wěn)信源輸出的符號(hào)序列長(zhǎng)度達(dá)到無限大時(shí)，平均符號(hào)熵HN(X)和條件熵H(XN|X1X2…XN－1)都非遞增地一致收斂于平穩(wěn)信源的信息極限熵。因此，對(duì)于一個(gè)實(shí)際的平穩(wěn)信源，當(dāng)經(jīng)過足夠長(zhǎng)的時(shí)間后，信源輸出每一符號(hào)所載荷的信息量，即信源的極限熵可以用平均符號(hào)熵或條件熵加以度量。6.4馬爾可夫信源實(shí)際信源往往是有記憶的，其輸出符號(hào)序列中相鄰符號(hào)間存在某種程度的相關(guān)性。例如，若將英文文字信源的取值集合看做26個(gè)英文字母、空格和標(biāo)點(diǎn)符號(hào)，則英文信源輸出的一段語句不僅是一個(gè)由字母、空格和標(biāo)點(diǎn)符號(hào)組成的隨機(jī)變量序列，并且由于該語句具有某種含義，英文文字信源輸出的符號(hào)組合必須滿足英文的詞法、語法結(jié)構(gòu)要求，隨機(jī)變量序列中的符號(hào)相互依賴。同樣，由于模擬信號(hào)的變化相對(duì)于采樣速率很慢，因此離散圖像信源和離散語音信源輸出的數(shù)據(jù)序列中，數(shù)值的變化大多是緩慢的。在圖像信源輸出的灰度點(diǎn)陣中，相鄰像元點(diǎn)的灰度相似，即像元點(diǎn)的灰度取值與其鄰近像素點(diǎn)的灰度取值相近。語音信源輸出的離散數(shù)據(jù)序列中，同一幀內(nèi)相鄰樣點(diǎn)的幅度值差異小?？梢?，有記憶信源輸出的符號(hào)序列中，符號(hào)之間存在關(guān)聯(lián)并且這種關(guān)聯(lián)的程度與符號(hào)之間的距離有關(guān)。因此，有記憶信源的統(tǒng)計(jì)模型需要由一組信源符號(hào)和一組條件概率P(xi|xi－1xi－2…xi－L－1xi－L…)來描述。顯然，相對(duì)于無記憶信源，有記憶信源信息特性的分析要復(fù)雜得多，特別是相關(guān)距離很大甚至是無限大時(shí)。在實(shí)際信源輸出的隨機(jī)變量序列中，信源在某時(shí)刻的輸出符號(hào)往往只與前面鄰近的若干個(gè)信源符號(hào)有較強(qiáng)的依賴關(guān)系，而相距較遠(yuǎn)時(shí)，隨機(jī)變量之間的相關(guān)性將變得較弱，甚至可以忽略不計(jì)。因此可以依實(shí)際信源的統(tǒng)計(jì)關(guān)系和應(yīng)用要求，將有記憶信源的統(tǒng)計(jì)模型適當(dāng)?shù)睾?jiǎn)化。于是，通常限定有記憶信源的記憶長(zhǎng)度，認(rèn)為某時(shí)刻信源符號(hào)Xi發(fā)生的概率只與該時(shí)刻前面鄰近的若干個(gè)信源輸出符號(hào)相關(guān)聯(lián)，而與更前面的符號(hào)是無關(guān)的。由于這類信源的輸出符號(hào)序列近似為一個(gè)馬爾可夫(Markov)過程，因此這類有記憶信源稱為馬爾可夫信源。馬爾可夫信源是一類特殊的離散有記憶信源，其特殊性在于任何時(shí)刻信源符號(hào)發(fā)生的概率只與前面已經(jīng)發(fā)生的m個(gè)符號(hào)有關(guān)，而與更前面發(fā)生的符號(hào)無關(guān)。對(duì)符號(hào)序列:

有：(6.17)因?yàn)檫@種信源在任何時(shí)刻符號(hào)發(fā)生的概率只與前m個(gè)符號(hào)有關(guān)，所以，可以把這前m個(gè)符號(hào)看做信源在此時(shí)刻所處的狀態(tài)，它對(duì)應(yīng)于rm個(gè)不同的長(zhǎng)為m的符號(hào)序列。定義狀態(tài)集：E={E1,E2,…,EJ}J=rm若信源所處狀態(tài)為s∈E，在每一狀態(tài)下可能輸出的符號(hào)x∈X，則當(dāng)發(fā)出一個(gè)符號(hào)后，所處的狀態(tài)就變了，即從狀態(tài)s變到了另一狀態(tài)，新狀態(tài)由s的后m－1個(gè)符號(hào)和發(fā)出的一個(gè)符號(hào)唯一確定。可見，狀態(tài)的轉(zhuǎn)移依賴于發(fā)出的信源符號(hào)，因此任何時(shí)刻信源處在什么狀態(tài)完全由前一時(shí)刻的狀態(tài)和發(fā)出的符號(hào)決定，對(duì)應(yīng)信源的符號(hào)輸出序列:…,x1,x2,…,xl－1,xl

有唯一的狀態(tài)序列：…,s1,s2,…,sl－1,sl對(duì)于m階有記憶離散信源，它在t=1時(shí)刻輸出符號(hào)x1的概率只與t=1時(shí)刻前面m個(gè)符號(hào)所對(duì)應(yīng)的狀態(tài)sl－1有關(guān)。在輸出符號(hào)后，進(jìn)入由最新的m個(gè)符號(hào)組成的狀態(tài)sl，如圖6-2所示。圖6-2狀態(tài)轉(zhuǎn)移圖其狀態(tài)轉(zhuǎn)移概率分布為P(xl=ak|sl－1=Ei)k=1,2,…,r;i=1,2,…,rm一般情況下，狀態(tài)轉(zhuǎn)移概率及已知狀態(tài)下發(fā)出符號(hào)的概率均與時(shí)刻l有關(guān)。若與l無關(guān)，即P(xl=ak|sl=Ei)=P(ak|Ei)

(6.18)則記pij=P(Ej|Ei)，稱此狀態(tài)序列是時(shí)齊的。

定義6.4

一個(gè)隨機(jī)狀態(tài)序列：s1,s2,…,sl,…，若滿足以下條件：

(1)有限性：可能狀態(tài)數(shù)目J<∞：

(2)時(shí)齊性：狀態(tài)轉(zhuǎn)移概率pij=P(sl=Ej|sl－1=Ei)只由狀態(tài)j和狀態(tài)i確定：

(3)馬氏性：進(jìn)入某狀態(tài)的概率只與前一時(shí)刻的狀態(tài)有關(guān)，與更早的狀態(tài)無關(guān),即P(sl|sl－1,sl－2,…)=P(sl|sl－1)則稱此隨機(jī)狀態(tài)序列為有限狀態(tài)齊次馬爾可夫鏈。

定義6.5

若信源輸出的符號(hào)序列與信源的狀態(tài)滿足下述條件：

(1)某一時(shí)刻信源的輸出只與當(dāng)前的信源狀態(tài)有關(guān)，與以前的狀態(tài)無關(guān)，即

(2)信源狀態(tài)只由當(dāng)前輸出符號(hào)和前一時(shí)刻信源狀態(tài)唯一確定，即

(6.19)則稱此信源為m階馬爾可夫信源。時(shí)時(shí)

m階馬爾可夫信源的關(guān)聯(lián)長(zhǎng)度為m+1。當(dāng)m=1，即符號(hào)發(fā)生的概率只與前面一個(gè)符號(hào)有關(guān)時(shí)，稱為一階馬爾可夫信源。

m階馬爾可夫信源的數(shù)學(xué)模型由一組信源符號(hào)和一組條件概率確定：(6.20)其中:

滿足:

m階馬爾可夫信源輸出的隨機(jī)變量序列X1X2…Xi－m+1…Xi－2Xi－1XiXi+1…為一個(gè)m階馬爾可夫過程?？梢詫個(gè)相鄰的隨機(jī)變量劃分為一組，將該m個(gè)隨機(jī)變量的取值組合:

(6.21)看做一種狀態(tài)E。已知信源X有r種不同的輸出符號(hào)，故信源X輸出的長(zhǎng)度為m的隨機(jī)變量序列有rm種不同的取值組合。于是，長(zhǎng)度為m的隨機(jī)變量序列可以表示為rm種不同的狀態(tài)，并構(gòu)成狀態(tài)集合。此時(shí)，馬爾可夫信源的數(shù)學(xué)模型又可表示為

如果m階馬爾可夫信源X在時(shí)刻i的狀態(tài)為，則由于某時(shí)刻信源的輸出僅與該時(shí)刻前面的m個(gè)符號(hào)有關(guān)，因此信源在時(shí)刻i輸出的符號(hào)與信源所處的狀態(tài)si有關(guān)，即依條件概率輸出的符號(hào)，長(zhǎng)度為m的符號(hào)序列便變?yōu)?。由馬爾可夫信源的統(tǒng)計(jì)關(guān)系可知，新的長(zhǎng)度為m的符號(hào)序列由原狀態(tài)si對(duì)應(yīng)的符號(hào)序列中的后m－1個(gè)信源符號(hào)與該時(shí)刻信源發(fā)出的新符號(hào)組成，并構(gòu)成了一個(gè)新的狀態(tài)，即由狀態(tài)si轉(zhuǎn)移為狀態(tài)si+1（si,si+1∈E），并且依輸出符號(hào)之間的條件概率關(guān)系可知，狀態(tài)轉(zhuǎn)移的概率為因此，m階馬爾可夫信源的輸出符號(hào)序列X1X2…Xi－m+1…Xi－2Xi－1XiXi+1…可以轉(zhuǎn)換為一個(gè)狀態(tài)序列s1s2…sisi+1…。這樣的狀態(tài)序列可以用馬爾可夫鏈的狀態(tài)圖描述（見圖6-3），也可以由狀態(tài)轉(zhuǎn)移矩陣描述。圖6-3馬爾可夫信源狀態(tài)圖已知條件概率可變換成：

其中:Ei為m階馬爾可夫信源可能有的狀態(tài)，i=1，…，rm；P(ak|Ei)為任何時(shí)刻信源處在狀態(tài)Ei時(shí)發(fā)出信源符號(hào)ak的概率，ak可任取a1,a2,…,ar之一。若新狀態(tài)為Ej，則狀態(tài)Ei到Ej的一步轉(zhuǎn)移概率為P(Ej|Ei)=P(ak|Ei)馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如圖6-4所示。圖6-4馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖此時(shí)，馬爾可夫信源的數(shù)學(xué)模型又可表示為(6.22)該數(shù)學(xué)模型表明，狀態(tài)一步轉(zhuǎn)移概率是描述m階馬爾可夫信源有依賴地發(fā)出消息（狀態(tài)）的統(tǒng)計(jì)特性的最本質(zhì)參數(shù)。一般地，馬爾可夫信源輸出的狀態(tài)序列中，狀態(tài)之間的轉(zhuǎn)移關(guān)系與系統(tǒng)的初始狀態(tài)有關(guān)。但是，由于實(shí)際馬爾可夫信源輸出的狀態(tài)種類rm有限，并且近似滿足時(shí)齊性和遍歷性條件，因此我們主要考慮有限、時(shí)齊、遍歷馬爾可夫信源的統(tǒng)計(jì)關(guān)系。對(duì)于狀態(tài)集合為

的時(shí)齊馬爾可夫信源，由該信源的m個(gè)符號(hào)組成的狀態(tài)Ei和Ej(i≠j)，存在一個(gè)正整數(shù)n0>0，且經(jīng)過n0步，從狀態(tài)Ei轉(zhuǎn)移到狀態(tài)Ej的轉(zhuǎn)移概率

，則在經(jīng)過足夠長(zhǎng)的時(shí)間后，信源可以由一種狀態(tài)轉(zhuǎn)移到任意一種其他狀態(tài)，并且滿足：

(1)新狀態(tài)si+1的概率僅與前一時(shí)刻的狀態(tài)有關(guān)，而與更前面的狀態(tài)無關(guān)，即P（si+1|sisi－1si－2…）=P(si+1|si)

(2)狀態(tài)之間的轉(zhuǎn)移概率P(El|Ek)與狀態(tài)發(fā)生轉(zhuǎn)移的時(shí)間或位置無關(guān)。

(3)無論信源的初始狀態(tài)Ei為何，各種狀態(tài)發(fā)生的概率都穩(wěn)定在某極限概率：

即每一種由各態(tài)歷經(jīng)過程產(chǎn)生的符號(hào)序列具有同樣的統(tǒng)計(jì)特性?？梢?，在經(jīng)過足夠長(zhǎng)的時(shí)間后，有限、時(shí)齊、遍歷馬爾可夫信源成為一種平穩(wěn)信源，且存在不依賴初始狀態(tài)的狀態(tài)極限概率(即平穩(wěn)分布)。需要強(qiáng)調(diào)的是，只有在轉(zhuǎn)移一定步數(shù)后各狀態(tài)之間均可相通的條件下，當(dāng)轉(zhuǎn)移步數(shù)足夠大，m階馬爾可夫信源達(dá)到穩(wěn)定時(shí)，各狀態(tài)出現(xiàn)的概率才能穩(wěn)定在某一極限值，存在極限概率。對(duì)于m階馬爾可夫信源，狀態(tài)一步轉(zhuǎn)移概率可由狀態(tài)一步轉(zhuǎn)移矩陣表示，也可以用狀態(tài)一步轉(zhuǎn)移圖表示。對(duì)于各態(tài)遍歷的馬爾可夫信源，相應(yīng)的狀態(tài)一步轉(zhuǎn)移圖具有以下兩個(gè)特點(diǎn)：（1）不可約性。在狀態(tài)空間集合中，不存在一個(gè)各狀態(tài)之間都能相互到達(dá)，而又與集合以外的狀態(tài)不相通的集合，即閉集中不能再分出閉集。（2）非周期性。對(duì)于各態(tài)遍歷的m階馬爾可夫信源來說，存在一個(gè)正整數(shù)n0>0，經(jīng)過n0步轉(zhuǎn)移后，各態(tài)均能相通，各態(tài)均能回到出發(fā)狀態(tài)。在回到出發(fā)狀態(tài)的可能步數(shù)中，必定包括n0和n0+1或n0－1。所以，在可能回到出發(fā)狀態(tài)的步數(shù)中，不存在大于1的公因子，具有非周期性。

【例6.2】有一個(gè)二進(jìn)制二階馬爾可夫信源，X={0,1}，條件概率為

P(0|00)=P(1|11)=0.8

P(1|00)=P(0|11)=0.2

P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5該信源的轉(zhuǎn)移特性只與符號(hào)序列有關(guān)，有4個(gè)狀態(tài)：

E1

對(duì)應(yīng)序列00

E2

對(duì)應(yīng)序列01

E3

對(duì)應(yīng)序列10

E4

對(duì)應(yīng)序列11

由概率分布可知,狀態(tài)一步轉(zhuǎn)移概率為

P(E1|E1)=P(E4|E4)=0.8

P(E2|E1)=P(E3|E4)=0.2

P(E3|E2)=P(E2|E3)=P(E4|E2)=P(E1|E3)=0.5其他狀態(tài)轉(zhuǎn)移概率等于0。信源是有限、既約、齊次的馬爾可夫鏈，且可以進(jìn)一步判定是各態(tài)歷經(jīng)源，故有：可求出：

為馬爾可夫信源的平穩(wěn)分布，且等于初始分布。由上述討論可以看出，由于有記憶信源輸出符號(hào)之間存在關(guān)聯(lián)，因此其信息特性分析的難度較大，特別是相關(guān)距離很大甚至是無限大時(shí)。工程應(yīng)用中，圖像、語音等實(shí)際信源輸出的符號(hào)序列中，相鄰符號(hào)之間的相關(guān)性較大，而距離較遠(yuǎn)的符號(hào)之間的相關(guān)性很小，往往可以忽略。因此，對(duì)于這類實(shí)際信源信息特性的分析，可以從兩個(gè)方面作適當(dāng)假設(shè)，以在掌握此類信源本質(zhì)特性的前提下簡(jiǎn)化分析過程。首先，由于實(shí)際信源的相關(guān)性主要表現(xiàn)在相鄰符號(hào)之間，因此可以對(duì)有記憶信源的記憶長(zhǎng)度加以限制。假設(shè)信源在某時(shí)刻輸出的符號(hào)僅與該時(shí)刻前面輸出的m個(gè)符號(hào)存在依賴關(guān)系，而與更前面的符號(hào)無關(guān)，則將信源的相關(guān)長(zhǎng)度限定為m，看做m階的馬爾可夫信源。其次，假設(shè)實(shí)際信源輸出的隨機(jī)變量序列滿足時(shí)齊性和遍歷性,那么，在經(jīng)過足夠長(zhǎng)的時(shí)間后，時(shí)齊、遍歷的m階馬爾可夫信源輸出的符號(hào)序列為一平穩(wěn)隨機(jī)過程。因此，可以將工程應(yīng)用中的實(shí)際信源看做一個(gè)平穩(wěn)的m階馬爾可夫信源，依據(jù)平穩(wěn)信源和馬爾可夫信源的信息測(cè)度所滿足的基本關(guān)系和性質(zhì)，分析實(shí)際信源的信息特性。假設(shè)時(shí)齊、遍歷的m階馬爾可夫信源的輸出是一個(gè)具有任意長(zhǎng)度的符號(hào)序列：X1X2…Xi－1Xi…由6.3節(jié)的討論可知，當(dāng)其輸出的符號(hào)序列足夠長(zhǎng)（N→∞）時(shí)，平均符號(hào)熵HN(X)的極限值反映了信源輸出的實(shí)際信息量。已知此信源的極限信息量或極限熵為因?yàn)榇颂幍腘→∞表示信源輸出的符號(hào)序列足夠長(zhǎng)，這表明信源的輸出已經(jīng)經(jīng)歷了足夠長(zhǎng)的時(shí)間，所以信源符號(hào)序列可以看做一個(gè)平穩(wěn)的隨機(jī)過程，該信源成為一種平穩(wěn)信源。對(duì)于平穩(wěn)信源，極限熵H∞也可以表示為序列長(zhǎng)度N足夠長(zhǎng)時(shí)的條件熵,即有：由于此信源是一個(gè)m階的馬爾可夫信源，輸出符號(hào)XN僅與該符號(hào)前面的m個(gè)符號(hào)相關(guān)，而與更前面的符號(hào)無依賴關(guān)系，因此，式(6.23)反映的無限長(zhǎng)的條件依賴關(guān)系可以轉(zhuǎn)化為有限長(zhǎng)的依賴關(guān)系，滿足：(6.23)進(jìn)一步地，考慮到信源已進(jìn)入一個(gè)平穩(wěn)狀態(tài)，而平穩(wěn)信源輸出隨機(jī)變量序列的統(tǒng)計(jì)特性與時(shí)間或位置的起點(diǎn)無關(guān)，故有：H∞=H(Xm+1|X1X2…Xm)

于是，得到m階馬爾可夫信源的極限信息量：H∞=H(Xm+1|X1X2…Xm)=Hm+1

可見，時(shí)齊、遍歷的m階馬爾可夫信源所提供的平均信息量為已知前m個(gè)信源符號(hào)的條件下，對(duì)信源將要輸出的符號(hào)的不確定性。因此，m階馬爾可夫信源的極限熵的計(jì)算可以轉(zhuǎn)化為條件熵的計(jì)算,即

(6.24)而

令其中:

i=1,2,…,rm;kj=1,2,…,r;j=1,2,…,

m

則因此

(6.25)上例中:則我們?cè)?.3節(jié)討論N維離散平穩(wěn)信源X=X1X2…XN時(shí)，把一個(gè)實(shí)際上關(guān)聯(lián)長(zhǎng)度為無窮的信源近似地當(dāng)做一個(gè)關(guān)聯(lián)長(zhǎng)度有限的信源來考慮，即每N個(gè)符號(hào)組成的符號(hào)序列之間看做統(tǒng)計(jì)獨(dú)立，互不相關(guān)，只在由N個(gè)符號(hào)組成的符號(hào)序列內(nèi)考慮符號(hào)的統(tǒng)計(jì)依賴關(guān)系，然后用N維聯(lián)合熵H(X)=H(X1X2…XN)表示信源每個(gè)符號(hào)序列的平均信息量，用平均符號(hào)熵表示離散平穩(wěn)信源有記憶信源中每一個(gè)符號(hào)提供的平均信息量。然而，對(duì)于一般的有記憶信源，考慮到關(guān)聯(lián)長(zhǎng)度為無窮這一因素，計(jì)算N→∞時(shí)的極限值H∞非常困難，實(shí)際上幾乎不可操作。但是由于各態(tài)遍歷的m階馬爾可夫信源的記憶長(zhǎng)度有限，再加上它具有獨(dú)特的馬氏特性，所以各態(tài)遍歷的m階馬爾可夫信源的極限熵是可求的。因此，對(duì)于離散平穩(wěn)有記憶信源的極限熵計(jì)算來說，各態(tài)遍歷的m階馬爾可夫信源的極限熵更加貼近實(shí)際，具有廣泛的應(yīng)用性。6.5信源的信息冗余前面我們已經(jīng)討論了各類離散信源，包括離散無記憶信源及其N次擴(kuò)展信源、離散平穩(wěn)信源、馬爾可夫信源。由于這些信源的統(tǒng)計(jì)特性各不相同，它們輸出信息的能力也各不相同。對(duì)于有r種輸出符號(hào)的離散信源X，如果信源X的輸出符號(hào)之間無記憶且等概分布，則由最大熵定理可知，其輸出的平均信息量達(dá)到其最大值，即該信源的熵為H0=logr如果信源X輸出的符號(hào)之間無記憶，但是信源符號(hào)為非等概率分布，則信源X輸出的平均信息量為H1=H(X)如果信源X是有記憶的，其輸出的符號(hào)之間存在某種程度的相關(guān)性，則其輸出的信息量將進(jìn)一步減小。對(duì)于m階的馬爾可夫信源：當(dāng)m=1時(shí)，信源的熵為H2=H(X2|X1)當(dāng)m=2時(shí)，信源的熵為H3=H(X3|X1X2)

為m時(shí)，信源的熵為Hm+1=H(Xm+1|X1X2…Xm－1Xm)當(dāng)信源滿足平穩(wěn)性要求，即為平穩(wěn)信源時(shí)，輸出的平均信息量為極限熵H∞。條件熵的性質(zhì):

表明，上述具有不同統(tǒng)計(jì)特性的信源輸出的信息量滿足：(6.26)由此可以看出，對(duì)于一個(gè)有r種不同輸出符號(hào)的離散平穩(wěn)信源X，按照最大熵定理該信源輸出信息的能力應(yīng)當(dāng)是logr。然而式(6.26)表明，若信源X輸出符號(hào)為非等概率分布，則信源輸出的平均信息量將減少：若信源輸出符號(hào)間有關(guān)聯(lián)，則信源輸出的平均信息量將進(jìn)一步減少，且符號(hào)間相關(guān)長(zhǎng)度越長(zhǎng)，信源輸出的信息量就越小。因此，非等概率分布的無記憶信源和有記憶信源所輸出的信源符號(hào)中，每一位信源符號(hào)所載荷的平均信息量并沒有達(dá)到其應(yīng)當(dāng)具有的最大輸出信息能力，這表明信源輸出符號(hào)中含有一定程度的不含有信息的多余部分。為了衡量信源輸出的符號(hào)和符號(hào)序列中不含有信息的多余部分的大小，引入了信源的信息冗余度（亦稱剩余度、多余度）。

定義6.6

信源輸出的實(shí)際信息熵與具有同樣符號(hào)集的最大熵之比稱為相對(duì)熵η,即

(6.27)

定義6.7

信源的信息冗余度γ:γ=1-η

(6.28)信源的信息冗余度γ度量了信源輸出的符號(hào)不含有信息的多余部分的大小。對(duì)于有記憶信源，由于這部分多余成分的大小取決于信源符號(hào)之間的相關(guān)性，因此，信源的信息冗余度本質(zhì)上是反映信源統(tǒng)計(jì)特性的一個(gè)物理量。若信源符號(hào)之間的依賴關(guān)系較強(qiáng)，即符號(hào)間的相關(guān)距離長(zhǎng)，則H∞較小，于是該信源的信息冗余度較大。反之，若信源輸出符號(hào)的相關(guān)性較弱，則該信源的信息冗余度較小。若信源符號(hào)相互獨(dú)立且等概率分布，則信源輸出的平均信息量達(dá)到該類信源輸出平均信息量的最大值H0，信源輸出的符號(hào)中不包含任何多余成分，于是信息冗余度γ=0。在各類信息傳輸系統(tǒng)中，圖像、語音、文字等信源輸出的符號(hào)序列中的相鄰符號(hào)之間往往存在明顯的關(guān)聯(lián)。例如一幅圖像中，由于同一物體具有相近的電磁波反射特性，因此某像素點(diǎn)的灰度取值與其相鄰像素點(diǎn)的灰度取值接近。

【例6.3】考察英文信源輸出的符號(hào)序列，計(jì)算其信息冗余度γ。設(shè)英文信源的輸出符號(hào)為26個(gè)英文字母和空格，故此英文信源的輸出符號(hào)集合中包括了27個(gè)符號(hào)。如果認(rèn)為此英文信源是一個(gè)無記憶且等概率分布，則該信源的最大熵為H0=log27=4.76比特/符號(hào)如果認(rèn)為英文信源是無記憶的（即不考慮相鄰字母、符號(hào)之間的相關(guān)性），則在實(shí)際的英文單詞拼寫和語句組成中，各符號(hào)并非等概率發(fā)生。經(jīng)過對(duì)英文信源符號(hào)的統(tǒng)計(jì)計(jì)算，可以得到空格和26個(gè)英文字母出現(xiàn)的概率（如表6-1所示）。于是，若假定英文信源是一個(gè)非等概率分布的無記憶信源，則可以求出信源的熵：

比特/符號(hào)表6-1英文信源符號(hào)發(fā)生的概率顯然，在有意義的實(shí)際英文單詞和語句中，英文信源輸出的符號(hào)之間存在著明顯的相關(guān)性。因此，由26個(gè)英文字母和空格組成的英文信源是一個(gè)有記憶信源，在英文信源輸出信息特性的分析中，我們可以將其近似為m階馬爾可夫信源?？紤]的相關(guān)距離m不同，該英文信源輸出的平均信息量不同。若取m=1，則H2=3.32比特/符號(hào)。若取m=2，則H3=3.1比特/符號(hào)。

……

一般認(rèn)為，實(shí)際英文信源的熵為H∞=1.4比特/符號(hào)于是，可以求出實(shí)際英文信源的相對(duì)熵為

信息剩余度為γ=1－0.29=0.71計(jì)算結(jié)果表明，由英文字母和空格組成的文章中，其中71%的符號(hào)取值由英文的詞法、句法和語言結(jié)構(gòu)所決定，只有29%的符號(hào)由寫文字的人自由選擇。顯然，從信息傳輸系統(tǒng)的有效性考慮，這些不包含信息的多余部分應(yīng)當(dāng)予以消除。因此，對(duì)于一本100頁(yè)的英文圖書，如果將大約71%的信息冗余消除掉，則可以只存儲(chǔ)或傳輸大約29頁(yè)篇幅的內(nèi)容，便可以在保持原圖書載荷信息量的前提下，大大提高信息系統(tǒng)的有效性?？梢姡旁吹男畔⑷哂喽缺硎玖擞杏洃浶旁纯梢詨嚎s的程度。由于文字、圖像、語音等各類實(shí)際信源往往都存在較強(qiáng)的相關(guān)性，因此實(shí)際信源輸出的符號(hào)序列中存在較大的信息冗余。在信息傳輸系統(tǒng)設(shè)計(jì)中，需要通過某種信源數(shù)據(jù)的壓縮編碼，減少或去除冗余，便可以在保持信源信息的前提下傳輸或存儲(chǔ)較少的符號(hào)，大大提高信息系統(tǒng)的有效性。因此，以提高系統(tǒng)有效性為目的的信源編碼，成為當(dāng)前信息技術(shù)中的關(guān)鍵技術(shù)。但是應(yīng)當(dāng)看到，信源的信息冗余度在信息的傳輸和存儲(chǔ)中也有其有利的一面。從信息傳輸和存儲(chǔ)的可靠性來看，信源輸出的數(shù)據(jù)之間所存在的相關(guān)性可以提高系統(tǒng)的抗干擾能力。例如，由于存在信道干擾，可能會(huì)使得在接收端接收到的符號(hào)產(chǎn)生錯(cuò)誤。利用信源輸出符號(hào)之間的相關(guān)性，可以將傳輸過程中產(chǎn)生的錯(cuò)誤加以糾正，提高信息傳輸系統(tǒng)的可靠性。例如，將“信息工程學(xué)院”簡(jiǎn)稱為“工院”，顯然該表示方法簡(jiǎn)捷，文字傳輸效率高。但是，當(dāng)在傳輸過程中，字符“工”受到噪聲的影響變得模糊不清、難以辨認(rèn)時(shí)，由“X院”難以判斷信源所輸出的正確符號(hào)。然而，如果傳輸?shù)氖恰靶畔⒐こ虒W(xué)院”，當(dāng)字符“工”受到噪聲的影響變得模糊不清，成為“信息X程學(xué)院”時(shí)，則可利用符號(hào)之間的關(guān)聯(lián)，在接收端正確恢復(fù)字符“工”，實(shí)現(xiàn)信源字符的可靠傳輸。由此可知，信源符號(hào)序列的相關(guān)性愈強(qiáng)（信源信息冗余度愈大），則抗干擾的能力愈強(qiáng)，信息系統(tǒng)的可靠性就愈高。但是，從信息傳輸有效性角度來看，減小信源符號(hào)之間的相關(guān)性，可以消除或去除信息冗余，提高系統(tǒng)的有效性。針對(duì)有效性和可靠性兩種不同的技術(shù)目標(biāo)，形成了兩類不同的編碼技術(shù)，即信源編碼和信道編碼。信源編碼以提高信息系統(tǒng)的有效性為目的，通過消除信源的信息冗余減小每一信源符號(hào)的平均比特?cái)?shù)，從而實(shí)現(xiàn)信源輸出信息的有效表示和傳輸。信道編碼則以提高信息傳輸?shù)目煽啃詾槟康?，在充分利用信道信息傳輸能力的條件下，通過加入特定形式的冗余數(shù)據(jù)，使得編碼序列具有發(fā)現(xiàn)和糾正傳輸誤碼的能力，從而實(shí)現(xiàn)信源信息的可靠傳輸。因此，提高系統(tǒng)的抗干擾能力往往是以降低系統(tǒng)的信息傳輸效率為代價(jià)的：反之，提高系統(tǒng)的傳輸效率又常常使抗干擾能力減弱?？梢?，在信息系統(tǒng)的研究和設(shè)計(jì)中，有效性和可靠性是一對(duì)相互矛盾的技術(shù)指標(biāo)。信息理論和編碼技術(shù)的研究將從信源、信道的統(tǒng)計(jì)關(guān)系出發(fā)，研究提高信息系統(tǒng)有效性和可靠性的基本理論和方法，使有效性和可靠性兩者達(dá)到辯證的