信息論與編碼-第4講-信源及其信息量3-多符號(hào)信源

第1頁(yè)2024/4/14第二章信源及其信息量本章重點(diǎn)：信源的統(tǒng)計(jì)特性和數(shù)學(xué)模型、各類信源的信息測(cè)度—熵及其性質(zhì)。2.1單符號(hào)離散信源2.2多符號(hào)離散平穩(wěn)信源2.3連續(xù)信源2.4離散無(wú)失真信源編碼定理2.5小結(jié)ElectronicsEngineeringDepartment,XXXXXxxXxxx第2頁(yè)2024/4/142.2多符號(hào)離散平穩(wěn)信源2.2.1多符號(hào)離散平穩(wěn)信源2.2.2離散平穩(wěn)無(wú)記憶信源2.2.3離散平穩(wěn)有記憶信源2.2.4馬爾可夫信源2.2.5信源冗余度及信息變差第3頁(yè)2024/4/142.2.1多符號(hào)離散平穩(wěn)信源(1)擴(kuò)展信源(2)隨機(jī)矢量／隨機(jī)變量序列(3)多符號(hào)離散平穩(wěn)信源2.2多符號(hào)離散平穩(wěn)信源第4頁(yè)2024/4/142.2.1多符號(hào)離散平穩(wěn)信源(1)擴(kuò)展信源實(shí)際的信源輸出的消息是時(shí)間或空間上離散的一系列隨機(jī)變量。這類信源每次輸出的不是一個(gè)單個(gè)的符號(hào)，而是一個(gè)符號(hào)序列。在信源輸出的序列中，每一位出現(xiàn)哪個(gè)符號(hào)都是隨機(jī)的，而且一般前后符號(hào)的出現(xiàn)是有統(tǒng)計(jì)依賴關(guān)系的。這種信源稱為多符號(hào)離散信源／擴(kuò)展信源。

舉例：電報(bào)系統(tǒng)，發(fā)出的是一串有、無(wú)脈沖的信號(hào)系列。2.2多符號(hào)離散平穩(wěn)信源第5頁(yè)2024/4/142.2.1多符號(hào)離散平穩(wěn)信源(2)隨機(jī)矢量／隨機(jī)變量序列多符號(hào)離散信源可用隨機(jī)矢量／隨機(jī)變量序列描述，即：X=X1,X2,X3,…信源在不同時(shí)刻的隨機(jī)變量

Xi和Xi+r

的概率分布P(Xi)

和P(Xi+r)

一般來(lái)說(shuō)是不相同的，即隨機(jī)變量的統(tǒng)計(jì)特性隨著時(shí)間的推移而有所變化。2.2多符號(hào)離散平穩(wěn)信源第6頁(yè)2024/4/142.2.1多符號(hào)離散平穩(wěn)信源(3)多符號(hào)離散平穩(wěn)信源為了便于研究，假定隨機(jī)矢量X

中隨機(jī)變量的各維聯(lián)合概率分布均不隨時(shí)間的推移變化?；蛘哒f(shuō)，信源所發(fā)符號(hào)序列的概率分布與時(shí)間的起點(diǎn)無(wú)關(guān)，這種信源稱為多符號(hào)離散平穩(wěn)信源。2.2多符號(hào)離散平穩(wěn)信源第7頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源(2)離散平穩(wěn)無(wú)記憶信源的熵(3)舉例2.2多符號(hào)離散平穩(wěn)信源第8頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源①基本概念②序列的成組傳送③離散無(wú)記憶信源的數(shù)學(xué)模型2.2多符號(hào)離散平穩(wěn)信源第9頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源①基本概念離散平穩(wěn)無(wú)記憶信源：為了方便，假定隨機(jī)變量序列的長(zhǎng)度是有限的，如果信源輸出的消息序列中符號(hào)之間是無(wú)相互依賴關(guān)系／統(tǒng)計(jì)獨(dú)立，則稱這類信源為離散平穩(wěn)無(wú)記憶信源／離散平穩(wěn)無(wú)記憶信源的擴(kuò)展信源。2.2多符號(hào)離散平穩(wěn)信源第10頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源②序列的成組傳送把信源輸出的序列看成是一組一組發(fā)出的。例1：電報(bào)系統(tǒng)中，認(rèn)為每二個(gè)二進(jìn)制數(shù)字組成一組。信源輸出由2個(gè)二進(jìn)制數(shù)字組成的一組組符號(hào)。這時(shí)可以將它們等效看成一個(gè)新的信源，由4個(gè)符號(hào)00，01，10，11組成，該信源稱為二進(jìn)制無(wú)記憶信源的二次擴(kuò)展。2.2多符號(hào)離散平穩(wěn)信源第11頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源②序列的成組傳送把信源輸出的序列看成是一組一組發(fā)出的。例2：把每3個(gè)二進(jìn)制數(shù)字組成一組，這樣長(zhǎng)度為3的二進(jìn)制序列就有8種不同的序列，等效成一個(gè)具有8個(gè)符號(hào)的信源，稱為二進(jìn)制無(wú)記憶信源的三次擴(kuò)展信源。二進(jìn)制無(wú)記憶信源的N次擴(kuò)展：把每N個(gè)二進(jìn)制數(shù)字組成一組，則信源等效成一個(gè)具有2N個(gè)符號(hào)的新信源，稱為二進(jìn)制無(wú)記憶信源的N次擴(kuò)展信源。2.2多符號(hào)離散平穩(wěn)信源第12頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源③離散無(wú)記憶信源的數(shù)學(xué)模型離散無(wú)記憶信源X，取值于集合{x1,x2,…,xn}，對(duì)它的輸出消息序列，可以用一組組長(zhǎng)度為N的序列來(lái)表示它。這時(shí)它就等效成了一個(gè)新信源；新信源輸出的符號(hào)是N長(zhǎng)的消息序列，用N維離散隨機(jī)矢量來(lái)描述:每個(gè)分量

都是隨機(jī)變量，都取值于同一信源X，

并且分量之間統(tǒng)計(jì)獨(dú)立。2.2多符號(hào)離散平穩(wěn)信源第13頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源③離散無(wú)記憶信源的數(shù)學(xué)模型由隨機(jī)矢量X

組成的新信源稱為離散無(wú)記憶信源X的N次擴(kuò)展信源。用N重概率空間來(lái)描述它。2.2多符號(hào)離散平穩(wěn)信源第14頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源③離散無(wú)記憶信源的數(shù)學(xué)模型

N次擴(kuò)展信源的數(shù)學(xué)模型單符號(hào)離散信源的數(shù)學(xué)模型為：2.2多符號(hào)離散平穩(wěn)信源第15頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源③離散無(wú)記憶信源的數(shù)學(xué)模型

N次擴(kuò)展信源的數(shù)學(xué)模型信源X的N次擴(kuò)展信源用

XN

表示，它是具有nN個(gè)符號(hào)的離散信源，其數(shù)學(xué)模型為：每個(gè)符號(hào)ai是對(duì)應(yīng)于某一個(gè)由N

個(gè)

xi組成的序列。

ai的概率p(ai)是對(duì)應(yīng)的N

個(gè)xi組成的序列的概率。2.2多符號(hào)離散平穩(wěn)信源第16頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(1)離散平穩(wěn)無(wú)記憶信源③離散無(wú)記憶信源的數(shù)學(xué)模型

N次擴(kuò)展信源的數(shù)學(xué)模型因?yàn)樾旁词菬o(wú)記憶的，所以消息序列：2.2多符號(hào)離散平穩(wěn)信源第17頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(2)離散平穩(wěn)無(wú)記憶信源的熵根據(jù)信息熵的定義，N次擴(kuò)展信源的熵：離散無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍，即：H(X)=H(XN)=NH(X)2.2多符號(hào)離散平穩(wěn)信源第18頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(2)離散平穩(wěn)無(wú)記憶信源的熵[證明]：H(X)=H(XN)=NH(X)

設(shè)ai是XN概率空間中的一個(gè)符號(hào)，對(duì)應(yīng)于由N個(gè)xi組成的序列

N次擴(kuò)展信源的熵：求和號(hào)是對(duì)信源XN中所有nN個(gè)符號(hào)求和，所以求和號(hào)共有nN個(gè)。這種求和號(hào)可以等效于N

個(gè)求和號(hào)，其中的每一個(gè)又是對(duì)X中的n

個(gè)符號(hào)求和。2.2多符號(hào)離散平穩(wěn)信源第19頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(2)離散平穩(wěn)無(wú)記憶信源的熵[證明]：H(X)=H(XN)=NH(X)所以：因此：2.2多符號(hào)離散平穩(wěn)信源第20頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(2)離散平穩(wěn)無(wú)記憶信源的熵[證明]：H(X)=H(XN)=NH(X)上式共有N項(xiàng)，考察其中第一項(xiàng)：

H(X)=H(XN)=H(X)+H(X)+…+H(X)=NH(X)2.2多符號(hào)離散平穩(wěn)信源第21頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(3)舉例有一離散無(wú)記憶信源：求這個(gè)離散無(wú)記憶信源的二次擴(kuò)展信源，擴(kuò)展信源的每個(gè)符號(hào)是信源X的輸出長(zhǎng)度為2的符號(hào)序列。因?yàn)樾旁碭共有3個(gè)不同符號(hào)，所以由信源X中每?jī)蓚€(gè)符號(hào)組成的不同排列共有32=9

種，得二次擴(kuò)展信源共有9個(gè)不同的符號(hào)。因?yàn)樾旁碭是無(wú)記憶的，則有：2.2多符號(hào)離散平穩(wěn)信源第22頁(yè)2024/4/142.2.2離散平穩(wěn)無(wú)記憶信源(3)舉例H(X)=1.5

比特/符號(hào)（此處的符號(hào)是指X信源的輸出符號(hào)xi）H(X)=H(X2)=3

比特/符號(hào)（此處的符號(hào)是指擴(kuò)展信源的輸出符號(hào)

ai

，它是由二個(gè)xi符號(hào)組成）,

所以：H(X)=2H(X)上述結(jié)論的解釋：因?yàn)閿U(kuò)展信源XN的每一個(gè)輸出符號(hào)ai是由N個(gè)xi所組成的序列，并且序列中前后符號(hào)是統(tǒng)計(jì)獨(dú)立的?，F(xiàn)已知每個(gè)信源符號(hào)xi含有的平均信息量為H(X)，那么，N個(gè)xi組成的無(wú)記憶序列平均含有的信息量就為NH(X)（根據(jù)熵的可加性）。因此信源XN每個(gè)輸出符號(hào)含有的平均信息量為NH(X)。2.2多符號(hào)離散平穩(wěn)信源第23頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(1)離散平穩(wěn)有記憶信源的數(shù)學(xué)模型(2)離散平穩(wěn)有記憶信源的信息熵(3)離散平穩(wěn)有記憶信源的極限熵2.2多符號(hào)離散平穩(wěn)信源第24頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(1)離散平穩(wěn)有記憶信源的數(shù)學(xué)模型①一維平穩(wěn)信源②二維平穩(wěn)信源③離散平穩(wěn)信源2.2多符號(hào)離散平穩(wěn)信源第25頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(1)離散平穩(wěn)有記憶信源的數(shù)學(xué)模型①一維平穩(wěn)信源對(duì)于隨機(jī)矢量X

=X1X2…XN若任意兩個(gè)不同時(shí)刻i和j（大于1的任意整數(shù)）信源發(fā)出消息的概率分布完全相同，即：P(Xi=x1)=P(Xj=x1)=p(x1)P(Xi=x2)=P(Xj=x2)=p(x2)

…P(Xi=xn)=P(Xj=xn)=p(xn)一維平穩(wěn)信源無(wú)論在什么時(shí)刻均以{p(x1),p(x2),…,p(xn)}分布發(fā)出符號(hào)。2.2多符號(hào)離散平穩(wěn)信源第26頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(1)離散平穩(wěn)有記憶信源的數(shù)學(xué)模型②二維平穩(wěn)信源除上述條件外，如果聯(lián)合概率分布P(XiXi+1)也與時(shí)間起點(diǎn)無(wú)關(guān)，即：P(XiXi+1)=P(XjXj+1)（i，j為任意整數(shù)，且i≠j）這種信源在任何時(shí)刻發(fā)出兩個(gè)符號(hào)的概率完全相同。2.2多符號(hào)離散平穩(wěn)信源第27頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(1)離散平穩(wěn)有記憶信源的數(shù)學(xué)模型③離散平穩(wěn)信源如果各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)，即對(duì)兩個(gè)不同的時(shí)刻i和j，有：

P(Xi)=P(Xj)P(XiXi+1)=P(XjXj+1)P(XiXi+1Xi+2)=P(XjXj+1Xj+2)

…P(XiXi+1…Xi+N)=P(XjXj+1…Xj+N)這種各維聯(lián)合概率均與時(shí)間起點(diǎn)無(wú)關(guān)的完全平穩(wěn)信源稱為離散平穩(wěn)信源。2.2多符號(hào)離散平穩(wěn)信源第28頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵②離散平穩(wěn)信源的信息熵2.2多符號(hào)離散平穩(wěn)信源第29頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵二維平穩(wěn)信源的數(shù)學(xué)模型最簡(jiǎn)單的離散平穩(wěn)信源：二維平穩(wěn)信源X

=X1X2；每?jī)蓚€(gè)符號(hào)看做一組，每組代表信源

X

=X1X2的一個(gè)消息；每組中的后一個(gè)符號(hào)和前一個(gè)符號(hào)有統(tǒng)計(jì)關(guān)聯(lián)，這種概率性的關(guān)系與時(shí)間起點(diǎn)無(wú)關(guān)；2.2多符號(hào)離散平穩(wěn)信源第30頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵二維平穩(wěn)信源的數(shù)學(xué)模型

假定符號(hào)序列的組與組之間是統(tǒng)計(jì)獨(dú)立的（這與實(shí)際情況不符，由此得到的信源熵僅僅是近似值。但是當(dāng)每組中符號(hào)的個(gè)數(shù)很多時(shí)，組與組之間關(guān)聯(lián)性比較強(qiáng)的只是前一組末尾的一些符號(hào)和后一組開頭的一些符號(hào)，隨著每組序列長(zhǎng)度的增加，這種差距越來(lái)越小）。2.2多符號(hào)離散平穩(wěn)信源第31頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵二維平穩(wěn)信源的數(shù)學(xué)模型

X的數(shù)學(xué)模型2.2多符號(hào)離散平穩(wěn)信源第32頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵二維平穩(wěn)信源的信息熵2.2多符號(hào)離散平穩(wěn)信源第33頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵二維平穩(wěn)信源的信息熵結(jié)論：兩個(gè)有相互依賴關(guān)系的隨機(jī)變量X1和X2所組成的隨機(jī)矢量X=X1X2的聯(lián)合熵H(X)，等于第一個(gè)隨機(jī)變量的熵H(X1)與第一個(gè)隨機(jī)變量X1已知的前提下，第二個(gè)隨機(jī)變量X2的條件熵H(X2/X1)之和。2.2多符號(hào)離散平穩(wěn)信源第34頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵

離散無(wú)記憶信源是離散平穩(wěn)信源的特例

當(dāng)隨機(jī)變量X1和X2相互統(tǒng)計(jì)獨(dú)立時(shí)，則：因此：2.2多符號(hào)離散平穩(wěn)信源第35頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵離散無(wú)記憶信源是離散平穩(wěn)信源的特例結(jié)論：

隨機(jī)變量X1和X2統(tǒng)計(jì)獨(dú)立時(shí)，二維離散平穩(wěn)無(wú)記憶信源X

=X1X2的熵H(X)等于X1的熵H(X1)和X2的熵H(X2)之和。當(dāng)X1和X2取值于同一集合時(shí)，H(X1)=H(X2)=H(X)，H(X)=H(X2)=2H(X)，與離散無(wú)記憶信源二次擴(kuò)展信源的情況相同。2.2多符號(hào)離散平穩(wěn)信源第36頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵離散無(wú)記憶信源是離散平穩(wěn)信源的特例結(jié)論：可以把離散無(wú)記憶信源的二次擴(kuò)展信源看成是二維離散平穩(wěn)信源的特例；反過(guò)來(lái)又可以把二維離散平穩(wěn)信源看成是離散無(wú)記憶信源的二次擴(kuò)展信源的推廣。2.2多符號(hào)離散平穩(wěn)信源第37頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵離散無(wú)記憶信源是離散平穩(wěn)信源的特例結(jié)論：

前面已證明H(X2/X1)≤H(X2)（極值性），所以：H(X2X1)≤H(X1)+H(X2)。即二維離散平穩(wěn)有記憶信源的熵小于等于二維平穩(wěn)無(wú)記憶信源的熵。原因：前后兩個(gè)符號(hào)互不相關(guān)，第一個(gè)符號(hào)發(fā)生與否對(duì)第二個(gè)符號(hào)不產(chǎn)生任何影響，即H(X2/X1)=H(X2)；X1和X2之間存在統(tǒng)計(jì)依賴關(guān)系，第一個(gè)符號(hào)的發(fā)生已經(jīng)提供了第二個(gè)符號(hào)的部分相關(guān)信息。2.2多符號(hào)離散平穩(wěn)信源第38頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵[例2.2.2]：設(shè)二維離散信源X=X1X2的原始信源X的信源模型為：X=X1X2中前后兩個(gè)符號(hào)的條件概率列于上表。原始信號(hào)X的熵：2.2多符號(hào)離散平穩(wěn)信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵[例2.2.2]：由上表的條件概率確定條件熵：條件熵H(X2/X1)比信源熵/無(wú)條件熵H(X)減少了0.672比特/符號(hào)，這是由于符號(hào)之間的依賴性造成的；第39頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源2.2多符號(hào)離散平穩(wěn)信源第40頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵①二維平穩(wěn)信源的信息熵[例2.2.2]：信源平均每發(fā)一個(gè)消息提供的信息量，即聯(lián)合熵：H(X1X2)=H(X1)+H(X2/X1)=1.542+0.870=2.412（比特/符號(hào)）每一個(gè)信源符號(hào)提供的平均信息量：H2(X)小于信源提供的平均信息量H(X)，這同樣是由于符號(hào)之間的統(tǒng)計(jì)相關(guān)性所引起。2.2多符號(hào)離散平穩(wěn)信源第41頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵②離散平穩(wěn)信源的信息熵將二維離散平穩(wěn)有記憶信源推廣到N維的情況：

H(X)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)[證明]：2.2多符號(hào)離散平穩(wěn)信源第42頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵②離散平穩(wěn)信源的信息熵[證明]：H(X)=H(X1X2…XN－1XN)令：Y1=X1X2…

XN－1Y2=X1X2…

XN－2

……

YN－2=X1X2

則：2.2多符號(hào)離散平穩(wěn)信源第43頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵②離散平穩(wěn)信源的信息熵[證明]：H(X)=H(X1X2…XN－1XN)H(X)=H(Y1XN

)=H(Y1)+H(XN

/Y1)=H(X1X2…

XN－1)+H(XN/X1X2…

XN－1)=H(Y2)+H(XN－1/Y2)+H(XN/X1X2…

XN－1)=H(X1X2…

XN－2)+H(XN－1/X1X2…

XN－2)+H(XN/X1X2…

XN－1)…………=H(YN－2)+H(X3/YN－2)+…+H(XN/X1X2…

XN－1)=H(X1X2)+H(X3/X1X2)+…+H(XN/X1X2…

XN－1)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…

XN－1)2.2多符號(hào)離散平穩(wěn)信源第44頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(2)離散平穩(wěn)有記憶信源的信息熵②離散平穩(wěn)信源的信息熵將二維離散平穩(wěn)有記憶信源推廣到N維的情況：

H(X)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN-1)[證明]：結(jié)論：多符號(hào)離散平穩(wěn)有記憶信源X

的熵H(X)是X

中起始時(shí)刻隨機(jī)變量X1的熵與各階條件熵之和。由于信源是平穩(wěn)的，這個(gè)和值與起始時(shí)刻無(wú)關(guān)。2.2多符號(hào)離散平穩(wěn)信源第45頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(3)離散平穩(wěn)有記憶信源的極限熵①條件熵的非遞增性②平均符號(hào)熵與條件熵的關(guān)系③極限熵

結(jié)論2.2擴(kuò)展信源2.2多符號(hào)離散平穩(wěn)信源第46頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(3)離散平穩(wěn)有記憶信源的極限熵①條件熵的非遞增性條件熵H(XN/X1X2…XN－1)

隨

N的增加是非遞增的，即：H(XN/X1X2…XN－1)≤

H(XN－1/X1X2…XN－2)2.2多符號(hào)離散平穩(wěn)信源第47頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(3)離散平穩(wěn)有記憶信源的極限熵①條件熵的非遞增性[證明]：根據(jù)前面已證明的

H(X2/X1)≤H(X2)

同理可證H(X3/X1X2)≤H(X3/X2)

由于信源是平穩(wěn)的，所以H(X3/X1X2)≤H(X3/X2)=H(X2/X1)H(X2/X1)≤H(X2)=H(X1)

對(duì)于平穩(wěn)信源遞推H(XN/X1X2…XN－1)≤H(XN－1/X1X2…XN－2)

≤H(XN－2

/X1X2…XN－3)

≤

…┇

≤H(X3/X1X2)

≤H(X2/X1)

≤H(X1)2.2多符號(hào)離散平穩(wěn)信源第48頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(3)離散平穩(wěn)有記憶信源的極限熵②平均符號(hào)熵與條件熵的關(guān)系H(X)（矢量熵）=H(X1X2…XN-1XN)（聯(lián)合熵）：表示平均發(fā)一個(gè)消息（由N個(gè)符號(hào)組成）提供的信息量。平均符號(hào)熵：信源平均每發(fā)一個(gè)符號(hào)提供的信息量為：2.2多符號(hào)離散平穩(wěn)信源第49頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(3)離散平穩(wěn)有記憶信源的極限熵②平均符號(hào)熵與條件熵的關(guān)系

N

給定時(shí)，平均符號(hào)熵≥條件熵，即：HN

(X)≥H(XN/X1X2…XN－1)2.2多符號(hào)離散平穩(wěn)信源第50頁(yè)2024/4/142.2.3離散平穩(wěn)有記憶信源(3)離散平穩(wěn)有記憶信源的極限熵②平均符號(hào)熵與條件熵的關(guān)系[證明]：根據(jù)離散平穩(wěn)信源的信源熵H(X)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XN/X1X2…XN－1)直接運(yùn)用①的結(jié)果：H(X)=NHN

(X)≥H(XN/X1X2…XN－1)＋…＋H(XN/X1X2…XN－1)