第二章信源及其信息量李偉

第二章信源及其信息量李偉第一頁(yè)，共七十五頁(yè)，2022年，8月28日2.1

信源基本分類及其數(shù)學(xué)模型

在通信系統(tǒng)中，收信者在未收到信息以前，對(duì)信源發(fā)出什么樣的消息是不確定的，是隨機(jī)的，所以可以用隨機(jī)變量、隨機(jī)矢量或隨機(jī)過程來(lái)描述信源輸出的消息，或者說用一個(gè)樣本空間及其概率測(cè)度來(lái)描述信源。不同的信源根據(jù)其輸出消息的不同的隨機(jī)性質(zhì)進(jìn)行分類。第二頁(yè)，共七十五頁(yè)，2022年，8月28日1、離散信源數(shù)學(xué)模型如下：

集合X中，包含該信源包含的所有可能輸出的消息，集合P中包含對(duì)應(yīng)消息的概率密度，各個(gè)消息的輸出概率總和應(yīng)該為1。例：天氣預(yù)報(bào)無(wú)記憶信源

X的各時(shí)刻取值相互獨(dú)立。有記憶信源

X的各時(shí)刻取值互相有關(guān)聯(lián)。第三頁(yè)，共七十五頁(yè)，2022年，8月28日2、連續(xù)信源數(shù)學(xué)模型如下：

每次只輸出一個(gè)消息，但消息的可能數(shù)目是無(wú)窮多個(gè)。例：電壓、溫度等。第四頁(yè)，共七十五頁(yè)，2022年，8月28日2.2.1.自信息量2.2

離散信源及其信息量針對(duì)信源X某一單個(gè)消息或符號(hào)第五頁(yè)，共七十五頁(yè)，2022年，8月28日【例2.1】若盒中有6個(gè)電阻，阻值為1Ω、2Ω、3Ω的分別為2個(gè)、1個(gè)、3個(gè)，將從盒子中取出阻值為iΩ的電阻記為事件（i=1，2，3），則事件集X={x1,

x2,x3}，其概率分布計(jì)算出各事件的自信息量列表2-1如下：消息xi

x1

x2

x3

概率分布q(xi)

1/3

1/6

1/2

自信息量I(xi)

log3

log6

log2

第六頁(yè)，共七十五頁(yè)，2022年，8月28日自信息量I(ai)代表兩種含義：1.事件ai發(fā)生以前，表示事件發(fā)生的先驗(yàn)不確定性2.當(dāng)事件ai發(fā)生以后，表示事件ai所能提供的最大信息量（在無(wú)噪情況下）

第七頁(yè)，共七十五頁(yè)，2022年，8月28日二維聯(lián)合集XY上元素xi

yj的聯(lián)合自信息量I(xiyj)定義為：

條件自信息量在已知事件yj條件下,隨機(jī)事件xi發(fā)生的概率為條件概率p(xi︱yj),條件自信息量定義為：

聯(lián)合自信息量第八頁(yè)，共七十五頁(yè)，2022年，8月28日【例2.2】某住宅區(qū)共建有若干棟商品房，每棟有5個(gè)單元，每個(gè)單元住有12戶，甲要到該住宅區(qū)找他的朋友乙，若：

1.

甲只知道乙住在第5棟，他找到乙的概率有多大？他能得到多少信息？

2.

甲除知道乙住在第5棟外，還知道乙住在第3單元，他找到乙的概率又有多大？他能得到多少信息？用xi代表單元數(shù)，yj代表戶號(hào)：（1）甲找到乙這一事件是二維聯(lián)合集XY上的等概分布，這一事件提供給甲的信息量為

I(xiyj)=-log

p(xiyj)

=

log60=5.907（比特）

（2）在二維聯(lián)合集XY上的條件分布概率為，這一事件提供給甲的信息量為條件自信息量

I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

第九頁(yè)，共七十五頁(yè)，2022年，8月28日2.2.2離散集的平均自信息量

⑴平均自信息量(熵)

人們注意的是整個(gè)系統(tǒng)的統(tǒng)計(jì)特性，當(dāng)信源各個(gè)消息的出現(xiàn)概率相互統(tǒng)計(jì)獨(dú)立時(shí)，這種信源稱為無(wú)記憶信源，無(wú)記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值（統(tǒng)計(jì)平均值），即平均自信息量H(X)定義為：

H(X)的表達(dá)式與統(tǒng)計(jì)物理學(xué)中的熱熵具有相類似的形式，在概念上二者也有相同之處，故借用熵這個(gè)詞把H(X)稱為集合X的信息熵，簡(jiǎn)稱熵。

第十頁(yè)，共七十五頁(yè)，2022年，8月28日【例2.3】計(jì)算下列信源的熵（1）信源一：熵H(X1)=-0.99log0.99－

0.01log0.01=0.08（比特/符號(hào)）（2）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1（比特/符號(hào)）（3）信源三:等概信源熵H(X3)=-4×0.25log0.25=log4=2（比特/符號(hào)）第十一頁(yè)，共七十五頁(yè)，2022年，8月28日(5)

信源五：一般情況下，二元信源的概率分布為熵H(X)=–δlogδ-（1-δ）log（1-δ）記H2(δ)=–δlogδ-（1-δ）log（1-δ）H2(δ)與δ的關(guān)系如圖2-2所示。（4）信源四：信源為確定事件熵H(X4)=-0log0–1log1=0

計(jì)算結(jié)果說明確定事件的熵為零

H2(δ)

00.51δ圖2-2H2(δ)與δ關(guān)系第十二頁(yè)，共七十五頁(yè)，2022年，8月28日⑵．平均條件自信息量(條件熵)若事件xi,

yj的聯(lián)合分布概率為p(xi

yj)，給定yj條件下事件xi的條件自信息量為I(xi︱yj)，則H(X︱Y)定義為：第十三頁(yè)，共七十五頁(yè)，2022年，8月28日從通信角度來(lái)看：若將X={x1，x2，…，xi，…}視為信源輸出符號(hào)；

Y={y1，y2，…，yj，…}視為信宿接收符號(hào)；從通信角度來(lái)看，H(X︱Y)是收到確定消息yj后，由于信道干擾，關(guān)于發(fā)送的是否為xi仍具有的疑義度，故稱H(X︱Y)為疑義度（損失熵）。存在以下兩種極端情況：（1）對(duì)于無(wú)噪信道H(X︱Y)=0

（2）在強(qiáng)噪聲情況下，收到的Y與X毫不相干，可視為統(tǒng)計(jì)獨(dú)立，H(X︱Y)=H(X)

第十四頁(yè)，共七十五頁(yè)，2022年，8月28日（2）對(duì)于強(qiáng)噪信道，有H(Y︱X)=H(Y)。（1）

對(duì)于無(wú)擾信道，有H(Y︱X)=0。從通信角度來(lái)看，H(Y︱X)是發(fā)出確定消息xi后，由于信道干擾而使yj存在的平均不確定性，稱H(Y︱X)為噪聲熵（散布度）。存在以下兩種極端情況：第十五頁(yè)，共七十五頁(yè)，2022年，8月28日⑶．聯(lián)合熵聯(lián)合熵H(XY)是定義在二維空間XY上，對(duì)元素xiyj的自信息量的統(tǒng)計(jì)平均值，若記事件xi

yj出現(xiàn)的概率為p(xiyj)，其自信息量為I(xiyj)，則聯(lián)合熵H(X

Y)定義為

第十六頁(yè)，共七十五頁(yè)，2022年，8月28日⑷．熵函數(shù)的性質(zhì)

（1）對(duì)稱性集合X={x1，x2，…，xN}中的各元素x1，x2，…，xN任意改變其順序時(shí)，熵只和分布（概率）有關(guān)，不關(guān)心某個(gè)具體事件對(duì)應(yīng)哪個(gè)概率。例如和的熵是相等的。第十七頁(yè)，共七十五頁(yè)，2022年，8月28日

（2）非負(fù)性：H(X)0

（3）確定性：在集合X=(x1，x2，…，xN)中，若有一個(gè)事件是必然事件，則其余事件必為不可能事件，即該集合的概率分布為

（4）可加性：集合X={x1，x2，…，xi，xi+1，…，xN}的概率分布為：則下式成立：H(X)=H(x1，x2，…，xi，xi+1，…，xN)

第十八頁(yè)，共七十五頁(yè)，2022年，8月28日？思考題：若有6行8列的棋方格看，現(xiàn)有A,B兩個(gè)質(zhì)點(diǎn)分別以等概率落入方格內(nèi)，但兩質(zhì)點(diǎn)不能落入同一格內(nèi)，若A,B是可分辨的，求A,B同時(shí)落入的平均自信息量。第十九頁(yè)，共七十五頁(yè)，2022年，8月28日⑴.互信息量從通信的角度引出互信息量的概念信源符號(hào)X={x1，x2，…，xI}

，xi∈{a1,a2,…,ak}，i=1,2,…,I。經(jīng)過信道傳輸，信宿方接收到符號(hào)Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。簡(jiǎn)單的通信模型{b1,b2,…,bD}信源符號(hào)集{a1,a2,…,ak}信宿符號(hào)集干擾{x1，x2，…xI}{y1，y2，…yJ}信源

信道信宿2.2.3互信息量第二十頁(yè)，共七十五頁(yè)，2022年，8月28日事件xi是否發(fā)生具有不確定性，用I(xi)度量。接收到符號(hào)yj后，事件xi是否發(fā)生仍保留有一定的不確定性，用I(xi︱yj)度量。觀察事件前后，這兩者之差就是通信過程中所獲得的信息量，用I(xi;yj)表示：。注：式I(xi；yj)

和式I(xi，yj)的區(qū)別在于：前者是事件xi∈X和事件yj∈Y之間的互信息量，后者是二維空間XY

上元素xiyj的自信息量。稱上式為事件xi和事件yj之間的互信息量。第二十一頁(yè)，共七十五頁(yè)，2022年，8月28日定義xi∈X和yj∈

Y之間的互信息量為I(xi;yj)，在集合X上對(duì)I(xi;yj)進(jìn)行概率加權(quán)統(tǒng)計(jì)平均，可得I(X;yj)為：

⑵.平均互信息量

再將式對(duì)集合Y進(jìn)行統(tǒng)計(jì)平均，就可以得到平均互信息量

當(dāng)X,Y統(tǒng)計(jì)獨(dú)立時(shí)，I(xi;yj)=0，從而I(X;Y)=0

第二十二頁(yè)，共七十五頁(yè)，2022年，8月28日【例2.4作業(yè)】二元等概信源，通過信道轉(zhuǎn)移概率為的信道傳輸，信宿接收符號(hào)Y={y0,y1}，計(jì)算信源與信宿間的平均互信息量I（X；Y）。

（1）

先根據(jù)計(jì)算出

（2）

由計(jì)算后驗(yàn)概率第二十三頁(yè)，共七十五頁(yè)，2022年，8月28日

（3）計(jì)算各消息之間的互信息量I(xi;yj)

（比特）

（比特）（比特）

（比特）

第二十四頁(yè)，共七十五頁(yè)，2022年，8月28日（4）

計(jì)算平均互信息量

（比特）

第二十五頁(yè)，共七十五頁(yè)，2022年，8月28日2平均互信息量的性質(zhì)

(1)

非負(fù)性：

(2)

互易性： I(X;Y)=I(Y;X)

由的對(duì)稱性可得到。

(3)第二十六頁(yè)，共七十五頁(yè)，2022年，8月28日I(X;Y)=H（X）-H（X︱Y）I(X;Y)=H（Y）-H（Y︱X） I(X;Y)=H(X)+H(Y)-H(XY)

⑷平均互信息量與信源熵、條件熵的關(guān)系維拉圖它們之間的關(guān)系可以用維拉圖表示第二十七頁(yè)，共七十五頁(yè)，2022年，8月28日

設(shè)X為發(fā)送消息符號(hào)集，Y為接收符號(hào)集，H(X)是輸入集的平均不確定性,H（X︱Y）是觀察到Y(jié)后，集X還保留的不確定性，二者之差I(lǐng)(X;Y)就是在接收過程中得到的關(guān)于X,Y的平均互信息量。

對(duì)于無(wú)擾信道，I(X;Y)=H(X)。

對(duì)于強(qiáng)噪信道，I(X;Y)=0。從通信的角度來(lái)討論平均互信息量I(X;Y)的物理意義由第一等式I(X;Y)=H（X）-H（X︱Y）看I(X;Y)的物理意義第二十八頁(yè)，共七十五頁(yè)，2022年，8月28日

對(duì)于無(wú)擾信道，有I(X;Y)=H(X)=H(Y)。對(duì)于強(qiáng)噪信道，有H（Y︱X）=H（Y），從而I(X;Y)=0。H(Y)是觀察到Y(jié)所獲得的信息量，H（Y︱X）是發(fā)出確定消息X后，由于干擾而使Y存在的平均不確定性，二者之差I(lǐng)(X;Y)就是一次通信所獲得的信息量。由第二等式I(X;Y)=H（Y)-H（Y︱X）看I(X;Y)的物理意義第二十九頁(yè)，共七十五頁(yè)，2022年，8月28日通信前，隨機(jī)變量X和隨機(jī)變量Y可視為統(tǒng)計(jì)獨(dú)立，其先驗(yàn)不確定性為H(X)+H(Y)，通信后，整個(gè)系統(tǒng)的后驗(yàn)不確定性為H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信過程中不確定性減少的量，也就是通信過程中獲得的平均互信息量I(X;Y)。由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意義第三十頁(yè)，共七十五頁(yè)，2022年，8月28日【例2.5】已知信源消息集為X={0,1},接收符號(hào)集為Y={0,1}，通過有擾信道傳輸，其傳輸特性如圖所示，這是一個(gè)二進(jìn)制對(duì)稱信道BSC。已知先驗(yàn)概率,計(jì)算平均互信息量I(X;Y)及各種熵。

01-ε

0

11-ε1

二進(jìn)制對(duì)稱信道εε記q(x)為信源輸入概率；

ω(y)為信宿輸出概率；

p(y︱x)為信道轉(zhuǎn)移概率；

φ(x︱y)為后驗(yàn)概率。第三十一頁(yè)，共七十五頁(yè)，2022年，8月28日（1）由圖得，先算出p(xiyj)=

q(xi)p(yj︱xi)

（2）計(jì)算得：

第三十二頁(yè)，共七十五頁(yè)，2022年，8月28日

（3）

計(jì)算后驗(yàn)概率，得：

（4）計(jì)算各種熵及平均互信息量：信源熵

信宿熵

聯(lián)合熵

=-2×0.5(1-ε)log0.5(1-ε)-2×0.5εlog0.5ε

=log2-(1-ε)log(1-ε)-εlogε=log2+H

2(ε)式中：第三十三頁(yè)，共七十五頁(yè)，2022年，8月28日散布度

=-p(00)logp(0︱0)-p(01)logp(1︱0)-p(10)logp(0︱1)-p(11)logp(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)可疑度

=-p(00)logφ(0︱0)-p(01)logφ(0︱1)-p(10)logφ(1︱0)-p(11)logφ(1︱1)=-2×0.5(1-ε)log(1-ε)-2×0.5εlogε=H

2(ε)平均互信息量I(X;Y)=H(X)+H(Y)-H(XY)=log2+H

2(ε)

第三十四頁(yè)，共七十五頁(yè)，2022年，8月28日研究通信問題，主要研究的是信源和信道，它們的統(tǒng)計(jì)特性可以分別用消息先驗(yàn)概率p(x)及信道轉(zhuǎn)移概率p(y︱x)來(lái)描述，而平均互信息量I(X;Y)是經(jīng)過一次通信后信宿所獲得的信息。平均互信息量定義為：

上式說明I(X;Y)是信源分布概率q(x)和信道轉(zhuǎn)移概率p(y︱x)的函數(shù)，下面兩條定理闡明了I(X;Y)與q(x)和p(y︱x)之間的關(guān)系。⑸有關(guān)平均互信息量的兩條定理第三十五頁(yè)，共七十五頁(yè)，2022年，8月28日定理2.1

當(dāng)信道給定，即信道轉(zhuǎn)移概率p(y︱x)固定，平均互信息量I(X;Y)是信源概率分布q(x)的∩型凸函數(shù)。定理2.2

當(dāng)信源給定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道轉(zhuǎn)移概率p(y︱x)的∪型凸函數(shù)。

定理2.2說明，信源固定以后，用不同的信道來(lái)傳輸同一信源符號(hào)時(shí)，在信道輸出端獲得的信息量是不同的?？梢?，對(duì)每一種信源一定存在一種最差的信道，此信道的干擾最大，而使輸出端獲得的信息量最小。

定理2.1說明，信道固定時(shí)，對(duì)于不同的信源分布，信道輸出端獲得的信息量是不同的。因此，對(duì)于每一個(gè)固定信道，一定存在一種信源（一種分布）q(x)，使輸出端獲得的信息量最大。第三十六頁(yè)，共七十五頁(yè)，2022年，8月28日【例2.6】二進(jìn)制對(duì)稱信道BSC如圖所示，輸入符號(hào)集X={x1,x2}={0,1}，輸出符號(hào)集Y={y1,y2}={0,1}，信道轉(zhuǎn)移概率矩陣

信源分布為：計(jì)算平均互信息量I(X;Y)=H（Y）-H（Y︱X）

01-ε

0

11-ε1

二進(jìn)制對(duì)稱信道εε第三十七頁(yè)，共七十五頁(yè)，2022年，8月28日先由算出：ω(0)=q(0)p(0︱0)+q(1)p(0︱1)=δ(1-ε)+(1-δ)εω(1)==1-ω(0)

再計(jì)算熵和條件熵

=

H2[δ(1-ε)+(1-δ)ε]=-(1-ε)log(1-ε)-εlogε=H2(ε)第三十八頁(yè)，共七十五頁(yè)，2022年，8月28日則平均互信息量I(X;Y)=H（Y)-H（Y︱X）=

H2[δ(1-ε)+(1-δ)ε]-H2(ε)

當(dāng)信道固定，即

為恒值，則I(X;Y)是δ的∩函數(shù)，其曲線如下圖所示。當(dāng)δ=0.5時(shí),I(X;Y)取得極大值，其值為log2-H2(ε),這種情況對(duì)應(yīng)等概分布,信源的平均不確定性最大. 當(dāng)δ=0或1時(shí)，這是確定信源的情況，通信得不到任何信息，即I(X;Y)=0。

ε為恒值時(shí)的I(X;Y)曲線00.51δlog2-H2(ε)I(X;Y)第三十九頁(yè)，共七十五頁(yè)，2022年，8月28日2.2.4

離散信源序列熵信源輸出序列為Xk=(x1…

xi…

xL），xi∈{a0,a1,…,an-1}，記Xk=x1x2…

xL則信源熵為

下面分兩種情況來(lái)考慮：

①信源離散無(wú)記憶可計(jì)算出該信源的熵：

H(XL)=H(X1)+H(X2︱X1)+H(X3︱X1X2)+…+H(XL︱X1X2…XL

-1)第四十頁(yè)，共七十五頁(yè)，2022年，8月28日

②信源離散有記憶H(XL)=H(X1)+H(X2︱X1)+H(X3︱X1X2)+…+H(XL︱X1X2…XL-1)記為：

根據(jù)熵的關(guān)系，條件熵小于等于無(wú)條件熵，即有

熵的鏈規(guī)則第四十一頁(yè)，共七十五頁(yè)，2022年，8月28日

等號(hào)在信源無(wú)記憶（統(tǒng)計(jì)獨(dú)立）時(shí)成立。H(XL)≤LH(X)等號(hào)在信源無(wú)記憶時(shí)成立對(duì)于平穩(wěn)信源第四十二頁(yè)，共七十五頁(yè)，2022年，8月28日2.2.6馬爾可夫信源

在很多信源的輸出序列中，符號(hào)之間的依賴關(guān)系是有限的，任何時(shí)刻信源符號(hào)發(fā)生的概率只與前邊已經(jīng)發(fā)出的若干個(gè)符號(hào)有關(guān)，而與更前面的符號(hào)無(wú)關(guān)。為了描述這類信源除了信源符號(hào)集外還要引入狀態(tài)集。這時(shí)，信源輸出消息符號(hào)還與信源所處的狀態(tài)有關(guān)。若一個(gè)信源滿足下面兩個(gè)條件，則稱為馬爾可夫信源：（1）某一時(shí)刻信源輸出的符號(hào)的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無(wú)關(guān)；（2）信源的下一個(gè)狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出唯一確定。第四十三頁(yè)，共七十五頁(yè)，2022年，8月28日（1）某一時(shí)刻信源輸出的符號(hào)的概率只與當(dāng)前所處的狀態(tài)有關(guān)，而與以前的狀態(tài)無(wú)關(guān)。即當(dāng)符號(hào)輸出概率與時(shí)刻L無(wú)關(guān)，稱為具有時(shí)齊性。即第四十四頁(yè)，共七十五頁(yè)，2022年，8月28日（2）信源的下一個(gè)狀態(tài)由當(dāng)前狀態(tài)和下一刻的輸出唯一確定。

條件（2）表明，若信源處于某一狀態(tài)，當(dāng)它發(fā)出一個(gè)符號(hào)后，所處的狀態(tài)就變了，一定轉(zhuǎn)移到另一狀態(tài)。狀態(tài)的轉(zhuǎn)移依賴于發(fā)出的信源符號(hào)，因此任何時(shí)刻信源處在什么狀態(tài)完全由前一時(shí)刻的狀態(tài)和發(fā)出的符號(hào)決定。第四十五頁(yè)，共七十五頁(yè)，2022年，8月28日例：二階馬爾可夫信源，原始符號(hào)集為{1,0}，條件概率定為：P(0|00)=P(1|11)=0.8P(1|00)=P(0|11)=0.2P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5

由此可見，信源共有22=4種狀態(tài)

E：{e1=00,e2=01,e3=10,e4=11}第四十六頁(yè)，共七十五頁(yè)，2022年，8月28日狀態(tài)之間有轉(zhuǎn)移概率，p(e2/e1)=p(e3/e4)=0.2p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5P(e1/e1)=p(e4/e4)=0.801100:0.51:0.20:0.2000:0.8111:0.81:0.50:0.51:0.5其狀態(tài)轉(zhuǎn)移圖如圖。在狀態(tài)轉(zhuǎn)換圖中，把信源的每一種狀態(tài)用圓圈表示，用有向箭頭表示信源發(fā)出某一符號(hào)后由一種狀態(tài)到另一狀態(tài)的轉(zhuǎn)移。第四十七頁(yè)，共七十五頁(yè)，2022年，8月28日

由上例可知，m階馬爾可夫信源符號(hào)集共有q個(gè)符號(hào)，則信源共有個(gè)不同狀態(tài)。信源在某一時(shí)刻時(shí)，必然處于某一種狀態(tài)，等到下一個(gè)字符輸出時(shí)，轉(zhuǎn)移到另外一個(gè)狀態(tài)。第四十八頁(yè)，共七十五頁(yè)，2022年，8月28日舉例[例2.7]設(shè)信源符號(hào)

X∈{x1,x2,x3}

，信源所處的狀態(tài)S∈{e1,e2,e3,e4,e5}

。各狀態(tài)之間的轉(zhuǎn)移情況由圖2.2.1給出。第四十九頁(yè)，共七十五頁(yè)，2022年，8月28日將圖中信源在ei狀態(tài)下發(fā)符號(hào)xk的條件概率p(xk/ei)用矩陣表示由矩陣看出：由圖中可得狀態(tài)的一步轉(zhuǎn)移概率：該信源滿足馬爾可夫信源定義。第五十頁(yè)，共七十五頁(yè)，2022年，8月28日定義為各狀態(tài)的極限概率，則時(shí)齊、遍歷的馬爾可夫信源的熵為第五十一頁(yè)，共七十五頁(yè)，2022年，8月28日馬爾可夫信源的熵：這里給出結(jié)論：表明m階馬爾可夫信源的極限熵等于m階條件熵。根據(jù)求條件熵公式還可得到或：為穩(wěn)態(tài)概率，為信源處于某一狀態(tài)下發(fā)出一個(gè)消息符號(hào)的平均不確定性。第五十二頁(yè)，共七十五頁(yè)，2022年，8月28日(3)舉例[例2.8]

二元2階馬爾可夫信源，原始信號(hào)X的符號(hào)集為{X1=0,X2=1}，其狀態(tài)空間共有nm=22=4個(gè)不同的狀態(tài)e1,e2,e3,e4，即E：{e1=00,e2=01,e3=10,e4=11}狀態(tài)轉(zhuǎn)移圖見右圖所示。解：p(e1/e1)=p(x1/e1)=p(0/00)=0.8

p(e2/e1)=p(x2/e1)=p(1/00)=0.2p(e3/e2)=p(x1/e2)=p(0/01)=0.5p(e4/e2)=p(x2/e2)=p(1/01)=0.5p(e1/e3)=p(x1/e3)=p(0/10)=0.5p(e2/e3)=p(x2/e3)=p(1/10)=0.5p(e3/e4)=p(x1/e4)=p(0/11)=0.2p(e4/e4)=p(x2/e4)=p(1/11)=0.8第五十三頁(yè)，共七十五頁(yè)，2022年，8月28日由二元信源X∈{0,1}得到的狀態(tài)空間(e1,e2,e3,e4)和相應(yīng)的一步轉(zhuǎn)移概率構(gòu)成的2階馬爾可夫信源模型為求出穩(wěn)定狀態(tài)下的p(ej)

，稱為狀態(tài)極限概率。將一步轉(zhuǎn)移概率代入上式得p(e1)=0.8p(e1)+0.5p(e3)p(e2)=0.2p(e1)+0.5p(e3)p(e3)=0.5p(e2)+0.2p(e4)p(e4)=0.5p(e2)+0.8p(e4)第五十四頁(yè)，共七十五頁(yè)，2022年，8月28日解方程組得p(e1)=p(e4)=5/14p(e2)=p(e3)=2/14計(jì)算極限熵第五十五頁(yè)，共七十五頁(yè)，2022年，8月28日例：一個(gè)二元二階馬爾可夫信源，信源符號(hào)集A={0,1}。信源開始時(shí)，它以概率p(0)=p(1)=0.5發(fā)出隨機(jī)變量X1。然后，下一單位時(shí)間輸出的隨機(jī)變量X2與X1有依賴關(guān)系，由條件概率p(x2|x1)表示：

再下一單元時(shí)間輸出隨機(jī)變量X3，而X3依賴于前面變量。依賴關(guān)系由條件概率p(x3|x1x2)表示：x1x1x20100.30.410.70.6第五十六頁(yè)，共七十五頁(yè)，2022年，8月28日由從第四單位時(shí)間開始，任意時(shí)刻信源發(fā)出的隨機(jī)變量Xi只與前面二個(gè)單位時(shí)間的隨機(jī)變量有關(guān)，根據(jù)提議可得信源的狀態(tài)轉(zhuǎn)移圖：x1x2x1x2x1x2x1x2X30001101100.40.20.30.410.60.80.70.6第五十七頁(yè)，共七十五頁(yè)，2022年，8月28日000110110.40.80.30.60.20.70.60.4第五十八頁(yè)，共七十五頁(yè)，2022年，8月28日解得：

代入得

＝0.8956當(dāng)馬爾可夫信源達(dá)到穩(wěn)定后，符號(hào)0和1的分布概率可根據(jù)下式計(jì)算

因此得：

第五十九頁(yè)，共七十五頁(yè)，2022年，8月28日[概念]連續(xù)信源-——輸出在時(shí)間、取值上都連續(xù)，屬隨機(jī)過程｛x(t)｝，以概率密度描述2.3連續(xù)信源第六十頁(yè)，共七十五頁(yè)，2022年，8月28日2.3.1連續(xù)信源的熵[熵計(jì)算兩法][法一]連續(xù)消息→離散消息再用離散信源方法計(jì)算[法二]連續(xù)消息抽樣→時(shí)間離散的連續(xù)消息分析時(shí)先量化，再令△→0第六十一頁(yè)，共七十五頁(yè)，2022年，8月28日[分類]單變量信源——無(wú)記憶信源

(與單符號(hào)離散源相似)

隨機(jī)過程中取一個(gè)時(shí)間t1多變量信源——有記憶信源

(與多符號(hào)離散源相似)

隨機(jī)過程中取多個(gè)時(shí)間ti[說明]對(duì)單變量信源，可研究：數(shù)學(xué)期望、方差對(duì)兩變量信源，可研究：自相關(guān)函數(shù)第六十二頁(yè)，共七十五頁(yè)，2022年，8月28日一、單變量連續(xù)信源數(shù)學(xué)模型

(R——連續(xù)變量X的取值范圍)二、連續(xù)信源的熵由法二得：

(上式中第2項(xiàng)為∞)

即連續(xù)信源熵值無(wú)窮大(取值可能性無(wú)限多)舍第2項(xiàng)得定義(相對(duì)熵)第六十三頁(yè)，共七十五頁(yè)，2022年，8月28日[兩個(gè)連續(xù)變量]聯(lián)合熵條件熵第六十四頁(yè)，共七十五頁(yè)，2022年，8月28日2.3.2幾種特殊連續(xù)信源的熵和最大熵定理一、均勻分布信源：

Hc(X)=log2(b-a)[結(jié)論]①熵值只與均勻分布間隔(b-a)有關(guān)，②若b-a<1