信息論與編碼[第二章離散信源及其信息測度]山東大學(xué)期末考試知識點復(fù)習(xí)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上第二章 離散信源及其信息測度211 信源的分類 信源是信息的來源，是產(chǎn)生消息或消息序列的源泉。 不同的信源輸出的消息其隨機性質(zhì)不同。根據(jù)消息所具有的隨機性質(zhì)的不同，對信源進行如下分類： 按照消息取值集合以及取值時刻集合的離散性和連續(xù)性，信源可分為離散信源(數(shù)字信源)和波形信源(模擬信源)； 按照某取值時刻消息的取值集合的離散性和連續(xù)性，信源可分為離散信源和連續(xù)信源； 按照信源輸出消息所對應(yīng)的隨機序列的平穩(wěn)性，信源可分為平穩(wěn)信源和非平穩(wěn)信源； 按照信源輸出的信息所對應(yīng)的隨機序列中隨機變量前后之間有無統(tǒng)計依賴關(guān)系，信源可分為無記憶信源和有記憶信源。212 基本信源的數(shù)學(xué)模

2、型 根據(jù)信源輸出消息所對應(yīng)的不同的隨機特性就有不同的信源數(shù)學(xué)模型。而基本的信源數(shù)學(xué)模型有以下幾種。 1離散信源 信源輸出的是單個符號或代碼的消息，信源符號集的取值是有限的，或可數(shù)的，可以用一維離散型隨機變量來描述。信源的數(shù)學(xué)模型就是離散型隨機變量x的概率空間，表示為 2連續(xù)信源 信源輸出的是單個符號或代碼的消息，但信源符號集的取值是連續(xù)的，可以用一維連續(xù)型隨機變量來描述。相應(yīng)的信源的數(shù)學(xué)模型就是連續(xù)型隨機變量的概率空間，表示為其中(a，b)是連續(xù)隨機變量X的取值區(qū)間，R表示全實數(shù)集，而p(x)是連續(xù)隨機變量X的概率密度函數(shù)。213 離散信源的信息熵 1自信息 自信息即為某事件ai發(fā)生所含有的信

3、息量。事件的自信息定義為式中P(ai)是事件ai發(fā)生的概率。自信息的單位有幾種：以2為底的對數(shù)時單位是比特(bit)；以e為底的自然對數(shù)時單位是奈特(nat)；以10為底的常用對數(shù)時單位是哈特(hart)。 2信息熵 離散隨機變量X的信息熵就是其概率空間中每個事件所含有的自信息量的數(shù)學(xué)期望，即 其單位是：以2為底的對數(shù)時是比特符號(bitsymbol)；以e為底的對數(shù)時是奈特符號(natsymbol)；以10為底的對數(shù)時是哈特符號(hartsymbol)。 3信息熵的物理含義 (1)信息熵H(X)表示了信源輸出前，信源的平均不確定性； (2)信息熵H(X)表示了信源輸出后，每個消息或符號所提供

4、的平均信息量； (3)信息熵H(X)反映了隨機變量X的隨機性。214 信息熵的基本性質(zhì) 2確定性 若信源符號集中，有一個符號幾乎必然出現(xiàn)，其他符號幾乎不可能出現(xiàn)，即該信源為一個確知信源，則信息熵等于零。 H(1，0)=H(1，0，0)=H(1，0，0，0)=0 3非負性 信息熵是非負的，即 H(X)0 4擴展性 若信源符號集中增加了若干符號，當這些符號出現(xiàn)的概率很小時，信源的熵不變。 5可加性 統(tǒng)計獨立的兩個信源X和Y，有 H(XY)=H(X)+H(Y) 6強可加性 任意兩個相互關(guān)聯(lián)的信源X和Y，其聯(lián)合熵等于信源X的熵加上在X已知條件下信源Y的熵，或等于信源Y的熵加上在Y已知條件下信源X的熵。

5、 H(XY)=H(X)+H(Y|X) 或 H(XY)=H(Y)+H(X|Y) 7遞增性 若原信源中某一個符號劃分成m個符號，這m個符號的概率之和等于原某一符號的概率，則由于符號個數(shù)增多而產(chǎn)生新的不確定性，新信源的熵增加了。8極值性(即最大離散熵定理)215 離散無記憶擴展信源的信息熵 1離散無記憶擴展信源的數(shù)學(xué)模型 若信源輸出的消息是取值離散的平穩(wěn)隨機序列，并且序列中各隨機變量之間彼此統(tǒng)計獨立則此信源稱為平穩(wěn)離散無記憶信源。離散無記憶信源的數(shù)學(xué)模型與基本離散信源的數(shù)學(xué)模型相同，也用X，P(x)概率空間來描述。 離散無記憶信源X的N次擴展信源記為XN，它的輸出消息由N個符號序列組成，并且前后符號

6、的出現(xiàn)是彼此無依賴的、統(tǒng)計獨立的。它的數(shù)學(xué)模型是X，P(x)的N重概率空間XN，P(i)。 2離散無記憶擴展信源的信息熵 信源XN的信息熵與信源X信息熵的關(guān)系為 H(XN)=NH(X)216 離散平穩(wěn)信源的信息熵 1離散平穩(wěn)信源的數(shù)學(xué)模型 若信源輸出的消息是取值離散的隨機序列，隨機序列的任意有限維的概率分布不隨時間平移而改變，則稱為離散平穩(wěn)信源。又根據(jù)隨機序列中各隨機變量有否依賴關(guān)系分有記憶信源和無記憶信源。 N維離散平穩(wěn)無記憶信源就是離散無記憶的擴展信源XN。 而N維離散平穩(wěn)有記憶信源X的數(shù)學(xué)模型為2離散平穩(wěn)信源的信息測度(1)聯(lián)合熵 (2)平均符號熵離散平穩(wěn)信源輸出N長的信源符號序列中平均

7、每個信源符號所攜帶的信息量稱為平均符號熵，記為HN(X)，則有 HN(X)=(1/N)H(X1X2XN) (3)條件熵 隨機序列X1X2的聯(lián)合符號集上的條件自信息量的數(shù)學(xué)期望為條件熵，記為H(X1|X2)，它表示已知前面一個符號(X1發(fā)出)時，信源將要輸出下一個符號(X2發(fā)出)的平均不確定性。則有217 馬爾可夫信源及其信息熵 1馬爾可夫信源的定義 馬爾可夫信源是一類有限長度記憶的非平穩(wěn)離散信源，信源輸出的消息是非平穩(wěn)的隨機序列，它們的各維概率分布可能會隨時間的平移而改變。若信源輸出的符號和信源所處的狀態(tài)滿足馬爾可夫鏈的條件： (1)某一時刻信源輸出的符號只與此刻信源所處的狀態(tài)有關(guān)，而與以前的

8、狀態(tài)和輸出的符號無關(guān)； (2)信源某l時刻所處的狀態(tài)只由當前輸出的符號和前一時刻信源的狀態(tài)唯一決定。則此信源稱為馬爾可夫信源。 若上述兩條件與時刻z無關(guān)，則具有時齊性(齊次性)，稱為時齊馬爾可夫信源。 2時齊遍歷馬爾可夫信源的信息熵 時齊遍歷馬爾可夫信源，若狀態(tài)的馬爾可夫鏈的極限概率存在，它的信息熵為 3m階馬爾可夫信源及其信息熵 該信源是常見的馬爾可夫信源。此信源任一時刻符號發(fā)生的概率只與前面m個符號有關(guān)，而與更前面的符號無關(guān)，即依賴長度為m+1。 注意： 4馬爾可夫信源信息熵的求解步驟 一般求解馬爾可夫信源信息熵分為三個步驟： (1)根據(jù)題意畫出狀態(tài)轉(zhuǎn)移圖，判斷是否為時齊遍歷馬爾可夫信源； (2)根據(jù)狀態(tài)轉(zhuǎn)移圖寫出一步轉(zhuǎn)移概率矩陣，計算信源的極限概率Q(Ei)； (3)根據(jù)一步轉(zhuǎn)移概率矩陣和極限概率Q(Ei)計算信源的信息熵。218 信源剩余度 根據(jù)最大離散熵定理，離散信源的符號為等概率分布時，信息熵有最大值，記為H0。對于離散信源有 HHm+1HmH2H1H0 為了衡量信源的相關(guān)性程度，引入信源剩余度的概念。 (1)熵的相對率 =H/H0 (2)信源剩余度 =1 - =1