第2講——離散信源的數(shù)學(xué)模型及其信息測度(1)

1、輸 入輸 入消 息消 息碼 字碼 字輸 出輸 出消 息 先消 息 先驗 概 率驗 概 率消息后驗概率消息后驗概率收到收到0 收到收到01收到收到011x1x2x3x4x5x6x7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000Review設(shè)某系統(tǒng)的輸入空間為設(shè)某系統(tǒng)的輸入空間為X=x1, x2，分別以二元數(shù)字，分別以二元數(shù)字組組000和和111表示。若系統(tǒng)變換過程中的轉(zhuǎn)移概率為表示。若系統(tǒng)變換過程中的轉(zhuǎn)移概率為 p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1

2、)=p，則不難算出當(dāng)，則不難算出當(dāng)觀察到輸出數(shù)字為觀察到輸出數(shù)字為010的過程中輸入消息的過程中輸入消息x1和和x2的后的后驗概率變化，如表所示。驗概率變化，如表所示。輸入輸入消息消息碼字碼字(輸出輸出)消息消息先驗先驗概率概率消息后驗概率消息后驗概率收到收到0后后收到收到01后后收到收到010后后x1x20001111/21/2Review 1-p 1/2 1-p p 1/2 p信源信源信道信道信宿信宿噪聲源噪聲源編碼器編碼器譯碼器譯碼器消息消息干擾干擾信號干擾信號干擾消息消息數(shù)字通信系統(tǒng)模型數(shù)字通信系統(tǒng)模型可靠性、有效性、保密性和認證性可靠性、有效性、保密性和認證性Review信源的數(shù)學(xué)描

3、述信源的數(shù)學(xué)描述 通信系統(tǒng)中收信者在未收到消息以前對信通信系統(tǒng)中收信者在未收到消息以前對信源發(fā)出什么消息是不確定的源發(fā)出什么消息是不確定的,是隨機的，所是隨機的，所以可用以可用隨機變量、隨機序列或隨機過程隨機變量、隨機序列或隨機過程來來描述信源輸出的消息描述信源輸出的消息,或者說用一個樣本空或者說用一個樣本空間及其概率測度間及其概率測度概率空間概率空間來描述信源。來描述信源。 不同的信源輸出的消息的不同的信源輸出的消息的隨機性質(zhì)隨機性質(zhì)不同，可以根據(jù)消不同，可以根據(jù)消息的不同的隨機性質(zhì)來對信源進行分類：息的不同的隨機性質(zhì)來對信源進行分類： 按照某時刻信源輸出消息的取值集合的離散性和連續(xù)按照某時

4、刻信源輸出消息的取值集合的離散性和連續(xù)性性, 信源可分為信源可分為離散信源離散信源和和連續(xù)信源。連續(xù)信源。 按照信源輸出消息的所對應(yīng)的隨機序列中隨機變量前按照信源輸出消息的所對應(yīng)的隨機序列中隨機變量前后之間有無依賴關(guān)系后之間有無依賴關(guān)系, 信源可分為信源可分為無記憶信源無記憶信源和和有記憶有記憶信源信源。 按照信源輸出消息的所對應(yīng)的隨機序列的平穩(wěn)性按照信源輸出消息的所對應(yīng)的隨機序列的平穩(wěn)性, 信源信源可分為可分為平穩(wěn)信源平穩(wěn)信源和和非平穩(wěn)信源非平穩(wěn)信源。信源的分類信源的分類 離散信源離散信源)(,),(),(,)(2121qqaPaPaPaaaxPX1)(1)(0:1qiiiaPaP且滿足 連

5、續(xù)信源連續(xù)信源1)()(),()(badxxpxpbaxpX并滿足注：注：X代表隨機變代表隨機變量，指的是信源整量，指的是信源整體；體；ai代表隨機事代表隨機事件的某一結(jié)果或信件的某一結(jié)果或信源的某個元素。源的某個元素。注：注：這里的這里的p(x)代代表概率密度函數(shù)。表概率密度函數(shù)。簡單信源簡單信源離散信源在不同時刻發(fā)出的符號之間是無依賴的離散信源在不同時刻發(fā)出的符號之間是無依賴的彼此統(tǒng)計獨立的。彼此統(tǒng)計獨立的。)(,),(),(,)(qqPPPxPX2121其中，其中，qi,21且qiiP11)(離散無記憶信源離散無記憶信源NNkkkkNNNNqiqiNiiiNiiiiiiNiiiiqqiN

6、aPPaPaaaPPqiiiaaaPPPPX11112121211212121)()()()()(),()()(,),(),(,)(并滿足：其中 由離散無記憶信源輸出由離散無記憶信源輸出N長的隨機序列構(gòu)成的信源。長的隨機序列構(gòu)成的信源。離散無記憶信源離散無記憶信源N次擴展信源次擴展信源4/ 14/ 14/ 14/ 111100100PX擲兩枚硬幣擲兩枚硬幣擲一枚硬幣擲一枚硬幣011/2 1/2XP 有記憶信源有記憶信源：輸出的隨機序列輸出的隨機序列X中各隨機變量之間有依賴中各隨機變量之間有依賴關(guān)系，但記憶長度有限。關(guān)系，但記憶長度有限。其它幾種常見其它幾種常見信源信源TXrYrYr-1+ Yr

7、是一個是一個馬氏鏈馬氏鏈,Yr確定后確定后,Yr+1概率分布只與概率分布只與Yr有關(guān)有關(guān),與與Yr-1 、Yr-2 等無關(guān)等無關(guān)相對碼編碼器相對碼編碼器馬爾可夫馬爾可夫信源實例信源實例 有記憶信源有記憶信源：輸出的隨機序列輸出的隨機序列X中各隨機變量之間有中各隨機變量之間有依賴關(guān)系，但記憶長度有限。依賴關(guān)系，但記憶長度有限。 m階階馬爾可夫信源：信源每次發(fā)出的符號只與前馬爾可夫信源：信源每次發(fā)出的符號只與前m個個符號有關(guān)，與更前面的符號無關(guān)。符號有關(guān)，與更前面的符號無關(guān)。 隨機波形信源：信源輸出的消息在時間上和取值上都隨機波形信源：信源輸出的消息在時間上和取值上都是連續(xù)的。是連續(xù)的。其它幾種常

8、見其它幾種常見信源信源( ( )f p x信息量大小信息量大小信息定義信息定義應(yīng)該滿足以下應(yīng)該滿足以下3個條件個條件(1)0f( ( )f p x是單調(diào)減函數(shù)是單調(diào)減函數(shù)獨立可加性獨立可加性( ( ) ( )( ( )( ( )f p x p yf p xf p y1. 2. 3. 自信息自信息 條件自信息條件自信息 )(1log)(iixPxI1()log()ijijI x yp x y信息定義信息定義先驗概率先驗概率p(xi) 選擇符號選擇符號xi作為發(fā)送消息的概率作為發(fā)送消息的概率后驗概率后驗概率p(xi | yj) 接收端收到消息接收端收到消息yj后而發(fā)送端后而發(fā)送端 發(fā)的是發(fā)的是xi

9、 的概率的概率輸 入輸 入消 息消 息碼 字碼 字輸 出輸 出消 息 先消 息 先驗 概 率驗 概 率消息后驗概率消息后驗概率收到收到0 收到收到01收到收到011x1x2x3x4x5x6x7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000 設(shè)單符號離散設(shè)單符號離散信源信源的信源空間為的信源空間為)(,),(),(,)(2121nnxpxpxpxxxxPX1)(, 1)(0:1niiixpxp且滿足自信息量定義自信息量定義 如果知道事件如果知道事件xi已發(fā)生，則該事件所含

10、有的信息量稱已發(fā)生，則該事件所含有的信息量稱為為自信息，自信息，定義為定義為:)(log)(1log)(iiixpxpxI對數(shù)換底關(guān)系：aXXbbalogloglog自信息量定義自信息量定義 I (xi) 含義含義 當(dāng)事件當(dāng)事件xi發(fā)生以前發(fā)生以前,表示事件表示事件xi 發(fā)生的發(fā)生的不確定性不確定性 當(dāng)事件當(dāng)事件xi發(fā)生以后發(fā)生以后,表示事件表示事件xi所含有的所含有的信息量信息量 I (xi)單位單位 常用對數(shù)底是常用對數(shù)底是2,信息量的單位為比特信息量的單位為比特(bit)； 若取自然對數(shù)若取自然對數(shù),則信息量的單位為奈特則信息量的單位為奈特(nat); 1 natlog2e l.433

11、bit，aXXbablogloglog或或(1) I (xi)是非負值是非負值(2) 當(dāng)當(dāng)p(xi) = 1時，時，I(xi) = 0(3) 當(dāng)當(dāng)p(xi) = 0時，時，I(xi) = (4) I(xi)是先驗概率是先驗概率p(xi)的單調(diào)遞減函數(shù)，即的單調(diào)遞減函數(shù)，即 當(dāng)當(dāng)p(x1)p(x2)時，時，I (x1)I (x2)(5)兩個獨立事件的聯(lián)合信息量等于它們分別的信息兩個獨立事件的聯(lián)合信息量等于它們分別的信息量之和，即統(tǒng)計獨立信源的信息量等于它們分別的量之和，即統(tǒng)計獨立信源的信息量等于它們分別的信息量之和。信息量之和。自信息的性質(zhì)自信息的性質(zhì) 二進制碼元二進制碼元0,1,當(dāng)符號概率為當(dāng)

12、符號概率為p(0)=1/4, p(1)=3/4,則這兩個符號的自信息量為：則這兩個符號的自信息量為： I(0) =-log2 (1/4)=log24= 2bit I(1) =-log2 (3/4) =0.4151 bit 一個以等概率出現(xiàn)的二進制碼元一個以等概率出現(xiàn)的二進制碼元(0,1)所包含的所包含的自信息量為：自信息量為： 自信息量例題自信息量例題I(0)= I(1)= -log2 (1/2)=log22=1 bit考慮兩個隨機事件，其聯(lián)合概率空間為考慮兩個隨機事件，其聯(lián)合概率空間為 聯(lián)合自信息量聯(lián)合自信息量1)(, 1)(0)(,),(),(),(,)(11121111212111nim

13、jjijimnmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXY)(log)(jijiyxpyxI聯(lián)合自信息與條件自信息聯(lián)合自信息與條件自信息 在事件在事件yj出現(xiàn)的條件下，隨機事件出現(xiàn)的條件下，隨機事件xi發(fā)生的發(fā)生的 條件自信息量條件自信息量 )/(log)/(2jijiyxpyxI 條件自信息量條件自信息量 含義含義 聯(lián)合自信息量和條件自信息量聯(lián)合自信息量和條件自信息量性質(zhì)性質(zhì) 聯(lián)合自信息量和條件自信息量聯(lián)合自信息量和條件自信息量關(guān)系關(guān)系 當(dāng)當(dāng)X和和Y獨立時，獨立時，2222()log()log( ) (/)( )(/)log()log() (/)()(/

14、)ijijijiijiijjijjijI x yp x yp x p yxI xI yxp x yp yp xyI yI xy2222()log()log( ) ()log( )log()( )()ijijijijijI x yp x yp x p yp xp yI xI y 聯(lián)合自信息與條件自信息聯(lián)合自信息與條件自信息 ),(jiyxI)(ixI)(jyI)(ijxyI)(jiyxI 信源各個離散消息的信源各個離散消息的自信息量的數(shù)學(xué)期望自信息量的數(shù)學(xué)期望（即概率加權(quán)的（即概率加權(quán)的統(tǒng)計平均值）為信源的平均信息量，稱為信源的信息熵，統(tǒng)計平均值）為信源的平均信息量，稱為信源的信息熵，也叫信源熵

15、或香農(nóng)熵，簡稱熵。也叫信源熵或香農(nóng)熵，簡稱熵。 熵函數(shù)的自變量是熵函數(shù)的自變量是X表示信源整體，實質(zhì)上是離散無表示信源整體，實質(zhì)上是離散無記憶信源平均不確定度的度量。記憶信源平均不確定度的度量。與自信息不同與自信息不同,自信自信息表示某一消息所含有的信息量，它是一個隨機變量息表示某一消息所含有的信息量，它是一個隨機變量,不能用它來作為整個信源的信息測度。不能用它來作為整個信源的信息測度。 )(log)()(1log)()(212iniiiixpxpxpExIEXH信源熵定義信源熵定義 信源熵信源熵H(X)的兩種的兩種物理含義物理含義 信源輸出后，每個離散消息所提供的平均信息量；信源輸出后，每個

16、離散消息所提供的平均信息量； 信源輸出前，信源的平均不確定度；信源輸出前，信源的平均不確定度； （反映了隨機變量（反映了隨機變量X的隨機性）的隨機性）信源熵理解信源熵理解 例如有兩個信源，其概率空間分別為例如有兩個信源，其概率空間分別為: :01. 099. 0,)(21xxxpX5 . 05 . 0,)(21yyypYbitXH08. 001. 0log01. 099. 0log99. 0)(bitYH15 . 0log5 . 05 . 0log5 . 0)(因為因為H(Y) H(X) 所以信源所以信源Y比信源比信源X的平均不確定性要大。的平均不確定性要大。 信源熵理解信源熵理解 電視屏上約

17、有電視屏上約有 500 600= 3105個格點，按每格點個格點，按每格點有有10個不同的灰度等級考慮，則共能組成個不同的灰度等級考慮，則共能組成 個個不同的畫面。按等概率計算，平均每個畫面可提供不同的畫面。按等概率計算，平均每個畫面可提供的信息量為的信息量為 53 10221()( )log( )log 1/10niiiH Xp xp x = 9.97 105 bit510310信源熵例題信源熵例題 有一篇千字文章，假定每字可從萬字表中任選，則共有一篇千字文章，假定每字可從萬字表中任選，則共有不同的千字文有不同的千字文 N=100001000=104000 篇篇 仍按等概率仍按等概率1/10

18、0001000計算，平均每篇千字文可提供計算，平均每篇千字文可提供的的 信息量為信息量為 H(X) log2N 1.3 104 bit “一個電視畫面一個電視畫面”平均提供的信息量遠遠超過平均提供的信息量遠遠超過“一一篇千字文篇千字文”提供的信息量。提供的信息量。 信源熵例題信源熵例題 該信源該信源X輸出符號只有兩個輸出符號只有兩個,設(shè)為設(shè)為0和和1輸出符號發(fā)生輸出符號發(fā)生的概率分別為的概率分別為p和和q，pq=l，即信源的概率空間為，即信源的概率空間為 qpPX10 則二元信源熵為則二元信源熵為 H( (X) )= -plogp-qlogq = -plogp- (1- p)log(1-p)

19、= H(p) 信源熵例題信源熵例題0 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)H(p) = -plogp- (1- p)log(1-p)條件熵是在聯(lián)合符號集合條件熵是在聯(lián)合符號集合XY上的上的條件自信息量的數(shù)學(xué)期望條件自信息量的數(shù)學(xué)期望。在已知隨機變量在已知隨機變量Y的條件下，隨機變量的條件下，隨機變量X的條件熵定義為：的條件熵定義為：)/(log)()/()()/()/(1111jimjnijijimjnijijiyxpyxpyxIyxpyxIEYXH要用聯(lián)合概率加權(quán)條件熵是一個確定值，表示信宿在收到條件熵是一個確定值，表示信宿在收到Y(jié)后，信源后，信源X仍然存仍

20、然存在的不確定度。這是傳輸失真所造成的。在的不確定度。這是傳輸失真所造成的。)/(log)()/()/(211ijnimjjiijxypyxpxyIEXYH條件熵條件熵 聯(lián)合離散符號集合聯(lián)合離散符號集合XY上的每個元素對上的每個元素對 的的聯(lián)合聯(lián)合自信息量的數(shù)學(xué)期望自信息量的數(shù)學(xué)期望。)(log)()()()(jinimjjijinimjjiyxpyxpyxIyxpXYH21111)/(log)()/()()/(kjiijkkjikjiijkkjizyxpzyxpzyxIzyxpZXYH2)(jiyx聯(lián)合熵聯(lián)合熵)()()()()(YXHYHXYHXHXYHNnnnNNNUUUUHUUUUHU

21、UUHUUHUHUUUH112112121312121)()()()()()(熵、條件熵、聯(lián)合熵關(guān)系熵、條件熵、聯(lián)合熵關(guān)系 一個二進信源一個二進信源X發(fā)出符號集發(fā)出符號集0,1,經(jīng)過離散無記憶信道傳經(jīng)過離散無記憶信道傳輸輸,信道輸出用信道輸出用Y表示表示.由于信道中存在噪聲由于信道中存在噪聲,接收端除收接收端除收到到0和和1的符號外的符號外,還有不確定符號還有不確定符號“2” 已知已知X的先驗概率的先驗概率: p(x0)=2/3, p(x1)= 1/3, 符號轉(zhuǎn)移概率：符號轉(zhuǎn)移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，X

22、Y0101 23/41/21/21/4 信源熵信源熵H(X)bitHXH92. 031log3132log32)31,32()(例例 題題得聯(lián)合概率：得聯(lián)合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6)/()()/()()(jijijijiyxpypxypxpyxpbitxypyxpXYHijijji88. 021log6121log6141log61