liyang 信源及信源熵課件

信源及信源熵李揚(yáng)信源及信源熵李揚(yáng)1目錄信息論中的信源信源的描述和分類信源熵離散與連續(xù)信源熵熵的性質(zhì)目錄信息論中的信源2信息論中的信源信源是產(chǎn)生消息（符號(hào)）、消息序列和連續(xù)消息的來(lái)源。信源具有不確定性和隨機(jī)性，任何已知的消息無(wú)信息可言。不確定的符號(hào)有統(tǒng)計(jì)規(guī)律性，可以用隨機(jī)變量、隨機(jī)矢量、隨機(jī)過(guò)程來(lái)描述、研究。信息論中的信源信源是產(chǎn)生消息（符號(hào)）、消息序列和連續(xù)消息的來(lái)3信源的描述和分類信源的分類有多種方式消息在時(shí)間上和幅度上分布情況離散信源（時(shí)間、幅度都離散）連續(xù)信源（時(shí)間或是幅度上連續(xù)）例子離散文字?jǐn)?shù)字?jǐn)?shù)據(jù)連續(xù)語(yǔ)音圖像等信源的描述和分類信源的分類有多種方式4信源的描述和分類按照信源發(fā)出的信號(hào)間關(guān)系無(wú)記憶信源：發(fā)出單個(gè)符號(hào)的無(wú)記憶信源

發(fā)出符號(hào)序列的無(wú)記憶信源有記憶信源：發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的有記憶信源

信源的描述和分類按照信源發(fā)出的信號(hào)間關(guān)系5信源的描述和分類例子無(wú)記憶，有放回的摸球、擲骰子，二進(jìn)制兩次取球的結(jié)果是無(wú)關(guān)的獨(dú)立的，無(wú)統(tǒng)計(jì)關(guān)聯(lián)性，出現(xiàn)的概率是先驗(yàn)概率；有記憶，無(wú)放回的取球兩次取球的結(jié)果有關(guān)聯(lián)；信源的描述和分類例子6獨(dú)立同分布信源在離散無(wú)記憶信源中，信源輸出的每個(gè)符號(hào)是統(tǒng)計(jì)獨(dú)立的，且具有相同的概率空間，即有p1(X1)=p(X1)=p(Xi),則該信源是離散平穩(wěn)無(wú)記憶信源，亦稱為獨(dú)立同分布(independentlyidenticaldistribution，i.i.d.)信源。馬爾科夫信源當(dāng)信源的記憶長(zhǎng)度為m+1時(shí)，該時(shí)刻發(fā)出的符號(hào)與前m個(gè)符號(hào)有關(guān)聯(lián)性，而與更前面的符號(hào)無(wú)關(guān)。

獨(dú)立同分布信源7通過(guò)概率空間描述信源

單符號(hào)信源：是最簡(jiǎn)單也是最基本的信源，是組成實(shí)際信源的基本單元。信源每次輸出一個(gè)符號(hào)，通常用離散隨機(jī)變量和其概率分布來(lái)表示。

通過(guò)概率空間描述信源單符號(hào)信源：是最簡(jiǎn)單也是最基本的信源8

多符號(hào)信源：信源每次發(fā)出一個(gè)符號(hào)序列，用隨機(jī)矢量來(lái)表示。多符號(hào)信源：信源每次發(fā)出一個(gè)符號(hào)序列，用隨機(jī)矢量來(lái)表示9連續(xù)信源概率密度函數(shù)

顯然應(yīng)滿足

連續(xù)信源10馬爾科夫信源

若信源在某一時(shí)刻發(fā)出的符號(hào)概率除與該符號(hào)有關(guān)外，還與此前的符號(hào)有關(guān)，則此類信源為有記憶信源。如果與前面無(wú)限個(gè)符號(hào)有關(guān)，為無(wú)限記憶信源；如果僅與前面有限個(gè)符號(hào)有關(guān)，為有限記憶信源。

有記憶信源序列的聯(lián)合概率與條件概率有關(guān)沒(méi)寫(xiě)完馬氏鏈？？？？？馬爾科夫信源11信源的概率空間可以表示為

但在何時(shí)發(fā)出哪種符號(hào)，是不確定的。

定義概率為p(x)的符號(hào)自信息量為

自信息量的單位與所用對(duì)數(shù)的底有關(guān)：對(duì)數(shù)底為2時(shí)，單位是比特（bit）對(duì)數(shù)底是自然數(shù)e時(shí)，單位是奈特(nat)對(duì)數(shù)底是10時(shí)，單位是笛特(det)自信息量三個(gè)單位間的轉(zhuǎn)換關(guān)系為1nat=1.433bit1det=3.322bit信源的概率空間可以表示為自信息量三個(gè)單位間的轉(zhuǎn)換關(guān)系為12例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概13定義：聯(lián)合概率空間中任一聯(lián)合事件的聯(lián)合（自）信息量為：定義：聯(lián)合概率空間中，事件x在事件y給定條件下的條件（自）信息量為：liyang信源及信源熵課件14聯(lián)合自信息、條件自信息與自信息間的關(guān)系

聯(lián)合自信息、條件自信息與自信息間的關(guān)系15自信息量表征各個(gè)符號(hào)的不確定度，信源總是包含著多個(gè)符號(hào)，各符號(hào)的自信息量不同，自信息量不能作為總體的信息度量。為了表征出信源的總體特征，我們引入了平均自信息量，即平均每個(gè)符號(hào)的所能提供的信息量，也是信源中各個(gè)符號(hào)自信息量的數(shù)學(xué)期望，稱為信源熵。表達(dá)式為單位為bit/符號(hào)例子自信息量表征各個(gè)符號(hào)的不確定度，信源總是包含著多個(gè)16條件熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x/y)在集合X上的數(shù)學(xué)期望為給定y條件下信源的條件熵

聯(lián)合熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵條件熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I17

聯(lián)合熵、條件熵與熵的關(guān)系聯(lián)合熵、條件熵與熵的關(guān)系18連續(xù)信源單個(gè)符號(hào)信源熵討論連續(xù)時(shí)我們往往用離散來(lái)逼近連續(xù)，有公式連續(xù)信源單個(gè)符號(hào)信源熵19波形信源的熵波形信源的熵20信源熵的性質(zhì)信源熵的性質(zhì)21liyang信源及信源熵課件227、擴(kuò)展性8、可加性

9、遞增性這條性質(zhì)表明，若原信源X中有一元素劃分成m個(gè)元素（符號(hào)），而這m個(gè)元素的概率之和等于原元素的概率，則新信源的熵增加。7、擴(kuò)展性23離散有記憶信源熵，只討論有價(jià)值的某些特殊情況對(duì)于只有兩個(gè)符號(hào)組成的聯(lián)合信源1)H（XY）＝H（X）＋H（Y／X）2)H（XY）＝H（Y）＋H（X／Y）離散有記憶信源熵，只討論有價(jià)值的某些特殊情況24謝謝！謝謝！25信源及信源熵李揚(yáng)信源及信源熵李揚(yáng)26目錄信息論中的信源信源的描述和分類信源熵離散與連續(xù)信源熵熵的性質(zhì)目錄信息論中的信源27信息論中的信源信源是產(chǎn)生消息（符號(hào)）、消息序列和連續(xù)消息的來(lái)源。信源具有不確定性和隨機(jī)性，任何已知的消息無(wú)信息可言。不確定的符號(hào)有統(tǒng)計(jì)規(guī)律性，可以用隨機(jī)變量、隨機(jī)矢量、隨機(jī)過(guò)程來(lái)描述、研究。信息論中的信源信源是產(chǎn)生消息（符號(hào)）、消息序列和連續(xù)消息的來(lái)28信源的描述和分類信源的分類有多種方式消息在時(shí)間上和幅度上分布情況離散信源（時(shí)間、幅度都離散）連續(xù)信源（時(shí)間或是幅度上連續(xù)）例子離散文字?jǐn)?shù)字?jǐn)?shù)據(jù)連續(xù)語(yǔ)音圖像等信源的描述和分類信源的分類有多種方式29信源的描述和分類按照信源發(fā)出的信號(hào)間關(guān)系無(wú)記憶信源：發(fā)出單個(gè)符號(hào)的無(wú)記憶信源

發(fā)出符號(hào)序列的無(wú)記憶信源有記憶信源：發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的有記憶信源

信源的描述和分類按照信源發(fā)出的信號(hào)間關(guān)系30信源的描述和分類例子無(wú)記憶，有放回的摸球、擲骰子，二進(jìn)制兩次取球的結(jié)果是無(wú)關(guān)的獨(dú)立的，無(wú)統(tǒng)計(jì)關(guān)聯(lián)性，出現(xiàn)的概率是先驗(yàn)概率；有記憶，無(wú)放回的取球兩次取球的結(jié)果有關(guān)聯(lián)；信源的描述和分類例子31獨(dú)立同分布信源在離散無(wú)記憶信源中，信源輸出的每個(gè)符號(hào)是統(tǒng)計(jì)獨(dú)立的，且具有相同的概率空間，即有p1(X1)=p(X1)=p(Xi),則該信源是離散平穩(wěn)無(wú)記憶信源，亦稱為獨(dú)立同分布(independentlyidenticaldistribution，i.i.d.)信源。馬爾科夫信源當(dāng)信源的記憶長(zhǎng)度為m+1時(shí)，該時(shí)刻發(fā)出的符號(hào)與前m個(gè)符號(hào)有關(guān)聯(lián)性，而與更前面的符號(hào)無(wú)關(guān)。

獨(dú)立同分布信源32通過(guò)概率空間描述信源

單符號(hào)信源：是最簡(jiǎn)單也是最基本的信源，是組成實(shí)際信源的基本單元。信源每次輸出一個(gè)符號(hào)，通常用離散隨機(jī)變量和其概率分布來(lái)表示。

通過(guò)概率空間描述信源單符號(hào)信源：是最簡(jiǎn)單也是最基本的信源33

多符號(hào)信源：信源每次發(fā)出一個(gè)符號(hào)序列，用隨機(jī)矢量來(lái)表示。多符號(hào)信源：信源每次發(fā)出一個(gè)符號(hào)序列，用隨機(jī)矢量來(lái)表示34連續(xù)信源概率密度函數(shù)

顯然應(yīng)滿足

連續(xù)信源35馬爾科夫信源

若信源在某一時(shí)刻發(fā)出的符號(hào)概率除與該符號(hào)有關(guān)外，還與此前的符號(hào)有關(guān)，則此類信源為有記憶信源。如果與前面無(wú)限個(gè)符號(hào)有關(guān)，為無(wú)限記憶信源；如果僅與前面有限個(gè)符號(hào)有關(guān)，為有限記憶信源。

有記憶信源序列的聯(lián)合概率與條件概率有關(guān)沒(méi)寫(xiě)完馬氏鏈？？？？？馬爾科夫信源36信源的概率空間可以表示為

但在何時(shí)發(fā)出哪種符號(hào)，是不確定的。

定義概率為p(x)的符號(hào)自信息量為

自信息量的單位與所用對(duì)數(shù)的底有關(guān)：對(duì)數(shù)底為2時(shí)，單位是比特（bit）對(duì)數(shù)底是自然數(shù)e時(shí)，單位是奈特(nat)對(duì)數(shù)底是10時(shí)，單位是笛特(det)自信息量三個(gè)單位間的轉(zhuǎn)換關(guān)系為1nat=1.433bit1det=3.322bit信源的概率空間可以表示為自信息量三個(gè)單位間的轉(zhuǎn)換關(guān)系為37例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概率為0.023，“o”出現(xiàn)的概率為0.001。分別計(jì)算它們的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit例：英文字母中“e”出現(xiàn)的概率為0.105，“c”出現(xiàn)的概38定義：聯(lián)合概率空間中任一聯(lián)合事件的聯(lián)合（自）信息量為：定義：聯(lián)合概率空間中，事件x在事件y給定條件下的條件（自）信息量為：liyang信源及信源熵課件39聯(lián)合自信息、條件自信息與自信息間的關(guān)系

聯(lián)合自信息、條件自信息與自信息間的關(guān)系40自信息量表征各個(gè)符號(hào)的不確定度，信源總是包含著多個(gè)符號(hào)，各符號(hào)的自信息量不同，自信息量不能作為總體的信息度量。為了表征出信源的總體特征，我們引入了平均自信息量，即平均每個(gè)符號(hào)的所能提供的信息量，也是信源中各個(gè)符號(hào)自信息量的數(shù)學(xué)期望，稱為信源熵。表達(dá)式為單位為bit/符號(hào)例子自信息量表征各個(gè)符號(hào)的不確定度，信源總是包含著多個(gè)41條件熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x/y)在集合X上的數(shù)學(xué)期望為給定y條件下信源的條件熵

聯(lián)合熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I（x，y)的數(shù)學(xué)期望為集合X和集合Y的信源聯(lián)合熵條件熵定義：對(duì)于給定離散概率空間表示的信源所定義的隨機(jī)變量I42

聯(lián)合熵、條件熵與熵的關(guān)系聯(lián)合熵、條件熵與熵的關(guān)系43連續(xù)信源單個(gè)符號(hào)信源熵討論連續(xù)時(shí)我們往往用離散來(lái)逼近連續(xù)，有公式連續(xù)信源單個(gè)符號(hào)信源熵44波形信源的熵波形信源的熵