量子物理與信息技術(shù)

第2章信息的度量石志國(guó)北京科技大學(xué)電子信息系1幾個(gè)重要要的概念念:(1)自信息(量)；(2)互信息(量)；(3)平均自信信息(量)；(4)平均互信信息(量)；第2章信息息的度量量2.1自自信息息和互信信息2.2平平均自自信息2.3平平均互互信息2不確定性性、驚訝訝度與信信息量在事件發(fā)發(fā)生前有有不確定定性在事件發(fā)發(fā)生時(shí)有有驚訝度度在事件發(fā)發(fā)生后有有信息量量當(dāng)一個(gè)概概率很低低的隨機(jī)機(jī)事件發(fā)發(fā)生時(shí)，，會(huì)感到到非常驚驚訝，并并得到很很大的信信息量比如：9.11事件件，美國(guó)國(guó)紐約世世貿(mào)大廈廈被炸3自信息量量從信息源源獲取信信息的過(guò)過(guò)程就是是其不確確定性縮縮減的過(guò)過(guò)程隨機(jī)事件件包含的的信息與與其不確確定性緊緊密相關(guān)關(guān)在統(tǒng)計(jì)分分析中，，使用概概率作為為衡量不不確定性性的一種種指標(biāo)可以推論論出：隨隨機(jī)事件件包含信信息的度度量應(yīng)是是其概率率的函數(shù)數(shù)。42.1..1自信息隨機(jī)事件件的自信信息量是是該事件件發(fā)生概概率的函函數(shù)，且且滿足以以下公理化條條件：可以證明明，滿足足以上公公理化條條件的函函數(shù)形式式是對(duì)數(shù)形式式。5(1)取取對(duì)數(shù)的的底為2，單位位為比特特(bit)(2)取取自然對(duì)對(duì)數(shù)(底底為e))，單位位為奈特特(nat)..1nat==1..443bit.(3)以以10為為底，單單位為哈哈特萊((Hartley)..1Hartley==3..322bit.(4)以以r為底底，1r進(jìn)進(jìn)制單位位=log2rbit.自信息量量的單位位與所用用對(duì)數(shù)的的底有關(guān)關(guān)在現(xiàn)代數(shù)數(shù)字通信信系統(tǒng)中中，一般般采用二二進(jìn)制的的記數(shù)方方式。在在信息量量的計(jì)算算中也多多采用2為底的的方式，，一般默默認(rèn)為2為底：：自信息量量的單位位6對(duì)數(shù)以及及常用公公式7自信息的的性質(zhì)8例1.自信息題題目9聯(lián)合自信信息10條件自信信息11幾種自信信息之間間的關(guān)系系自信息量量、聯(lián)合合自信息息量、條條件自信信息量都都滿足非非負(fù)性和和單調(diào)遞遞減性三者都是是隨機(jī)變變量、其其值隨著著變量xi，yj的變化而而變化。。三者之間間有如下下關(guān)系式式：12例2.自信息例例題13二.互信息量量設(shè)有兩個(gè)個(gè)離散的的符號(hào)消消息集合合XY，，X表示信信源發(fā)出出的符號(hào)號(hào)消息集集合Y表示信信宿接收收的符號(hào)號(hào)消息集集合每個(gè)符號(hào)號(hào)消息相相當(dāng)于一一個(gè)隨機(jī)機(jī)事件信源發(fā)出出符號(hào)消消息通過(guò)過(guò)信道傳傳遞給信信宿14集合XY的概率空空間信源X的的概率空空間為：：這里p((xi)(i==1,,2,3等)是是集合X中各個(gè)個(gè)消息x1,x2,x3...的的概率分分布，又又稱為先先驗(yàn)概率率信源Y的的概率空空間為：：這里p((Yj)(j==1,,2,3等)是是集合Y中各個(gè)個(gè)消息Y1,Y2,Y3...的的概率分分布15收信者獲獲得的信信息量當(dāng)信宿接接到集合合Y中的的一個(gè)yj后，接收收者重新新估計(jì)關(guān)關(guān)于信源源的各個(gè)個(gè)消息xi發(fā)生的概概率就變變成條件件概率p(xi/yj)，這種種條件概概率又稱稱為后驗(yàn)驗(yàn)概率。。收信者收收到一個(gè)個(gè)消息后后，所獲獲得的信信息量等等于收到到消息前前后不確確定程度度的減少少量。不確定程程度減少少的原因因，是由由于收到到消息前前后概率率空間的的概率分分布改變變所致。。16不確定程程度的減減少量當(dāng)接收到到y(tǒng)j后，重新新估計(jì)xi的發(fā)生。。收信者者從不確確定到比比較確定定或完全全確定，，依賴于于所獲得得的信息息量，可可以直觀觀地將它它定義為為：I((信息量量)==不確確定程度度的減少少量那么當(dāng)接接收者收收到y(tǒng)j后，所獲獲得的信信息量為為：收信者所所獲得的的信息量量隨先驗(yàn)驗(yàn)概率的的增加而而減小，，隨后驗(yàn)驗(yàn)概率的的增加而而增加17信息量：：消除不不確定性性度量互信息量量等于自自信息量量減去條條件自信信息量：：18從通信系系統(tǒng)總體體觀察在通信前前，可以以認(rèn)為輸輸入隨機(jī)機(jī)變量X和輸出出隨機(jī)變變量Y之之間沒(méi)有有任何關(guān)關(guān)聯(lián)關(guān)系系，即X，Y統(tǒng)統(tǒng)計(jì)獨(dú)立立，根據(jù)據(jù)概率的的性質(zhì)：：通信以后后，輸入入隨機(jī)變變量X和和輸出隨隨機(jī)變量量Y之