平均互信息量和各種熵關(guān)系

第2章信源熵2.1單符號(hào)離散信源2.1.1單符號(hào)離散信源的數(shù)學(xué)模型2.1.2自信息和信源熵2.1.3信源熵的基本性質(zhì)和定理2.1.4加權(quán)熵的概念及基本性質(zhì)2.1.5平均互信息量一、平均互信息量定義二、平均互信息量物理意義二、平均互信息量性質(zhì)2.1.6各種熵之間的關(guān)系1離散集的平均互信息量不同概率空間集合之間的平均互信息量對(duì)于通信問題的探討十分重要。通信的目的是在接收端準(zhǔn)確地或以盡可能小的失真復(fù)現(xiàn)發(fā)送的消息。一般通信系統(tǒng)的輸入和輸出存在一定的概率關(guān)系。令X和Y分別表示一個(gè)通信系統(tǒng)的輸入事件集和輸出事件集。討論輸入X、輸出Y均為離散的情況。研究離散集X和Y的平均互信息量。這時(shí)輸入和輸出均可用離散概率空間描述。P(Y/X)XY2互信息量—信道中信息流通的測度？互信息量I(xi;yj)是定量研究信息流通問題的重要基礎(chǔ)。它只能定量地描述輸入隨機(jī)變量發(fā)出某個(gè)具體消息xi，輸出變量出現(xiàn)某一具體消息yj時(shí)，流經(jīng)信道的信息量。“輸入xi，輸出yj”是一個(gè)概率為p(xiyj)的隨機(jī)事件，相應(yīng)的I(xi;yj)也是隨xi和yj變化而變化的隨機(jī)量。互信息量I(xi;yj)不能從整體上作為信道中信息流通的測度。這種測度應(yīng)該是從整體的角度出發(fā)，在平均意義上度量每通過一個(gè)符號(hào)流經(jīng)信道的平均信息量。作為一個(gè)測度，它不能是隨機(jī)量，而是一個(gè)確定的量。3輸入X、輸出Y的離散概率空間描述4輸入X、輸出Y的聯(lián)合空間XY5平均條件互信息量定義：

在聯(lián)合集XY上，由提供的關(guān)于集X的平均條件互信息量等于由所提供的互信息量在整個(gè)X中以后驗(yàn)概率加權(quán)的平均值，其定義式為由于互信息是表示觀測到后獲得的關(guān)于事件的信息量，即故平均條件互信息量又可以表示為6定理定理：

聯(lián)合集XY上的平均條件互信息量有

等號(hào)成立當(dāng)且僅當(dāng)X集中的各個(gè)都與事件相互獨(dú)立。平均條件互信息量表示觀測到y(tǒng)j后獲得的關(guān)于集X的平均信息量。I(X;yj)仍然是一個(gè)隨機(jī)變量，隨yj的變化而變化，因此，不能作為信道中流通信息量的整體測度。7定理I(X;yj)≥0的證明8平均互信息量定義：平均互信息量I(X;Y)是平均條件互信息量I(X;yj)在整個(gè)集Y上的概率加權(quán)平均值。其定義式為定義：互信息量I(xi;yj)在聯(lián)合概率空間P(XY)中的統(tǒng)計(jì)平均值稱I(X;Y)是Y對(duì)X的平均互信息量，簡稱平均互信息，也稱平均交互信息量或交互熵。平均互信息I(X;Y)克服了互信息量I(xi;yj)的隨機(jī)性，成為一個(gè)確定的量，因此，可以作為信道中流通信息量的整體測度。9平均互信息量的其它定義平均互信息量I(X;Y)也可定義為10平均互信息的性質(zhì)

平均互信息量有以下基本性質(zhì)：1、互易性（對(duì)稱性）2、非負(fù)性3、極值性4、凸函數(shù)性5、數(shù)據(jù)處理定理平均互信息和各類熵的關(guān)系11平均互信息的性質(zhì)1、互易性（對(duì)稱性）I(X;Y)=I(Y;X)該性質(zhì)表示從集Y中獲得關(guān)于X的信息量等于從集X中獲得關(guān)于Y的信息量。當(dāng)集X和集Y統(tǒng)計(jì)獨(dú)立時(shí)，有I(X;Y)=I(Y;X)=0它意味著不能從一個(gè)集獲得關(guān)于另一個(gè)集的任何信息2、非負(fù)性I(X;Y)≥0當(dāng)且僅當(dāng)X與Y相互獨(dú)立時(shí)，等號(hào)成立。即如果X與Y相互獨(dú)立，它們之間相互不能提供任何信息。12性質(zhì)1：非負(fù)性I(X;Y)≥0的證明13性質(zhì)2：對(duì)稱性I(X;Y)=I(Y;X)的證明證明：按定義14平均互信息的性質(zhì)（續(xù)）3、極值性I(X;Y)≤H(X)；I(X;Y)≤H(Y)證明：因?yàn)镮(X;Y)=H(X)-H(X/Y)，條件熵H(X/Y)為非負(fù)，故兩個(gè)不等式成立。4、凸函數(shù)性平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函數(shù)；該性質(zhì)是研究信道容量的理論基礎(chǔ)平均互信息量I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)。該性質(zhì)是研究率失真函數(shù)的理論基礎(chǔ)15平均涉互信蔽息量I(滋X;添Y)的凸窮函數(shù)染性－盞例題0011qq1-q1-q二元對(duì)稱信道16求平準(zhǔn)均互抱信息I(版X;屆Y)－例斗題17離散慢無記辱憶信蠅源熵碼－例元題18第2章括信源奔熵2.揮1單符繪號(hào)離蚊散信咱源2.挽1.判1單符昏號(hào)離蕉散信直源的茄數(shù)學(xué)津模型2.禍1.雷2自信滅息和拿信源那熵2.橋1.六3信源準(zhǔn)熵的瞧基本符性質(zhì)西和定刻理2.為1.抵4加權(quán)革熵的勒概念數(shù)及基雹本性雅質(zhì)2.中1.福5平均遵互信唯息量2.司1.廚6各種英熵之姑間的譽(yù)關(guān)系19平均關(guān)互信噴息和墨各類身熵的爪關(guān)系平均術(shù)互信廢息和政各類巡壽熵的拍關(guān)系I(孤X;搬Y)按=H漲(X重)-智H(丘X/餡Y)I(顧X;誰Y)河=H揭(Y就)-飄H(猛Y/咱X)I(腥X;經(jīng)Y)渾=H頭(X鑒)+押H(蒜Y)勻-H余(X源Y)20幾個(gè)智關(guān)系罰式的證蜻明21維拉簡圖平均蜜互信搖息量I(限X;根Y)和各騾類熵踩的關(guān)顛系可挽用維襯拉圖龜表示塔。當(dāng)集X和Y統(tǒng)計(jì)播獨(dú)立冬時(shí)，I(雅X;盡Y)火=0，得湖到H(窄X,奇Y)ma霧x=H蛛(X撤)+殖H(豬Y)H(Y)H(X)H(X,Y)I(X;Y)H(X/Y)H(Y/X)22損失絨熵H(輛X/暑Y)條件爆熵H(植X/溝Y)表示醉在已煎知輸有出Y的條齡件下南輸入X的剩蕩余不汗確定碰性，拌即信岔道損退失。根據(jù)綿互信央息量I(南X;渴Y)與條朗件熵H(壤X/鏟Y)的關(guān)職系可蘭看出練，I(總X;刃Y)等于把輸入寫平均喂信息嶼量H(耀X)減去設(shè)信道蜻損失區(qū)，它鐵反映癢了信鉤道傳衡輸信攤息的慢能力值。最銅大平始均互咸信息凱量就民是信檔道容尾量。23小結(jié)為了瞎介紹貍兩個(gè)狂離散尖集之左間的跌平均頂互信吩息量智，首很先定它義了碑在一開個(gè)事憐件發(fā)喘生條姿件下但，給離出的尚另一暑個(gè)離煮散事達(dá)件集次的平均訊條件瞎互信重息量困。在平康均條瓣件互鈴信息先量的布基礎(chǔ)巡壽上，輕定義幸了一以個(gè)離準(zhǔn)散集感合