信息論 信源與信息熵

信息論信源與信息熵第1頁，課件共22頁，創(chuàng)作于2023年2月22.1信源的描述和分類2.2離散信源熵和互信息2.3離散序列信源的熵2.4連續(xù)信源的熵和互信息2.5冗余度內(nèi)容第2頁，課件共22頁，創(chuàng)作于2023年2月32.3離散序列信源的熵第3頁，課件共22頁，創(chuàng)作于2023年2月4信源輸出的隨機(jī)序列為序列熵:信源中平均每個消息的不確定度第4頁，課件共22頁，創(chuàng)作于2023年2月5符號熵：平均每個符號的熵若當(dāng)信源退化為無記憶時:若進(jìn)一步又滿足平穩(wěn)性時第5頁，課件共22頁，創(chuàng)作于2023年2月6a0a1a2a09/112/110a11/83/41/8a202/97/9例已知離散有記憶信源中各符號的概率空間為:設(shè)發(fā)出的符號只與前一個符號有關(guān),這兩個符號的概率關(guān)聯(lián)性用條件概率p(aj|ai)表示,如表p(aj|ai)分析離散信源的熵和符號熵?第6頁，課件共22頁，創(chuàng)作于2023年2月由p(ai,aj)=p(ai)p(aj|ai)計算得聯(lián)合概率p(aiaj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36聯(lián)合熵H(X1,X2)表示平均每二個信源符號所攜帶的信息量。符號熵：平均每一個信源符號攜帶的信息量：

第7頁，課件共22頁，創(chuàng)作于2023年2月8單符號信源X的信息熵為H(X2|X1)＜H(X)信源的條件熵比無依賴時的熵H(X)減少了0.671比特,這正是因?yàn)榉栔g有依賴性所造成的結(jié)果。符號之間存在關(guān)聯(lián)性第8頁，課件共22頁，創(chuàng)作于2023年2月9離散平穩(wěn)信源對于離散平穩(wěn)信源,有下列結(jié)論：⑴條件熵H(XL|XL-1)隨L的增加是非遞增的條件較多的熵必小于或等于條件較少的熵，而條件熵必小于或等于無條件熵。第9頁，課件共22頁，創(chuàng)作于2023年2月10⑶HL(X)是L的單調(diào)非增函數(shù)

HL(X)≤HL-1(X)⑷H∞稱為平穩(wěn)信源的極限熵或極限信息量⑵L給定時,平均符號熵≥條件熵

H

L(X)≥H(XL|XL-1)證明：定義+結(jié)論1+結(jié)論2第10頁，課件共22頁，創(chuàng)作于2023年2月11（5）H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)對于有記憶信源，發(fā)出的符號序列中符號之間有依賴性，而且這種依賴性是無窮的，所以有記憶信源的信息熵只能用平均符號熵的極限值來表示。第11頁，課件共22頁，創(chuàng)作于2023年2月122.4連續(xù)信源的熵

和互信息

第12頁，課件共22頁，創(chuàng)作于2023年2月13單符號離散信源的數(shù)學(xué)模型—概率空間第13頁，課件共22頁，創(chuàng)作于2023年2月14連續(xù)信源的表達(dá)方式：（用概率分布密度函數(shù)pX(x)來表示）連續(xù)信源X的數(shù)學(xué)模型：連續(xù)信源數(shù)學(xué)模型第14頁，課件共22頁，創(chuàng)作于2023年2月15圖概率密度函數(shù)x落入第i個區(qū)間的概率：離散隨機(jī)變量X△連續(xù)信源熵第15頁，課件共22頁，創(chuàng)作于2023年2月16第一項具有離散信源熵的形式，是定值，第二項為無窮大。即不考慮第二項無窮大項，定義連續(xù)信源熵(也叫相對熵)為:第16頁，課件共22頁，創(chuàng)作于2023年2月17相對熵與離散熵相對熵與離散熵在形式上相似，概念上有區(qū)別：1、相對熵是離散熵的有限項，去掉了無窮大項，所以不能作為連續(xù)隨機(jī)變量不確定性的度量公式2、連續(xù)隨機(jī)變量取值于連續(xù)區(qū)間，有無窮多個取值點(diǎn)，每一點(diǎn)的概率均為0，自信息量無意義，不能把相對熵視作自信息量的統(tǒng)計平均。在離散情況下的自信息量、條件自信息量等在連續(xù)情況下都失去了物理意義。第17頁，課件共22頁，創(chuàng)作于2023年2月18例：求具有如下概率密度函數(shù)的隨機(jī)變量的相對熵。1、指數(shù)分布2、均勻分布3、高斯分布第18頁，課件共22頁，創(chuàng)作于2023年2月19連續(xù)信源聯(lián)合相對熵連續(xù)信源條件相對熵

Hc(XY)＝Hc(X)＋Hc(Y/X)＝Hc(Y)＋Hc(X/Y)互信息定義為：I(X;Y)＝I(Y;X)＝Hc(X)－Hc(X/Y)

＝Hc(X)＋Hc(Y)－Hc(XY)

＝Hc(Y)－Hc(Y/X)第19頁，課件共22頁，創(chuàng)作于2023年2月20冗余度冗余度(多余度、剩余度)表示信源在實(shí)際發(fā)出消息時所包含的多余信息。如果一個消息所包含的符號比表達(dá)這個消息所需要的符號多，這樣的消息就含有多余度。冗余度來源：信源符號間的相關(guān)性。相關(guān)程度越大,信源的實(shí)際熵越小信源符號分布的不均勻性。等概率分布時信源熵最大。第20頁，課件共22頁，創(chuàng)作于2023年2月21冗余度對于有記憶信源,極限熵為H∞(X)。即傳送這一信源的信息,理論上只需要傳送H∞(X)即可。而要計算H∞(X)必須掌握信源全部概率統(tǒng)計特性,這是不現(xiàn)實(shí)。實(shí)際上,傳遞Hm(X)信息量，與理論極限值相比,多傳送信息量Hm(X)－H∞(X)。為了定量地描述信源的有效性,定義:信息效率冗余度第21頁，課件共22頁，創(chuàng)作于2023年2月22冗余度由于信源存在冗余度,即存在一些不必要傳送的信息,因此信源也就存在進(jìn)一步壓縮其信息率的可能性。信源冗余度越大,其進(jìn)一步壓縮的潛力越大。這是信源編碼與數(shù)據(jù)壓縮的前提與理論基礎(chǔ)。例：英文字母：等概率H0=log27=4.76比特/符號不等概率H1=4.