壓縮理論極限與基本途徑2

第三章

理論極限與基本途徑

課前回顧1.自信息量的定義是什么？根據(jù)對數(shù)所用“底”不同，信息量單位也不同：

比特（bit）：r=2

奈特（Nat）：r=e(自然對數(shù)之底)

哈特（Hart）：r=10含義是隨機變量X

取值為時所攜帶信息的度量。2.信息熵的定義是什么？自信息量的概率平均。當強調(diào)各事件的概率分布、并構(gòu)成概率向量（m維）時，熵也習(xí)慣地寫成：課前回顧課前回顧3.如何計算對信源的平均碼長l？4.統(tǒng)計編碼的基礎(chǔ)是什么？只要信源不是等概率分布，就存在著數(shù)據(jù)壓縮的可能性課前回顧壓縮前每個信源符號(取樣)的編碼位數(shù)(logm)與壓縮后平均每符號的編碼位數(shù)（l）之比編碼效率:上界：※※5.如何理解壓縮比的上界和編碼效率?1離散無記憶信源2聯(lián)合信源

3隨機序列4率失真理論本章內(nèi)容3.2聯(lián)合信源多個信源構(gòu)成的聯(lián)合信源

音響設(shè)備有多個聲道；彩色電視信號可分解為紅、綠、藍（R,G,B）三種基色；遙感圖像包含多個波段；3.2.1聯(lián)合熵和條件熵設(shè)信源X

取值于：信源Y

取值于：對X和Y做笛卡兒乘積構(gòu)成聯(lián)合信源（X，Y）第一個對象是X的成員，而第二個對象是Y的所有可能的一個成員。例：假設(shè)集合X={a,b}，集合Y={0,1,2}，則兩個集合的笛卡爾積為{(a,0),(a,1),(a,2),(b,0),(b,1),(b,2)},即所有兩兩組合的情況。符號關(guān)系定義：聯(lián)合概率

邊緣概率條件概率(3.2.1a)(3.2.1b)(3.2.2a)(3.2.2b)聯(lián)合熵（JointEntropy）(3.2.3)——聯(lián)合信源（X,Y）的熵表示聯(lián)合概率分布所具有的信息量的概率平均；表示兩個事件集聯(lián)合發(fā)生時所能得到的總的平均信息量。條件自信息量——由條件概率定義(3.2.4a)(3.2.4b)

表示在發(fā)現(xiàn)信源Y取值為時,對猜測信源X是否取的不確定程度?；バ畔⒘俊孕畔⒘颗c條件自信息量之差(3.2.5)

表示所含的信息量（不確定度）；表示知道后還保留的信息量；代表信源符號為所提供的信息量。平均互信息量——互信息量的概率平均(3.2.6)條件熵(平均條件自信息量)(3.2.7a)(3.2.7b)平均互信息量表示信源X的平均不確定性與其在信源Y被確定條件下仍保留的平均不確定性之差。(3.2.8a)

表示了隨機變量Y

對X

所提供的平均信息量。

表示兩個事件集聯(lián)合發(fā)生時所能得到的總的平均信息量。與區(qū)別：(3.2.10)(3.2.8b)對稱性由于：平均互信息量具有:(3.2.8a)非負性(3.2.12)由于：(3.2.11 a)(3.2.11b)沒有冗余度的信源還能否被壓縮？習(xí)題：有人說：“黑白圖像