信息率失真理論及其應用

信息率失真理論及其應用1第一頁，共二十五頁，2022年，8月28日選擇失真函數為

d(好，好)=0d(廢，廢)=0

d(好，廢)=100d(廢，好)=10000將產品檢驗分成4種情況：全部產品都當合格品，全部產品都當廢品，完美的檢驗和允許出錯的檢驗。情況1全部產品不經檢驗而出廠——都當合格品把這一過程看作是一個“信道”，其“傳遞概率”為

P(好/好)=1 P(廢/好)=0 P(好/廢)=1 P(廢/廢)=0

信道矩陣為信息率失真函數與信息價值2第二頁，共二十五頁，2022年，8月28日這種情況的平均損失，即平均失真度，為

=P(好)P(好/好)d(好,好)+P(好)P(廢/好)d(好,廢)+P(廢)P(好/廢話)d(廢,好)+P(廢)P(廢/廢)d(廢,廢)=0.02110000=200元/塊即這種情況每銷售出去一塊PCB板，加工廠將要另外承擔可能損失200元的風險。考慮到每塊銷售100元，實際上是每賣出一塊可能要實際凈損失100元。情況2全部產品不經檢驗全部報廢——都當廢品信道傳輸概率為P(好/好)=0 P(廢/好)=1P(好/廢)=0P(廢/廢)=1

信道矩陣為信息率失真函數與信息價值3第三頁，共二十五頁，2022年，8月28日平均失真度為

=P(好)P(好/好)d(好,好)+P(好)P(廢/好)d(好,廢)+P(廢)P(好/廢)d(廢,好)+P(廢)P(廢/廢)d(廢,廢)=0.981100=98元/塊即每生產一塊PCB板，加工廠將有損失98元的風險。因為把98％本來可以賣100元一塊的板子也報廢了。比較情況1、2可知，做出全部報廢決定造成的損失，要小于做出全部出廠決定所造成的損失。不做任何檢驗，在全部出廠和全部報廢兩者之間抉擇，選擇后者的損失反而小。因此，有；產品未進行質量管理，相當于信源沒有輸出任何信息量。信息率失真函數與信息價值4第四頁，共二十五頁，2022年，8月28日情況3正確無誤地判斷合格品和廢品——完美的檢驗相當于無噪信道情況，信道矩陣平均失真度為即這種情況不會另外造成損失。下面探討每一比特信息量的價值。為此先求該信源的熵，有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142比特/塊該式說明，如果從每塊PCB板上獲取0.142比特的信息量，就可以避免一切細小的損失?？赡茉斐傻淖畲髶p失為98元/塊，所以0.142比特信息量的最大價值為98元，則每一比特信息的最大價值為信息率失真函數與信息價值5第五頁，共二十五頁，2022年，8月28日情況4

檢測時允許有一定的錯誤——非完美的檢驗依題意檢驗的正確率約為95%，則信道的傳輸概率為

P(好/好)=0.95P(廢/好)=0.05P(好/廢)=0.05 P(廢/廢)=0.95信道矩陣為平均失真度

=P(好)P(廢/好)d(好,廢)+P(廢)P(好/廢)d(廢,好)=0.980.05100+0.020.0510000=14.9元/塊即這種情況每銷售出去一塊PCB板，加工廠將要另外承擔可能損失14.9元的風險?？紤]到每塊銷售100元，實際上是每賣出一塊實際收益至少是85.1元。信息率失真函數與信息價值6第六頁，共二十五頁，2022年，8月28日從可能帶來的另外損失角度考慮，這種情況和最大損失（98元）相比，其減少量為98–14.9=83.1(元)減少的原因是由于從檢驗的過程中獲取了信息量，如前所述，檢驗的過程好比“信道”，獲取的信息量也就是平均互信息量I(X;Y)，可用I(X;Y)=H(X)–H(Y|X)求得?，F在來求H(Y/X)，為此先求H(Y)。設出廠產品為信宿Y，則有

PY(好)=P(好)P(好/好)+P(廢)P(好/廢)

=0.980.95+0.020.05=0.932PY(廢)=0.068則信宿熵為

H(Y)=H[0.932,0.068]=0.358比特/每一出廠產品信息率失真函數與信息價值7第七頁，共二十五頁，2022年，8月28日每生產一個產品，對應于是廢品還是合格品的平均不確定度為

=0.287比特/每一出廠產品

I(X;Y)=0.358–0.287=0.071比特/每一出廠產品通過允許有錯的檢驗，平均而言從對每塊PCB板的檢驗中只獲取了0.071比特的信息量，但是其損失比不檢驗時減少了83.1元，也就是說0.071比特信息量價值為83.1元，故每比特價值為

而情況3每比特信息量的價值為690.14元。比較而言，第4種情況的信息價格最高，是最合算的檢驗準則。信息率失真函數與信息價值8第八頁，共二十五頁，2022年，8月28日把上述概念一般化，有：（1）信息率R的價值在保真度準則下，信息速率R是設計時允許失真D的函數，R(D)與D的一般關系如圖8.8所示。但也可以求出R(D)的反函數D=D(R)，同樣，給出一個R值，就有一個D與之對應。定義8.6

信息率R的價值用V表示，定義為

V=Dmax–D(R) （8.164）它的含義是當獲取關于信源X某一信息率R(D)時，平均損失從Dmax降低到D所具有的差值。例如，圖8.8中對應于R1，V1=Dmax–D1；對應于R2，

V2=Dmax–D2。信息率失真函數與信息價值9第九頁，共二十五頁，2022年，8月28日圖8.8信息率失真函數圖10第十頁，共二十五頁，2022年，8月28日

（2）信息率R的價值率定義8.7

信息率R的價值率用v表示，定義為每比特信息量的價值，即信息率R的價值率為（8.165）例8.7

設某地區(qū)的天氣狀況可簡單地用好天氣和壞天氣來表示，據長期統計，它們的概率分別為P(好)=4/5和P(壞)=1/5。假如對某種生產，把次日是好天氣當壞天氣來準備和把壞天氣當好天氣來準備都會損失a元，否則無損失。（1）試求完全正確預報的信息率價值V及信息價值率v；（2）若氣象臺的誤報概率為10%，再求V及v。信息率失真函數與信息價值11第十一頁，共二十五頁，2022年，8月28日解（1）

V=Dmax–0=a/5元

R(D1)=-0.8lb0.8–0.2lb0.20.722

（2）

=P(好)P(壞/好)d(好,壞)+P(壞)P(好/壞)d(壞,好)=0.80.05a+0.20.05a=a/20元/比特

信息率失真函數與信息價值12第十二頁，共二十五頁，2022年，8月28日(續(xù))V=Dmax–D2=a/10–a/20=a/20P2(好)=P(好)P(好/好)+P(壞)P(壞)=0.80.95+0.20.05=0.77P2(壞)=0.23H(Y)=0.77lb0.77+0.23lb0.230.778I(X;Y)=0.778–0.286=0.492信息率失真函數與信息價值13第十三頁，共二十五頁，2022年，8月28日本章小結本章討論了離散消息的失真函數和信息率失真函數，同時對連續(xù)消息也做了相應的討論。限失真信源編碼定理是本章的重點，由此引出了信息價值這一具有實際意義的概念。但該定理只是一個存在性定理。在實際應用中，該理論主要存在著兩大類問題。第一類問題是符合實際信源的R(D)函數的計算相當困難。首先，需要對實際信源的統計特性有確切的數學描述；其次，需要對符合主、客觀實際的失真給予正確的度量，否則不能求得符合主、客觀實際的R(D)函數。第2類問題是即便求得了符合實際的信息率失真函數，還需要研究采取何種最佳編碼方法才能達到極限值。盡管如此，限失真信源編碼定理仍為信源的壓縮編碼指明了方向，是各種信源壓縮編碼的理論基礎。14第十四頁，共二十五頁，2022年，8月28日本章總結問題：在允許一定程度的失真條件下，信源信息能夠壓縮到何種程度？至少需要多少比特的信息率才能描述信源？香農信息率失真理論指出：

在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。15第十五頁，共二十五頁，2022年，8月28日本章總結定義失真函數：16第十六頁，共二十五頁，2022年，8月28日本章總結失真矩陣失真度還可表示成矩陣的形式稱d為失真矩陣。它是n×m階矩陣。17第十七頁，共二十五頁，2022年，8月28日本章總結18第十八頁，共二十五頁，2022年，8月28日本章總結平均失真定義：平均失真為失真函數的數學期望，19第十九頁，共二十五頁，2022年，8月28日保真度準則人們所允許的失真指的都是平均意義上的失真。規(guī)定平均失真度不能超過某一限定的值D，即，則D就是允許失真的上界。該式稱為保真度準則。本章總結20第二十頁，共二十五頁，2022年，8月28日信源編碼器輸入X∈{x1,x2,…,xi,…,xn}輸出Y∈{y1,y2,…,yj,…,ym}假想信道圖4－2將信源編碼器看作信道這樣就可以用分析信道傳輸的方法來研究限失真信源編碼問題。本章總結21第二十一頁，共二十五頁，2022年，8月28日試驗信道

平均失真是信源統計特性p(xi)、信道統計特性p(yj/xi)和失真度d(xi,yj)的函數。當p(xi)和d(xi,yj)給定后，則可以求出滿足保真度準則下的所有轉移概率