信息論與編碼

信息論與編碼第一頁，共四十二頁，2022年，8月28日4.1

平均失真和信息率失真函數(shù)4.2

離散信源和連續(xù)信源的R(D)計(jì)算內(nèi)容2第二頁，共四十二頁，2022年，8月28日失真信道編碼定理——欲無失真，必R<C

若R>C，必失真失真必要性——連續(xù)信源R趨向于無窮大，必有失真壓縮亦有失真失真可能性——終端性能有限，如人眼,人耳研究：信息率～允許失真——信息率失真理論3第三頁，共四十二頁，2022年，8月28日4.1

平均失真和

信息率失真函數(shù)4第四頁，共四十二頁，2022年，8月28日4.1.1失真函數(shù)假如某一信源X,輸出樣值xi,xi∈{a1,a2,…an},經(jīng)信道傳輸后變成yj,yj∈{b1,b2,…bm},如果:xi＝y(tǒng)j沒有失真

xi≠yj產(chǎn)生失真失真的大小,用一個(gè)量來表示,即失真函數(shù)d(xi,yj),以衡量用yj代替xi所引起的失真程度。失真函數(shù)定義為：5第五頁，共四十二頁，2022年，8月28日失真函數(shù)將所有的d(xi,yj)排列起來,用矩陣表示為:失真矩陣?yán)涸O(shè)信源符號(hào)序列為X={0,1},接收端收到符號(hào)序列為Y={0,1,2},規(guī)定失真函數(shù)為

d(0,0)＝d(1,1)=0d(0,1)＝d(1,0)=1d(0,2)＝d(1,2)=0.5失真矩陣6第六頁，共四十二頁，2022年，8月28日失真函數(shù)形式可以根據(jù)需要任意選取,最常用的有:均方失真:絕對(duì)失真:相對(duì)失真:誤碼失真:(漢明失真函數(shù))適于連續(xù)信源適于離散信源失真函數(shù)7第七頁，共四十二頁，2022年，8月28日漢明失真矩陣

對(duì)于二元對(duì)稱信源(m=n),X={0,1},Y={0,1},漢明失真矩陣:8第八頁，共四十二頁，2022年，8月28日4.1.2平均失真將失真函數(shù)的數(shù)學(xué)期望稱為平均失真：失真函數(shù)d(xi,yj)：描述了某個(gè)信源符號(hào)通過傳輸后失真的大小平均失真：描述某個(gè)信源在某一試驗(yàn)信道傳輸下的失真大小,它對(duì)信源和信道進(jìn)行了統(tǒng)計(jì)平均,是從總體上描述整個(gè)系統(tǒng)的失真9第九頁，共四十二頁，2022年，8月28日

對(duì)于連續(xù)隨機(jī)變量同樣可以定義平均失真信源編碼器10第十頁，共四十二頁，2022年，8月28日L長序列編碼如果假定離散信源輸出符號(hào)序列X＝{X1X2…

Xl…

XL},其中L長符號(hào)序列xi=[xi1xi2…xiL],經(jīng)信源編碼后,輸出符號(hào)序列Y={Y1Y2…Yl…YL},其中L長符號(hào)序列yj=[yj1yj2…yjL],則失真函數(shù)定義為平均失真11第十一頁，共四十二頁，2022年，8月28日4.1.3信息率失真函數(shù)R(D)信源編碼器XY假想信道將信源編碼器看作信道12第十二頁，共四十二頁，2022年，8月28日4.1.3信息率失真函數(shù)R(D)無論是無噪信道還是有噪信道:

R＜C總能找到一種編碼使在信道上能以任意小的錯(cuò)誤概率,以任意接近C的傳輸率來傳送信息

R＞C就必須對(duì)信源壓縮,使其壓縮后信息傳輸率R’小于信道容量C,但同時(shí)要保證壓縮所引入的失真不超過預(yù)先規(guī)定的限度。信息壓縮問題就是對(duì)于給定的信源,在滿足平均失真的前提下,使信息率盡可能小。

13第十三頁，共四十二頁，2022年，8月28日信息率失真函數(shù)R(D)若平均失真度不大于我們所允許的失真,即則稱此為保真度準(zhǔn)則當(dāng)信源p(xi)給定,單個(gè)符號(hào)失真度d(xi,yj)給定時(shí),選擇不同的試驗(yàn)信道p(yj|xi),相當(dāng)于不同的編碼方法,其所得的平均失真度不同。假想信道14第十四頁，共四十二頁，2022年，8月28日滿足條件的所有轉(zhuǎn)移概率分布pij,構(gòu)成了一個(gè)信道集合D失真允許的試驗(yàn)信道：滿足保真度準(zhǔn)則的試驗(yàn)信道。PD：所有D失真允許的試驗(yàn)信道組成的一個(gè)集合。15第十五頁，共四十二頁，2022年，8月28日信息率失真函數(shù)R(D)R(D)：在限定失真為D的條件下信源輸出的最小信息率。在信源給定后,我們希望在滿足一定失真的情況下,使信源必須傳輸給收信者的信息傳輸率R盡可能地小。若從接收端來看,就是在滿足保真度準(zhǔn)則下,尋找再現(xiàn)信源消息所必須獲得的最低平均信息量。即在滿足保真度準(zhǔn)則的條件下尋找平均互信息I(X,Y)的最小值。16第十六頁，共四十二頁，2022年，8月28日信息率失真函數(shù)PD是所有滿足保真度準(zhǔn)則的試驗(yàn)信道集合,因而可以在集合PD中尋找某一個(gè)信道pij,使I(X,Y)取極小值。離散無記憶信源17第十七頁，共四十二頁，2022年，8月28日例已知編碼器輸入的概率分布為p(x)={0.5,0.5}信道矩陣求互信息18第十八頁，共四十二頁，2022年，8月28日編碼器輸入的概率分布為p(x)={0.5,0.5}信道矩陣求互信息可見當(dāng)p(x)一定時(shí),I(X,Y)隨p(yj|xi)而變。因?yàn)閜(x)分布一定時(shí),信道受干擾不同所能傳遞的信息量是不同的?？梢宰C明，當(dāng)p(x)一定時(shí),I(X,Y)是關(guān)于p(yj|xi)的下凸函數(shù)。因此當(dāng)改變p(yj|xi)時(shí),I(X,Y)有一極小值。19第十九頁，共四十二頁，2022年，8月28日平均互信息平均互信息I(X;Y)：信源的概率分布p(xi)的上凸函數(shù)。p(yj|xi)一定信道傳遞概率p(yj|xi)的下凸函數(shù)。p(xi)一定信道容量：

信息率失真函數(shù)：

20第二十頁，共四十二頁，2022年，8月28日率失真函數(shù)與信道容量的比較信道容量C率失真函數(shù)R(D)數(shù)學(xué)上固定

p(yj/xi),改變p(xi),求得I(X;Y)最大值固定p(xi),改變p(yj/xi),求得I(X;Y)最小值概念上(反映)固定信道，改變信源，使信息率最大（信道傳輸能力）固定信源，改變信道，使信息率最?。ㄐ旁纯蓧嚎s程度）通信上使傳輸信息量最大，Pe→0——信道編碼用盡可能少的碼符號(hào)傳送——信源編碼21第二十一頁，共四十二頁，2022年，8月28日4.1.4信息率失真函數(shù)的

性質(zhì)1、R(D)的定義域率失真的定義域問題就是在信源和失真函數(shù)已知的情況下,討論允許平均失真度D的最小和最大取值問題。由于平均失真度是非負(fù)實(shí)數(shù)d(xi,yj)的數(shù)學(xué)期望,因此也是非負(fù)的實(shí)數(shù),即的下界是0。允許平均失真度能否達(dá)到其下限值0,與單個(gè)符號(hào)的失真函數(shù)有關(guān)。22第二十二頁，共四十二頁，2022年，8月28日R(D)的定義域Dmin和R(Dmin)信源的最小平均失真度：只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí),信源的平均失真度才能達(dá)到下限值0。當(dāng)Dmin=0,即信源不允許任何失真時(shí),信息率至少應(yīng)等于信源輸出的平均信息量—信息熵。即

R(0)=H(X)23第二十三頁，共四十二頁，2022年，8月28日R(D)的定義域因?yàn)閷?shí)際信道總是有干擾的,其容量有限,要無失真地傳送連續(xù)信息是不可能的。當(dāng)允許有一定失真時(shí),R(D)將為有限值,傳送才是可能的。對(duì)于連續(xù)信源：24第二十四頁，共四十二頁，2022年，8月28日R(D)的定義域R(D)的定義域?yàn)閇Dmin，Dmax]。通常Dmin=0，R(Dmin)=H(X)當(dāng)D≥Dmax時(shí),R(D)=0當(dāng)0≤D≤Dmax時(shí),0＜R(D)＜H(X)25第二十五頁，共四十二頁，2022年，8月28日R(D)的定義域Dmax：定義域的上限。Dmax是滿足R(D)=0時(shí)所有的平均失真度中的最小值。由于I(X,Y)是非負(fù)函數(shù),而R(D)是在約束條件下的I(X,Y)的最小值,所以R(D)也是一個(gè)非負(fù)函數(shù),它的下限值是零。

R(D)≥026第二十六頁，共四十二頁，2022年，8月28日R(D)的定義域由于I(X,Y)=0的充要條件是X與Y統(tǒng)計(jì)獨(dú)立,即：27第二十七頁，共四十二頁，2022年，8月28日例4-3:設(shè)輸入輸出符號(hào)表為X=Y={0,1},輸入概率分布p(x)={1/3,2/3},失真矩陣求：Dmin

和Dmax

失真矩陣的每一行至少有一個(gè)0元素時(shí),Dmin=0此時(shí)輸出符號(hào)概率p(b1)＝0，p(b2)＝1，

28第二十八頁，共四十二頁，2022年，8月28日例:設(shè)輸入輸出符號(hào)表為X=Y={0,1},輸入概率分布p(x)={1/3,2/3},失真矩陣求：Dmin

和Dmax

29第二十九頁，共四十二頁，2022年，8月28日信息率失真函數(shù)的性質(zhì)1、R(D)是非負(fù)的實(shí)數(shù),R(D)≥0。其定義域?yàn)?~Dmax,其值為0~H(X)。當(dāng)D＞Dmax時(shí),R(D)≡02、R(D)是關(guān)于D的下凸函數(shù)R(D)在定義域內(nèi)是失真度D的U型下凸函數(shù)3、R(D)的單調(diào)遞減性及連續(xù)性容許的失真度越大，所要求的信息率越小。反之亦然。30第三十頁，共四十二頁，2022年，8月28日R(D)H(X)R(D)

0DDmaxDR(D)

0DmaxD信息率失真曲線由以上三點(diǎn)結(jié)論，對(duì)一般R(D)曲線的形態(tài)可以畫出來：31第三十一頁，共四十二頁，2022年，8月28日4.2離散信源和連續(xù)信源R(D)計(jì)算給定信源概率pi和失真函數(shù)dij,就可以求得該信源的R(D)函數(shù)。它是在保真度準(zhǔn)則下求極小值的問題。但要得到它的顯式表達(dá)式,一般比較困難通常用參量表達(dá)式。即使如此,除簡單的情況外實(shí)際計(jì)算還是困難的,只能用迭代逐級(jí)逼近的方法。32第三十二頁，共四十二頁，2022年，8月28日

某些特殊情況下R（D）的表示式為：

（1）當(dāng)d(x,y)=(x-y)2，時(shí)，4.2離散信源和連續(xù)信源R(D)計(jì)算33第三十三頁，共四十二頁，2022年，8月28日(2)當(dāng)d(x,y)=|x-y|，時(shí)，(3)當(dāng)d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時(shí)，R(D)=H(p)－H(D)

34第三十四頁，共四十二頁，2022年，8月28日這些R（D）可畫成三條曲線

0DmaxD

R(D)

H(3)(1)(2)圖4-5信息率失真函數(shù)R(D)35第三十五頁，共四十二頁，2022年，8月28日二元對(duì)稱信源的R(D)函數(shù)設(shè)二元對(duì)稱信源X={0,1},其概率分布p(x)=[p,1-p],接收變量Y={0,1},失真矩陣因而最小允許失真度Dmin=0。并能找到滿足該最小失真的試驗(yàn)信道,且是一個(gè)無噪無損信道,其信道矩陣為36第三十六頁，共四十二頁，2022年，8月28日計(jì)算得：R(0)=I(X;Y)=H(p)最大允許失真度為要達(dá)到最大允許失真度的試驗(yàn)信道,唯一確定為37第三十七頁，共四十二頁，2022年，8月28日這個(gè)試驗(yàn)信道能正確傳送信源符號(hào)x=1,而傳送信源符號(hào)x=0時(shí),接收符號(hào)一定為