信息率失真函數(shù)

1、關(guān)于信息率失真函數(shù)現(xiàn)在學(xué)習(xí)的是第一頁，共112頁9.1 概概 述述v 對于有失真信源編碼，總希望在不大于一定編碼速率（即傳送每信源符號所需的平均的二進數(shù)字數(shù)）的條件下，使平均失真最??；或者在平均失真不大于某個值的條件下，使編碼速率最小。v仙農(nóng)提出的信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎(chǔ)，該理論的核心是在保真度準則下的信源編碼定理，也稱仙農(nóng)第三定理v定理指出信源編碼的碼率大于R(D)是存在平均失真不大于D的信源編碼的充分與必要條件。對有損壓縮編碼系統(tǒng)，確定失真測度是首要的工作，不同的失真測度會得到不同R(D)函數(shù)。2現(xiàn)在學(xué)習(xí)的是第二頁，共112頁9.1.1 系統(tǒng)模型v一個有損壓縮系統(tǒng)對信源發(fā)出的

2、消息X進行有失真信源編碼，經(jīng)理想無噪聲信道傳輸，到達信源譯碼器，輸出為Y。由于編碼有失真，所以Y不是X的精確復(fù)現(xiàn)。 信源信源譯碼器信宿信源編碼器 無噪信道試驗信道限失真編碼通信系統(tǒng)模型 3現(xiàn)在學(xué)習(xí)的是第三頁，共112頁9.1.2 失真測度 1單符號失真測度單符號失真測度 試 驗 信 道 的 輸 入試 驗 信 道 的 輸 入x和 輸 出和 輸 出y之 間 的 失 真 用之 間 的 失 真 用 表 示 ， 其表 示 ， 其中中 。 定義失真矩陣定義失真矩陣 其中， 表示當試驗信道的輸入為ai時，輸出為bj所產(chǎn)生的失真。 ),(yxdYyXx,),(.),(.),(.),(),(.),(121211

3、1mnnmmbadbadbadbadbadbadd0),(jibad4現(xiàn)在學(xué)習(xí)的是第四頁，共112頁9.1.2 失真測度 如果規(guī)定 那么失真矩陣變?yōu)閖ijibadji10),(0111011110d 5現(xiàn)在學(xué)習(xí)的是第五頁，共112頁9.1.2 失真測度2序列失真測度序列失真測度 設(shè)序列 其中 取自符號集A； 其中 取自符號集B；序列失真測度定義為： 上式表明，序列的失真測度是所包含符號失真的算術(shù)平均。1( ,.,)Nxxxix1(,.,)NyyyiyNiiiNyxdNd1),(1),(yx6現(xiàn)在學(xué)習(xí)的是第六頁，共112頁9.1.2 失真測度3平均失真平均失真 單符號平均失真定義為： 序列平均失

4、真定義為：),()|()(),(,yxyxdxypxpyxdEDNiiiNNyxdENdED1),(1),(yx7現(xiàn)在學(xué)習(xí)的是第七頁，共112頁9.2 離散信源信息率失真函數(shù)離散信源信息率失真函數(shù) 8現(xiàn)在學(xué)習(xí)的是第八頁，共112頁9.2.1 信息率失真函數(shù) 定義信息率失真函數(shù)(rate-distortion function)為： 或);(min)()|(YXIDRDPxypyxxxypxpxypxypxpDRDPxyp,)|()()|(log)|()(min)()|(9現(xiàn)在學(xué)習(xí)的是第九頁，共112頁9.2.2 R(D)函數(shù)的性質(zhì)1、R(D)的定義域及關(guān)鍵點取值的定義域及關(guān)鍵點取值： 且min

5、max0DDDxyyxdxpD),(min)(minxyyxdxpD),()(minmaxmax(0), ()0RH R D10現(xiàn)在學(xué)習(xí)的是第十頁，共112頁9.2.2 R(D)函數(shù)的性質(zhì) 例9.2.1 設(shè)試驗信道輸入符號 ，概率分別為1/3，1/3，1/3，失真矩陣如下所示，求Dmin和Dmax和相應(yīng)的試驗信道的轉(zhuǎn)移概率矩陣。 123 ,a aa123312321)(ijd11現(xiàn)在學(xué)習(xí)的是第十一頁，共112頁9.2.2 R(D)函數(shù)的性質(zhì)解 =1 令對應(yīng)最小 的 ，其它為0?？傻脤?yīng)Dmin 的轉(zhuǎn)移概率矩陣為： xyyxdxpD),(min)(min) 1 , 2 , 3min()() 3

6、, 1 , 2min()() 3 , 2 , 1min()(321apapap）jibad,(1)|(ijabp10001000112現(xiàn)在學(xué)習(xí)的是第十二頁，共112頁9.2.2 R(D)函數(shù)的性質(zhì)= 5/3 上式中第2項最小，所以令 ?？傻脤?yīng)Dmax 的轉(zhuǎn)移概率矩陣為： xyyxdxpD),()(minmax123min ( ) 1() 2() 3,p ap ap a 123 () 2() 1() 2,p ap ap a 123 () 3() 3() 1p ap ap a 21p b（ ）130p bp b（ ） （ ）01001001013現(xiàn)在學(xué)習(xí)的是第十三頁，共112頁9.2.2 R(D

7、)函數(shù)的性質(zhì)2R(D) 是關(guān)于是關(guān)于D的下凸函數(shù)的下凸函數(shù)(P194) 設(shè)設(shè)D1,D2為任意兩個平均失真，為任意兩個平均失真， ，那，那么么10)()1 ()()1 (2121DRDRDDR14現(xiàn)在學(xué)習(xí)的是第十四頁，共112頁9.2.2 R(D)函數(shù)的性質(zhì)3、R(D)是是(Dmin, Dmax)區(qū)間的連續(xù)和嚴格遞減函區(qū)間的連續(xù)和嚴格遞減函數(shù)數(shù) 證：R(D)在定義域內(nèi)為凸函數(shù)，從而保證了連續(xù)性。下面證明在定義域內(nèi)也是非增函數(shù)。由 ，在較大范圍內(nèi)求極小值一定不大于在所含小范圍內(nèi)求的極小值，所以 。由于在定義域內(nèi)R(D)不是常數(shù)，而又是非增下凸函數(shù)，從而推出R(D)連續(xù)和嚴格遞減函數(shù)2121DDPP

8、DD)()(21DRDR15現(xiàn)在學(xué)習(xí)的是第十五頁，共112頁9.2.2 R(D)函數(shù)的性質(zhì)4關(guān)于信息率失真函數(shù)的幾點解釋關(guān)于信息率失真函數(shù)的幾點解釋： （1）通?？傁Ｍ畔⑼ㄟ^信道傳輸時輸入與輸出之間的互信息最大，是在信道給定情況下的要求。而這里是在信源給定而不是信道給定條件下的傳輸。信息率失真理論要解決的問題就是計算滿足失真要求的傳輸所需要的最小信道容量或傳輸速率，以達到降低信道的復(fù)雜度和通信成本的目的。16現(xiàn)在學(xué)習(xí)的是第十六頁，共112頁9.2.2 R(D)函數(shù)的性質(zhì) （2）根據(jù)R(D)為單調(diào)減函數(shù)的性質(zhì)，如果固定平均互信息，選擇信道的轉(zhuǎn)移概率使平均失真最小，可以得到同樣的R(D) 函數(shù)曲

9、線，唯一的差別就是變量之間作用交換。這時就得到“失真率函數(shù)”(distortion-rate function)。 失真率函數(shù)定義為( / ): ( ( / )( )min( ( / )p y x I p y xRD Rd p y x17現(xiàn)在學(xué)習(xí)的是第十七頁，共112頁9.3 限失真信源編碼定理 本節(jié)包括限失真信源編碼定理和限失真信源信道編碼定理。限失真信源編碼定理指出，當給定一個平均失真D時，對信源碼率壓縮的最低限度為R(D) ，而限失真信源信道編碼定理指出，當信道容量C大于R(D)時，信息能夠通過信道以不大于D的平均失真?zhèn)鬏敗?18現(xiàn)在學(xué)習(xí)的是第十八頁，共112頁9.3.1碼率的壓縮 設(shè)信

10、源X發(fā)出長度為N的序列，而碼字僅有M個，即僅對M個信源序列進行編碼。設(shè)信源的熵為H，如果 ，那么當N足夠長時就存在無失真信源編碼。令 ，就有 。但如果 ，編碼就會產(chǎn)生失真。這就是限失真信源編碼要解決的問題。由于壓縮了碼率，可以提高信息傳輸速率，從而減小了通信的成本。2NHM 2(log)/RMNRHRH19現(xiàn)在學(xué)習(xí)的是第十九頁，共112頁9.3.1碼率的壓縮 圖中，信源發(fā)出的N長符號序列u（符號集U）進入編碼器，編碼器按照最小失真的原則搜索到一個碼字，設(shè)為ym（其中碼字集合為Y）；設(shè)碼字數(shù)為M，m為信源序列對應(yīng)碼字的序號；那么將ym的序號m發(fā)送到譯碼器，譯碼器根據(jù)接收的序號恢復(fù)原始碼字，輸出到

11、用戶。 限失真信源編碼系統(tǒng) 20現(xiàn)在學(xué)習(xí)的是第二十頁，共112頁9.3.1碼率的壓縮 例例9.3.1 設(shè)信源X，符號集為a1,a2,a2n，等概分布pi=1/2n，i=1,2n，給定失真測度為 ，設(shè)計一種單符號壓縮算法使得平均失真D=1/2并求壓縮后的碼率R.。jijidij0121現(xiàn)在學(xué)習(xí)的是第二十一頁，共112頁9.3.1碼率的壓縮 解：失真測度為漢明測度，實際上要求誤碼率為1/2。設(shè)Y為X的壓縮編碼，符號集為b1,b2,bn，下面為壓縮算法和對應(yīng)的試驗信道轉(zhuǎn)移概率矩陣：)2.(.) 1,.,1(nnjbanibaYXnjii，nnnnnbbbbaaaaa1212121.1.01.10.0

12、010.0.0.0100.01.22現(xiàn)在學(xué)習(xí)的是第二十二頁，共112頁9.3.1碼率的壓縮 平均失真 算法滿足要求。 的概率分布為： 所以 2,111( ) ( / ) ( , )1222nx ynnDp x p y x d x ynn(1)jbjn， ， 12/1.2/1nnnnn2/ ) 1( ， 12log212log21)(nnnnnnnYH1( )log2log(1)2nRH Ynnn 23現(xiàn)在學(xué)習(xí)的是第二十三頁，共112頁9.3.2 限失真信源編碼定理v定理9.3.1 任意給定 ，總存在一種信源編碼，使當 時，平均失真 ；反之，如果RR(D)，就不可能存在使平均失真 的編碼。(香農(nóng)

13、第三定理)0()RR D DD24現(xiàn)在學(xué)習(xí)的是第二十四頁，共112頁9.3.3 限失真信源信道編碼定理v定理9.3.2 設(shè)離散無記憶信源的信息率失真函數(shù)為R(D)(比特/秒)，離散無記憶信道的容量為C（比特/秒），若滿足 則信源序列通過信道傳輸后的平均失真D；若 ，則信源序列通過信道傳輸后的平均失真大于D。（教材中的幾點解釋，P190）（例9.3，P194， 習(xí)題集P188, 習(xí)題9.15）()CR D()CR D25現(xiàn)在學(xué)習(xí)的是第二十五頁，共112頁9.4 離散信源信息率失真函數(shù)的計算v本節(jié)研究離散信源信息率失真函數(shù)的計算問題，這歸結(jié)到求有約束的極值問題。即使很簡單的信源和簡單的失真測度，求

14、解的過程都比較復(fù)雜，而且只有特殊情況才有解析解，對于一般的計算需要借助于迭代算法。26現(xiàn)在學(xué)習(xí)的是第二十六頁，共112頁v設(shè)試驗信道輸入X，符號集A=a1,an，對應(yīng)概率分布為p1,pn；信道輸出 Y，符號集B=b1,bm，對應(yīng)概率分布為q1,qm，失真矩陣為 （9. 4. 1） v試驗信道轉(zhuǎn)移概率矩陣為 （9. 4. 2） v信道輸出概率分布 nmnnmmddddddddd.212222111211dnmnnmmppppppppp.212222111211Pijiijppq27現(xiàn)在學(xué)習(xí)的是第二十七頁，共112頁9.4.1 R(D)參量表示法求解v對于給定信源X，符號概率分布為p1,pn的已知

15、，給定（9. 4. 1）確定的失真矩陣，求解R(D)，實際上是通過（9.4.3）所描述的有約束極值，確定實驗信道轉(zhuǎn)移概率pij。 （9.4.3）jijnimjijijinimjjijijipnipDdppqpppDRij, 1, 1logmin)(111128現(xiàn)在學(xué)習(xí)的是第二十八頁，共112頁9.4.1 R(D)參量表示法求解v由于使R最小的pij總是在PD的邊界上，所以在求極值時，平均失真約束條件的不等式取等號，即 （9.4.4）v從（9.4.3）式可知，約束條件有n+1個，其中1個為平均失真約束，n個條件概率歸一化約束，未知數(shù)pij有mn個。下面用拉格朗日乘子法求有約束極值。11nmiij

16、ijijp p dD29現(xiàn)在學(xué)習(xí)的是第二十九頁，共112頁9.4.1 R(D)參量表示法求解v設(shè)s, (i=1,n)為常數(shù)，求下式極值（以e為底）：ijijiiijijijijjjijijijiijpdppsqqppppJloglog)(0log) 1(logiijijjijiijiijdspqqpqppppJiijijppq0logiijijijidspqpp 30現(xiàn)在學(xué)習(xí)的是第三十頁，共112頁9.4.1 R(D)參量表示法求解令 ，得其中iiip/0logiijjijsdqpijdiijdsijsjijeqeqp /ipiiee（9.4.5）31現(xiàn)在學(xué)習(xí)的是第三十一頁，共112頁9.4.

17、1 R(D)參量表示法求解所以當 時jsjijijijdeqpijsjjideq1ijdsiiijijiiepqpp0jq1iijsiidep （9.4.6）（9.4.7） 32現(xiàn)在學(xué)習(xí)的是第三十二頁，共112頁9.4.1 R(D)參量表示法求解v結(jié)合（9.4.6）與（9.4.7）式，得v式中含m個方程，m個未知數(shù)qj(j=1,m)，而s為參量，一般能解。1,1,2,ijijddsisijjepjmq e33現(xiàn)在學(xué)習(xí)的是第三十三頁，共112頁9.4.1 R(D)參量表示法求解v將（9.4.5）代入（9.4.4）（9.4.3），分別得ijsijjijiiijijijidedqpdppsD)(,(

18、 )loglog()sijiijiijiiji jjijdpR sp pp peqiijjiiijijjiippsdpplog,iiipsDlog（9.4.10） （9.4.9）34現(xiàn)在學(xué)習(xí)的是第三十四頁，共112頁9.4.2 R(D)求解過程歸納v現(xiàn)將R(D)求解的過程歸納如下： （1）根據(jù)（9.4.7）式求，；（2）根據(jù)（9.4.6）式求，j=1,m；（3）根據(jù)（9.4.9）式求D(s)；（4）根據(jù)（9.4.10）式求R(s)。35現(xiàn)在學(xué)習(xí)的是第三十五頁，共112頁9.4.2 R(D)求解過程歸納設(shè)為列矢量，由（9.4.7）得寫成矩陣形式為)()(ijsdijeaAiiipu1( ,.,)

19、Tnuuu(1.1)Tm11.1.22111212111nmnmmnnauauauauauauTA u1（9.4.11） P19236現(xiàn)在學(xué)習(xí)的是第三十六頁，共112頁9.4.2 R(D)求解過程歸納由（9.4.6），得寫成矩陣形式為其中， nnmsmnsnsmsmssddddddeqeqeqeqeqeq/1./1.221111122111vAq （9.4.12） 112(,.,)1/,1/,.,1/TTmnqqqv，37現(xiàn)在學(xué)習(xí)的是第三十七頁，共112頁9.4.2 R(D)求解過程歸納當m=n且A-1存在時，求解過程為：由 解得 由 解得 設(shè)矩陣為 ，有 TA u1()TuA11iiiupv

20、/vAq 1qA v()sdijijedB38現(xiàn)在學(xué)習(xí)的是第三十八頁，共112頁9.4.2 R(D)求解過程歸納BquTDiiiiiiipupsDpsDDRloglog)(iiiupsDpHlog)(（9.4.14） （9.4.13）其中，H(p)為信源的熵。39現(xiàn)在學(xué)習(xí)的是第三十九頁，共112頁9.4.3 參量s的意義v現(xiàn)求R(D)對D的導(dǎo)數(shù)，由（9.4.10）得 iiidDdRdDdssRDRdDdRiiiidDdpdDdsDsdDdsdsdpDsiiii)(（9.4.15） 40現(xiàn)在學(xué)習(xí)的是第四十頁，共112頁9.4.3 參量s的意義v在（9.4.7）式的兩邊，對s求導(dǎo)，得v兩邊都乘以

21、，得 v根據(jù)（9.4.6），得 v將（9.4.16）的結(jié)果代入（9.4.15），得()0sdsdiiiiijiijijdpepeddsjjq0sdijijiijdqp eDds iiiiDdsdp0（9.4.16） dRsdD（9.4.17） 41現(xiàn)在學(xué)習(xí)的是第四十一頁，共112頁9.4.3 參量s的意義v由此可得如下結(jié)論：(1)s是R(D)函數(shù)的斜率；(2)因為R(D)在0DDmax嚴格單調(diào)遞減，所以s0。42現(xiàn)在學(xué)習(xí)的是第四十二頁，共112頁9.4.3 參量s的意義v例9.4.1 一個二元信源，符號集A=0,1，概率為p(0)=p1=p，p(1)=p2=1-p，其中p1/2；試驗信道輸出符

22、號集B=0,1，失真測度函數(shù)為漢明失真，求R(D)函數(shù)。43現(xiàn)在學(xué)習(xí)的是第四十三頁，共112頁9.4.3 參量s的意義v解 （1）設(shè) ，所以 ()()sdijijAae11sseeA121111sTsseAAee)1/(1)1/(11111112ssssseeeeeu44現(xiàn)在學(xué)習(xí)的是第四十四頁，共112頁9.4.3 參量s的意義（2）由 得（3） 解得 iiiupv pevs)1 (1)1)(1 (2pevs)1/(1)1/(11111221ssssseeeeeqq)1 ()1 (11ppepepesss45現(xiàn)在學(xué)習(xí)的是第四十五頁，共112頁9.4.3 參量s的意義v （4） v v （9.4

23、.18） v v （9.4.19）0(1)111 11110(1)sssTsssssepepeDeeeepepu BqssepepsDpHDR11log)1 (11log)()(sesDpH11log)(46現(xiàn)在學(xué)習(xí)的是第四十六頁，共112頁9.4.3 參量s的意義v由（9.4.18）得， 和 將這些結(jié)果代入（9.4.19），得 （9.4.20） 圖9.4.1 為二元信源在不同概率p條件下的R(D)函數(shù)曲線。可以看出，對于給定的失真測度D，信源分布越接近等概率，R(D)越大，也就是說越難壓縮，反之，信源分布越不均勻，R(D)越小，越容易壓縮。log/(1)sDDDes1)1/(1)1log(1

24、log)()(DDDDpHDR)()(DHpH47現(xiàn)在學(xué)習(xí)的是第四十七頁，共112頁9.4.3 參量s的意義 v 圖9.4.1 二元信源的R(D)函數(shù)曲線 48現(xiàn)在學(xué)習(xí)的是第四十八頁，共112頁9.5 連續(xù)信源信息率失真函數(shù)v在前面學(xué)習(xí)離散信源R(D)函數(shù)的基礎(chǔ)上，本節(jié)介紹離散時間連續(xù)信源的R(D)函數(shù)。首先介紹R(D)函數(shù)定義和性質(zhì)，然后推導(dǎo)R(D)函數(shù)的計算，特別是差值失真測度的R(D)函數(shù)。與離散情況相比，R(D)函數(shù)定義和性質(zhì)有類似性，但也有不同；而R(D)函數(shù)的計算需要求有約束的泛函極值，因此過程更為復(fù)雜。49現(xiàn)在學(xué)習(xí)的是第四十九頁，共112頁9.5.1 信息率失真函數(shù)與性質(zhì)v設(shè)時間

25、離散連續(xù)信源X，概率密度為p(x)，試驗信道轉(zhuǎn)移概率p(y|x)，輸出為q(y)。定義平均失真為 （9. 5. 1）dxdyyxdxypxpdxdyyxdyxpyxdED),()|()(),(),(),(50現(xiàn)在學(xué)習(xí)的是第五十頁，共112頁9.5.1 信息率失真函數(shù)與性質(zhì)v對所有試驗信道集合PD，在滿足失真度DD*時，信息率失真函數(shù)定義為： （9. 5.2）v其中 )|(min);(inf)(*)|()|(xypIYXIDRDDPxypPxyp* ( | ):DPp y xDD。 51現(xiàn)在學(xué)習(xí)的是第五十一頁，共112頁9.5.1 信息率失真函數(shù)與性質(zhì)v與離散信源類似，可以證明R(D)函數(shù)有以下

26、性質(zhì)：（1）非負性；（2） 在區(qū)間是單調(diào)遞減函數(shù)；（3） 在區(qū)間是下凸函數(shù)；其中， 對應(yīng)著X，Y獨立時的最小平均失真，所以 （9. 5.3）max0DDmax0DDmaxDdxyxdxpDy),()(infmax52現(xiàn)在學(xué)習(xí)的是第五十二頁，共112頁9.5.1 信息率失真函數(shù)與性質(zhì)v與離散情況不同的是，在D=0時，R(D)并不連續(xù)。在D0時，R(D) ，趨近信源的絕對熵。對離散情況，H(X)是R(0)的上界；對連續(xù)情況，h(X)不是R(0)的上界，而且h(X)還可能為負。53現(xiàn)在學(xué)習(xí)的是第五十三頁，共112頁9.5.2 R(D)函數(shù)的計算v在連續(xù)信源情況下用條件概率密度來描述試驗信道，在滿足（

27、9. 5. 1）約束條件下，求（9. 5.2）R(D)函數(shù)的極小值確定試驗信道的條件概率密度，歸結(jié)為求有約束泛函極值的問題。即求 （9. 5. 4） dxdyyqxypxypxpYXI)()|(log)|()();(dxyxpyq),()(54現(xiàn)在學(xué)習(xí)的是第五十四頁，共112頁9.5.2 R(D)函數(shù)的計算v的極小值，滿足約束為 （9. 5. 5） 和 （9. 5. 6） 求泛函極值，等價于使下式的一階變分為0。 (9. 5. 7）dxdyyxdxypxpxypD),()|()()|(1)|(dyxypdxdyyqxypxypxpxypJ)()|(log)|()()|(dxdyyxdxypxp

28、sdxdyxypx),()|()()|()(55現(xiàn)在學(xué)習(xí)的是第五十五頁，共112頁9.5.2 R(D)函數(shù)的計算v令 ，有通過推導(dǎo)，得 (9. 5. 8）其中， 與離散情況相似，可得 (9. 5. 9） )(log)()(xrxpx dxdyyxsdyqxrxypxypxpxypJ),()()()|()log|()()|(),()()()|(yxsdeyqxxyp)()()(xfexrx 1),()()(dyeyqxyxsd56現(xiàn)在學(xué)習(xí)的是第五十六頁，共112頁9.5.2 R(D)函數(shù)的計算v當時 ，有 (9. 5. 10）v平均失真為 (9. 5.11） (9. 5. 12） 0)(yq1)

29、()(),(dxexpxyxsddxdyyxdxypxpD),()|()(dxdyeyxdyqxxpyxsd),(),()()()()(log)|()()(),(yxsdexxypxpDRdxdyxxypxpsD)(log)/()(dxxxpsD)(log)(57現(xiàn)在學(xué)習(xí)的是第五十七頁，共112頁9.5.2 R(D)函數(shù)的計算v可以證明，s是R(D)函數(shù)的斜率。58現(xiàn)在學(xué)習(xí)的是第五十八頁，共112頁9.5.3 差值失真測度差值失真測度v 差值失真測度指的是平方誤差測度 和絕對值誤差測度 。在差值失真測度下， (9. 5. 10）式變?yōu)?(9. 5. 13）2( , )()d x yxy( ,

30、) |d x yxy1)()()(dxexpxyxsd59現(xiàn)在學(xué)習(xí)的是第五十九頁，共112頁9.5.3 差值失真測度差值失真測度v(9. 5. 13）式表示 與 的卷積為1，所以 的頻譜與 的頻譜乘積為沖激。 而 在整個頻率域，所以 的頻譜為沖激，因此， （常數(shù)） (9. 5. 14） (9. 5. 15） (9. 5. 15）成立的條件是 。在差值失真測度下，(9. 5. 9）變?yōu)?()(xpx)(xsde)()(xpx)(xsde)(xsde)()(xpx)()()(skxpx1)()()(dzeskzsddzezsd)(60現(xiàn)在學(xué)習(xí)的是第六十頁，共112頁9.5.3 差值失真測度差值失真

31、測度v (9. 5. 16）由(9. 5. 14）、(9. 5. 16）和(9. 5. 15），得 (9. 5. 17） 可見，p(x)為q(x)與的卷積，其中 (9. 5. 18） dyeyqxyxsd)(1)()(dydzeeyqdyeyqskxpzsdyxsdyxsd)()()()()()()()()()()()(xsdzsdxsdSeskdzeexg61現(xiàn)在學(xué)習(xí)的是第六十一頁，共112頁9.5.3 差值失真測度差值失真測度v設(shè)表示隨機變量 的概率密度，那么x= +y，或 = x-y，所以表示誤差的概率密度。sesese62現(xiàn)在學(xué)習(xí)的是第六十二頁，共112頁9.6 高斯信源的R(D)函數(shù)

32、 v本節(jié)就高斯信源和平方誤差測度 的情況下研究R(D)函數(shù)。這里僅研究離散時間無記憶高斯信源和獨立并聯(lián)信源兩種情況。2( , )()d x yxy63現(xiàn)在學(xué)習(xí)的是第六十三頁，共112頁961 離散時間無記憶高斯信源v 由(9. 5. 15），對于平方誤差測度有 (9. 6. 1）v根據(jù)(9. 5. 18），得 (9. 6. 2） 應(yīng)注意，(9. 6. 2）的結(jié)果僅與失真測度的選取有關(guān)，而與信源分布無關(guān)。 21( )/szk ssedz2( )xsSsgxe64現(xiàn)在學(xué)習(xí)的是第六十四頁，共112頁961 離散時間無記憶高斯信源v設(shè) ， ， ， 這里表示傅氏變換關(guān)系。v對于均值為零、方差 為 的高斯

33、信源X，概率密度為 ，那么 v ，同時還有 由 )()(Pxp)()(Qxq)()(SSGxg222221)(xexp2221)( eP211()22( )sSGe)()()(SGQP65現(xiàn)在學(xué)習(xí)的是第六十五頁，共112頁961 離散時間無記憶高斯信源v得知y也為高斯分布，且 (9. 6. 3）平均失真為 （與q(y)無關(guān)） (9. 6. 4）221122( )( )( )sSPQeGdxdyeskyxyqDyxs2)(2)()(dydxeyxyqyxss)()(2)(2sdysyq21)21)(66現(xiàn)在學(xué)習(xí)的是第六十六頁，共112頁961 離散時間無記憶高斯信源v將(9. 6. 4）的結(jié)果代

34、入(9. 6. 2），得 (9. 6. 5） (9. 6. 5）表明達到R(D)時，誤差是高斯分布，方差等于D。v將(9. 6. 4）的結(jié)果代入(9. 6. 3），得 (9. 6. 6）2/(2)1( )2xDsg xeD2212( )DQe67現(xiàn)在學(xué)習(xí)的是第六十七頁，共112頁961 離散時間無記憶高斯信源v(9. 6. 5）表明達到R(D)時，試驗信道的輸出也是高斯分布，方差等于 ，并且與誤差獨立。v率失真函數(shù)為將(9. 6. 4）和(9. 6. 1）代入，得 D2)()(log)()(log)()(sskxhsDdxxpkxpsDDR)21111()log(2log2222R DeD D

35、2log2168現(xiàn)在學(xué)習(xí)的是第六十八頁，共112頁961 離散時間無記憶高斯信源v對以上結(jié)果，我們歸納為下面的定理：v定理9.6.1 一個無記憶任意均值、方差為 的高斯信源，在平方誤差準則下的信息率失真函數(shù)為： 其中, ,且22221log01( )max(0,log)220DR DDDDmax0DD22max)(infdxyxxpD269現(xiàn)在學(xué)習(xí)的是第六十九頁，共112頁961 離散時間無記憶高斯信源v圖961為高斯信源的R(D)函數(shù)曲線。下面為高斯信源R(D)函數(shù)的注釋：70現(xiàn)在學(xué)習(xí)的是第七十頁，共112頁961 離散時間無記憶高斯信源v圖961 高斯信源的R(D)函數(shù)71現(xiàn)在學(xué)習(xí)的是第七

36、十一頁，共112頁961 離散時間無記憶高斯信源v（1）此R(D)函數(shù)是在平方誤差準則下推出的，不適用其他準則；v（2）R(D)函數(shù)是高斯信源實現(xiàn)平均失真小于等于D的有損編碼可達到的最低速率。簡單說明如下：v設(shè)一個有失真編碼包含 個碼字，每個信源序列的長度為n。所有信源序列都位于半徑為 的大球內(nèi)，且都應(yīng)該位于以某個碼字為中心，半徑為 的小球內(nèi)。 2nRM 2nnD72現(xiàn)在學(xué)習(xí)的是第七十二頁，共112頁961 離散時間無記憶高斯信源v因此為充滿大球所需最少的小球數(shù)目也就是最少的碼字數(shù)為 (9. 6. 8） 因此，只要 ，就能使平均失真小于等于D。（3） 稱為有損壓縮的信噪比；當信源功率給定，平均

37、失真越大，信噪比越小，所需碼率也越小。2/ 2()2()2nRnnR DD()RR DD/273現(xiàn)在學(xué)習(xí)的是第七十三頁，共112頁961 離散時間無記憶高斯信源v（4）當D=0時，R(D)= ；當D= 時， R(D)=0。這說明，對于連續(xù)信源，當平均失真為0時，所需要的信息率為無限大v5）高斯信源失真率函數(shù) (9. 6. 9）v上式通過求(9. 6. 7）的反函數(shù)得到，其中，R為編碼器的碼率，單位為比特/符號。D(R)表示，當高斯信源有損壓縮的碼率為R時，可以達到的最小平均失真。所以對于任意碼率為R的高斯信源有損編碼器，其平均失真D，滿足 (9. 6. 10）2RRD222)(RD22274現(xiàn)

38、在學(xué)習(xí)的是第七十四頁，共112頁961 離散時間無記憶高斯信源v例961 一個均值為零的離散時間高斯信源作為限失真信源編碼器的輸入，該編碼器是一個量化器，輸出256個量化電平，輸出信噪比SNR用輸入信號的均方值與均方誤差的比來量度；（1）求編碼器的碼率；（2）SNR能否達到49dB？ 解 （1）編碼器的碼率： 比特/信源符號； 8256log2R75現(xiàn)在學(xué)習(xí)的是第七十五頁，共112頁961 離散時間無記憶高斯信源v（2）SNR不能達到49dB。解釋如下： 根據(jù) (9. 6. 10），有RDSNR222dBdB4916.483010. 01602lg108276現(xiàn)在學(xué)習(xí)的是第七十六頁，共112頁

39、 962 獨立并聯(lián)高斯信源v一個多維離散時間高斯信源 ，其中，X1、X2、XN是N個獨立零均值、方差為 的高斯隨機變量 ，稱這種信源為獨立并聯(lián)高斯信源，其中各Xi為子信源。 v設(shè)每個的失真測度為均方失真，即 ，i=1，N；獨立并聯(lián)高斯信源 的失真測度為 (9. 6. 8）12NNX XXX2i(iiidx y2- )NX1( , ) (1/ )(NNiiidNx yx y2- )77現(xiàn)在學(xué)習(xí)的是第七十七頁，共112頁962 獨立并聯(lián)高斯信源v設(shè)信源 的信息率失真函數(shù)為 ，各并聯(lián)信源的信息率失真函數(shù)為 ，i=1，N；那么 (9. 6. 9） (9. 6. 10）NX()R D()iiR D21(

40、 , )(1/)()NNNiiiDE dNE xyx y1(1/)NiiND(/)()(1/)min(;)DNNpPR DNIy xXY78現(xiàn)在學(xué)習(xí)的是第七十八頁，共112頁962 獨立并聯(lián)高斯信源v因為X1、X2、 是獨立的，所以，僅當各信道獨立時等式成立，即時等式成立，所以 v僅當 各信道獨立時等式成立，即 時等式成立，所以 (9. 6. 11）NX(;)(; )NNiiiII X YX Y(; )iiX Y( | )(|)iiipp yxy x(/)()(1/)min(;)(1/)()iiDiiiiiip yxPR DNI X YN R D79現(xiàn)在學(xué)習(xí)的是第七十九頁，共112頁962 獨

41、立并聯(lián)高斯信源v這樣，相當于在 (9. 6. 9）的約束下，求 (9. 6. 11）的極小值，與求并聯(lián)高斯信道容量類似，采用拉格朗日乘子法。由于各 的方差為 ，平均失真為 ，所以令 v 得 （常數(shù)），但由于對各子信源，最大的失真就是方差，所以當 時， ；iX2iiD2()1/(2)log(/)0iiiiiiiJ DNDDDDBDi2iB2iiD80現(xiàn)在學(xué)習(xí)的是第八十頁，共112頁962 獨立并聯(lián)高斯信源v綜合起來，就有 (9. 6. 12）這是因為，對于每個 ， 的最大值就是 。 222,iiiiBBDB()iiR DiD2i81現(xiàn)在學(xué)習(xí)的是第八十一頁，共112頁962 獨立并聯(lián)高斯信源v圖9

42、62為平均失真分配示意圖，與信道容量的注水解釋類似，稱為倒注水原理。假定水池中的總水量（圖中的陰影部分）表示總平均失真，并聯(lián)信源各子信源的方差表示倒置在水池中的容器底部的高度，達到R（D）時，底部高的未注滿水，且各個未注滿水部分的水面高度是相同的，B就是水面高度，也就是分配的平均失真；底部低的部分（相當于方差小于B）已注滿水，水面高度與底部高度同，分配的平均失真就是方差。82現(xiàn)在學(xué)習(xí)的是第八十二頁，共112頁962 獨立并聯(lián)高斯信源v從所需碼率的角度看，方差小于B的Xi的為0，即所需的碼率為零，發(fā)送端僅對方差不小于B的Xi進行編碼并傳送，就能達到平均失真的要求。根據(jù)倒注水原理，有 (9. 6.

43、 13） B可通過下式來確定 (9. 6. 14） ()iiR D222:iiiiBiBBN DKNDBBiii/)(2,283現(xiàn)在學(xué)習(xí)的是第八十三頁，共112頁962 獨立并聯(lián)高斯信源v其中，K 為滿足 的子信源的個數(shù)，滿足此條件的稱為被使用的子信源。v所求函數(shù)為 (9. 6. 15）Bi221()1/(2)log(/)NiiiR DND22,1/(2)log(/)iiiBNB84現(xiàn)在學(xué)習(xí)的是第八十四頁，共112頁962 獨立并聯(lián)高斯信源v注：（1）如果對總失真有要求，那么重點處理功率大的信號；（2）如果總失真允許較大，功率小的信號可以不予處理；（3）只有滿足 的子信源對R（D）有貢獻。 將

44、每個子信源的方差按大小順序排序，得 (9. 6. 16）Bi222221iNii85現(xiàn)在學(xué)習(xí)的是第八十五頁，共112頁962 獨立并聯(lián)高斯信源v在平均失真從0逐漸增大的過程中，從對所有子信源的全部使用開始，按(9. 6. 16）所表示的方差大小的順序，逐個從被使用的子信源集合中排除，直至所有子信源都不被使用，此時對應(yīng)最大的平均失真，為所有子信源方差的和，對應(yīng)的R（D）=0。86現(xiàn)在學(xué)習(xí)的是第八十六頁，共112頁962 獨立并聯(lián)高斯信源v圖962 平均失真分配的倒注水原理。87現(xiàn)在學(xué)習(xí)的是第八十七頁，共112頁962 獨立并聯(lián)高斯信源v例9.6.1 一個二維獨立高斯信源（X1X2），其中X1 、

45、X2均值都為零，方差分別為2和4，采用均方失真測度，求該信源的R(D)函數(shù)。v如果 X1、X2都使用，根據(jù)(9. 6. 14）和 (9. 6. 12），有 和 ，得 ， 2/2DB 2B2DDDDDR22log214log412log41)(88現(xiàn)在學(xué)習(xí)的是第八十八頁，共112頁962 獨立并聯(lián)高斯信源v如果僅使用X2，有 和 ，得，由 和所求 R(D)函數(shù)22 DB42 B32 D12log21224log41)(DDDR6422maxD3maxD3032) 1/(2log)2/1 (20)/22log()2/1 ()(DDDDDDR89現(xiàn)在學(xué)習(xí)的是第八十九頁，共112頁 9.7 一般連續(xù)信

46、源R(D)函數(shù)v對于一般的信源分布，難于得到簡明的函數(shù)的表達式。下面的定理給出了一般連續(xù)信源的函數(shù)的界 90現(xiàn)在學(xué)習(xí)的是第九十頁，共112頁 9.7 一般連續(xù)信源R(D)函數(shù)v定理9.7.1 一均值為0，方差為 的連續(xù)信源X，熵為h(X)，定義失真函數(shù)為 ，則 (9. 7. 1）v僅當X為高斯信源時，等式成立。2x2)(),(yxyxdDDReDXhx2log21)()2log(21)(91現(xiàn)在學(xué)習(xí)的是第九十一頁，共112頁9.7 一般連續(xù)信源R(D)函數(shù)v不等式的左邊是均方失真準則下的仙農(nóng)低界（Shannon lower bound）。定理的結(jié)果表明，在均方失真準則下，相同方差的信源要達到同

47、樣的均方失真，高斯信源有最大的值。從數(shù)據(jù)壓縮的角度看，高斯信源是最難壓縮的信源。 92現(xiàn)在學(xué)習(xí)的是第九十二頁，共112頁*9.8 有損數(shù)據(jù)壓縮技術(shù)簡介 雖然信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎(chǔ)，但在相當長的時間內(nèi)將這種理論應(yīng)用于有損數(shù)據(jù)壓縮實踐的成效不大。原因是：v（1）這種理論需要研究信源的統(tǒng)計模型；v（2）對不同的信源，有效的失真測度難于確定；v（3）有效編碼的復(fù)雜度較大。 近十幾年來，信息率失真理論的研究和應(yīng)用得到很大發(fā)展，主要包括：開發(fā)達到R(D)速率的信源編碼技術(shù)，尋找符合用戶需要的有意義的失真測度，尋求對重要信源的合理的統(tǒng)計模型。本節(jié)就有損編碼的主要方式：量化，預(yù)測編碼和變換編碼

48、做簡單介紹。 93現(xiàn)在學(xué)習(xí)的是第九十三頁，共112頁9. 8. 1 量化v1標量量化 連續(xù)信源限失真編碼的主要方法是量化，就是把連續(xù)的樣值離散化成若干離散值。設(shè)離散值的個數(shù)為n，那么這n個實數(shù)可用n個數(shù)字來表示。量化后的信號成為數(shù)字信號。由于這種數(shù)字化必然引入失真，所以在量化時必須使失真限制到最小。 對于一維連續(xù)信源輸出的量化稱為標量量化。最佳標量量化就是使量化后的平均失真最小。量化后的信息率為R=log n，也就是表示量化后每個樣值所需的比特數(shù)。 實際上，為使編譯碼簡單可以采用均勻量化。在語音編碼中，先對信號進行非線性壓縮，再進行均勻量化。 標量量化主要分為：均勻標量量化和非均勻標量量化94

49、現(xiàn)在學(xué)習(xí)的是第九十四頁，共112頁9. 8. 1 量化v2矢量量化 矢量量化的基本原理就是將若干個標量數(shù)據(jù)構(gòu)成一個矢量，然后在矢量空間中量化。為壓縮比特率，當矢量被量化后，傳送的是它的一個序號。 這樣，需要一個碼書儲存典型的數(shù)據(jù)矢量（碼矢量）和對應(yīng)的序號。當編碼時，將輸入數(shù)據(jù)矢量和每個碼矢量比較，并將與輸入矢量最相似的碼矢量對應(yīng)的序號作為輸入數(shù)據(jù)的編碼來發(fā)送。在接收端則利用與發(fā)送端相同的碼書尋找與發(fā)送序號所對應(yīng)的碼矢量重建信源信號。矢量量化主要分為：均勻矢量量化和非均勻矢量量化。 95現(xiàn)在學(xué)習(xí)的是第九十五頁，共112頁9. 8. 2 預(yù)測編碼 v預(yù)測編碼是基于時域波形信源壓縮的技術(shù)，是語音編碼

50、中使用的重要方法并在圖象編碼中得到應(yīng)用。預(yù)測編碼的基本思想是：由于量化器輸入為信號樣值和預(yù)測值的差，與原信號相比動態(tài)范圍減小，從而使碼率減??；而且這個差值基本上不相關(guān)甚至獨立，因此可以用對無記憶信源的方法實現(xiàn)信源編碼。雖然上面所述的最佳預(yù)測函數(shù)可使均方誤差最小，但為求預(yù)測函數(shù)必須知道r+1個隨機變量的聯(lián)合概率密度函數(shù)。在一般情況下，這是很困難的。對于聯(lián)合高斯分布的隨機變量，由條件期望所得的最佳預(yù)測函數(shù)就是線性函數(shù)，而對于其他分布，線性預(yù)測不是最佳預(yù)測。線性預(yù)測方法比求條件期望簡單得多，所以常將線性預(yù)測用于所有的隨機過程。96現(xiàn)在學(xué)習(xí)的是第九十六頁，共112頁9. 8. 2 預(yù)測編碼v線性預(yù)測在

51、語音編碼得到廣泛應(yīng)用。在語音波形編碼中，有調(diào)制、DPCM調(diào)制和 APC編碼（自適應(yīng)預(yù)測編碼）。在參量編碼中，有線性預(yù)測（LPC）聲碼器（ 利用線性預(yù)測技術(shù)對話音進行分析合成的系統(tǒng)）。在經(jīng)典的LPC聲碼器中，發(fā)送端提取話音的線性預(yù)測系數(shù)、基音周期、清/濁音判決信息以及增益參數(shù)，然后進行量化編碼；在接收端則利用線性預(yù)測語音產(chǎn)生模型來恢復(fù)原始話音。由于預(yù)測模型所采用的激勵源不同，可分為三類不同的LPC聲碼器：經(jīng)典LPC聲碼器、混合激勵LPC聲碼器和殘差激勵線性預(yù)測（RELP）聲碼器。 97現(xiàn)在學(xué)習(xí)的是第九十七頁，共112頁9. 8. 2 預(yù)測編碼v近十幾年來，參量編碼與波形編碼相結(jié)合的語音混合編碼技

52、術(shù)得到很大發(fā)展，這種技術(shù)的特點是v（1）編碼器既利用聲碼器的特點（利用語音產(chǎn)生模型提取語音參數(shù)）又利用波形編碼的特點（優(yōu)化激勵信號使其達到與輸入語音波形的匹配）；v（2）利用感知加權(quán)最小均方誤差準則使編碼器成為一個閉環(huán)優(yōu)化系統(tǒng)；v（3）在較低碼率上獲得較高的語音質(zhì)量。98現(xiàn)在學(xué)習(xí)的是第九十八頁，共112頁9. 8. 2 預(yù)測編碼v這類編碼器包括：多脈沖激勵線性預(yù)測（MPLP或MPC）編碼，正規(guī)脈沖激勵（RPE）編碼和碼激勵線性預(yù)測（CELP）編碼CELP語音編碼器是最具有吸引力的語音壓縮編碼方式之一，它的特點是： 1）使用矢量量化的碼書對激勵序列進行編碼； 2）采用包含感知加權(quán)濾波器和最小均方誤差準則的閉環(huán)系統(tǒng)選擇碼矢量 當前使用CELP算法的語音編碼標準有，低延遲碼激勵線性預(yù)測（LD-CELP）編碼器（16kbps語音編碼國際標準(G.728建議)）， 共軛結(jié)構(gòu)代數(shù)碼激勵線性預(yù)測（CS-ACELP）編碼器（8kbps語音編碼國際標準(G.729建議)）等。99現(xiàn)在學(xué)習(xí)的是第九十九頁，共112頁9. 8. 3 子帶編碼v子帶編碼的技術(shù)要點如下：（1）信源通過一個帶通濾波器組，濾波器的輸出搬移到低通并進行抽??；（2）每路時域信號用PCM，DPCM或其