北郵信息論課件第9章信息率失真函數(shù)

1、第第9章章信息率失真函數(shù)信息率失真函數(shù) 信息與通信工程學院信息與通信工程學院許文俊許文俊2/112v本章首先在研究離散信息率失真函數(shù)的基礎上，介紹限失真信源編碼定理，然后研究離散與連續(xù)信源的率失真函數(shù)的計算，重點是二元信源二元信源和高斯信源高斯信源，最后簡單介紹有損數(shù)據(jù)壓縮技術。3/1129.1 概概 述述v 對于有失真信源編碼，總希望在不大于一定編碼速率（即傳送每信源符號所需的平均的二進數(shù)字數(shù)）的條件下，使平均失真最??；或者在平均失真不大于某個值的條件下，使編碼速率最小。v仙農提出的信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎，該理論的核心是在保真度準則下的信源編碼定理，也稱仙農第三定理v定理指出

2、信源編碼的碼率大于R(D)是存在平均失真不大于D的信源編碼的充分與必要條件。對有損壓縮編碼系統(tǒng)，確定失真測度是首要的工作，不同的失真測度會得到不同R(D)函數(shù)。4/1129.1.1 系統(tǒng)模型v一個有損壓縮系統(tǒng)對信源發(fā)出的消息X進行有失真信源編碼，經理想無噪聲信道傳輸，到達信源譯碼器，輸出為Y。由于編碼有失真，所以Y不是X的精確復現(xiàn)。 信源信源譯碼器信宿信源編碼器 無噪信道試驗信道限失真編碼通信系統(tǒng)模型 5/1129.1.2 失真測度 1單符號失真測度單符號失真測度 試驗信道的輸入試驗信道的輸入x和輸出和輸出y之間的失真用之間的失真用 表示，其表示，其中中 。 定義失真矩陣定義失真矩陣 其中，

3、表示當試驗信道的輸入為ai時，輸出為bj所產生的失真。 ),(yxdYyXx,),(.),(.),(.),(),(.),(1212111mnnmmbadbadbadbadbadbadd0),(jibad6/1129.1.2 失真測度 如果規(guī)定 那么失真矩陣變?yōu)閖ijibadji10),(0111011110d 7/1129.1.2 失真測度2序列失真測度序列失真測度 設序列 其中 取自符號集A； 其中 取自符號集B；序列失真測度定義為： 上式表明，序列的失真測度是所包含符號失真的算術平均。1( ,.,)Nxxxix1(,.,)NyyyiyNiiiNyxdNd1),(1),(yx8/1129.1

4、.2 失真測度3平均失真平均失真 單符號平均失真定義為： 序列平均失真定義為：),()|()(),(,yxyxdxypxpyxdEDNiiiNNyxdENdED1),(1),(yx9/1129.2 離散信源信息率失真函數(shù)離散信源信息率失真函數(shù) 10/1129.2.1 信息率失真函數(shù) 定義信息率失真函數(shù)(rate-distortion function)為： 或);(min)()|(YXIDRDPxypyxxxypxpxypxypxpDRDPxyp,)|()()|(log)|()(min)()|(11/1129.2.2 R(D)函數(shù)的性質1、R(D)的定義域及關鍵點取值的定義域及關鍵點取值： 且

5、minmax0DDDxyyxdxpD),(min)(minxyyxdxpD),()(minmaxmax(0), ()0RH R D12/1129.2.2 R(D)函數(shù)的性質 例9.2.1 設試驗信道輸入符號 ，概率分別為1/3，1/3，1/3，失真矩陣如下所示，求Dmin和Dmax和相應的試驗信道的轉移概率矩陣。 123 ,a aa123312321)(ijd13/1129.2.2 R(D)函數(shù)的性質解 =1 令對應最小 的 ，其它為0?？傻脤狣min 的轉移概率矩陣為： xyyxdxpD),(min)(min) 1 , 2 , 3min()()3 , 1 , 2min()()3 , 2 ,

6、 1min()(321apapap）jibad,(1)|(ijabp10001000114/1129.2.2 R(D)函數(shù)的性質= 5/3 上式中第2項最小，所以令 ?？傻脤狣max 的轉移概率矩陣為： xyyxdxpD),()(minmax123min () 1() 2() 3,p ap ap a 123 () 2() 1() 2,p ap ap a 123 () 3() 3() 1p ap ap a 21p b（ ）130p bp b（ ） （ ）01001001015/1129.2.2 R(D)函數(shù)的性質2R(D) 是關于是關于D的下凸函數(shù)的下凸函數(shù)(P194) 設設D1,D2為任意兩

7、個平均失真，為任意兩個平均失真， ，那，那么么10)()1 ()()1 (2121DRDRDDR16/1129.2.2 R(D)函數(shù)的性質3、R(D)是是(Dmin, Dmax)區(qū)間的連續(xù)和嚴格遞減函區(qū)間的連續(xù)和嚴格遞減函數(shù)數(shù) 證：R(D)在定義域內為凸函數(shù)，從而保證了連續(xù)性。下面證明在定義域內也是非增函數(shù)。由 ，在較大范圍內求極小值一定不大于在所含小范圍內求的極小值，所以 。由于在定義域內R(D)不是常數(shù)，而又是非增下凸函數(shù)，從而推出R(D)連續(xù)和嚴格遞減函數(shù)2121DDPPDD)()(21DRDR17/1129.2.2 R(D)函數(shù)的性質4關于信息率失真函數(shù)的幾點解釋關于信息率失真函數(shù)的幾

8、點解釋： （1）通?？傁Ｍ畔⑼ㄟ^信道傳輸時輸入與輸出之間的互信息最大，是在信道給定情況下的要求。而這里是在信源給定而不是信道給定條件下的傳輸。信息率失真理論要解決的問題就是計算滿足失真要求的傳輸所需要的最小信道容量或傳輸速率，以達到降低信道的復雜度和通信成本的目的。18/1129.2.2 R(D)函數(shù)的性質 （2）根據(jù)R(D)為單調減函數(shù)的性質，如果固定平均互信息，選擇信道的轉移概率使平均失真最小，可以得到同樣的R(D) 函數(shù)曲線，唯一的差別就是變量之間作用交換。這時就得到“失真率函數(shù)”(distortion-rate function)。 失真率函數(shù)定義為( / ): ( ( / )( )

9、min( ( / )p y x I p y xRD Rd p y x19/1129.3 限失真信源編碼定理 本節(jié)包括限失真信源編碼定理和限失真信源信道編碼定理。限失真信源編碼定理指出，當給定一個平均失真D時，對信源碼率壓縮的最低限度為R(D) ，而限失真信源信道編碼定理指出，當信道容量C大于R(D)時，信息能夠通過信道以不大于D的平均失真?zhèn)鬏敗?20/1129.3.1碼率的壓縮 設信源X發(fā)出長度為N的序列，而碼字僅有M個，即僅對M個信源序列進行編碼。設信源的熵為H，如果 ，那么當N足夠長時就存在無失真信源編碼。令 ，就有 。但如果 ，編碼就會產生失真。這就是限失真信源編碼要解決的問題。由于壓縮

10、了碼率，可以提高信息傳輸速率，從而減小了通信的成本。2NHM 2(log)/RMNRHRH21/1129.3.1碼率的壓縮 圖中，信源發(fā)出的N長符號序列u（符號集U）進入編碼器，編碼器按照最小失真的原則搜索到一個碼字，設為ym（其中碼字集合為Y）；設碼字數(shù)為M，m為信源序列對應碼字的序號；那么將ym的序號m發(fā)送到譯碼器，譯碼器根據(jù)接收的序號恢復原始碼字，輸出到用戶。 限失真信源編碼系統(tǒng) 22/1129.3.1碼率的壓縮 例例9.3.1 設信源X，符號集為a1,a2,a2n，等概分布pi=1/2n，i=1,2n，給定失真測度為 ，設計一種單符號壓縮算法使得平均失真D=1/2并求壓縮后的碼率R.。

11、jijidij0123/1129.3.1碼率的壓縮 解：失真測度為漢明測度，實際上要求誤碼率為1/2。設Y為X的壓縮編碼，符號集為b1,b2,bn，下面為壓縮算法和對應的試驗信道轉移概率矩陣：)2.(.) 1,.,1(nnjbanibaYXnjii，nnnnnbbbbaaaaa1212121.1.01.10.0010.0.0.0100.01.24/1129.3.1碼率的壓縮 平均失真 算法滿足要求。 的概率分布為： 所以 2,111( ) ( / ) ( , )1222nx ynnDp x p y x d x ynn(1)jbjn， ， 12/1.2/1nnnnn2/ ) 1( ， 12log

12、212log21)(nnnnnnnYH1( )log2log(1)2nRH Ynnn 25/1129.3.2 限失真信源編碼定理v定理9.3.1 任意給定 ，總存在一種信源編碼，使當 時，平均失真 ；反之，如果RR(D)，就不可能存在使平均失真 的編碼。(香農第三定理)0()RR D DD26/1129.3.3 限失真信源信道編碼定理v定理9.3.2 設離散無記憶信源的信息率失真函數(shù)為R(D)(比特/秒)，離散無記憶信道的容量為C（比特/秒），若滿足 則信源序列通過信道傳輸后的平均失真D；若 ，則信源序列通過信道傳輸后的平均失真大于D。（教材中的幾點解釋，P190）（例9.3，P194， 習題

13、集P188, 習題9.15）()CR D()CR D27/1129.4 離散信源信息率失真函數(shù)的計算v本節(jié)研究離散信源信息率失真函數(shù)的計算問題，這歸結到求有約束的極值問題。即使很簡單的信源和簡單的失真測度，求解的過程都比較復雜，而且只有特殊情況才有解析解，對于一般的計算需要借助于迭代算法。28/112v設試驗信道輸入X，符號集A=a1,an，對應概率分布為p1,pn；信道輸出 Y，符號集B=b1,bm，對應概率分布為q1,qm，失真矩陣為 （9. 4. 1） v試驗信道轉移概率矩陣為 （9. 4. 2） v信道輸出概率分布 nmnnmmddddddddd.212222111211dnmnnmm

14、ppppppppp.212222111211Pijiijppq29/1129.4.1 R(D)參量表示法求解v對于給定信源X，符號概率分布為p1,pn的已知，給定（9. 4. 1）確定的失真矩陣，求解R(D)，實際上是通過（9.4.3）所描述的有約束極值，確定實驗信道轉移概率pij。 （9.4.3）jijnimjijijinimjjijijipnipDdppqpppDRij, 1, 1logmin)(111130/1129.4.1 R(D)參量表示法求解v由于使R最小的pij總是在PD的邊界上，所以在求極值時，平均失真約束條件的不等式取等號，即 （9.4.4）v從（9.4.3）式可知，約束條件

15、有n+1個，其中1個為平均失真約束，n個條件概率歸一化約束，未知數(shù)pij有mn個。下面用拉格朗日乘子法求有約束極值。11nmiijijijp p dD31/1129.4.1 R(D)參量表示法求解v設s, (i=1,n)為常數(shù)，求下式極值（以e為底）：ijijiiijijijijjjijijijiijpdppsqqppppJloglog)(0log) 1(logiijijjijiijiijdspqqpqppppJiijijppq0logiijijijidspqpp 32/1129.4.1 R(D)參量表示法求解令 ，得其中iiip/0logiijjijsdqpijdiijdsijsjijeqe

16、qp /ipiiee（9.4.5）33/1129.4.1 R(D)參量表示法求解所以當 時jsjijijijdeqpijsjjideq1ijdsiiijijiiepqpp0jq1iijsiidep （9.4.6）（9.4.7） 34/1129.4.1 R(D)參量表示法求解v結合（9.4.6）與（9.4.7）式，得v式中含m個方程，m個未知數(shù)qj(j=1,m)，而s為參量，一般能解。1,1,2,ijijddsisijjepjmq e35/1129.4.1 R(D)參量表示法求解v將（9.4.5）代入（9.4.4）（9.4.3），分別得ijsijjijiiijijijidedqpdppsD)(,

17、( )loglog()sijiijiijiiji jjijdpR sp pp peqiijjiiijijjiippsdpplog,iiipsDlog（9.4.10） （9.4.9）36/1129.4.2 R(D)求解過程歸納v現(xiàn)將R(D)求解的過程歸納如下： （1）根據(jù)（9.4.7）式求，；（2）根據(jù)（9.4.6）式求，j=1,m；（3）根據(jù)（9.4.9）式求D(s)；（4）根據(jù)（9.4.10）式求R(s)。37/1129.4.2 R(D)求解過程歸納設為列矢量，由（9.4.7）得寫成矩陣形式為)()(ijsdijeaAiiipu1( ,.,)Tnuuu(1.1)Tm11.1.22111212

18、111nmnmmnnauauauauauauTA u1（9.4.11） P19238/1129.4.2 R(D)求解過程歸納由（9.4.6），得寫成矩陣形式為其中， nnmsmnsnsmsmssddddddeqeqeqeqeqeq/1./1.221111122111vAq （9.4.12） 112(,.,)1/,1/,.,1/TTmnqqqv，39/1129.4.2 R(D)求解過程歸納當m=n且A-1存在時，求解過程為：由 解得 由 解得 設矩陣為 ，有 TA u1()TuA11iiiupv/vAq 1qA v()sdijijedB40/1129.4.2 R(D)求解過程歸納BquTDiii

19、iiiipupsDpsDDRloglog)(iiiupsDpHlog)(（9.4.14） （9.4.13）其中，H(p)為信源的熵。41/1129.4.3 參量s的意義v現(xiàn)求R(D)對D的導數(shù)，由（9.4.10）得 iiidDdRdDdssRDRdDdRiiiidDdpdDdsDsdDdsdsdpDsiiii)(（9.4.15） 42/1129.4.3 參量s的意義v在（9.4.7）式的兩邊，對s求導，得v兩邊都乘以 ，得 v根據(jù)（9.4.6），得 v將（9.4.16）的結果代入（9.4.15），得()0sdsdiiiiijiijijdpepeddsjjq0sdijijiijdqp eDds

20、iiiiDdsdp0（9.4.16） dRsdD（9.4.17） 43/1129.4.3 參量s的意義v由此可得如下結論：(1)s是R(D)函數(shù)的斜率；(2)因為R(D)在0DDmax嚴格單調遞減，所以s0。44/1129.4.3 參量s的意義v例9.4.1 一個二元信源，符號集A=0,1，概率為p(0)=p1=p，p(1)=p2=1-p，其中p1/2；試驗信道輸出符號集B=0,1，失真測度函數(shù)為漢明失真，求R(D)函數(shù)。45/1129.4.3 參量s的意義v解 （1）設 ，所以 ()()sdijijAae11sseeA121111sTsseAAee)1/(1)1/(11111112sssss

21、eeeeeu46/1129.4.3 參量s的意義（2）由 得（3） 解得 iiiupv pevs)1 (1)1)(1 (2pevs)1/(1)1/(11111221ssssseeeeeqq)1 ()1 (11ppepepesss47/1129.4.3 參量s的意義v （4） v v （9.4.18） v v （9.4.19）0(1)111 11110(1)sssTsssssepepeDeeeepepu BqssepepsDpHDR11log)1 (11log)()(sesDpH11log)(48/1129.4.3 參量s的意義v由（9.4.18）得， 和 將這些結果代入（9.4.19），得 （

22、9.4.20） 圖9.4.1 為二元信源在不同概率p條件下的R(D)函數(shù)曲線?？梢钥闯觯瑢τ诮o定的失真測度D，信源分布越接近等概率，R(D)越大，也就是說越難壓縮，反之，信源分布越不均勻，R(D)越小，越容易壓縮。log/(1)sDDDes1)1/(1)1log(1log)()(DDDDpHDR)()(DHpH49/1129.4.3 參量s的意義 v 圖9.4.1 二元信源的R(D)函數(shù)曲線 50/1129.5 連續(xù)信源信息率失真函數(shù)v在前面學習離散信源R(D)函數(shù)的基礎上，本節(jié)介紹離散時間連續(xù)信源的R(D)函數(shù)。首先介紹R(D)函數(shù)定義和性質，然后推導R(D)函數(shù)的計算，特別是差值失真測度的

23、R(D)函數(shù)。與離散情況相比，R(D)函數(shù)定義和性質有類似性，但也有不同；而R(D)函數(shù)的計算需要求有約束的泛函極值，因此過程更為復雜。51/1129.5.1 信息率失真函數(shù)與性質v設時間離散連續(xù)信源X，概率密度為p(x)，試驗信道轉移概率p(y|x)，輸出為q(y)。定義平均失真為 （9. 5. 1）dxdyyxdxypxpdxdyyxdyxpyxdED),()|()(),(),(),(52/1129.5.1 信息率失真函數(shù)與性質v對所有試驗信道集合PD，在滿足失真度DD*時，信息率失真函數(shù)定義為： （9. 5.2）v其中 )|(min);(inf)(*)|()|(xypIYXIDRDDPx

24、ypPxyp* ( | ):DPp y xDD。 53/1129.5.1 信息率失真函數(shù)與性質v與離散信源類似，可以證明R(D)函數(shù)有以下性質：（1）非負性；（2） 在區(qū)間是單調遞減函數(shù)；（3） 在區(qū)間是下凸函數(shù)；其中， 對應著X，Y獨立時的最小平均失真，所以 （9. 5.3）max0DDmax0DDmaxDdxyxdxpDy),()(infmax54/1129.5.1 信息率失真函數(shù)與性質v與離散情況不同的是，在D=0時，R(D)并不連續(xù)。在D0時，R(D) ，趨近信源的絕對熵。對離散情況，H(X)是R(0)的上界；對連續(xù)情況，h(X)不是R(0)的上界，而且h(X)還可能為負。55/112

25、9.5.2 R(D)函數(shù)的計算v在連續(xù)信源情況下用條件概率密度來描述試驗信道，在滿足（9. 5. 1）約束條件下，求（9. 5.2）R(D)函數(shù)的極小值確定試驗信道的條件概率密度，歸結為求有約束泛函極值的問題。即求 （9. 5. 4） dxdyyqxypxypxpYXI)()|(log)|()();(dxyxpyq),()(56/1129.5.2 R(D)函數(shù)的計算v的極小值，滿足約束為 （9. 5. 5） 和 （9. 5. 6） 求泛函極值，等價于使下式的一階變分為0。 (9. 5. 7）dxdyyxdxypxpxypD),()|()()|(1)|(dyxypdxdyyqxypxypxpxy

26、pJ)()|(log)|()()|(dxdyyxdxypxpsdxdyxypx),()|()()|()(57/1129.5.2 R(D)函數(shù)的計算v令 ，有通過推導，得 (9. 5. 8）其中， 與離散情況相似，可得 (9. 5. 9） )(log)()(xrxpx dxdyyxsdyqxrxypxypxpxypJ),()()()|()log|()()|(),()()()|(yxsdeyqxxyp)()()(xfexrx 1),()()(dyeyqxyxsd58/1129.5.2 R(D)函數(shù)的計算v當時 ，有 (9. 5. 10）v平均失真為 (9. 5.11） (9. 5. 12） 0)(

27、yq1)()(),(dxexpxyxsddxdyyxdxypxpD),()|()(dxdyeyxdyqxxpyxsd),(),()()()()(log)|()()(),(yxsdexxypxpDRdxdyxxypxpsD)(log)/()(dxxxpsD)(log)(59/1129.5.2 R(D)函數(shù)的計算v可以證明，s是R(D)函數(shù)的斜率。60/1129.5.3 差值失真測度差值失真測度v 差值失真測度指的是平方誤差測度 和絕對值誤差測度 。在差值失真測度下， (9. 5. 10）式變?yōu)?(9. 5. 13）2( , )()d x yxy( , ) |d x yxy1)()()(dxexp

28、xyxsd61/1129.5.3 差值失真測度差值失真測度v(9. 5. 13）式表示 與 的卷積為1，所以 的頻譜與 的頻譜乘積為沖激。 而 在整個頻率域，所以 的頻譜為沖激，因此， （常數(shù)） (9. 5. 14） (9. 5. 15） (9. 5. 15）成立的條件是 。在差值失真測度下，(9. 5. 9）變?yōu)?()(xpx)(xsde)()(xpx)(xsde)(xsde)()(xpx)()()(skxpx1)()()(dzeskzsddzezsd)(62/1129.5.3 差值失真測度差值失真測度v (9. 5. 16）由(9. 5. 14）、(9. 5. 16）和(9. 5. 15）

29、，得 (9. 5. 17） 可見，p(x)為q(x)與的卷積，其中 (9. 5. 18） dyeyqxyxsd)(1)()(dydzeeyqdyeyqskxpzsdyxsdyxsd)()()()()()()()()()()()(xsdzsdxsdSeskdzeexg63/1129.5.3 差值失真測度差值失真測度v設表示隨機變量 的概率密度，那么x= +y，或 = x-y，所以表示誤差的概率密度。sesese64/1129.6 高斯信源的R(D)函數(shù) v本節(jié)就高斯信源和平方誤差測度 的情況下研究R(D)函數(shù)。這里僅研究離散時間無記憶高斯信源和獨立并聯(lián)信源兩種情況。2( , )()d x yxy

30、65/112961 離散時間無記憶高斯信源v 由(9. 5. 15），對于平方誤差測度有 (9. 6. 1）v根據(jù)(9. 5. 18），得 (9. 6. 2） 應注意，(9. 6. 2）的結果僅與失真測度的選取有關，而與信源分布無關。 21( )/szk ssedz2( )xsSsgxe66/112961 離散時間無記憶高斯信源v設 ， ， ， 這里表示傅氏變換關系。v對于均值為零、方差 為 的高斯信源X，概率密度為 ，那么 v ，同時還有 由 )()(Pxp)()(Qxq)()(SSGxg222221)(xexp2221)( eP211()22( )sSGe)()()(SGQP67/1129

31、61 離散時間無記憶高斯信源v得知y也為高斯分布，且 (9. 6. 3）平均失真為 （與q(y)無關） (9. 6. 4）221122( )( )( )sSPQeGdxdyeskyxyqDyxs2)(2)()(dydxeyxyqyxss)()(2)(2sdysyq21)21)(68/112961 離散時間無記憶高斯信源v將(9. 6. 4）的結果代入(9. 6. 2），得 (9. 6. 5） (9. 6. 5）表明達到R(D)時，誤差是高斯分布，方差等于D。v將(9. 6. 4）的結果代入(9. 6. 3），得 (9. 6. 6）2/(2)1( )2xDsg xeD2212( )DQe69/1

32、12961 離散時間無記憶高斯信源v(9. 6. 5）表明達到R(D)時，試驗信道的輸出也是高斯分布，方差等于 ，并且與誤差獨立。v率失真函數(shù)為將(9. 6. 4）和(9. 6. 1）代入，得 D2)()(log)()(log)()(sskxhsDdxxpkxpsDDR)21111()log(2log2222R DeD D2log2170/112961 離散時間無記憶高斯信源v對以上結果，我們歸納為下面的定理：v定理9.6.1 一個無記憶任意均值、方差為 的高斯信源，在平方誤差準則下的信息率失真函數(shù)為： 其中, ,且22221log01()max(0,log)220DR DDDDmax0DD2

33、2max)(infdxyxxpD271/112961 離散時間無記憶高斯信源v圖961為高斯信源的R(D)函數(shù)曲線。下面為高斯信源R(D)函數(shù)的注釋：72/112961 離散時間無記憶高斯信源v圖961 高斯信源的R(D)函數(shù)73/112961 離散時間無記憶高斯信源v（1）此R(D)函數(shù)是在平方誤差準則下推出的，不適用其他準則；v（2）R(D)函數(shù)是高斯信源實現(xiàn)平均失真小于等于D的有損編碼可達到的最低速率。簡單說明如下：v設一個有失真編碼包含 個碼字，每個信源序列的長度為n。所有信源序列都位于半徑為 的大球內，且都應該位于以某個碼字為中心，半徑為 的小球內。 2nRM 2nnD74/1129

34、61 離散時間無記憶高斯信源v因此為充滿大球所需最少的小球數(shù)目也就是最少的碼字數(shù)為 (9. 6. 8） 因此，只要 ，就能使平均失真小于等于D。（3） 稱為有損壓縮的信噪比；當信源功率給定，平均失真越大，信噪比越小，所需碼率也越小。2/ 2()2()2nRnnR DD()RR DD/275/112961 離散時間無記憶高斯信源v（4）當D=0時，R(D)= ；當D= 時， R(D)=0。這說明，對于連續(xù)信源，當平均失真為0時，所需要的信息率為無限大v5）高斯信源失真率函數(shù) (9. 6. 9）v上式通過求(9. 6. 7）的反函數(shù)得到，其中，R為編碼器的碼率，單位為比特/符號。D(R)表示，當高

35、斯信源有損壓縮的碼率為R時，可以達到的最小平均失真。所以對于任意碼率為R的高斯信源有損編碼器，其平均失真D，滿足 (9. 6. 10）2RRD222)(RD22276/112961 離散時間無記憶高斯信源v例961 一個均值為零的離散時間高斯信源作為限失真信源編碼器的輸入，該編碼器是一個量化器，輸出256個量化電平，輸出信噪比SNR用輸入信號的均方值與均方誤差的比來量度；（1）求編碼器的碼率；（2）SNR能否達到49dB？ 解 （1）編碼器的碼率： 比特/信源符號； 8256log2R77/112961 離散時間無記憶高斯信源v（2）SNR不能達到49dB。解釋如下： 根據(jù) (9. 6. 10

36、），有RDSNR222dBdB4916.483010. 01602lg108278/112 962 獨立并聯(lián)高斯信源v一個多維離散時間高斯信源 ，其中，X1、X2、XN是N個獨立零均值、方差為 的高斯隨機變量 ，稱這種信源為獨立并聯(lián)高斯信源，其中各Xi為子信源。 v設每個的失真測度為均方失真，即 ，i=1，N；獨立并聯(lián)高斯信源 的失真測度為 (9. 6. 8）12NNX XXX2i(iiidx y2- )NX1( , ) (1/ )(NNiiidNx yx y2- )79/112962 獨立并聯(lián)高斯信源v設信源 的信息率失真函數(shù)為 ，各并聯(lián)信源的信息率失真函數(shù)為 ，i=1，N；那么 (9. 6

37、. 9） (9. 6. 10）NX()R D()iiR D21( , )(1/)()NNNiiiDE dNE xyx y1(1/)NiiND(/)()(1/)min(;)DNNpPR DNIy xXY80/112962 獨立并聯(lián)高斯信源v因為X1、X2、 是獨立的，所以，僅當各信道獨立時等式成立，即時等式成立，所以 v僅當 各信道獨立時等式成立，即 時等式成立，所以 (9. 6. 11）NX(;)(; )NNiiiII X YX Y(; )iiX Y( | )(|)iiipp yxy x(/)( )(1/)min(;)(1/)()iiDiiiiiip yxPR DNI X YN R D81/1

38、12962 獨立并聯(lián)高斯信源v這樣，相當于在 (9. 6. 9）的約束下，求 (9. 6. 11）的極小值，與求并聯(lián)高斯信道容量類似，采用拉格朗日乘子法。由于各 的方差為 ，平均失真為 ，所以令 v 得 （常數(shù)），但由于對各子信源，最大的失真就是方差，所以當 時， ；iX2iiD2()1/(2)log(/)0iiiiiiiJ DNDDDDBDi2iB2iiD82/112962 獨立并聯(lián)高斯信源v綜合起來，就有 (9. 6. 12）這是因為，對于每個 ， 的最大值就是 。 222,iiiiBBDB()iiR DiD2i83/112962 獨立并聯(lián)高斯信源v圖962為平均失真分配示意圖，與信道容量

39、的注水解釋類似，稱為倒注水原理。假定水池中的總水量（圖中的陰影部分）表示總平均失真，并聯(lián)信源各子信源的方差表示倒置在水池中的容器底部的高度，達到R（D）時，底部高的未注滿水，且各個未注滿水部分的水面高度是相同的，B就是水面高度，也就是分配的平均失真；底部低的部分（相當于方差小于B）已注滿水，水面高度與底部高度同，分配的平均失真就是方差。84/112962 獨立并聯(lián)高斯信源v從所需碼率的角度看，方差小于B的Xi的為0，即所需的碼率為零，發(fā)送端僅對方差不小于B的Xi進行編碼并傳送，就能達到平均失真的要求。根據(jù)倒注水原理，有 (9. 6. 13） B可通過下式來確定 (9. 6. 14） ()iiR

40、 D222:iiiiBiBBN DKNDBBiii/)(2,285/112962 獨立并聯(lián)高斯信源v其中，K 為滿足 的子信源的個數(shù)，滿足此條件的稱為被使用的子信源。v所求函數(shù)為 (9. 6. 15）Bi221()1/(2)log(/)NiiiR DND22,1/(2)log(/)iiiBNB86/112962 獨立并聯(lián)高斯信源v注：（1）如果對總失真有要求，那么重點處理功率大的信號；（2）如果總失真允許較大，功率小的信號可以不予處理；（3）只有滿足 的子信源對R（D）有貢獻。 將每個子信源的方差按大小順序排序，得 (9. 6. 16）Bi222221iNii87/112962 獨立并聯(lián)高斯信

41、源v在平均失真從0逐漸增大的過程中，從對所有子信源的全部使用開始，按(9. 6. 16）所表示的方差大小的順序，逐個從被使用的子信源集合中排除，直至所有子信源都不被使用，此時對應最大的平均失真，為所有子信源方差的和，對應的R（D）=0。88/112962 獨立并聯(lián)高斯信源v圖962 平均失真分配的倒注水原理。 1 2 3 4 5 6B0信 源 序 號421262i232225289/112962 獨立并聯(lián)高斯信源v例9.6.1 一個二維獨立高斯信源（X1X2），其中X1 、X2均值都為零，方差分別為2和4，采用均方失真測度，求該信源的R(D)函數(shù)。v如果 X1、X2都使用，根據(jù)(9. 6. 1

42、4）和 (9. 6. 12），有 和 ，得 ， 2/2DB 2B2DDDDDR22log214log412log41)(90/112962 獨立并聯(lián)高斯信源v如果僅使用X2，有 和 ，得，由 和所求 R(D)函數(shù)22 DB42 B32 D12log21224log41)(DDDR6422maxD3maxD3032) 1/(2log)2/1 (20)/22log()2/1 ()(DDDDDDR91/112 9.7 一般連續(xù)信源R(D)函數(shù)v對于一般的信源分布，難于得到簡明的函數(shù)的表達式。下面的定理給出了一般連續(xù)信源的函數(shù)的界 92/112 9.7 一般連續(xù)信源R(D)函數(shù)v定理9.7.1 一均值

43、為0，方差為 的連續(xù)信源X，熵為h(X)，定義失真函數(shù)為 ，則 (9. 7. 1）v僅當X為高斯信源時，等式成立。2x2)(),(yxyxdDDReDXhx2log21)()2log(21)(93/1129.7 一般連續(xù)信源R(D)函數(shù)v不等式的左邊是均方失真準則下的仙農低界（Shannon lower bound）。定理的結果表明，在均方失真準則下，相同方差的信源要達到同樣的均方失真，高斯信源有最大的值。從數(shù)據(jù)壓縮的角度看，高斯信源是最難壓縮的信源。 94/112*9.8 有損數(shù)據(jù)壓縮技術簡介 雖然信息率失真理論是有損數(shù)據(jù)壓縮的理論基礎，但在相當長的時間內將這種理論應用于有損數(shù)據(jù)壓縮實踐的成

44、效不大。原因是：v（1）這種理論需要研究信源的統(tǒng)計模型；v（2）對不同的信源，有效的失真測度難于確定；v（3）有效編碼的復雜度較大。 近十幾年來，信息率失真理論的研究和應用得到很大發(fā)展，主要包括：開發(fā)達到R(D)速率的信源編碼技術，尋找符合用戶需要的有意義的失真測度，尋求對重要信源的合理的統(tǒng)計模型。本節(jié)就有損編碼的主要方式：量化，預測編碼和變換編碼做簡單介紹。 95/1129. 8. 1 量化v1標量量化 連續(xù)信源限失真編碼的主要方法是量化，就是把連續(xù)的樣值離散化成若干離散值。設離散值的個數(shù)為n，那么這n個實數(shù)可用n個數(shù)字來表示。量化后的信號成為數(shù)字信號。由于這種數(shù)字化必然引入失真，所以在量化

45、時必須使失真限制到最小。 對于一維連續(xù)信源輸出的量化稱為標量量化。最佳標量量化就是使量化后的平均失真最小。量化后的信息率為R=log n，也就是表示量化后每個樣值所需的比特數(shù)。 實際上，為使編譯碼簡單可以采用均勻量化。在語音編碼中，先對信號進行非線性壓縮，再進行均勻量化。 標量量化主要分為：均勻標量量化和非均勻標量量化96/1129. 8. 1 量化v2矢量量化 矢量量化的基本原理就是將若干個標量數(shù)據(jù)構成一個矢量，然后在矢量空間中量化。為壓縮比特率，當矢量被量化后，傳送的是它的一個序號。 這樣，需要一個碼書儲存典型的數(shù)據(jù)矢量（碼矢量）和對應的序號。當編碼時，將輸入數(shù)據(jù)矢量和每個碼矢量比較，并將

46、與輸入矢量最相似的碼矢量對應的序號作為輸入數(shù)據(jù)的編碼來發(fā)送。在接收端則利用與發(fā)送端相同的碼書尋找與發(fā)送序號所對應的碼矢量重建信源信號。矢量量化主要分為：均勻矢量量化和非均勻矢量量化。 97/1129. 8. 2 預測編碼 v預測編碼是基于時域波形信源壓縮的技術，是語音編碼中使用的重要方法并在圖象編碼中得到應用。預測編碼的基本思想是：由于量化器輸入為信號樣值和預測值的差，與原信號相比動態(tài)范圍減小，從而使碼率減??；而且這個差值基本上不相關甚至獨立，因此可以用對無記憶信源的方法實現(xiàn)信源編碼。雖然上面所述的最佳預測函數(shù)可使均方誤差最小，但為求預測函數(shù)必須知道r+1個隨機變量的聯(lián)合概率密度函數(shù)。在一般情

47、況下，這是很困難的。對于聯(lián)合高斯分布的隨機變量，由條件期望所得的最佳預測函數(shù)就是線性函數(shù)，而對于其他分布，線性預測不是最佳預測。線性預測方法比求條件期望簡單得多，所以常將線性預測用于所有的隨機過程。98/1129. 8. 2 預測編碼v線性預測在語音編碼得到廣泛應用。在語音波形編碼中，有調制、DPCM調制和 APC編碼（自適應預測編碼）。在參量編碼中，有線性預測（LPC）聲碼器（ 利用線性預測技術對話音進行分析合成的系統(tǒng)）。在經典的LPC聲碼器中，發(fā)送端提取話音的線性預測系數(shù)、基音周期、清/濁音判決信息以及增益參數(shù)，然后進行量化編碼；在接收端則利用線性預測語音產生模型來恢復原始話音。由于預測模

48、型所采用的激勵源不同，可分為三類不同的LPC聲碼器：經典LPC聲碼器、混合激勵LPC聲碼器和殘差激勵線性預測（RELP）聲碼器。 99/1129. 8. 2 預測編碼v近十幾年來，參量編碼與波形編碼相結合的語音混合編碼技術得到很大發(fā)展，這種技術的特點是v（1）編碼器既利用聲碼器的特點（利用語音產生模型提取語音參數(shù)）又利用波形編碼的特點（優(yōu)化激勵信號使其達到與輸入語音波形的匹配）；v（2）利用感知加權最小均方誤差準則使編碼器成為一個閉環(huán)優(yōu)化系統(tǒng)；v（3）在較低碼率上獲得較高的語音質量。100/1129. 8. 2 預測編碼v這類編碼器包括：多脈沖激勵線性預測（MPLP或MPC）編碼，正規(guī)脈沖激勵（RPE）編碼和碼激勵線性預測（CELP）編碼CELP語音編碼器是最具有吸引力的語音壓縮編碼方式之一，它的特點是： 1）使用矢量量化的碼書對激勵序列進行編碼； 2）采用包含感知加權濾波器和最小均方誤差準則的閉環(huán)系統(tǒng)選擇碼矢量 當前使用CELP算法的語音編碼標準有，低延遲碼激勵線性預測（LD-CELP）編碼器（16kbps語音編碼國際標準(G.728建議)）， 共軛結構代數(shù)碼激勵線性預測（CS-ACELP）編碼器（8kbps語音編碼國際標準(G.729建議)）等。101/