限失真信源與信息率失真函數(shù)R(D)

1、第四章 限失真信源與信息率失真函數(shù)R(D)§4-1 引言（一） 引入限失真的必要性：1） 失真在傳輸中是不可避免的;2） 接收者（信宿）無論是人還是機器設備，都有一定的分辨能力與靈敏度，超過分辨能力與靈敏度的信息傳送過程是毫無意義的;3） 即使信宿能分辨、能判別，但對通信質量的影響不大，也可以稱它為允許范圍內的失真；4） 我們的目的就是研究不同的類型的客觀信源與信宿，在給定的Qos要求下的最大允許（容忍）失真D，及其相應的信源最小信息率R(D).5） 對限失真信源，應該傳送的最小信息率是R(D)，而不是無失真情況下的信源熵H(U).顯然 H(U)R(D).當且僅當 D=0時，等號成立

2、；6） 為了定量度量D，必須建立信源的客觀失真度量，并與D建立定量關系；7） R(D)函數(shù)是限失真信源信息處理的理論基礎；（二） R(D)函數(shù)的定義1） 信源與信宿聯(lián)合空間上失真測度的定義：: 其中： （單消息信源空間） （單消息信宿空間） 則有 稱為統(tǒng)計平均失真，它在信號空間中可以看作一類“距離”，它有性質1, 當 23對離散信源：i=j=1,2.n,則有： 若取 為漢明距離，則有：對連續(xù)信源，失真可用二元函數(shù)d(u,v)表示。則有：推而廣之，d(u,v)可表示任何用v表達u時所引進的失真，誤差，損失，風險，甚至是主觀感覺上的差異等等。進一步定義允許失真D為平均失真的上界：-對離散在討論信息

3、率失真函數(shù)時，考慮到信源與信宿之間有一個無失真信道，稱它為試驗信道，對離散信源可記為，對限失真信源這一試驗信道集合可定義為：根據(jù)前面在互信息中已討論過的性質： 且互信息是的上凸函數(shù)，其極限值存在且為信道容量：這里，我們給出其對偶定義： 即互信息是的下凸函數(shù)。其極限值存在且為信息率失真函數(shù)。它還存在下列等效定義：稱D(R)為失真信息率函數(shù)，是R(D)的逆函數(shù)，它是求在允許最大速率情況下的最大失真D。至此，我們已給定R(D)函數(shù)一個初步描述。由定義，R(D)函數(shù)是在限定失真為最大允許失真為D時信源最小信息速率，它是通過改變試驗信道特性（實際上是信源編碼）來達到的。所以R(D)是表示不同D值時對應的

4、理論上最小信息速率值。然而對于不同的實際信源，存在著不同類型的信源編碼，即不同的試驗信道特性并可以求解出不同的信息率失真R(D)函數(shù)，它與理論上最佳的R(D)之間存在著差異，它反映了不同方式信源編碼性能的優(yōu)劣，這也正是R(D)函數(shù)的理論價值所在。特別對于連續(xù)信源，無失真是毫無意義的，這時R(D)函數(shù)具有更大的價值。例：若有一個離散、等概率單消息（或無記憶）二元信源： ,且采用漢明距離作為失真度量標準：即 若有一具體信源編碼方案為：N個碼元中允許錯一個碼元，實現(xiàn)時N個碼元僅送N-1個，剩下一個不送，在接收端用隨機方式決定（為擲硬幣方式）。此時，速率R及平均失真D相應為：若已知這一類信源理論上的（

5、后面將進一步給出計算），則有陰影范圍表示實際信源編碼方案與理論值間的差距，我們完全可以找到更好，即更靠近理論值，縮小陰影范圍的信源編碼，這就是工程界尋找好的信源編碼的方向和任務。§4-2 R(D)函數(shù)的性質討論R(D)性質以前先簡要介紹R(D)的定義域。對離散：對應R(D)值：。對連續(xù)： R(D)函數(shù)性質可用下列定理總結：定理421：對離散、單個消息限定失真信源，其R(D)函數(shù)滿足下列性質：（1）R(D)是D的下凸（）函數(shù)；（2）R(D)是D的單調非增函數(shù)；（3）R(D)是D的連續(xù)函數(shù)；（4）； 證明：（1）證明思路：根據(jù)R(D)函數(shù)定義，與下凸函數(shù)定義，只需證明： 首先證，再利用互

6、信息對的下凸性。即：若用與表示達到與時的條件分布，且 則有： 這里，由可得 再利用互信息對的下凸性，有（2）設 則 即R(D)是D的單調非增函數(shù)。（3）設。由定義，有。同時，由于是連續(xù)函數(shù)。即當 有 即，R(D)是D的連續(xù)函數(shù)。（4）當，即無失真時，一一對應§4-3 離散信源R(D)函數(shù)計算： 可見，求解R(D)實質上是求解互信息的條件極值，可采用拉氏乘子法求解。但是，在一般情況下只能求得用參量（R(D)的斜率S）來描述的參量表達式，并借助計算機進行迭代運算。 由信道容量C與R(D)數(shù)學上對偶關系：其迭代運算與求信道容量迭代運算相仿的。在正式討論R(D)迭代運算前，這里，我們先介紹特

7、殊情況下的R(D)計算。具有等概率、對稱失真信源的R(D)計算：例1：有一個二元等概率平穩(wěn)無記憶信源U，且失真函數(shù)為： 試求其R(D)=? 解：由：為了運算方便，取上式中，已知：，D（允許失真）給定。則一一對應。這時，由概率歸一性，可進一步假設：可見：代入上述公式，有再將它代入轉移概率公式中：由：，得：則：例2：若有一個元等概率、平穩(wěn)無記憶信源，且規(guī)定失真函數(shù)為：試求R(D)=? 解：由，求得 取，4，8，有由上圖可見無失真時 ， ， ，有失真，比如時顯然 ，進制越小，壓縮比越大； ，但相對關系不變， 允許失真越大，壓縮比亦越大。R(D)的參量表達式：要討論R(D)的計算，由R(D)函數(shù)定義，

8、需要求下列約束條件下的互信息極值。 求解這類極值有好幾種方法：變分法、拉氏乘子法、凸規(guī)劃方法等等。這里引用最簡單的拉氏乘子法。但是它不能處理不等式約束關系，因此需對上述條件進行必要的修改，這時上述問題可歸納為在下列組約束條件下：求互信息的極小值。引用拉氏乘子法，并設與分別表示個約束條件的待定參數(shù)，則有：求得 由歸一化條件有 求得 再將式兩邊同乘并對i求和，且設qj>0，則有 代入，得： 當信源給定，選定與以后，它是一個求解個的方程組，則可按下列順序求解：最后求得參量方程如下： 這就是用參量的斜率表達的函數(shù)形式，又稱為參量方程。定理4-3-1：，即R(D)斜率為參量S。證明從略。例：引用上

9、述參量方程求解一個二進不等概率離散信源：，且其中，試求解：首先求參量與由公式，有：求得 將它帶入式，有求得 再將帶入式中： 再將它帶入，有： 取，的曲線：由圖可見：無失真： 限失真，比如時結論：1) 信源概率分布越不均勻，壓縮比越大；2) 越大，壓縮比也越大。R(D)函數(shù)的迭代算法首先讓我們從信道容量與函數(shù)定義與數(shù)學上的對偶性來分析：顯然，我們可以利用求解信道容量的計算迭代公式的方法與思路求解函數(shù)。其關鍵步驟為：1)尋求兩個決定互信息的互為因果關系的自變量對，這里選，且通過求極值；2)對互信息求條件極值（極小值），引用拉氏乘子法；具體求解步驟如下：1) 兩個自變量中首先固定值，則在滿足和的約束

10、條件下求的極小值。引用拉氏乘子法，有： 即 ， 求得：，再由歸一化條件 ，再代入原式得： 2) 再固定值，在滿足（對所有值）和的約束條件下求極值： 由歸一化條件，有求出： 再將它帶入表達式，求得 式與式是兩個基本迭代公式若假設一個值，比如，通過逐次迭代，求得，代入互信息公式中，求得再繼續(xù)假設、等。求得相應的、。最后再將其值連成一個曲線，即為函數(shù)曲線。下面，為了迭代方便，可將改寫為：假設，則可按下列順序迭代：（當信源給定，選一初始分布） 上述迭代至前后兩值間誤差小于給定值為止?？汕蟮?重新假設、 ，分別求得、。最后連接各值為一條曲線，即為所求的函數(shù)曲線。§4-4 連續(xù)信源R(D)函數(shù)連

11、續(xù)信源比離散信源更需要R(D)函數(shù)。因為連續(xù)信源信息量為無限大（取值無限），傳送信息量既無必要，也不可能。所以連續(xù)信源都是屬于限失真范疇；連續(xù)信源R(D)與離散信源R(D)類似：只需將概率換為概率密度 求和換為積分 則當已知信源概率分布密度為、條件密度為、失真函數(shù)為、信源平均失真而 則有： 同樣，可以求出類似于離散的參量表達式：即在下述限制條件下：求互信息的下確界。引用變分，并引入待定常數(shù)和任意函數(shù)，再對取變分，并置之為0。所謂變分是指求泛函的極值。即其求解順序完全類似于離散情況，但需求解一個積分方程。最后結果為：連續(xù)信源能否有類似于離散信源的一些特殊情況，不需求解繁瑣的積分方程呢？的確存在，

12、在某些情況下，比如時，求解可大大減化。即若二元函數(shù)僅與與差值有關，比如這時令參量，設，其中，且，這時可求得：可見，由上述卷積表達式，無需求解積分方程就可以求得分布密度。進一步，若令、和分別表示、和的特征函數(shù)，則由以上時域的卷積關系，求得下列特征函數(shù)間的關系如下： 則 再由類似于離散信源的下列求解順序：例：若 當時，求 則即 而信源p(u)的特征函數(shù)為再由最后求得：定理2-4-1：對任一連續(xù)非正態(tài)信源，若已知其方差為，熵為，并規(guī)定失真函數(shù)為，則其R(D)滿足下列不等式： （正態(tài)） （上限）可見，在平均功率受限條件下，正態(tài)分布R(D)函數(shù)值最大，它是其他一切分布的上限值，也是信源壓縮比中最小的。所

13、以人們往往將它作為連續(xù)信源壓縮比中最保守的估計值。例：對連續(xù)有記憶信源R(D)函數(shù)計算相當復雜，下面考慮一個簡單的特例：對一個廣義平穩(wěn)遍歷馬氏鏈信源，且有，其中?，F(xiàn)求其R(D)函數(shù)。下面我們僅給出結果：而結論：1）（越大）， （越?。?壓縮比2） ， ， 壓縮比K下面利用連續(xù)信源的R(D)函數(shù)，進一步分析語音的波形編碼：為了分析方便，假設語音遵從平穩(wěn)正態(tài)分布：例1：分析PCM編碼及其壓縮潛力：現(xiàn)有PCM編碼是8KHz采樣率，8位編碼，8*8=64Kb/s，它認為樣點間獨立，且每個樣點8bit，這時信噪比可達到入公用網26dB的要求，在語音編碼中信噪比是，其中D為噪聲（允許失真）功率，由正態(tài)分布的信息率失真函數(shù)的公式：實際語音的R(D)值要小于4.3bit，因為語音不遵從正態(tài)分布，而是近似遵從Laplace分布（一級近似）、Gamma分布（二級近似）。它們的R(D)函數(shù)值均小于正態(tài)分布的R(D)值，。可見，4.3bit至PCM 8bit，大約有一倍差距。例2：若對語音編碼進一步計入相關性，則其R(D)函數(shù)為：，則可算出其R(D)值，即對應壓縮比（相對于PC