第七章：限失真編碼1

第七章限失真信源編碼簡介：和無失真編碼比較，（失真和熵率值比較）熵壓縮編碼在的允許失真條件下，編碼后的熵率壓縮到最?。o譯碼器）（解釋兩種編碼的必要性）信息速率失真函數(shù)R(D):是熵壓縮編碼的基礎，把信息和失真兩個度量可聯(lián)系在一起，為信號處理中同時考慮兩個因素提供可解。引入限失真的必要性1）

失真在傳輸中是不可避免的;2）

接收者（信宿）無論是人還是機器設備，都有一定的分辨能力與靈敏度，超過分辨能力與靈敏度的信息傳送過程是毫無意義的;3）

即使信宿能分辨、能判別，但對通信質(zhì)量的影響不大，也可以稱它為允許范圍內(nèi)的失真；4）

我們的目的就是研究不同的類型的客觀信源與信宿，在給定的Qos要求下的最大允許（容忍）失真D，及其相應的信源最小信息率R(D).5）

對限失真信源，應該傳送的最小信息率是R(D)，而不是無失真情況下的信源熵H(U).顯然

H(U)≥R(D).當且僅當D=0時，等號成立；6）

為了定量度量D，必須建立信源的客觀失真度量，并與D建立定量關系；7）

R(D)函數(shù)是限失真信源信息處理的理論基礎；本章節(jié)達到的目的理解限失真信源編碼在通信系統(tǒng)中的意義了解失真測度的含義和基本方法理解R(D)函數(shù)的概念、物理意義、性質(zhì)了解特殊情況下R(D)函數(shù)的計算方法了解R(D)函數(shù)在信道編碼定理中的作用理解香農(nóng)第三定理的物理意義及其實用意義了解香農(nóng)三大定理的相互關系與比較情況本章研究內(nèi)容概述失真的度量信息率失真函數(shù)限失真信源編碼定理香農(nóng)三大定理的關系和比較§7.1:概述－1問題引出無噪信道編碼定理回顧有噪信道編碼定理回顧存在的問題：實際需求特點引出的研究內(nèi)容本章節(jié)研究方法與順序§7.1:概述－2無噪信道編碼定理回顧：總可以找到一種輸入分布（信源編碼方法），使在無噪無損信道上，能夠以信道容量C無誤地傳輸信息。信源編碼無噪無損信道R=C;PE=0,最佳分布消息壓縮冗余度最好地利用C§7.1:概述－3有噪信道編碼定理回顧：只要R<C，總可以找到一種信道編碼方法，使在信道上能夠以盡可能小的PE傳輸信息。信源編碼信道R<C;PE=ε,消息信道編碼增加冗余度，最好地匹配信道特性§7.1:概述－4存在問題對于連續(xù)和模擬信源H(S)=∞信道傳輸率R=H(S)/n（比特/碼符號）R=

∞平均碼長l=Hr(S)=H(S)/logr,l=∞,實際上，因為B有限，C一定有限，R<C,及l(fā)=∞均不可能§7.1:概述－5實際需求特點：信宿對真實度的要求：實際語音信號：20Hz~8KHz人耳能夠分辨：300Hz~3400Hz圖象色差：可達足夠多視覺分辨：256級（黑白）已足夠可以允許一定的失真度完全保真沒必要§7.1:概述－6引出的研究內(nèi)容限失真的信源編碼問題允許一定的失真度下，能將信源信息壓縮到什么程度？（最少需要多少比特才能在收端描述信源？）一定的信息傳輸率R下，允許的最大失真是多少？相關問題失真如何度量？率失真函數(shù)如何計算？§7.1:概述－7研究方法：抽象信道虛擬試驗信道§7.1:概述－8方法：抽象：將與討論重點關系小的部分抽象因為涉及信源編碼，對信道進行抽象信道編碼→信道→信道譯碼信道*信道*可以略去根據(jù)信道編碼定理信道*是一個沒有干擾的廣義信道，信宿收到信息的失真只來自于信源編碼§7.1:概述－9方法：虛擬：將討論重點虛擬細化將限失真信源的編譯碼過程虛擬信源編碼→信道*→信源譯碼試驗信道可以用信道傳遞概率來描述限失真信源編譯碼前后的關系信源編碼信道編碼信道信道譯碼信源譯碼信源信宿信源編碼信道*信源譯碼信源信宿信源信宿試驗信道UVP(V|U)§7.1:概述－10本章節(jié)討論順序從最簡單的離散無記憶信源入手討論失真的度量討論率失真函數(shù)的定義和性質(zhì)討論在最簡單的二進制對稱離散信源和高斯連續(xù)信源條件下率失真函數(shù)R(D)的計算方法討論限失真信源編碼定理信息率失真理論的探討及應用舉例香農(nóng)三大定理的關系和比較§7.2:失真的度量－1失真度定義平均失真度保真度準則試驗信道§7.2:失真的度量－2失真度定義在U,V聯(lián)合空間上定義：d（ui，vj），ui∈U，vj∈V

為U,V的失真測度。d（ui，vj）有距離的概念性質(zhì)1：ui=vj時，d=0性質(zhì)2：mind=0性質(zhì)3：0<d<∞§7.2:失真的度量－3失真度定義0,ui=vj

離散信源：用失真矩陣描述。dij=>0,ui≠

vj

0,ui=vj

漢明距離度量時：dij=1,ui≠

vj連續(xù)信源：用失真函數(shù)描述。d(u,v)=(u-v)2=|u-v|

§7.2:失真的度量－4平均失真度單符號失真度：d（ui，vj）≥0，（i=1~r，j=1~s）信源的失真矩陣可表示為：共r×s個元素§7.2:失真的度量－5平均失真度平均失真度：∵U，V是隨機變量；∴d（ui，vj）也是隨機變量平均失真度：

§7.2:失真的度量－6平均失真度c.f:d&d：描述了某個信源符號通過傳輸后失真的大小不同的信源符號，其d不同。：描述了某一個單符號信源在某一試驗信道傳輸下的失真，它不僅與單個符號的d有關，還與試驗信道的統(tǒng)計特性有關。§7.2:失真的度量－7平均失真度N維信源符號序列的平均失真度：此時D為一rN×sN階的矩陣與：d（u，v）、p(u)、p(v|u)、N均有關§7.2:失真的度量－8平均失真度信源平均失真度信源、信道均無記憶時：信源平穩(wěn)時：序列中第l個分量的平均失真度§7.2:失真的度量－9保真度準則給定D，若≤D，則稱此為保真度準則對于序列信源，保真度準則為：≤ND§7.2:失真的度量－10試驗信道：P(v|u)不是實際的信道特性矩陣，在此相當于不同的編碼方法，不同的編碼方法，不同。定義：所有≤D的試驗信道構成D失真許可的試驗信道集合BD§7.3:率失真函數(shù)－1問題引出度量了失真，進一步關心的問題是：一定的失真D下，最小的信息傳輸率R是多少？一定的失真D下，收端再現(xiàn)信源需要的最低的平均信息量是多少？定義：（信息）率失真函數(shù)R(D)

對于N維序列信源：§7.3:率失真函數(shù)－2率失真函數(shù)的進一步解釋單位：比特/信源符號（同互信息）離散無記憶信源：RN(D)=NR(D)P(v|u)無實際信道含義，只代表不同編碼方法求R(D)就是在D條件下，選擇一種編碼方法，使R最小。定義域：D∈[0,Dmax]R(D)的性質(zhì)：凸狀性單調(diào)遞減性連續(xù)性§7.3:率失真函數(shù)－3Dmax與R(Dmax)定義當DDmax時，R(Dmax)=0使R(Dmax)=0的p(v|u)不止一個不同的p(v|u)有不同的|R(D)=0對我們有意義的：的最小值＝Dmax的p(v|u)利用該p(v|u)求得使R(Dmax)=0時的DmaxR=0時，U,V統(tǒng)計獨立p(v|u)只是v的函數(shù)則有：p(v|u)＝Q(v),Dmax=DmaxDR(D)R(D)>0R(D)=0§7.3:率失真函數(shù)－4R(D)的計算求解R(D)，--求解互信息的極小值互信息I(X,Y)是條件轉(zhuǎn)移概率的下凸函數(shù)極小值存在一般情況下很難得到R(D)的顯函數(shù)表達式，只能得到參量表達式具體計算很困難，一般利用計算機進行迭代計算在一些特殊情況下，R(D)有顯式解。舉例(1)§7.3:率失真函數(shù)－5二進制對稱信源的R(D)計算已知條件：二進制對稱信源U={0,1}，接收變量V={0,1}，允許的失真DP(u)=[ω，1－ω]，ω≤1/2漢明失真矩陣求解步驟：由Dmin=0，找到滿足最小失真的試驗信道p(v|u),得到R(0)由漢明失真矩陣和失真度定義，計算最大允許的失真度Dmax由Dmax，找到滿足最大失真的試驗信道p,并得到R(Dmax)在一般條件下當0<D<Dmax時，計算平均失真度選取一個信道，使＝D，求互信息求互信息的下限值得到R(D)驗證：找到滿足R(D)的試驗信道，驗證其正確性結果分析：R(D)曲線分析§7.3:率失真函數(shù)－60.10.20.40.60.81.00.10.20.30.40.5DR(D)(比特/符號）ω＝0.3ω＝0.1ω＝0.2ω＝0.5對于同一個D：信源分布越均勻，R(D)就越大，信源壓縮的可能性越小反之，若信源分布越不均勻，即信源剩余度越大，R(D)就越小，壓縮的可能性就越大。二進制對稱信源的R(D)函數(shù)§7.3:率失真函數(shù)－7高斯信源的R(D)計算已知條件：高斯信源U，其均值為m，方差為σ2，接收變量V概密函數(shù)：失真函數(shù)：均方誤差失真，即：求解步驟：計算平均失真度當≤D，求互信息求互信息的下限值得到包含有D和σ2的R(D)表達式討論D和σ2比值不同時R(D)的取值驗證：找到滿足R(D)的試驗信道，驗證其正確性結果分析：R(D)曲線分析§7.3:率失真函數(shù)－80.00.20.40.60.81.0D/σ2R(D)(比特/自由度）當D＝σ