第七章：限失真編碼1

1、第七章限失真信源編碼第七章限失真信源編碼n簡(jiǎn)介：和無失真編碼比較，（失真和熵率值比較）熵壓縮編碼在的允許失真條件下，編碼后的熵率壓縮到最?。o譯碼器）（解釋兩種編碼的必要性） 信息速率失真函數(shù)R(D): 是熵壓縮編碼的基礎(chǔ)，把信息和失真兩個(gè)度量可聯(lián)系在一起，為信號(hào)處理中同時(shí)考慮兩個(gè)因素提供可解。引入限失真的必要性n1） 失真在傳輸中是不可避免的;n2） 接收者（信宿）無論是人還是機(jī)器設(shè)備，都有一定的分辨能力與靈敏度，超過分辨能力與靈敏度的信息傳送過程是毫無意義的;n3） 即使信宿能分辨、能判別，但對(duì)通信質(zhì)量的影響不大，也可以稱它為允許范圍內(nèi)的失真；n4） 我們的目的就是研究不同的類型的客觀信源

2、與信宿，在給定的Qos要求下的最大允許（容忍）失真D，及其相應(yīng)的信源最小信息率R(D).n5） 對(duì)限失真信源，應(yīng)該傳送的最小信息率是R(D)，而不是無失真情況下的信源熵H(U). 顯然 H(U)R(D). 當(dāng)且僅當(dāng) D=0時(shí)，等號(hào)成立；n6） 為了定量度量D，必須建立信源的客觀失真度量，并與D建立定量關(guān)系；n7） R(D)函數(shù)是限失真信源信息處理的理論基礎(chǔ)；本章節(jié)達(dá)到的目的本章節(jié)達(dá)到的目的n理解限失真信源編碼在通信系統(tǒng)中的意義理解限失真信源編碼在通信系統(tǒng)中的意義n了解失真測(cè)度的含義和基本方法了解失真測(cè)度的含義和基本方法n理解理解R(D)函數(shù)的概念、物理意義、性質(zhì)函數(shù)的概念、物理意義、性質(zhì)n了解

3、特殊情況下了解特殊情況下R(D)函數(shù)的計(jì)算方法函數(shù)的計(jì)算方法n了解了解R(D)函數(shù)在信道編碼定理中的作用函數(shù)在信道編碼定理中的作用n理解香農(nóng)第三定理的物理意義及其實(shí)用意義理解香農(nóng)第三定理的物理意義及其實(shí)用意義n了解香農(nóng)三大定理的相互關(guān)系與比較情況了解香農(nóng)三大定理的相互關(guān)系與比較情況本章研究?jī)?nèi)容本章研究?jī)?nèi)容n概述概述n失真的度量失真的度量n信息率失真函數(shù)信息率失真函數(shù)n限失真信源編碼定理限失真信源編碼定理n香農(nóng)三大定理的關(guān)系和比較香農(nóng)三大定理的關(guān)系和比較7.1:7.1:概述概述1n問題引出問題引出n無噪信道編碼定理回顧無噪信道編碼定理回顧n有噪信道編碼定理回顧有噪信道編碼定理回顧n存在的問題：存

4、在的問題：n實(shí)際需求特點(diǎn)實(shí)際需求特點(diǎn)n引出的研究?jī)?nèi)容引出的研究?jī)?nèi)容n本章節(jié)研究方法與順序本章節(jié)研究方法與順序7.1:7.1:概述概述2n無噪信道編碼定理回顧：無噪信道編碼定理回顧：n總可以找到一種輸入分布（信源編碼方法），使在總可以找到一種輸入分布（信源編碼方法），使在上，能夠上，能夠地傳輸信地傳輸信息。息。信源編碼信源編碼無噪無損信道無噪無損信道R=C;PE=0,最佳分布消息壓縮冗余度最好地利用利用C7.1:7.1:概述概述3n有噪信道編碼定理回顧：有噪信道編碼定理回顧：n只要只要，總可以找到一種信道編碼方法，使在信，總可以找到一種信道編碼方法，使在信道上能夠道上能夠傳輸信息。傳輸信息。信源

5、編碼信源編碼信道信道R C; PE=,消息信道編碼信道編碼增加冗余度，最好地匹配信道特性7.1:7.1:概述概述4n存在問題存在問題n對(duì)于連續(xù)和模擬信源對(duì)于連續(xù)和模擬信源H(S)= n信道傳輸率信道傳輸率R=H(S)/n（比特（比特/碼符號(hào)）碼符號(hào)） R=R= n平均碼長(zhǎng)平均碼長(zhǎng)l=Hl=Hr r(S)=H(S)/logr(S)=H(S)/logr, l= , l= ,n實(shí)際上，因?yàn)閷?shí)際上，因?yàn)锽 B有限，有限，C C一定有限，一定有限，RC,RC,及及l(fā)=l=均均不可能不可能7.1:7.1:概述概述5n實(shí)際需求特點(diǎn)：實(shí)際需求特點(diǎn)：n信宿對(duì)真實(shí)度的要求：信宿對(duì)真實(shí)度的要求：n實(shí)際語音信號(hào)：實(shí)際

6、語音信號(hào)：20Hz8KHz 人耳能夠分辨：人耳能夠分辨：300Hz3400Hzn圖象色差：可達(dá)足夠多圖象色差：可達(dá)足夠多 視覺分辨：視覺分辨：256級(jí)（黑白）已足夠級(jí)（黑白）已足夠n可以允許一定的失真度可以允許一定的失真度n完全保真完全保真沒必要沒必要7.1:7.1:概述概述6n引出的研究?jī)?nèi)容引出的研究?jī)?nèi)容n限失真的信源編碼問題限失真的信源編碼問題n允許一定的失真度下，能將信源信息壓縮到什么允許一定的失真度下，能將信源信息壓縮到什么程度？（最少需要多少比特才能在收端描述信程度？（最少需要多少比特才能在收端描述信源？）源？）n一定的信息傳輸率一定的信息傳輸率R下，允許的最大失真是多少？下，允許的

7、最大失真是多少？n相關(guān)問題相關(guān)問題n失真如何度量？失真如何度量？n率失真函數(shù)如何計(jì)算？率失真函數(shù)如何計(jì)算？7.1:7.1:概述概述7n研究方法：n抽象信道n虛擬試驗(yàn)信道7.1:7.1:概述概述8n方法：n抽象：將與討論重點(diǎn)關(guān)系小的部分抽象n因?yàn)樯婕靶旁淳幋a，對(duì)信道進(jìn)行抽象n信道編碼信道信道譯碼 信道*n信道*可以略去n根據(jù)信道編碼定理 信道*是一個(gè)沒有干擾的廣義信道，信宿收到信息的失真只來自于信源編碼7.1:7.1:概述概述9n方法：n虛擬：將討論重點(diǎn)虛擬細(xì)化n將限失真信源的編譯碼過程虛擬n信源編碼信道* 信源譯碼 試驗(yàn)信道n可以用信道傳遞概率來描述限失真信源編譯碼前后的關(guān)系信源信源編碼編碼信

8、道信道編碼編碼信道信道信道譯碼譯碼信源信源譯碼譯碼信源信源信宿信宿信源信源編碼編碼信道*信源信源譯碼譯碼信源信源信宿信宿信源信源信宿信宿試驗(yàn)信道UVP(V|U)7.1:7.1:概述概述10n本章節(jié)討論順序本章節(jié)討論順序n從最簡(jiǎn)單的離散無記憶信源入手從最簡(jiǎn)單的離散無記憶信源入手n討論失真的度量討論失真的度量n討論率失真函數(shù)的定義和性質(zhì)討論率失真函數(shù)的定義和性質(zhì)n討論在最簡(jiǎn)單的二進(jìn)制對(duì)稱離散信源和高斯連續(xù)信討論在最簡(jiǎn)單的二進(jìn)制對(duì)稱離散信源和高斯連續(xù)信源條件下率失真函數(shù)源條件下率失真函數(shù)R(D)的計(jì)算方法的計(jì)算方法n討論限失真信源編碼定理討論限失真信源編碼定理n信息率失真理論的探討及應(yīng)用舉例信息率失

9、真理論的探討及應(yīng)用舉例n香農(nóng)三大定理的關(guān)系和比較香農(nóng)三大定理的關(guān)系和比較7.2:7.2:失真的度量1n失真度定義n平均失真度n保真度準(zhǔn)則n試驗(yàn)信道7.2:7.2:失真的度量2n失真度定義n在U,V聯(lián)合空間上定義： d（ui，vj），uiU，vjV 為U,V的失真測(cè)度。nd（ui，vj）有距離的概念n性質(zhì)1：ui=vj時(shí)，d=0n性質(zhì)2：min d=0n性質(zhì)3：0d0, 0, ui vj 0, 0, ui=vj 漢明距離度量時(shí)：漢明距離度量時(shí)：dij= 1, 1, ui vjn連續(xù)信源：用失真函數(shù)描述。連續(xù)信源：用失真函數(shù)描述。d(u,v)=(u-v)2 =|u-v| 7.2:7.2:失真的度量

10、4n平均失真度平均失真度n單符號(hào)失真度：?jiǎn)畏?hào)失真度： d（ui，vj） 0，（，（i=1r，j=1s） 信源的失真矩陣可表示為：信源的失真矩陣可表示為： 共共rs個(gè)元素個(gè)元素),().,(.),().,(1111srrsvudvudvudvudD7.2:7.2:失真的度量5n平均失真度平均失真度n平均失真度：平均失真度： UU，V V是隨機(jī)變量；是隨機(jī)變量； d（ui，vj）也是隨機(jī)變量）也是隨機(jī)變量平均失真度：平均失真度： ),()|()(),()(),(,jijijiivuvuduvpupvuduvpvudED7.2:7.2:失真的度量6n平均失真度平均失真度nc.f :d &n

11、d：描述了某個(gè)信源符號(hào)通過傳輸后失真的大?。好枋隽四硞€(gè)信源符號(hào)通過傳輸后失真的大小 不同的信源符號(hào)，其不同的信源符號(hào)，其d不同。不同。n ：描述了某一個(gè)單符號(hào)信源在某一試驗(yàn)信道傳輸：描述了某一個(gè)單符號(hào)信源在某一試驗(yàn)信道傳輸 下的失真，它不僅與單個(gè)符號(hào)的下的失真，它不僅與單個(gè)符號(hào)的d有關(guān)，還與有關(guān)，還與 試驗(yàn)信道的統(tǒng)計(jì)特性有關(guān)。試驗(yàn)信道的統(tǒng)計(jì)特性有關(guān)。DD7.2:7.2:失真的度量7n平均失真度平均失真度nN維信源符號(hào)序列的平均失真度：維信源符號(hào)序列的平均失真度：此時(shí)此時(shí)D為一為一 rNsN階的矩陣階的矩陣與：與： d（u，v）、）、p(u)、p(v|u)、N均有關(guān)均有關(guān)Nljiijrisjil

12、lNNvudppvudEND111),()|()(),()()(ND7.2:7.2:失真的度量8n平均失真度n信源平均失真度n信源、信道均無記憶時(shí)：n信源平穩(wěn)時(shí)：)(1NDDNNNllNNNllDDDND111)(序列中第l個(gè)分量的平均失真度)|()|(),()(ijijiiuvpuvpupupillDDlDNND)(DDN7.2:7.2:失真的度量9n保真度準(zhǔn)則n給定D，若 D，則稱此為保真度準(zhǔn)則n對(duì)于序列信源，保真度準(zhǔn)則為： NDD)(ND7.2:7.2:失真的度量10n試驗(yàn)信道：nP(v|u)不是實(shí)際的信道特性矩陣，在此相當(dāng)于不同的編碼方法，不同的編碼方法， 不同。n定義：所有 D的試驗(yàn)

13、信道構(gòu)成D失真許可的試驗(yàn)信道集合BDDD7.3:7.3:率失真函數(shù)1n問題引出問題引出n度量了失真，進(jìn)一步關(guān)心的問題是：度量了失真，進(jìn)一步關(guān)心的問題是：n一定的失真一定的失真D下，最小的信息傳輸率下，最小的信息傳輸率R是多少？是多少？n一定的失真一定的失真D下，收端再現(xiàn)信源需要的最低的平均信息量下，收端再現(xiàn)信源需要的最低的平均信息量是多少？是多少？n定義：（信息）率失真函數(shù)定義：（信息）率失真函數(shù)R(D) 對(duì)于對(duì)于N維序列信源：維序列信源：),(min)()|(VUIDRDBuvp),(min)()(VUIDRNDNDN7.3:7.3:率失真函數(shù)2n率失真函數(shù)的進(jìn)一步解釋率失真函數(shù)的進(jìn)一步解釋

14、n單位：比特單位：比特/信源符號(hào)（同互信息）信源符號(hào)（同互信息）n離散無記憶信源：離散無記憶信源：RN(D)=NR(D)nP(v|u)無實(shí)際信道含義，只代表不同編碼方法無實(shí)際信道含義，只代表不同編碼方法n求求R(D)就是在就是在D條件下，選擇一種編碼方法，使條件下，選擇一種編碼方法，使R最小。最小。n定義域：定義域：D 0,DmaxnR(D)的性質(zhì)的性質(zhì)：n凸?fàn)钚酝範(fàn)钚詎單調(diào)遞減性單調(diào)遞減性n連續(xù)性連續(xù)性7.3:7.3:率失真函數(shù)3n Dmax與R(Dmax)n定義當(dāng)DDmax時(shí)，R(Dmax)=0n使R(Dmax)=0的p(v|u)不止一個(gè)n不同的p(v|u)有不同的 |R(D)=0n對(duì)我們

15、有意義的： 的最小值Dmax的p(v|u)n利用該p(v|u)求得使R(Dmax)=0時(shí)的DmaxnR=0時(shí)，U,V統(tǒng)計(jì)獨(dú)立p(v|u)只是v的函數(shù)n則有： p(v|u)Q(v), Dmax=DDVUvQvudvQup,)(),()()(min)()(min),()()(min)()(vdvQvudupvQVvQVUvQDmaxDR(D)R(D)0R(D)=07.3:7.3:率失真函數(shù)4nR(D)的計(jì)算的計(jì)算n求解求解R(D)，-求求解互信息的解互信息的極小值極小值n互信息互信息I(X,Y)是條件轉(zhuǎn)移概率的下凸函數(shù)是條件轉(zhuǎn)移概率的下凸函數(shù)極小值極小值存在存在n一般情況下很難得到一般情況下很難得

16、到R(D)的的顯函數(shù)顯函數(shù)表達(dá)式，只能表達(dá)式，只能得到得到參量參量表達(dá)式表達(dá)式n具體計(jì)算很困難，一般利用計(jì)算機(jī)進(jìn)行具體計(jì)算很困難，一般利用計(jì)算機(jī)進(jìn)行迭代迭代計(jì)算計(jì)算n在一些在一些特殊特殊情況下，情況下，R(D)有顯式解。有顯式解。n舉例(1)7.3:7.3:率失真函數(shù)5n二進(jìn)制對(duì)稱信源的二進(jìn)制對(duì)稱信源的R(D)計(jì)算計(jì)算n已知條件：二進(jìn)制對(duì)稱信源已知條件：二進(jìn)制對(duì)稱信源U=0,1，接收變量，接收變量V=0,1，允許的失真，允許的失真DnP(u)=，1 ， 1/21/2n漢明失真矩陣漢明失真矩陣n求解步驟：求解步驟：n由由D Dminmin=0=0，找到滿足最小失真的試驗(yàn)信道，找到滿足最小失真的試

17、驗(yàn)信道p(v|u),p(v|u),得到得到R(0)R(0)n由漢明失真矩陣和失真度定義，計(jì)算最大允許的失真度由漢明失真矩陣和失真度定義，計(jì)算最大允許的失真度D Dmaxmaxn由由D Dmaxmax，找到滿足最大失真的試驗(yàn)信道，找到滿足最大失真的試驗(yàn)信道p,p,并得到并得到R(DR(Dmaxmax) )n在一般條件下當(dāng)在一般條件下當(dāng)0DD0DDmaxmax時(shí)，計(jì)算平均失真度時(shí)，計(jì)算平均失真度n選取一個(gè)信道，使選取一個(gè)信道，使 D D，求互信息，求互信息n求互信息的下限值求互信息的下限值得到得到R(D)R(D)n驗(yàn)證：找到滿足驗(yàn)證：找到滿足R(D)R(D)的試驗(yàn)信道，驗(yàn)證其正確性的試驗(yàn)信道，驗(yàn)證

18、其正確性n結(jié)果分析：結(jié)果分析：R(D)R(D)曲線分析曲線分析0110DDD7.3:7.3:率失真函數(shù)60.10.20.40.60.81.00.10.20.30.40.5DR(D)(比特/符號(hào)）0.30.10.20.5對(duì)于同一個(gè)對(duì)于同一個(gè)D：信源分布越均勻信源分布越均勻， R(D)就越大，就越大， 信源壓縮的可能性越小信源壓縮的可能性越小反之，反之，若信源分布越不均勻若信源分布越不均勻， 即信源剩余度越大，即信源剩余度越大， R(D)就越小，就越小， 壓縮的可能性就越大。壓縮的可能性就越大。二進(jìn)制對(duì)稱信源的二進(jìn)制對(duì)稱信源的R(D)函數(shù)函數(shù)DDDHHDR00)()()(7.3:7.3:率失真函數(shù)7n高斯信源的高斯信源的R(D)計(jì)算計(jì)算n已知條件：高斯信源已知條件：高斯信源U，其均值為，其均值為m，方差為，方差為2 2，接收變量接收變量Vn概密函數(shù)：概密函數(shù)：n失真函數(shù)：均方誤差失真，即：失真函數(shù)：均方誤差失真，即：n求解步驟：求解步驟：n計(jì)算平均失真度計(jì)算平均失真度n當(dāng)當(dāng) D D，求互信息，求互信息n求互信息的