第四章：信息率失真函數(shù)

第四章：信息率失真函數(shù)第一頁，共七十一頁，2022年，8月28日信息率失真理論連續(xù)信源的信息量無限大，不可能無失真地傳送連續(xù)信源的信息。現(xiàn)實生活中允許一定的失真存在。信息率失真理論主要研究信息率與允許失真之間的關(guān)系。連續(xù)信源的率失真理論是連續(xù)信源量化、壓縮的理論基礎(chǔ)。第二頁，共七十一頁，2022年，8月28日I(X;Y)性質(zhì)回顧I(X;Y)是p(x)和p(y/x)的二元函數(shù)I(X;Y)是p(x)的上凸函數(shù)I(X;Y)是p(y/x)的下凸函數(shù)第三頁，共七十一頁，2022年，8月28日信息率失真函數(shù)4.1基本概念4.2離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)4.4保真度準則下的信源編碼定理第四頁，共七十一頁，2022年，8月28日4.1基本概念失真函數(shù)與平均失真度信息率失真函數(shù)的定義信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)第五頁，共七十一頁，2022年，8月28日失真函數(shù)與平均失真度基本概念失真函數(shù)常用的失真函數(shù)平均失真度離散無記憶信道的N次擴展信道的平均失真第六頁，共七十一頁，2022年，8月28日失真函數(shù)基本概念對任一指定一個非負數(shù)稱為單個符號的失真度或失真函數(shù)。第七頁，共七十一頁，2022年，8月28日常用的失真函數(shù)常用的失真函數(shù)漢明失真函數(shù)平方誤差失真函數(shù)基本概念第八頁，共七十一頁，2022年，8月28日平均失真度平均失真度基本概念———保真度準則第九頁，共七十一頁，2022年，8月28日N次擴展信道的平均失真基本概念第十頁，共七十一頁，2022年，8月28日N次擴展信道的平均失真第十一頁，共七十一頁，2022年，8月28日N次擴展信道的平均失真第十二頁，共七十一頁，2022年，8月28日基本概念失真函數(shù)與平均失真度信息率失真函數(shù)的定義信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)第十三頁，共七十一頁，2022年，8月28日信息率失真函數(shù)的定義試驗信道信息率失真函數(shù)信息率失真函數(shù)和信道容量的區(qū)別第十四頁，共七十一頁，2022年，8月28日試驗信道當信源固定，單個符號失真度也給定時，選擇信道使其滿足保真度準則。凡滿足要求的信道稱為D失真許可的試驗信道，簡稱試驗信道。第十五頁，共七十一頁，2022年，8月28日試驗信道對于離散無記憶信源的N次擴展信源和離散無記憶信道的N次擴展信道，其試驗信道為：第十六頁，共七十一頁，2022年，8月28日信息率失真函數(shù)對于離散無記憶信源的N次擴展信源和離散無記憶信道的N次擴展信道：第十七頁，共七十一頁，2022年，8月28日信息率失真函數(shù)在研究R(D)時，引用的條件概率p(y/x)并沒有實際信道的含義。只是為了求平均互信息的最小值而引用的、假想的可變試驗信道。實際上這些信道反映的僅是不同的有失真信源編碼或信源壓縮。所以改變試驗信道求平均互信息的最小值，實質(zhì)上是選擇一種編碼方式使信息傳輸率最小。第十八頁，共七十一頁，2022年，8月28日信道容量和信息率失真函數(shù)R(D)是在允許失真D和信源概率分布已給定的條件下，求平均互信息的極小值問題；Ｃ是在信道特性已知的條件下求平均互信息的極大值問題。Ｃ是假定信道固定的前提下，選擇一種試驗信源，使信息率最大，反映的是信道傳輸信息的能力，即信道可傳送的最大信息率；R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量，反映的是信源可壓縮的程度。研究信道是為了解決在已知信道中傳送最大信息率問題，目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯誤的概率任意小，這是信道編碼問題；研究信息率失真函數(shù)是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小，即用盡可能少的碼符號盡快地傳送盡可能多的信源消息，以提高通信的有效性，這是信源編碼問題。第十九頁，共七十一頁，2022年，8月28日基本概念失真函數(shù)與平均失真度信息率失真函數(shù)的定義信息率失真函數(shù)的性質(zhì)信息率失真函數(shù)第二十頁，共七十一頁，2022年，8月28日信息率失真函數(shù)的性質(zhì)定義域：R(D)是D的下凸函數(shù)R(D)的單調(diào)遞減性和連續(xù)性第二十一頁，共七十一頁，2022年，8月28日R(D)的定義域Dmin和R(Dmin)Dmax和R(Dmax)第二十二頁，共七十一頁，2022年，8月28日Dmin和R(Dmin)第二十三頁，共七十一頁，2022年，8月28日Dmax和R(Dmax)第二十四頁，共七十一頁，2022年，8月28日Dmax和R(Dmax)假定所有Dj中，Ds最小，令第二十五頁，共七十一頁，2022年，8月28日R(D)的定義域R(D)的定義域為(Dmin，Dmax)Dmin=0時，R(Dmin)=H(X)D≥Dmax時，R(D)=0Dmin<D<Dmax時，H(X)>R(D)>0第二十六頁，共七十一頁，2022年，8月28日R(D)對允許平均失真度的下凸性R(D)是允許平均失真度D的下凸函數(shù)第二十七頁，共七十一頁，2022年，8月28日R(D)對允許平均失真度的下凸性第二十八頁，共七十一頁，2022年，8月28日R(D)對允許平均失真度的下凸性第二十九頁，共七十一頁，2022年，8月28日R(D)對允許平均失真度的下凸性定義新試驗信道：第三十頁，共七十一頁，2022年，8月28日R(D)對允許平均失真度的下凸性由I(X;Y)對p(yj/xi)的下凸性：第三十一頁，共七十一頁，2022年，8月28日率失真函數(shù)的單調(diào)遞減和連續(xù)性DH(x)R(D)第三十二頁，共七十一頁，2022年，8月28日信息率失真函數(shù)4.1基本概念4.2離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)4.4保真度準則下的信源編碼定理第三十三頁，共七十一頁，2022年，8月28日離散信源的信息率失真函數(shù)二元信源的R(D)函數(shù)等概率離散信源的R(D)函數(shù)第三十四頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)二元信源信宿。失真矩陣為：第三十五頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)(1)求，：滿足該最小失真的試驗信道的信道矩陣為：第三十六頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)(2)求，：達到最大允許失真度的試驗信道為：第三十七頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)選取任一信道使(3)求一般情況下時的，平均互信息為：第三十八頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)為此，必須找到一個試驗信道，使根據(jù)費諾不等式，當n=2時有：所以：且第三十九頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)引進一個“反向”的試驗信道：計算可以得到：即所設(shè)的反向試驗信道是存在的。第四十頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)在所設(shè)試驗信道的條件下：第四十一頁，共七十一頁，2022年，8月28日二元信源的R(D)函數(shù)在該試驗信道中：即所選擇的試驗信道正是滿足，而平均互信息達到最小值的信道。綜上所述，在漢明失真測度下二元信源的R(D)為：第四十二頁，共七十一頁，2022年，8月28日離散信源的信息率失真函數(shù)二元信源的R(D)函數(shù)等概率離散信源的R(D)函數(shù)第四十三頁，共七十一頁，2022年，8月28日等概率離散信源的R(D)函數(shù)信源，信宿失真函數(shù)為漢明失真函數(shù)，即：第四十四頁，共七十一頁，2022年，8月28日等概率離散信源的R(D)函數(shù)經(jīng)過計算，可以得到：R(D)的定義域為：第四十五頁，共七十一頁，2022年，8月28日等概率離散信源的R(D)函數(shù)選取任一信道使，平均互信息為：為此，必須找到一個試驗信道，使根據(jù)費諾不等式有：所以：且第四十六頁，共七十一頁，2022年，8月28日等概率離散信源的R(D)函數(shù)引進一個“反向”的試驗信道：計算可以得到：即所設(shè)的反向試驗信道是存在的。第四十七頁，共七十一頁，2022年，8月28日等概率離散信源的R(D)函數(shù)在所設(shè)試驗信道的條件下：第四十八頁，共七十一頁，2022年，8月28日等概率離散信源的R(D)函數(shù)在該試驗信道中：即所選擇的試驗信道正是滿足，而平均互信息達到最小值的信道。綜上所述，在漢明失真測度下n元對稱信源的R(D)為：第四十九頁，共七十一頁，2022年，8月28日信息率失真函數(shù)4.1基本概念4.2離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)4.4保真度準則下的信源編碼定理第五十頁，共七十一頁，2022年，8月28日連續(xù)信源的信息率失真函數(shù)連續(xù)信源信息率失真函數(shù)的參量表達式高斯信源的信息率失真函數(shù)信息率失真函數(shù)與信息價值第五十一頁，共七十一頁，2022年，8月28日連續(xù)信源信息率失真函數(shù)的參量表達式定義：定義PD為滿足保真度準則的試驗信道集合Inf:下確界第五十二頁，共七十一頁，2022年，8月28日連續(xù)信源信息率失真函數(shù)的參量表達式第五十三頁，共七十一頁，2022年，8月28日高斯信源的信息率失真函數(shù)第五十四頁，共七十一頁，2022年，8月28日高斯信源的信息率失真函數(shù)(條件方差)第五十五頁，共七十一頁，2022年，8月28日高斯信源的信息率失真函數(shù)根據(jù)詹森不等式：第五十六頁，共七十一頁，2022年，8月28日高斯信源的信息率失真函數(shù)第五十七頁，共七十一頁，2022年，8月28日高斯信源的信息率失真函數(shù)0.00.20.40.60.81.0D/σ2R(D)當D＝σ2時，R(D)＝0。即：如果允許失真等于信源的方差，則只需用均值m來表示信源輸出，而不需要傳送信源的任何實際輸出。當D＝0時，R(D)∞。即：在連續(xù)信源情況下，要毫無失真地傳送連續(xù)信源必須要求信道具有無限大的容量。當D＝0.25σ2時,R(D)=1。即：允許均方誤差小于或等于σ2/4時，連續(xù)信號的每個樣本值最少需要用一個二元符號來傳輸。1.21.40.20.40.60.81.01.2高斯信源在均方誤差準則下的R(D)函數(shù)第五十八頁，共七十一頁，2022年，8月28日信息率失真函數(shù)與信息價值平均損失例：合格品x1，廢品x2，生產(chǎn)過程抽象成信源把檢驗過程看作信道，檢驗結(jié)果即為信道輸出。第五十九頁，共七十一頁，2022年，8月28日信息率失真函數(shù)與信息價值y1：檢驗合格y2：檢驗不合格合格品報廢：廢品出廠：第六十頁，共七十一頁，2022年，8月28日信息率失真函數(shù)與信息價值1、不經(jīng)檢驗全部出廠：2、不經(jīng)檢驗全部報廢：第六十一頁，共七十一頁，2022年，8月28日信息率失真函數(shù)與信息價值3、檢驗完全正確：第六十二頁，共七十一頁，2022年，8月28日信息率失真函數(shù)與信息價值4、檢驗不十分可靠：比最大損失減少了：0.99-0.199=0.791元第六十三頁，共七十一頁，2022年，8月28日信息率失真函數(shù)與信息價值第六十四頁，共七十一頁，2022年，8月28日信息率失真函數(shù)與信息價值定義：信息率R的價值為：價值率：第六十五頁，共七十一頁，2022年，8月28日信息率失真函數(shù)4.1基本概念4.2離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)4.4保真度準則下的信源編碼定理第六十六頁，共七十一頁，2022年，8月28日保真度準則下的信源編碼定理

——香農(nóng)第三定理設(shè)一離散平穩(wěn)無記憶信源X=(X1X2…XL)，若該信源的信息率失真函數(shù)為R(D)，并選定有限的失真函數(shù)。對于任意允許平均失真度D≥0和任意小的ε>0，當信息率R>R(D)，只要信源序列長度L足夠長，一定存在一種編碼方式C，使譯碼后的平均失真度反之，若R<R(D)，則無論用什么編碼方式，必有第六十七頁，共七十一頁，2022年，8月28日保真度準則下的信源編碼定理

——香農(nóng)第三定理是一個存在性定理，沒有給出如何尋找最佳壓縮編碼方法。在實際應(yīng)用中，存在兩大類問題：符合實際信源的R(D)函數(shù)的計算相當困難。需要對實際信源的統(tǒng)計特性有確切的數(shù)學(xué)描述需要對符合主客觀實際的失真給予正確的度量即便對實際信源有了確切的數(shù)學(xué)描述，又有符合主客觀實際情況的失真測度，率失真函數(shù)R(D)的計算也較困難即便求得了符合實際的信息率失真函數(shù)，還需研究采取何種實用的最佳編碼方法才能達到極限值R(D)。定理說明，在允許失真D的條件下，信源最小的、可達的信息傳輸率失信源的R(D)。當信源給定后，無失真信源壓縮的極限值是信源熵H(X)；而有失真信源壓縮的極限值是信息率失真函數(shù)R(D)。在給定某D后，一般有R(D)<H(X)。第六十八頁，共七十一頁，2022年，8月28日香農(nóng)三大定理的關(guān)系和比較無失真信源編碼定理限失真信源編碼定理信源冗余度壓縮編碼信源的熵壓縮編碼無失真、保熵有失真、熵壓縮信源壓縮的極限值：信源熵H(S)信源壓縮的極限值：率失真函數(shù)R(D)存在性存在性定