信息論基礎(chǔ)第六章-限失真信源編碼課件

1、 率失真函數(shù)的計(jì)算 率失真函數(shù)的定義 限失真信源編碼定理 率失真函數(shù)的性質(zhì)本章主要內(nèi)容1（1）在理論上無失真無法解決 例：連續(xù)信源，輸出的消息要用無窮多比特?cái)?shù)描述才能無失真再現(xiàn)消息，而信道的帶寬有限，所以，無法解決不失真問題。（2）在許多實(shí)際系統(tǒng)中失真是一定存在的 例：普通電話，數(shù)碼率 64 Kbit/s ，要求高，則增加傳輸與處理數(shù)據(jù)的復(fù)雜性，為此進(jìn)行壓縮，產(chǎn)生失真。（3）在實(shí)際應(yīng)用中，一定程度的失真是允許的 限失真信源編碼的意義2 失真存在并不影響實(shí)際的信息傳輸，在允許的失真限度下，可以對信源輸出的信息進(jìn)行壓縮，結(jié)果并不影響近似再現(xiàn)信源輸出的信息。 問題：在允許的失真限度下，對信源輸出的信

2、息進(jìn)行壓縮到什么程度，才能不影響近似再現(xiàn)信源輸出的信息？ 信源無失真編碼冗余度壓縮，保熵 信源限失真編碼熵壓縮 熵壓縮的下限值壓縮不低于該值，即保證在允許失真下可以近似再現(xiàn)信源的信息。 下限值？3率失真函數(shù)的定義失真度（失真函數(shù)）定義失真矩陣D（失真度的矩陣表示）d (ui , vj)0 i =1，2，n , j =1，2，m 4率失真函數(shù)的定義平均失真度定義失真度計(jì)算舉例5序列的失真函數(shù)：序列的失真度等于序列中對應(yīng)的單符號(hào)的失真度之和。平均失真： 對單個(gè)符號(hào)的平均失真：當(dāng)信源是獨(dú)立同分布，信道是無記憶時(shí)，即可以驗(yàn)證6率失真函數(shù)R(D)的定義率失真函數(shù)定義信源信道信源編碼器（試驗(yàn)信道）p(v|

3、u)無噪信道7率失真函數(shù)R(D)與信道容量C定義描述對象R(D) : 信源特性信源的可壓縮性C : 信道特性信道的傳輸能力實(shí)際應(yīng)用R(D) : 限失真信源編碼（熵壓縮編碼）C : 最大限度的利用信道，信道編碼8率失真函數(shù)R(D)與信道容量C的比較求解R(D)已知 p(u) 和 d(u,v) 求 I ( U ;V ) 極小值約束條件為C已知 p(v|u) ,求 I ( U ;V ) 極大值約束條件為9 例6.3設(shè)信源符號(hào)有2n種取值（a1，a2，a2n），而且是等概率的，即pi=1/2n，失真函數(shù)為 要做到不失真地傳送，平均每個(gè)符號(hào)需要有l(wèi)og2n的信息率。 現(xiàn)允許平均失真D =1/2，編碼后信

4、息率為多少？1011(1) R（D）的定義域（0,Dmax） (2) R（D）是D的下凸函數(shù) RD1+(1)D2 R(D1)+(1)R(D2) 率失真函數(shù)R(D)的性質(zhì)1213 14 15(4) 對于離散無記憶信源，有 RN（D）= N R1（D）率失真函數(shù)R(D)的性質(zhì)(3) R（D）函數(shù)具有單調(diào)遞減性和連續(xù)性 若 D1D2 ，有 R(D1)R(D2) 16率失真函數(shù)R(D)的性質(zhì)17率失真函數(shù)R(D)的計(jì)算 已知 p(u) 和 d(u,v) ，求 I ( U ;V ) 極小值約束條件為18率失真函數(shù)R(D)的計(jì)算1920Y001XD1DD1D12122高斯信源的率失真函數(shù)R(D) 例2 若高斯信源U，它的概率密度為而失真函數(shù)為d (u , v)=(uv)2 。則此信源的率失真函數(shù)為23限失真信源編碼定理 設(shè)離散無記憶信源的率失真函數(shù)為R（D），如果信源編碼后平均每個(gè)信源符號(hào)的信息傳輸率R R（D），則一定存在一種信源編碼 C，使編碼后的平均失真度 。限失真信源編碼定理 設(shè)離散無記憶信源的率失真函數(shù)為R（D），如果信源編碼后平均每個(gè)信源符號(hào)的信息傳輸率R R（D），則一定存在一種信源編碼 C，使編碼后的平均失真度 。限失真信源編碼定理（香農(nóng)第三定理）無失真信源編碼定理（香農(nóng)第一定理