信息論與編碼課件第六章

第六章限失真信源編碼

率失真函數(shù)的計算

率失真函數(shù)的定義

限失真信源編碼定理

率失真函數(shù)的性質(zhì)第六章限失真信源編碼率失真函數(shù)的計算率失真函數(shù)的定義1作業(yè)6.1、6.2（不求R(D)）作業(yè)2（1）在理論上無失真無法解決例：連續(xù)信源，輸出的消息要用無窮多比特數(shù)描述才能無失真再現(xiàn)消息，而信道的帶寬有限，所以，無法解決不失真問題。（2）在許多實際系統(tǒng)中失真是一定存在的例：普通電話，數(shù)碼率64Kbit/s，要求高，則增加傳輸與處理數(shù)據(jù)的復(fù)雜性，為此進行壓縮，產(chǎn)生失真。（3）在實際應(yīng)用中，一定程度的失真是允許的

限失真信源編碼的意義（1）在理論上無失真無法解決限失真信源編碼的意義3云海（2M）云海（2M）4云海（223K）云海（223K）5云海（30K）云海（30K）6云海（3K）云海（3K）7失真存在并不影響實際的信息傳輸，在允許的失真限度下，可以對信源輸出的信息進行壓縮，結(jié)果并不影響近似再現(xiàn)信源輸出的信息。

問題：在允許的失真限度下，對信源輸出的信息進行壓縮到什么程度，才能不影響近似再現(xiàn)信源輸出的信息？信源無失真編碼——冗余度壓縮，保熵信源限失真編碼——熵壓縮熵壓縮的下限值——壓縮不低于該值，即保證在允許失真下可以近似再現(xiàn)信源的信息。下限值＝？失真存在并不影響實際的信息傳輸，在允許8率失真函數(shù)的定義失真度（失真函數(shù)）定義失真矩陣D（失真度的矩陣表示）d(ui,vj)≥0

i=1，2，…，n,j=1，2，…，m

率失真函數(shù)的定義失真度（失真函數(shù)）定義失真矩陣D（失真度的矩9率失真函數(shù)的定義平均失真度定義率失真函數(shù)的定義平均失真度定義10序列的失真函數(shù)：序列的失真度等于序列中對應(yīng)的單符號的失真度之和。平均失真：

對單個符號的平均失真：當(dāng)信源是獨立同分布，信道是無記憶時，即可以驗證序列的失真函數(shù)：11率失真函數(shù)R(D)的定義率失真函數(shù)定義信源信道信源編碼器（試驗信道）p(v|u)無噪信道率失真函數(shù)R(D)的定義率失真函數(shù)定義信源信道信源編碼器無噪12率失真函數(shù)R(D)與信道容量C定義描述對象R(D):信源特性—信源的可壓縮性C:信道特性—信道的傳輸能力實際應(yīng)用R(D):限失真信源編碼（熵壓縮編碼）C:最大限度的利用信道，信道編碼率失真函數(shù)R(D)與信道容量C定義描述對象R(D):信13率失真函數(shù)R(D)與信道容量C的比較求解R(D)已知p(u)和d(u,v)求I(U;V)極小值約束條件為C已知p(v|u),求I(U;V)極大值約束條件為率失真函數(shù)R(D)與信道容量C的比較求解R(D)C14〖例6.3〗設(shè)信源符號有2n種取值（a1，a2，…，a2n），而且是等概率的，即pi=1/2n，失真函數(shù)為要做到不失真地傳送，平均每個符號需要有l(wèi)og2n的信息率?，F(xiàn)允許平均失真D=1/2，編碼后信息率為多少？〖例6.3〗設(shè)信源符號有2n種取值（a1，a2，…，a15信息論與編碼課件第六章16(1)R（D）的定義域（0,Dmax）

(2)R（D）是D的下凸函數(shù)

R[θD1+(1－θ)D2]≤θR(D1)+(1－θ)R(D2)率失真函數(shù)R(D)的性質(zhì)(1)R（D）的定義域（0,Dmax）(2)R（D）是17信息論與編碼課件第六章18

19

20Dmax是這樣來計算的。R(D)＝0就是I(X;Y)＝0，這時試驗信道輸入與輸出是互相獨立的，所以條件概率p(yj/xi)與xi無關(guān)。即Dmax是這樣來計算的。R(D)＝0就是I(X;Y)＝0，這21求出滿足條件的D中的最小值，即此時平均失真為求出滿足條件22從上式觀察可得：在j=1，…，m中，可找到值最小的j，當(dāng)該j對應(yīng)的pj＝1，而其余pj為零時，上式右邊達到最小，這時上式可簡化成從上式觀察可得：在j=1，…，m中，可找到23例設(shè)輸入輸出符號表為X＝Y(jié){0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣為例24解：當(dāng)Dmin＝0時，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符號，這時信源編碼器無失真，所以該編碼器的轉(zhuǎn)移概率為解：25當(dāng)R(Dmax)＝0時

此時輸出符號概率p(b1)＝0，p(b2)＝1，

所以這時的編碼器的轉(zhuǎn)移概率為

當(dāng)R(Dmax)＝0時此時輸出符號概率p(b1)＝0，p(26(4)對于離散無記憶信源，有

RN（D）=N

R1（D）率失真函數(shù)R(D)的性質(zhì)(3)R（D）函數(shù)具有單調(diào)遞減性和連續(xù)性

若D1＜D2，有R(D1)＞R(D2)(4)對于離散無記憶信源，有率失真函數(shù)R(D)的性質(zhì)(3)27率失真函數(shù)R(D)的性質(zhì)率失真函數(shù)R(D)的性質(zhì)28率失真函數(shù)R(D)的計算已知p(u)和d(u,v)，求I(U;V)極小值約束條件為率失真函數(shù)R(D)的計算已知p(u)和29率失真函數(shù)R(D)的計算率失真函數(shù)R(D)的計算30信息論與編碼課件第六章31Y001XD1－DD1－D1Y001XD1－DD1－D132信息論與編碼課件第六章33高斯信源的率失真函數(shù)R(D)

[例2]

若高斯信源U，它的概率密度為而失真函數(shù)為d(u

,v)=(u－v)2。則此信源的率失真函數(shù)為高斯信源的率失真函數(shù)R(D)[例2]若高斯信源U，34限失真信源編碼定理設(shè)離散無記憶信源的率失真函數(shù)為R（D），如果信源編碼后平均每個信源符號的信息傳輸率R’>R（D），則一定存在一種信源編碼C，使編碼后的平均失真度。限失真信源編碼定理設(shè)離散無記憶信源的率失真函數(shù)為R（D），如果信源編碼后平均每個信源符號的信息傳輸率R’<R（D），則無論采用什么編譯碼方式，一定有平均失真度。限失真信源編碼逆定理香農(nóng)第三定理限失真信源編碼定理設(shè)離散無記憶信源的率失真函35信源編碼定理的討論

設(shè)離散無記憶信源的率失真函數(shù)為R（D），如果信源編碼后平均每個信源符號的信息傳輸率R’>R（D），則一定存在一種信源編碼C，使編碼后的平均失真度。限失真信源編碼定理（香農(nóng)第三定理）無失真信源編碼定理（香農(nóng)第一定理）

離散無記憶信源S的N次擴展信源SN，具有熵H(SN)

。若對信源SN進行r進制編碼，總可以找到一種編碼方法，構(gòu)成唯一可譯碼，碼字平均長度滿足信源編碼定理的討論設(shè)離散無記憶信源的率失真函數(shù)36率失真函數(shù)的定義與性質(zhì)限失真信源編碼定理的意義第六章小結(jié)率失真函數(shù)的定義與性質(zhì)第六章小結(jié)37第六章限失真信源編碼

率失真函數(shù)的計算

率失真函數(shù)的定義

限失真信源編碼定理

率失真函數(shù)的性質(zhì)第六章限失真信源編碼率失真函數(shù)的計算率失真函數(shù)的定義38作業(yè)6.1、6.2（不求R(D)）作業(yè)39（1）在理論上無失真無法解決例：連續(xù)信源，輸出的消息要用無窮多比特數(shù)描述才能無失真再現(xiàn)消息，而信道的帶寬有限，所以，無法解決不失真問題。（2）在許多實際系統(tǒng)中失真是一定存在的例：普通電話，數(shù)碼率64Kbit/s，要求高，則增加傳輸與處理數(shù)據(jù)的復(fù)雜性，為此進行壓縮，產(chǎn)生失真。（3）在實際應(yīng)用中，一定程度的失真是允許的

限失真信源編碼的意義（1）在理論上無失真無法解決限失真信源編碼的意義40云海（2M）云海（2M）41云海（223K）云海（223K）42云海（30K）云海（30K）43云海（3K）云海（3K）44失真存在并不影響實際的信息傳輸，在允許的失真限度下，可以對信源輸出的信息進行壓縮，結(jié)果并不影響近似再現(xiàn)信源輸出的信息。

問題：在允許的失真限度下，對信源輸出的信息進行壓縮到什么程度，才能不影響近似再現(xiàn)信源輸出的信息？信源無失真編碼——冗余度壓縮，保熵信源限失真編碼——熵壓縮熵壓縮的下限值——壓縮不低于該值，即保證在允許失真下可以近似再現(xiàn)信源的信息。下限值＝？失真存在并不影響實際的信息傳輸，在允許45率失真函數(shù)的定義失真度（失真函數(shù)）定義失真矩陣D（失真度的矩陣表示）d(ui,vj)≥0

i=1，2，…，n,j=1，2，…，m

率失真函數(shù)的定義失真度（失真函數(shù)）定義失真矩陣D（失真度的矩46率失真函數(shù)的定義平均失真度定義率失真函數(shù)的定義平均失真度定義47序列的失真函數(shù)：序列的失真度等于序列中對應(yīng)的單符號的失真度之和。平均失真：

對單個符號的平均失真：當(dāng)信源是獨立同分布，信道是無記憶時，即可以驗證序列的失真函數(shù)：48率失真函數(shù)R(D)的定義率失真函數(shù)定義信源信道信源編碼器（試驗信道）p(v|u)無噪信道率失真函數(shù)R(D)的定義率失真函數(shù)定義信源信道信源編碼器無噪49率失真函數(shù)R(D)與信道容量C定義描述對象R(D):信源特性—信源的可壓縮性C:信道特性—信道的傳輸能力實際應(yīng)用R(D):限失真信源編碼（熵壓縮編碼）C:最大限度的利用信道，信道編碼率失真函數(shù)R(D)與信道容量C定義描述對象R(D):信50率失真函數(shù)R(D)與信道容量C的比較求解R(D)已知p(u)和d(u,v)求I(U;V)極小值約束條件為C已知p(v|u),求I(U;V)極大值約束條件為率失真函數(shù)R(D)與信道容量C的比較求解R(D)C51〖例6.3〗設(shè)信源符號有2n種取值（a1，a2，…，a2n），而且是等概率的，即pi=1/2n，失真函數(shù)為要做到不失真地傳送，平均每個符號需要有l(wèi)og2n的信息率?，F(xiàn)允許平均失真D=1/2，編碼后信息率為多少？〖例6.3〗設(shè)信源符號有2n種取值（a1，a2，…，a52信息論與編碼課件第六章53(1)R（D）的定義域（0,Dmax）

(2)R（D）是D的下凸函數(shù)

R[θD1+(1－θ)D2]≤θR(D1)+(1－θ)R(D2)率失真函數(shù)R(D)的性質(zhì)(1)R（D）的定義域（0,Dmax）(2)R（D）是54信息論與編碼課件第六章55

56

57Dmax是這樣來計算的。R(D)＝0就是I(X;Y)＝0，這時試驗信道輸入與輸出是互相獨立的，所以條件概率p(yj/xi)與xi無關(guān)。即Dmax是這樣來計算的。R(D)＝0就是I(X;Y)＝0，這58求出滿足條件的D中的最小值，即此時平均失真為求出滿足條件59從上式觀察可得：在j=1，…，m中，可找到值最小的j，當(dāng)該j對應(yīng)的pj＝1，而其余pj為零時，上式右邊達到最小，這時上式可簡化成從上式觀察可得：在j=1，…，m中，可找到60例設(shè)輸入輸出符號表為X＝Y(jié){0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣為例61解：當(dāng)Dmin＝0時，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符號，這時信源編碼器無失真，所以該編碼器的轉(zhuǎn)移概率為解：62當(dāng)R(Dmax)＝0時

此時輸出符號概率p(b1)＝0，p(b2)＝1，

所以這時的編碼器的轉(zhuǎn)移概率為

當(dāng)R(Dmax)＝0時此時輸出符號概率p(b1)＝0，p(63(4)對于離散無記憶信源，有

RN（D）=N

R1（D）率失真函數(shù)R(D)的性質(zhì)(3)R（D）函數(shù)具有單調(diào)遞減性和連續(xù)性

若D1＜D2，有R(D1)＞R(D2)(4)對于離散無記憶信源，有率失真函數(shù)R(D)的性質(zhì)(3)64率失真函數(shù)R(D)的性質(zhì)率失真函數(shù)R(D)的性質(zhì)65率失真函數(shù)R(D)的計算已知p(u)和d(u,v)，求I(U;V)極小值約束條件為率失真函數(shù)R(D)的計算已知p(u)和66率失真函數(shù)R(D)的計算率失真函數(shù)R(D)的計算67信息論與編碼課件第六章68Y001XD1－DD1－D1Y001XD1－DD1－D169信息論與編碼課件第六章70高斯信源的率失真函數(shù)R(D)

[例2]

若高斯信源U，它的概率密度為而失真函數(shù)為d(u

,v)=(u－v