信息論與編碼-第五章(續(xù)2)

1、信息論與編碼-限失真信源編碼 限失真信源編碼定理（香農(nóng)第三定理）限失真信源編碼定理（香農(nóng)第三定理） 設(shè)R(D)為一離散無記憶平穩(wěn)信源的信息率失真函數(shù)，并且有有限的失真測度。則對(duì)于任意的 和 ，當(dāng)信息率RR(D)時(shí)，一定存在一種編碼方法，其譯碼失真小于或等于 ，條件是編碼的信源序列長度L足夠長。 反之，如果RR(D)，則無論采用什么編碼方法，其譯碼失真必大于D。0D0D信息論與編碼-限失真信源編碼 定理說明，在允許失真為D的條件下，信源最小可達(dá)的信息傳輸率是信源的R(D)。 保真度準(zhǔn)則下的信源編碼定理（限失真信源編碼定理）是有失真信源壓縮的理論基礎(chǔ)。定理說明了在允許失真D確定后，總存在一種編碼方

2、法，使編碼的信息傳輸率大于R(D)且可以任意接近R(D)，而平均失真度小于允許失真D。而當(dāng)信息傳輸率小于R(D)時(shí)，編碼的平均失真將大于D。可見，R(D)是允許失真度為D的情況下信源信息壓縮的下限值。信息論與編碼-限失真信源編碼比較香農(nóng)第一定理和香農(nóng)第三定理可知，當(dāng)信源給定后，無失真信源壓縮的極限值是信源熵H(X)，而有失真信源壓縮的極限值是信息率失真函數(shù)R(D)。在給定D后，一般R(D)p(s)p(0)，譯出一個(gè)“1”；第二步：此時(shí)，F(xiàn)(s)=p(0)=0.01，p(s)=p(1)=0.11， C-F(s)=0.1001010，p(s)p(0)=0.0011，又 譯出一個(gè)“1”；”；，則譯出

3、符號(hào)為“若”；，則譯出符號(hào)為“若1)0()()(0)0()()(pspsFCpspsFC信息論與編碼-限失真信源編碼第三步：此時(shí)，F(xiàn)(s)=p(0)+p(10)=0.01+0.0011=0.0111，p(s)=0.1001，p(s)p(0)=0.001001，C-F(s)=0.011001，又譯出一個(gè)“1”；第四步：此時(shí)，F(xiàn)(s)=0.0111+p(110)=0.10011，p(s)=0.011011，p(s)p(0)=0.00011011， C-F(s)=0.001111，又譯出一個(gè)“1”；第五步：此時(shí)，F(xiàn)(s)=0.10011+p(1110)=0.10110011，p(s)=0.01010

4、001，p(s)p(0)=0.0001010001，信息論與編碼-限失真信源編碼 C-F(s)=0.00100001，又譯出一個(gè)“1”；第六步：此時(shí)，F(xiàn)(s)=0.10110011+p(111110)=0.110000100011， p(s)=0.0011110011，p(s)p(0)=0.000011110011， C-F(s)=0.000100011101，又譯出一個(gè)“1”；第七步：此時(shí)，F(xiàn)(s)=0.110000100011+p(1111110)=0.11010001011, p(s)=0.001011011001，p(s)p(0)=0.00001011011001，信息論與編碼-限失真

5、信源編碼 C-F(s)=0.00000010101，譯出一個(gè)“0”；第八步：此時(shí)，F(xiàn)(s)=0.11010001011，p(s)=0.00001011011001，p(s)p(0)=0.0000001011011001， C-F(s)=0.00000010101，又譯出一個(gè)“0”；第九步：此時(shí)，F(xiàn)(s)=0.11010001011，p(s)=0.0000001011011001， p(s)p(0)=0.000000001011011001，此時(shí)子區(qū)間的寬度已經(jīng)小于C的最高分辨率，所信息論與編碼-限失真信源編碼以繼續(xù)細(xì)分已無意義，譯碼停止。最后得到的碼序列是“11111100”。由上面的分析可知，算術(shù)編碼效率高，編譯碼速度比較快。另外，在算術(shù)編碼中，所使用的概率p(0)、p(1)甚至可以不一定是真實(shí)的信源分布概率。可以證明，當(dāng)信源的概率分布不確切知道時(shí)，可用其最佳估計(jì)值來進(jìn)行編碼，其平均碼長仍近似以信源熵為界。信息論與編碼-限失真信源編碼因此，在某些情況下，例如圖像壓縮，要確切地得到信源的實(shí)際概率分布是很困難的，這是仍可以用上述的算術(shù)編碼方法，只要設(shè)想的信源數(shù)學(xué)模型逼近信源的實(shí)際概率分布，編碼方法仍很有效。算術(shù)編碼有很多優(yōu)點(diǎn)，例如：編碼時(shí)所需的參數(shù)很少，不象哈夫曼編碼那樣需要一個(gè)很大的碼表。常用來針對(duì)一些信源概率未知或非平穩(wěn)情況。信息論與編碼-限失真