第4章_離散信源編碼理論

1、第1頁2022-6-54.1 信源編碼的基本概念信源編碼的基本概念4.3 信源無失真編碼信源無失真編碼4.4 信息率失真函數(shù)及性質(zhì)信息率失真函數(shù)及性質(zhì)4.5 信息率失真函數(shù)與信道容量信息率失真函數(shù)與信道容量4.7 香農(nóng)第三定理香農(nóng)第三定理第2頁2022-6-54.1 信源編碼的基本概念信源編碼的基本概念4.1信源編碼的基本概念1.為什么要進(jìn)行信源編碼為什么要進(jìn)行信源編碼 信源的兩個(gè)重要問題信源的兩個(gè)重要問題q 信源輸出的信息量計(jì)算問題；信源輸出的信息量計(jì)算問題；q 如何更有效地表示信源輸出的問題。如何更有效地表示信源輸出的問題。q 信源編碼就是為了提高通信效率，對(duì)信源所發(fā)送的消息進(jìn)行變信源編碼

2、就是為了提高通信效率，對(duì)信源所發(fā)送的消息進(jìn)行變換的方法之一。換的方法之一。 為什么要進(jìn)行信源編碼為什么要進(jìn)行信源編碼q 人們都希望無失真?zhèn)魉?，首先要?duì)信源無差錯(cuò)編碼；人們都希望無失真?zhèn)魉?，首先要?duì)信源無差錯(cuò)編碼；q 數(shù)字技術(shù)應(yīng)用越來越多，模擬信源通過數(shù)字化變成數(shù)字信號(hào)傳數(shù)字技術(shù)應(yīng)用越來越多，模擬信源通過數(shù)字化變成數(shù)字信號(hào)傳送。送。第3頁2022-6-54.1信源編碼的基本概念2. 信源編碼的概念信源編碼的概念 信源編碼定義：信源編碼定義：指定能夠滿足信道特性（適合于信道傳指定能夠滿足信道特性（適合于信道傳輸）的符號(hào)序列輸）的符號(hào)序列碼序列碼序列，來代表信源輸出的消息。，來代表信源輸出的消息。

3、編碼器：完成編碼功能的器件。編碼器：完成編碼功能的器件。 離散信源輸出的碼序列離散信源輸出的碼序列q 離散信源輸出的消息是由一個(gè)個(gè)離散符號(hào)組成的隨機(jī)序列離散信源輸出的消息是由一個(gè)個(gè)離散符號(hào)組成的隨機(jī)序列q 信源編碼就是把信源輸出的隨機(jī)符號(hào)序列變成碼序列信源編碼就是把信源輸出的隨機(jī)符號(hào)序列變成碼序列 nilLlx,x,xxXXXXXX2121)( mjkKky,y,yyYYYYYY2121)( 第4頁2022-6-54.1信源編碼的基本概念2. 信源編碼的概念信源編碼的概念研究信源編碼時(shí)，將信道編碼和譯碼看成是信道的一部分，而突研究信源編碼時(shí)，將信道編碼和譯碼看成是信道的一部分，而突出信源編碼；

4、出信源編碼；研究信道編碼時(shí)，將信源編碼和譯碼看成是信源和信宿的一部分，研究信道編碼時(shí)，將信源編碼和譯碼看成是信源和信宿的一部分，而突出信道編碼。而突出信道編碼。第5頁2022-6-54.1信源編碼的基本概念2. 信源編碼的概念信源編碼的概念討論無失真信源編碼先不考慮抗干擾問題，它的數(shù)學(xué)模討論無失真信源編碼先不考慮抗干擾問題，它的數(shù)學(xué)模型比較簡(jiǎn)單，如下圖。型比較簡(jiǎn)單，如下圖。信源符號(hào)：信源符號(hào)：編碼器的輸入是信源符號(hào)編碼器的輸入是信源符號(hào) X=x1,x2,xi,xn。信源符號(hào)序列：信源符號(hào)序列：碼符號(hào)碼符號(hào)/碼元：碼元：元素元素 yj 是適合信道傳輸?shù)姆?hào)，是適合信道傳輸?shù)姆?hào)，Y=y1,y2,

5、yj,ym 稱為碼符號(hào)稱為碼符號(hào)/碼元。碼元。XxxxxlLiiiii ),(21x x第6頁2022-6-54.1信源編碼的基本概念碼字（碼符號(hào)序列）：碼字（碼符號(hào)序列）：碼長(zhǎng)（碼字長(zhǎng)度）碼長(zhǎng)（碼字長(zhǎng)度）： ki 稱為碼字長(zhǎng)度或簡(jiǎn)稱碼長(zhǎng)。稱為碼字長(zhǎng)度或簡(jiǎn)稱碼長(zhǎng)。編碼：編碼：從信源符號(hào)到碼符號(hào)的一種映射。若要實(shí)現(xiàn)無失真編從信源符號(hào)到碼符號(hào)的一種映射。若要實(shí)現(xiàn)無失真編碼，這種映射必須是一一對(duì)應(yīng)的，可逆的。碼，這種映射必須是一一對(duì)應(yīng)的，可逆的。Yyyyylikiiiii ),(21y y2. 信源編碼的概念信源編碼的概念編碼器功能：編碼器功能：將信源符號(hào)集當(dāng)中的符號(hào)將信源符號(hào)集當(dāng)中的符號(hào) xi（或

6、者長(zhǎng)為（或者長(zhǎng)為 L 的信的信源符號(hào)序列）變換成由源符號(hào)序列）變換成由 yj(j=1,2, ,m) 組成的長(zhǎng)度為組成的長(zhǎng)度為ki 的序列。的序列。Yyyyynixlikiiiiii),(), 2 , 1(21y）（）（iiiiiiiiiiiklYyLlXxyyyxxxllikL, 2 , 1, 2 , 1),(),(2121 y yx x第7頁2022-6-54.1信源編碼的基本概念二元碼：二元碼：碼符號(hào)集為碼符號(hào)集為 X=0,1，所得碼字都是一些二元序列。，所得碼字都是一些二元序列。定長(zhǎng)碼（等長(zhǎng)碼）：定長(zhǎng)碼（等長(zhǎng)碼）：一組碼中所有碼字的碼長(zhǎng)都相同，即：一組碼中所有碼字的碼長(zhǎng)都相同，即： ki

7、=K(i=1,2,n)。變長(zhǎng)碼：變長(zhǎng)碼：一組碼字中所有碼字的碼長(zhǎng)各不相同，即任意碼字由不一組碼字中所有碼字的碼長(zhǎng)各不相同，即任意碼字由不同長(zhǎng)度的碼符號(hào)序列組成。同長(zhǎng)度的碼符號(hào)序列組成。非奇異碼：非奇異碼：一組碼字中所有碼字都不相同，即所有信源符號(hào)影射一組碼字中所有碼字都不相同，即所有信源符號(hào)影射到不同的碼符號(hào)序列。到不同的碼符號(hào)序列。奇異碼：奇異碼：一組碼中有相同的碼字。一組碼中有相同的碼字。惟一可譯碼：惟一可譯碼：碼的任意一串有限長(zhǎng)的碼符號(hào)序列只能被惟一地譯碼的任意一串有限長(zhǎng)的碼符號(hào)序列只能被惟一地譯成所對(duì)應(yīng)的信源符號(hào)。成所對(duì)應(yīng)的信源符號(hào)。即時(shí)碼：即時(shí)碼：不需要考慮后續(xù)的碼符號(hào)，可以根據(jù)當(dāng)前

8、的碼符號(hào)序列不需要考慮后續(xù)的碼符號(hào)，可以根據(jù)當(dāng)前的碼符號(hào)序列正確譯出相應(yīng)的碼字。正確譯出相應(yīng)的碼字。 第8頁2022-6-54.1信源編碼的基本概念碼樹圖碼樹圖 m 元（元（m 進(jìn)制）碼樹圖進(jìn)制）碼樹圖樹根：樹根：最頂部畫一個(gè)起始點(diǎn)。最頂部畫一個(gè)起始點(diǎn)。樹枝：樹枝：從根部引出從根部引出 m 條線段，每條線段都稱為樹枝。條線段，每條線段都稱為樹枝。一級(jí)節(jié)點(diǎn)：一級(jí)節(jié)點(diǎn)：自根部起自根部起,通過一條樹枝到達(dá)的節(jié)點(diǎn)。一級(jí)節(jié)點(diǎn)最多有通過一條樹枝到達(dá)的節(jié)點(diǎn)。一級(jí)節(jié)點(diǎn)最多有 m 個(gè)個(gè).n 級(jí)節(jié)點(diǎn)：級(jí)節(jié)點(diǎn)：通過通過 n 條樹枝達(dá)到的節(jié)點(diǎn)。最多有條樹枝達(dá)到的節(jié)點(diǎn)。最多有 mn。終節(jié)點(diǎn)終節(jié)點(diǎn)/終端節(jié)點(diǎn)：終端節(jié)點(diǎn)：下

9、面不再有樹枝的節(jié)點(diǎn)。下面不再有樹枝的節(jié)點(diǎn)。中間節(jié)點(diǎn)：中間節(jié)點(diǎn)：除了樹根和終節(jié)點(diǎn)以外的節(jié)點(diǎn)。除了樹根和終節(jié)點(diǎn)以外的節(jié)點(diǎn)。聯(lián)枝：聯(lián)枝：串聯(lián)的樹枝。串聯(lián)的樹枝。滿樹：滿樹：在碼樹圖中，當(dāng)每一個(gè)碼字的串聯(lián)枝數(shù)都相同時(shí)，就是定長(zhǎng)在碼樹圖中，當(dāng)每一個(gè)碼字的串聯(lián)枝數(shù)都相同時(shí)，就是定長(zhǎng)碼。此時(shí)的碼樹稱為滿樹。碼。此時(shí)的碼樹稱為滿樹。第9頁2022-6-54.1信源編碼的基本概念例例：碼碼 1：顯然不是惟一可譯碼。顯然不是惟一可譯碼。x2 和和 x4 對(duì)應(yīng)于同一碼字對(duì)應(yīng)于同一碼字“11”，碼，碼 1 是一個(gè)奇異碼。是一個(gè)奇異碼。碼碼 2：是非奇異碼，不是惟一可譯碼。當(dāng)收到一串碼符號(hào)是非奇異碼，不是惟一可譯碼。當(dāng)

10、收到一串碼符號(hào)“01000”時(shí)，可將它譯成時(shí)，可將它譯成“x4 x3 x1”，也可譯為，也可譯為“x4x1x3”， “x1x2x3”或或“x1x2x1x1”等，這種碼從單個(gè)碼字來看雖然不是奇異的，但從有限等，這種碼從單個(gè)碼字來看雖然不是奇異的，但從有限長(zhǎng)的碼序列來看，它仍然是一個(gè)奇異碼。長(zhǎng)的碼序列來看，它仍然是一個(gè)奇異碼。碼碼 3：雖然是惟一可譯碼，但它要等到下一個(gè)雖然是惟一可譯碼，但它要等到下一個(gè)“1”收到后才能確定收到后才能確定碼字的結(jié)束，譯碼有延時(shí)。碼字的結(jié)束，譯碼有延時(shí)。碼碼 4：既是惟一可譯碼，又沒有譯碼延時(shí)。碼字中的符號(hào)既是惟一可譯碼，又沒有譯碼延時(shí)。碼字中的符號(hào)“1”起了起了逗點(diǎn)

11、的作用，故稱為逗點(diǎn)碼。逗點(diǎn)的作用，故稱為逗點(diǎn)碼。即時(shí)碼即時(shí)碼/前綴條件碼前綴條件碼/異前置碼異前置碼/異字頭碼異字頭碼/逗點(diǎn)碼逗點(diǎn)碼/非延長(zhǎng)碼非延長(zhǎng)碼：如果一：如果一個(gè)碼的任何一個(gè)碼字都不是其它碼字的前綴。個(gè)碼的任何一個(gè)碼字都不是其它碼字的前綴。第10頁2022-6-53. 克拉夫特不等式克拉夫特不等式 克拉夫特不等式：克拉夫特不等式：m 元長(zhǎng)度為元長(zhǎng)度為 ki，i=1,2,n 的即時(shí)碼存在的充要的即時(shí)碼存在的充要條件是條件是證明：證明： 必要條件：必要條件：q 設(shè)即時(shí)碼第設(shè)即時(shí)碼第 i 個(gè)碼字的長(zhǎng)度為個(gè)碼字的長(zhǎng)度為 ki，i=1,2,n，q 造一個(gè)碼樹圖，在第造一個(gè)碼樹圖，在第 ki 級(jí)總共

12、有級(jí)總共有 個(gè)節(jié)點(diǎn)。第個(gè)節(jié)點(diǎn)。第 i 個(gè)碼字占據(jù)個(gè)碼字占據(jù)了第了第 ki 級(jí)的級(jí)的 ，根據(jù)即時(shí)碼的定義，其后的樹枝不能再用。，根據(jù)即時(shí)碼的定義，其后的樹枝不能再用。q 對(duì)于對(duì)于 N 級(jí)滿樹，其后不能用的枝數(shù)為級(jí)滿樹，其后不能用的枝數(shù)為 ，那么總共不用的，那么總共不用的枝數(shù)為枝數(shù)為 。q N 級(jí)滿樹第級(jí)滿樹第 N 級(jí)上的總枝數(shù)已知為級(jí)上的總枝數(shù)已知為 mN，所以必有，所以必有 兩邊除以兩邊除以 mN，就得：，就得： 。11 nikimikm1ikm4.1信源編碼的基本概念ikNm nikNim1NnikNmmi 111 nikim第11頁2022-6-53. 克拉夫特不等式克拉夫特不等式 克拉夫

13、特不等式：克拉夫特不等式：m 元長(zhǎng)度為元長(zhǎng)度為 ki，i=1,2,n 的即時(shí)碼存在的充要條件的即時(shí)碼存在的充要條件是是證明：證明： 充分條件：充分條件：q 如果式如果式 成立，則成立，則 必成立，總可以把必成立，總可以把 第第 N 級(jí)上的樹枝分成級(jí)上的樹枝分成 n 組；組；q 各組中從第各組中從第 N 級(jí)開始刪除級(jí)開始刪除 (i=1,2,n)個(gè)枝；個(gè)枝；q 相對(duì)于相對(duì)于 N 級(jí)滿樹，等于刪除了所有可能的級(jí)滿樹，等于刪除了所有可能的 ki 級(jí)節(jié)點(diǎn)的級(jí)節(jié)點(diǎn)的q 在該組中以第在該組中以第 ki 級(jí)節(jié)點(diǎn)作為終節(jié)點(diǎn)，就構(gòu)造好了第級(jí)節(jié)點(diǎn)作為終節(jié)點(diǎn)，就構(gòu)造好了第 i 個(gè)碼字。個(gè)碼字。q 對(duì)所有碼字如法炮制，

14、則總共刪除了所有對(duì)所有碼字如法炮制，則總共刪除了所有 mN 個(gè)節(jié)點(diǎn)中的個(gè)節(jié)點(diǎn)中的 。q 由于由于 ，于是構(gòu)造了一個(gè)即時(shí)碼。，于是構(gòu)造了一個(gè)即時(shí)碼。11 nikimikNm iikkmm 1NnikNmmi 111 nikim4.1信源編碼的基本概念 nikim111 nikim第12頁2022-6-54.3 信源無失真編碼信源無失真編碼 碼字與信息率的關(guān)系碼字與信息率的關(guān)系q 有時(shí)消息太多，不可能或者沒必要給每個(gè)消息分配一有時(shí)消息太多，不可能或者沒必要給每個(gè)消息分配一個(gè)碼字；個(gè)碼字；q 給多少消息分配碼字可以做到幾乎無失真譯碼？給多少消息分配碼字可以做到幾乎無失真譯碼？q 傳送碼字需要一定的信

15、息率，碼字越多，所需的信息傳送碼字需要一定的信息率，碼字越多，所需的信息率越大。編多少碼字的問題可以轉(zhuǎn)化為對(duì)信息率大小的問率越大。編多少碼字的問題可以轉(zhuǎn)化為對(duì)信息率大小的問題；題；q 信息率越小越好，最小能小到多少才能做到無失真譯信息率越小越好，最小能小到多少才能做到無失真譯碼呢？碼呢？ 這些問題就是信源編碼定理要研究的問題。這些問題就是信源編碼定理要研究的問題。第13頁2022-6-54.3 信源無失真編碼信源無失真編碼 信源編碼有定長(zhǎng)和變長(zhǎng)兩種方法。信源編碼有定長(zhǎng)和變長(zhǎng)兩種方法。定長(zhǎng)編碼：定長(zhǎng)編碼：碼字長(zhǎng)度碼字長(zhǎng)度 K 是固定的，相應(yīng)的編碼定理稱為定長(zhǎng)信源是固定的，相應(yīng)的編碼定理稱為定長(zhǎng)信

16、源編碼定理，是尋求最小編碼定理，是尋求最小 K 值的編碼方法。值的編碼方法。變長(zhǎng)編碼：變長(zhǎng)編碼：K 是變值，相應(yīng)的編碼定理稱為變長(zhǎng)編碼定理。這里是變值，相應(yīng)的編碼定理稱為變長(zhǎng)編碼定理。這里的的 K 值最小意味著數(shù)學(xué)期望最小。值最小意味著數(shù)學(xué)期望最小。 無失真信源編碼就是要求信源符號(hào)與碼字之間形成一一映射無失真信源編碼就是要求信源符號(hào)與碼字之間形成一一映射的關(guān)系，并且要求編碼輸出的碼字序列對(duì)應(yīng)的反變換是惟一的，的關(guān)系，并且要求編碼輸出的碼字序列對(duì)應(yīng)的反變換是惟一的，即是惟一可譯碼的，否則會(huì)造成譯碼錯(cuò)誤或者失真。即是惟一可譯碼的，否則會(huì)造成譯碼錯(cuò)誤或者失真。 第14頁2022-6-51. 定長(zhǎng)編碼

17、定理定長(zhǎng)編碼定理(1) 定長(zhǎng)編碼定理定長(zhǎng)編碼定理定長(zhǎng)編碼定理：定長(zhǎng)編碼定理：一個(gè)熵為一個(gè)熵為 H(X) 的離散無記憶信源的離散無記憶信源 X1X2XlXL，若，若對(duì)信源長(zhǎng)為對(duì)信源長(zhǎng)為 L 的符號(hào)序列進(jìn)行定長(zhǎng)編碼，設(shè)碼字是從的符號(hào)序列進(jìn)行定長(zhǎng)編碼，設(shè)碼字是從 m 個(gè)字母的碼符個(gè)字母的碼符號(hào)集中，選取號(hào)集中，選取 K 個(gè)碼元組成個(gè)碼元組成Y1Y2YkYK。對(duì)于任意。對(duì)于任意0，0 ，只要，只要滿足滿足 當(dāng)當(dāng) L 足夠大時(shí)，必可使譯碼差錯(cuò)小于足夠大時(shí)，必可使譯碼差錯(cuò)小于，即譯碼錯(cuò)誤概率能為任意，即譯碼錯(cuò)誤概率能為任意??；反之，若：??；反之，若： 則不可能實(shí)現(xiàn)無失真編碼，而當(dāng)則不可能實(shí)現(xiàn)無失真編碼，而

18、當(dāng) L 足夠大時(shí)，譯碼錯(cuò)誤概率近似等于足夠大時(shí)，譯碼錯(cuò)誤概率近似等于1。 )(log2XHmLK 2)(log2 XHmLK4.3信源無失真編碼第15頁2022-6-5(1) 定長(zhǎng)編碼定理定長(zhǎng)編碼定理 4.3信源無失真編碼 )(log2XHmLK定理中的公式改寫成：定理中的公式改寫成：Klog2mLH(X) Klog2m：表示長(zhǎng)為：表示長(zhǎng)為 K 的碼符號(hào)序列能載荷的最大信息量的碼符號(hào)序列能載荷的最大信息量LH(X) ：代表長(zhǎng)為：代表長(zhǎng)為 L 的信源序列平均攜帶的信息量的信源序列平均攜帶的信息量 平均符號(hào)熵。平均符號(hào)熵。：mLK2log定長(zhǎng)編碼定理說明：只要碼字傳輸?shù)男畔⒘看笥谛旁磾y帶的信息定長(zhǎng)

19、編碼定理說明：只要碼字傳輸?shù)男畔⒘看笥谛旁磾y帶的信息量，總可實(shí)現(xiàn)幾乎無失真編碼。量，總可實(shí)現(xiàn)幾乎無失真編碼。 譯譯碼碼差差錯(cuò)錯(cuò)率率：編編碼碼效效率率： )()(XHXH)(1XH 第16頁2022-6-5(1) 定長(zhǎng)編碼定理定長(zhǎng)編碼定理 信源熵信源熵 H(X) 就是一個(gè)界限（臨界值）。當(dāng)編碼器輸出的信息率超就是一個(gè)界限（臨界值）。當(dāng)編碼器輸出的信息率超過這個(gè)臨界值時(shí)，就能無失真譯碼，否則就不行。過這個(gè)臨界值時(shí)，就能無失真譯碼，否則就不行。 信源編碼定理從理論上說明了編碼效率接近于信源編碼定理從理論上說明了編碼效率接近于 1，即：，即： 的理想編碼器的存在性，代價(jià)是在實(shí)際編碼時(shí)取無限長(zhǎng)的信源符號(hào)

20、的理想編碼器的存在性，代價(jià)是在實(shí)際編碼時(shí)取無限長(zhǎng)的信源符號(hào) (L) 進(jìn)行統(tǒng)一編碼。進(jìn)行統(tǒng)一編碼。說明：說明：定長(zhǎng)編碼定理是在平穩(wěn)無記憶離散信源的條件下論證的，定長(zhǎng)編碼定理是在平穩(wěn)無記憶離散信源的條件下論證的，但它同樣適用于平穩(wěn)有記憶信源，只是要求有記憶信源的但它同樣適用于平穩(wěn)有記憶信源，只是要求有記憶信源的極限熵極限熵和和極限方差極限方差存在即可。對(duì)于平穩(wěn)有記憶信源，定理中的熵應(yīng)改為存在即可。對(duì)于平穩(wěn)有記憶信源，定理中的熵應(yīng)改為極限熵。極限熵。1log)(2mLKXH4.3信源無失真編碼第17頁2022-6-5 定長(zhǎng)編碼定理的意義定長(zhǎng)編碼定理的意義 (1) 對(duì)于給定的離散無記憶信源對(duì)于給定的離

21、散無記憶信源X和碼元數(shù)和碼元數(shù)m，如果對(duì)，如果對(duì)X的的N次擴(kuò)次擴(kuò)展信源進(jìn)行無失真等長(zhǎng)編碼，那么當(dāng)碼長(zhǎng)展信源進(jìn)行無失真等長(zhǎng)編碼，那么當(dāng)碼長(zhǎng)K滿足條件滿足條件 時(shí)，一定存在一種編碼方案，能夠?qū)崿F(xiàn)無失真編碼；反之，不可能時(shí)，一定存在一種編碼方案，能夠?qū)崿F(xiàn)無失真編碼；反之，不可能進(jìn)行無失真編碼。進(jìn)行無失真編碼。 4.3信源無失真編碼2log()KmH XL (2) 對(duì)于給定的信源離散無記憶對(duì)于給定的信源離散無記憶X，信源的熵，信源的熵H(X)是一定的，當(dāng)碼是一定的，當(dāng)碼符號(hào)數(shù)量符號(hào)數(shù)量m選定時(shí)，可以增加信源序列的長(zhǎng)度選定時(shí)，可以增加信源序列的長(zhǎng)度L，使得無失真編碼產(chǎn)，使得無失真編碼產(chǎn)生的每個(gè)符號(hào)平均長(zhǎng)

22、度盡可能小，但是無論怎樣增加序列長(zhǎng)生的每個(gè)符號(hào)平均長(zhǎng)度盡可能小，但是無論怎樣增加序列長(zhǎng)度度L，信源每個(gè)符號(hào)的平均碼長(zhǎng)不可能小于，信源每個(gè)符號(hào)的平均碼長(zhǎng)不可能小于 ，即碼長(zhǎng)的極限，即碼長(zhǎng)的極限為為 。 KKL2()logH Xm2()logH Xm第18頁2022-6-5定長(zhǎng)編碼定理的意義定長(zhǎng)編碼定理的意義4.3信源無失真編碼(3) 當(dāng)序列長(zhǎng)度當(dāng)序列長(zhǎng)度L一定，譯碼錯(cuò)誤概率一定，譯碼錯(cuò)誤概率PE為為2E22 ( )()( , )iD I aXPLLL其中，其中，DI(ai)為自信息量方差，定義為為自信息量方差，定義為221 ( )( )log( )()riiiiD I ap ap aHX 當(dāng)信源

23、給定時(shí)，自信息方差是一定的，序列長(zhǎng)度當(dāng)信源給定時(shí)，自信息方差是一定的，序列長(zhǎng)度L越大，越大，錯(cuò)誤概率越小，要實(shí)現(xiàn)無失真編碼，序列長(zhǎng)度就應(yīng)當(dāng)足夠長(zhǎng)，錯(cuò)誤概率越小，要實(shí)現(xiàn)無失真編碼，序列長(zhǎng)度就應(yīng)當(dāng)足夠長(zhǎng)，使使PE能夠滿足一定要求。能夠滿足一定要求。 第19頁2022-6-5(2) 舉舉 例例例例4.1：設(shè)單符號(hào)信源模型為：設(shè)單符號(hào)信源模型為：其信息熵為：其信息熵為：H(X)=2.55（比特符號(hào)）（比特符號(hào)） 若編碼效率為若編碼效率為 = 90%，取，取L=1，則則?。喝。?=0.28，若譯碼差錯(cuò)率為若譯碼差錯(cuò)率為 =106,在差錯(cuò)率和效率要求都不苛刻的情況下，就必須有在差錯(cuò)率和效率要求都不苛刻的情

24、況下，就必須有1600多萬個(gè)信多萬個(gè)信源符號(hào)一起編碼，技術(shù)實(shí)現(xiàn)非常困難。源符號(hào)一起編碼，技術(shù)實(shí)現(xiàn)非常困難。 04. 005. 006. 007. 010. 010. 018. 04 . 0)(87654321xxxxxxxxxpX90. 0)()( XHXH722106875. 1)( xL4.3信源無失真編碼1. 定長(zhǎng)編碼定理定長(zhǎng)編碼定理82221()( )(log)()7.8246.5021.322iiiiXD I xppH X2.5590%2.83bit/sK 2.832=7.11第20頁2022-6-5(2) 舉舉 例例例例：離散無記憶信源：離散無記憶信源：其信息熵為：其信息熵為：自信

25、息的方差為：自信息的方差為：12,31( ),44xxXp x（比比特特信信源源符符號(hào)號(hào)）811. 034log434log41)(22 XH 4715. 0)811. 0(41log4143log43)()(log)()(2222212222 niiiiXHxpxpxID 4.3信源無失真編碼若對(duì)信源若對(duì)信源X采取等長(zhǎng)二元編碼時(shí)，要求采取等長(zhǎng)二元編碼時(shí)，要求=0.96，=105信源序列長(zhǎng)度需長(zhǎng)達(dá)信源序列長(zhǎng)度需長(zhǎng)達(dá)4130萬以上，才能實(shí)現(xiàn)給定的要求，這在實(shí)際萬以上，才能實(shí)現(xiàn)給定的要求，這在實(shí)際中很難實(shí)現(xiàn)。中很難實(shí)現(xiàn)。一般來說，當(dāng)一般來說，當(dāng) L 有限時(shí)，高傳輸效率的等長(zhǎng)碼往往要引入一定的失有限

26、時(shí)，高傳輸效率的等長(zhǎng)碼往往要引入一定的失真和錯(cuò)誤，它不能像變長(zhǎng)碼那樣可以實(shí)現(xiàn)無失真編碼。真和錯(cuò)誤，它不能像變長(zhǎng)碼那樣可以實(shí)現(xiàn)無失真編碼。752222221013. 410)04. 0()96. 0()811. 0(4715. 0)1 ()()( XHxL第21頁2022-6-5 編碼信息率：編碼信息率：設(shè)離散無記憶信源設(shè)離散無記憶信源X的熵為的熵為H(X)，對(duì)，對(duì)X擴(kuò)展信源的符擴(kuò)展信源的符號(hào)序列號(hào)序列XL進(jìn)行等長(zhǎng)無失真編碼，碼長(zhǎng)為進(jìn)行等長(zhǎng)無失真編碼，碼長(zhǎng)為K，編碼信息率為，編碼信息率為 如果編碼信息率如果編碼信息率R小于信源熵小于信源熵H(X)，存在一種編碼器能夠?qū)崿F(xiàn)無，存在一種編碼器能夠?qū)崿F(xiàn)

27、無失真編碼；反之，如果編碼信息率大于信源熵失真編碼；反之，如果編碼信息率大于信源熵H(X)，則不能實(shí)現(xiàn)無，則不能實(shí)現(xiàn)無失真編碼。失真編碼。 編碼效率編碼效率： 4.3信源無失真編碼1. 定長(zhǎng)編碼定理定長(zhǎng)編碼定理2logKRmL2()()logH XH XKRmL第22頁2022-6-5(1) 基本概念基本概念變長(zhǎng)編碼（不等長(zhǎng)編碼）：變長(zhǎng)編碼（不等長(zhǎng)編碼）：不等長(zhǎng)編碼允許把等長(zhǎng)的消息變不等長(zhǎng)編碼允許把等長(zhǎng)的消息變換成不等長(zhǎng)的碼序列。通常把經(jīng)常出現(xiàn)的消息編成短碼，不換成不等長(zhǎng)的碼序列。通常把經(jīng)常出現(xiàn)的消息編成短碼，不常出現(xiàn)的消息編成長(zhǎng)碼。這樣可使平均碼長(zhǎng)最短，從而提高常出現(xiàn)的消息編成長(zhǎng)碼。這樣可使

28、平均碼長(zhǎng)最短，從而提高通信效率，代價(jià)是增加了編譯碼設(shè)備的復(fù)雜度。通信效率，代價(jià)是增加了編譯碼設(shè)備的復(fù)雜度。 例如：在不等長(zhǎng)碼字組成的序列中要正確識(shí)別每個(gè)長(zhǎng)度不同例如：在不等長(zhǎng)碼字組成的序列中要正確識(shí)別每個(gè)長(zhǎng)度不同的碼字的起點(diǎn)就比等長(zhǎng)碼復(fù)雜得多。的碼字的起點(diǎn)就比等長(zhǎng)碼復(fù)雜得多。譯碼延時(shí)譯碼同步：譯碼延時(shí)譯碼同步：接收到一個(gè)不等長(zhǎng)碼序列后，有時(shí)不接收到一個(gè)不等長(zhǎng)碼序列后，有時(shí)不能馬上斷定碼字是否真正結(jié)束，因而不能立即譯出該碼，要能馬上斷定碼字是否真正結(jié)束，因而不能立即譯出該碼，要等到后面的符號(hào)收到后才能正確譯出。等到后面的符號(hào)收到后才能正確譯出。2. 變長(zhǎng)編碼定理變長(zhǎng)編碼定理4.3信源無失真編碼第

29、23頁2022-6-5(2) 變長(zhǎng)編碼定理變長(zhǎng)編碼定理（香農(nóng)第一定理）（香農(nóng)第一定理）平均碼長(zhǎng)：平均碼長(zhǎng)：變長(zhǎng)編碼定理：變長(zhǎng)編碼定理：若一離散無記憶信源的平均符號(hào)熵為若一離散無記憶信源的平均符號(hào)熵為 H(X)，對(duì)信，對(duì)信源符號(hào)進(jìn)行源符號(hào)進(jìn)行 m 元變長(zhǎng)編碼，一定存在一種無失真編碼方法，其碼元變長(zhǎng)編碼，一定存在一種無失真編碼方法，其碼字平均長(zhǎng)度字平均長(zhǎng)度 滿足下列不等式：滿足下列不等式：化莫化莫 其平均信息率滿足不等式其平均信息率滿足不等式 H(X) + RH(X)，式中，式中為任意正數(shù)。為任意正數(shù)。mXHKmXH22log)(log)(1 niiikxpK1)(4.3信源無失真編碼K對(duì)信源進(jìn)行

30、變長(zhǎng)編碼一般所要求的信源符號(hào)長(zhǎng)度對(duì)信源進(jìn)行變長(zhǎng)編碼一般所要求的信源符號(hào)長(zhǎng)度 L 比定長(zhǎng)編碼小比定長(zhǎng)編碼小的多。的多。：，得到編碼效率的下界，得到編碼效率的下界由：由： )()(XHRXHLmXHXHRXH2log)()()( 第24頁2022-6-5(2) 變長(zhǎng)編碼定理變長(zhǎng)編碼定理（香農(nóng)第一定理）（香農(nóng)第一定理）信道的信道的信息傳輸率信息傳輸率為（從信道的角度看）：為（從信道的角度看）：編碼效率編碼效率定義為：定義為：二元無損無噪信道中二元無損無噪信道中 m=2，所以，所以 Hm(X X)=H(X X) 碼碼符符號(hào)號(hào)比比特特信信源源符符號(hào)號(hào)碼碼符符號(hào)號(hào)信信源源符符號(hào)號(hào)比比特特/)(/)(KHK

31、HRX XX X KmHKHm2log)()(X XX X ：平平均均碼碼長(zhǎng)長(zhǎng)KRKH )(X X 4.3信源無失真編碼第25頁2022-6-5(2) 變長(zhǎng)編碼定理變長(zhǎng)編碼定理 舉舉 例例 例例：設(shè)單符號(hào)信源模型為：設(shè)單符號(hào)信源模型為：其信息熵為：其信息熵為：H(X)=2.55（比特（比特/符號(hào)）符號(hào)）這里這里 m=2，log2m=1要求要求90%，則：，則： 04. 005. 006. 007. 010. 010. 018. 04 . 0)(87654321xxxxxxxxXPX140 28.L 4.3信源無失真編碼與定長(zhǎng)編碼相比，對(duì)同一信源，要求編碼效率都達(dá)到與定長(zhǎng)編碼相比，對(duì)同一信源，要

32、求編碼效率都達(dá)到 90% 時(shí)，變時(shí)，變長(zhǎng)編碼只需長(zhǎng)編碼只需 L=4 進(jìn)行編碼，而等長(zhǎng)碼則要求進(jìn)行編碼，而等長(zhǎng)碼則要求 L 大于大于 1.6875107。用變長(zhǎng)編碼時(shí)用變長(zhǎng)編碼時(shí), L 不需要很大就可以達(dá)到相當(dāng)高的編碼效率而且可不需要很大就可以達(dá)到相當(dāng)高的編碼效率而且可實(shí)現(xiàn)無失真編碼。實(shí)現(xiàn)無失真編碼。2 550 912 55.L 第26頁2022-6-5(2) 變長(zhǎng)編碼定理變長(zhǎng)編碼定理舉舉 例例 例例：離散無記憶信源：離散無記憶信源：其信息熵為：其信息熵為：用二元碼符號(hào)用二元碼符號(hào)(0,1)來構(gòu)造一個(gè)即時(shí)碼：來構(gòu)造一個(gè)即時(shí)碼：x10，x21這時(shí)平均碼長(zhǎng)：這時(shí)平均碼長(zhǎng)：編碼效率為：編碼效率為：信道

33、信息傳輸率為：信道信息傳輸率為：R=0.811 比特比特/二元碼符號(hào)二元碼符號(hào)12,31( ),44xxXp x信源符號(hào)）信源符號(hào)）（比特（比特 /811. 034log434log41)(22 XH信信源源符符號(hào)號(hào)）（二二元元碼碼符符號(hào)號(hào)/1 K811. 0)( KXH 4.3信源無失真編碼為了提高傳輸效率，對(duì)無記憶信源為了提高傳輸效率，對(duì)無記憶信源 X 的二次擴(kuò)展信源的二次擴(kuò)展信源 X2 進(jìn)行編碼，進(jìn)行編碼，下面給出擴(kuò)展信源下面給出擴(kuò)展信源 X2 及其某一個(gè)即時(shí)碼：及其某一個(gè)即時(shí)碼：第27頁2022-6-5信信源源符符號(hào)號(hào)）（二二元元碼碼符符號(hào)號(hào)/322722 KK二二個(gè)個(gè)信信源源符符號(hào)號(hào)

34、）（二二元元碼碼符符號(hào)號(hào) /162731613163216311692 K 這個(gè)碼的平均長(zhǎng)度為：這個(gè)碼的平均長(zhǎng)度為： 信源符號(hào)信源符號(hào)X中每一單個(gè)符號(hào)的平均碼長(zhǎng)為：中每一單個(gè)符號(hào)的平均碼長(zhǎng)為：4.3信源無失真編碼其編碼效率為：其編碼效率為：信息傳輸速率為：信息傳輸速率為：編碼復(fù)雜了一些，但信息傳輸率有了提高。編碼復(fù)雜了一些，但信息傳輸率有了提高。對(duì)信源對(duì)信源X的三次和四次擴(kuò)展信源進(jìn)行編碼，編碼效率為：的三次和四次擴(kuò)展信源進(jìn)行編碼，編碼效率為：信息傳輸率為：信息傳輸率為：二二元元碼碼符符號(hào)號(hào)）（比比特特/96102.R 9610278110322. 二二元元碼碼符符號(hào)號(hào)）（比比特特二二元元碼碼符

35、符號(hào)號(hào)）（比比特特/9910/985043.R.R 9910985043. 12,31( ),44xxXp x第28頁2022-6-5(2) 變長(zhǎng)編碼定理變長(zhǎng)編碼定理 與定長(zhǎng)碼比較：對(duì)于同一信源，要求編碼效率都達(dá)到與定長(zhǎng)碼比較：對(duì)于同一信源，要求編碼效率都達(dá)到96%時(shí)，時(shí)，變長(zhǎng)碼只需對(duì)二次擴(kuò)展信源（變長(zhǎng)碼只需對(duì)二次擴(kuò)展信源（N=2）進(jìn)行編碼，而等長(zhǎng)碼則要求）進(jìn)行編碼，而等長(zhǎng)碼則要求L4.13107。 結(jié)論結(jié)論q 用變長(zhǎng)碼編碼時(shí)，用變長(zhǎng)碼編碼時(shí)，L L不需要很大就可以達(dá)到相當(dāng)高的編碼效率，不需要很大就可以達(dá)到相當(dāng)高的編碼效率，而且可以實(shí)現(xiàn)無失真編碼。而且可以實(shí)現(xiàn)無失真編碼。q 隨著擴(kuò)展信源次數(shù)的

36、增加，編碼的效率越來越接近于隨著擴(kuò)展信源次數(shù)的增加，編碼的效率越來越接近于1 1比特比特/ /二元碼符號(hào)，達(dá)到信源與信道匹配，使信道得到充分利用。二元碼符號(hào)，達(dá)到信源與信道匹配，使信道得到充分利用。4.3信源無失真編碼第29頁2022-6-5信道編碼定理：信道編碼定理：無論何種信道，只要信息率無論何種信道，只要信息率 R 小于信道容量小于信道容量 C，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和任意接近于和任意接近于 C 的傳輸率來傳送信息。反之，若的傳輸率來傳送信息。反之，若 R C，則，則傳輸總要失真。傳輸總要失真。 完全無失真?zhèn)魉筒?/p>

37、可實(shí)現(xiàn)完全無失真?zhèn)魉筒豢蓪?shí)現(xiàn)q 實(shí)際的信源常常是連續(xù)的，信息率無限大，要無失真實(shí)際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮畔⒙蕚魉鸵笮畔⒙?R 為無窮大；為無窮大；q 實(shí)際信道帶寬是有限的，所以信道容量受限制。要想實(shí)際信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏敚璧男畔⒙蚀蟠蟪^信道容量無失真?zhèn)鬏?，所需的信息率大大超過信道容量 RC?；靖拍罨靖拍畹?0頁2022-6-5技術(shù)發(fā)展的需要技術(shù)發(fā)展的需要q 隨著科技的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，需要傳送、存儲(chǔ)隨著科技的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，需要傳送、存儲(chǔ)和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，需要對(duì)數(shù)據(jù)壓

38、縮，和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，需要對(duì)數(shù)據(jù)壓縮，這樣會(huì)帶來一定的信息損失。這樣會(huì)帶來一定的信息損失。q 信息時(shí)代，信息爆信息時(shí)代，信息爆炸，炸，要求解決對(duì)海量數(shù)據(jù)有效的壓縮，減少數(shù)要求解決對(duì)海量數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的存儲(chǔ)容量據(jù)的存儲(chǔ)容量(如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂)、傳輸時(shí)、傳輸時(shí)間間(如數(shù)據(jù)通信和遙測(cè)如數(shù)據(jù)通信和遙測(cè))、或占有帶寬、或占有帶寬(如多媒體通信、數(shù)字音頻廣播、如多媒體通信、數(shù)字音頻廣播、高清晰度電視高清晰度電視)，想方設(shè)法壓縮給定消息，想方設(shè)法壓縮給定消息 集合占用的空間域、時(shí)間集合占用的空間域、時(shí)間域和頻率域資源域

39、和頻率域資源.q 如海洋地球物理勘探遙測(cè)數(shù)據(jù)，用如海洋地球物理勘探遙測(cè)數(shù)據(jù)，用 60 路傳感器，每路信號(hào)路傳感器，每路信號(hào) 1kHz，16 位位 A/D 量化，每航測(cè)量化，每航測(cè) 1km 就需記錄就需記錄 1 盤盤 0.5 英寸的磁帶，一條測(cè)英寸的磁帶，一條測(cè)量船每年就可勘測(cè)量船每年就可勘測(cè) 15000km?；靖拍罨靖拍?.4信息率失真函數(shù)及性質(zhì)第31頁2022-6-5實(shí)際生活中的需要實(shí)際生活中的需要q 實(shí)際生活中，人們一般并不要求獲得完全無失真的消息，通常只實(shí)際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。要求近似地再現(xiàn)原始消息，即允許

40、一定的失真存在。q 打電話：打電話：即使語音信號(hào)有一些失真，接電話的人也能聽懂。人耳接即使語音信號(hào)有一些失真，接電話的人也能聽懂。人耳接收信號(hào)的帶寬和分辨率是有限的。收信號(hào)的帶寬和分辨率是有限的。q 放電影：放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留視覺暫留性性”，實(shí)際上只要每秒放映，實(shí)際上只要每秒放映 24 幅靜態(tài)畫面。幅靜態(tài)畫面。q 有些失真沒有必要完全消除。有些失真沒有必要完全消除。q 既然允許一定的失真存在，對(duì)信息率的要求便可降低。既然允許一定的失真存在，對(duì)信息率的要求便可降低?；靖拍罨靖拍?.4信息率失真函數(shù)及性質(zhì)第32頁202

41、2-6-5信息率失真理論研究的內(nèi)容信息率失真理論研究的內(nèi)容: 信息率信息率與與允許失真允許失真之間的關(guān)系之間的關(guān)系。 信息率失真函數(shù)信息率失真函數(shù)q 香農(nóng)定義了信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù) R(D)。q “保真度準(zhǔn)則下的信源編碼定理保真度準(zhǔn)則下的信源編碼定理”指出：在允許一定指出：在允許一定失真度失真度 D 的情況下，信源輸出的信息率可壓縮到的情況下，信源輸出的信息率可壓縮到 R(D)。q 信息率失真理論是量化（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換、頻信息率失真理論是量化（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。基本概念基本概念4.4信息率失真函數(shù)及性質(zhì)第33

42、頁2022-6-5信息率失真函數(shù)極小值問題信息率失真函數(shù)極小值問題q I(X;Y) 是是 P(X) 和和 P(X/Y) 的二元函數(shù)；的二元函數(shù)；q 在討論信道容量時(shí)：在討論信道容量時(shí)：規(guī)定了規(guī)定了P(X/Y) ， I(X;Y) 變成了變成了P(X) 的函數(shù)。的函數(shù)。在離散情況下，因?yàn)樵陔x散情況下，因?yàn)?I(X;Y) 對(duì)對(duì) p(xi) 是上凸函數(shù)，所以變更是上凸函數(shù)，所以變更 p(xi) 所求所求極值一定是極值一定是 I(X;Y)的極大值；在連續(xù)情況下，變更信源的極大值；在連續(xù)情況下，變更信源 P(X) 求出的求出的也是極大值，但求極值時(shí)還要一些其它的限制條件。也是極大值，但求極值時(shí)還要一些其它

43、的限制條件。q 在討論信息率時(shí)：在討論信息率時(shí)：規(guī)定規(guī)定 p(xi)，變更，變更 p(yj /xi) 來求平均互信息的極值，來求平均互信息的極值，稱為信道容量對(duì)偶問題。由于稱為信道容量對(duì)偶問題。由于I(X;Y) 是是 p(yj /xi) 的下凸函數(shù)，所求的的下凸函數(shù)，所求的極值一定是極小值。但若極值一定是極小值。但若 X 和和 Y 相互統(tǒng)計(jì)獨(dú)立（相互統(tǒng)計(jì)獨(dú)立（p(yj /xi)= p(yj )），這），這個(gè)極小值就是個(gè)極小值就是 0，因?yàn)?，因?yàn)?I(X;Y) 是非負(fù)的，是非負(fù)的，0 必為極小值，這樣求極小必為極小值，這樣求極小值就沒意義了。值就沒意義了。q 引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的

44、情況下信息率的極小值就引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的情況下信息率的極小值就變的有意義了。變的有意義了。4.4信息率失真函數(shù)及性質(zhì)第34頁2022-6-5(1) 信息率與失真的關(guān)系信息率與失真的關(guān)系信道中固有的噪聲和不可避免的干擾，使信源的消息通信道中固有的噪聲和不可避免的干擾，使信源的消息通過信道傳輸后造成誤差和失真。過信道傳輸后造成誤差和失真。誤差或失真越大，接收者收到消息后對(duì)信源存在的不確誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息的信定性就越大，獲得的信息量就越小，信道傳輸消息的信息率也越小。息率也越小。4.4.1 失真測(cè)度失真測(cè)度4

45、.4信息率失真函數(shù)及性質(zhì)第35頁2022-6-5(2) 失真度失真度 失真度失真度q 設(shè)離散無記憶信源為：設(shè)離散無記憶信源為：q 信源符號(hào)通過信道傳送到接收端信源符號(hào)通過信道傳送到接收端Y：q 信道的傳遞概率矩陣：信道的傳遞概率矩陣：q 對(duì)每一對(duì)對(duì)每一對(duì) (xi,yj)，指定一個(gè)非負(fù)函數(shù)，指定一個(gè)非負(fù)函數(shù) d(xi,yj)0 i=1,2,n j=1,2,m 稱稱 d(xi,yj) 為單個(gè)符號(hào)的失真度（失真函數(shù)）。表示信為單個(gè)符號(hào)的失真度（失真函數(shù)）。表示信源發(fā)出一個(gè)符號(hào)源發(fā)出一個(gè)符號(hào) xi，在接收端再現(xiàn)，在接收端再現(xiàn) yj 所引起的誤差或失真。所引起的誤差或失真。1212,()(),(),()

46、mjmYyyyp yp yp yp y )(,),(),(,)(2121nnixpxpxpxxxxpX 112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)(/)mmnnmnp yxp yxp yxp yxp yxp yxp YXp yxp yxp yx 4.4.1 失真測(cè)度失真測(cè)度4.4信息率失真函數(shù)及性質(zhì)第36頁2022-6-5(2) 失真度失真度 失真矩陣失真矩陣q 失真度還可表示成矩陣的形式失真度還可表示成矩陣的形式q 稱稱 D 為失真矩陣。它是為失真矩陣。它是 nm 階矩陣。階矩陣。 連續(xù)信源和連續(xù)信道的失真函數(shù)連續(xù)信源和連續(xù)信道的失真函數(shù) 在連續(xù)信源和連續(xù)

47、信道情況下，失真度定義為：在連續(xù)信源和連續(xù)信道情況下，失真度定義為：d(x,y)0。 ),(),(),(),(),(),(),(),(),(212221212111mnnnmmyxdyxdyxdyxdyxdyxdyxdyxdyxdD D4.4信息率失真函數(shù)及性質(zhì)第37頁2022-6-5(3) 常用的失真函數(shù)常用的失真函數(shù) 第一種：第一種：q 當(dāng)當(dāng) i=j 時(shí)，時(shí)，X 與與 Y 的取值一樣，用的取值一樣，用 Y 來代表來代表 X 就沒有誤差，所以就沒有誤差，所以定義失真度為定義失真度為 0；q 當(dāng)當(dāng) ij 時(shí)，用時(shí)，用 Y 代表代表 X 就有誤差。就有誤差。q 這種定義認(rèn)為對(duì)所有不同的這種定義認(rèn)

48、為對(duì)所有不同的 i 和和 j 引起的誤差都一樣，所以定義引起的誤差都一樣，所以定義失失真度常數(shù)真度常數(shù) a。q 特點(diǎn)：特點(diǎn)：對(duì)角線上的元素均為對(duì)角線上的元素均為 0，對(duì)角線以外的其它元素都為常數(shù)，對(duì)角線以外的其它元素都為常數(shù) a。q 漢明失真函數(shù)漢明失真函數(shù)： a=1 。 0000000),(aaaaaaaaaaaajiaajiyxdjiD D4.4.1 失真測(cè)度失真測(cè)度4.4信息率失真函數(shù)及性質(zhì)第38頁2022-6-5(3) 常用的失真函數(shù)常用的失真函數(shù) 第二種（平方誤差失真函數(shù)）：第二種（平方誤差失真函數(shù)）：d(xi,yj)=(yjxi)2q 失真矩陣：平方誤差失真矩陣。失真矩陣：平方誤差

49、失真矩陣。q 若信源符號(hào)代表輸出信號(hào)的幅度值，則較大的幅度失真比較小的幅若信源符號(hào)代表輸出信號(hào)的幅度值，則較大的幅度失真比較小的幅度失真引起的錯(cuò)誤更為嚴(yán)重度失真引起的錯(cuò)誤更為嚴(yán)重, 嚴(yán)重程度用平方表示嚴(yán)重程度用平方表示。 第三種（絕對(duì)失真函數(shù)）：第三種（絕對(duì)失真函數(shù)）： d(xi,yj)=|yjxi|4.4信息率失真函數(shù)及性質(zhì)q 失真矩陣：絕對(duì)誤差失真矩陣失真矩陣：絕對(duì)誤差失真矩陣。 失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、主觀感覺失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、主觀感覺上的差別大小等因素人為規(guī)定的。上的差別大小等因素人為規(guī)定的。21112212000mmnny

50、xyxyxyxDyxyx第39頁2022-6-5(4) 平均失真度平均失真度 平均失真度平均失真度q d(xi,yj) 只能表示兩個(gè)特定的具體符號(hào)只能表示兩個(gè)特定的具體符號(hào) xi 和和 yj 之間的失真。之間的失真。q 平均失真度：平均失真度：失真度的數(shù)學(xué)期望，即：失真度的數(shù)學(xué)期望，即： nimjjiijiyxdxypxpD11),()/()( 由由數(shù)數(shù)學(xué)學(xué)期期望望的的定定義義：中中的的統(tǒng)統(tǒng)計(jì)計(jì)平平均均值值：的的聯(lián)聯(lián)合合概概率率空空間間和和在在),()(),(jijiyxdEDXYPYXyxd 4.4.1 失真測(cè)度失真測(cè)度4.4信息率失真函數(shù)及性質(zhì)第40頁2022-6-5(4) 平均失真度平均

51、失真度平均失真度的意義平均失真度的意義q 是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性信源統(tǒng)計(jì)特性 p(xi) 、信道統(tǒng)計(jì)特性、信道統(tǒng)計(jì)特性 p(yj/xi ) 和失真度和失真度 d(xi,yj) 的函數(shù)的函數(shù) 。q 當(dāng)當(dāng) p(xi)，p(yj/xi ) 和和 d(xi,yj) 給定后，平均失真度就不是一個(gè)隨機(jī)變給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。量了，而是一個(gè)確定的量。q 如果信源和失真度一定，如果信源和失真度一定， 就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平

52、均失真度隨之改變。遞概率不同，平均失真度隨之改變。DD 保真度準(zhǔn)則保真度準(zhǔn)則q 人們所允許的失真指的都是平均意義上的失真。人們所允許的失真指的都是平均意義上的失真。q 保真度準(zhǔn)則：保真度準(zhǔn)則：規(guī)定平均失真度規(guī)定平均失真度 不能超過某一限定的值不能超過某一限定的值 D，即即 ，則，則 D 就是允許失真的上界。該式稱為保真度準(zhǔn)則。就是允許失真的上界。該式稱為保真度準(zhǔn)則。DDD 4.4信息率失真函數(shù)及性質(zhì) nimjjiijiyxdxypxpD11),()/()(第41頁2022-6-5(5) N 次擴(kuò)展信道的平均失真度次擴(kuò)展信道的平均失真度 N 次擴(kuò)展次擴(kuò)展q 單符號(hào)離散無記憶信源單符號(hào)離散無記憶信

53、源 X x1,x2,xn 的的 N 次擴(kuò)展信源次擴(kuò)展信源 XN =X1X2XN ，在信道中的傳遞作用相當(dāng)于單符號(hào)離散無記憶信道的，在信道中的傳遞作用相當(dāng)于單符號(hào)離散無記憶信道的 N 次擴(kuò)展信道，輸出也是一個(gè)隨機(jī)變量序列次擴(kuò)展信道，輸出也是一個(gè)隨機(jī)變量序列 YN =Y1Y2YN 。q 此時(shí)輸入共有此時(shí)輸入共有 nN 個(gè)不同的符號(hào)：個(gè)不同的符號(hào)：q 信道的輸出共有信道的輸出共有 mN 個(gè)不同的符號(hào)：個(gè)不同的符號(hào)： NNniiiiiiininiiixxxxxxxxxNN, 2 , 1, 2 , 1,)(21212121 a a4.4.1 失真測(cè)度失真測(cè)度 NNmjjjjjjjmjmjjjyyyyyy

54、yyyNN, 2 , 1, 2 , 1,)(21212121 b b4.4信息率失真函數(shù)及性質(zhì)第42頁2022-6-5(5) N 次擴(kuò)展信道的平均失真度次擴(kuò)展信道的平均失真度 N 次擴(kuò)展次擴(kuò)展q 定義離散無記憶信道定義離散無記憶信道 X P(Y/X) Y 的的 N 次擴(kuò)展信道的輸入序列次擴(kuò)展信道的輸入序列 X和輸出序列和輸出序列 Y 之間的失真函數(shù)：之間的失真函數(shù)：q 定義的說明：定義的說明：離散無記憶信道的離散無記憶信道的 N 次擴(kuò)展信道輸入輸出之間的失次擴(kuò)展信道輸入輸出之間的失真，等于輸入序列真，等于輸入序列 X 中中 N 個(gè)信源符號(hào)個(gè)信源符號(hào) xi1,xi2,xiN 各自通過信道各自通過

55、信道 X P(Y/X) Y ，分別輸出對(duì)應(yīng)的，分別輸出對(duì)應(yīng)的 N 個(gè)信宿符號(hào)個(gè)信宿符號(hào) yj1,yj2,yjN 后所引起的后所引起的 N 個(gè)單符號(hào)失真?zhèn)€單符號(hào)失真 d(xik ,yjk)(k=1,2, ,N) 之和。之和。q N 次離散無記憶擴(kuò)展信源和信道的平均失真度為次離散無記憶擴(kuò)展信源和信道的平均失真度為 ，則：，則：121211221NNNNkkijiiijjjNijijijijkd xyd x xxy yyd xyd xyd xyd xy(,)(,)(,)(,)(,)(,) 11()( ) (/) ( ,)NNnmijiijijD Np x p yx d x y)(ND4.4信息率失真

56、函數(shù)及性質(zhì)第43頁2022-6-512111NNnmNNkijiijijkD Np x p yx d x yDDDD( )( ) (/) ( ,) (5) N 次擴(kuò)展信道的平均失真度次擴(kuò)展信道的平均失真度 “N 次擴(kuò)展次擴(kuò)展”與與“單符號(hào)單符號(hào)”平均失真度的關(guān)系平均失真度的關(guān)系q 由擴(kuò)展信源和擴(kuò)展信道的無記憶性有：由擴(kuò)展信源和擴(kuò)展信道的無記憶性有：q （k=1,2, ,N）是同一信源）是同一信源 X 在在 N 個(gè)不同時(shí)刻通過同一信道個(gè)不同時(shí)刻通過同一信道 X P(Y/X) Y 所造成的平均失真度，因此都等于單符號(hào)信源所造成的平均失真度，因此都等于單符號(hào)信源 X 通過信道通過信道 X P(Y/X

57、) Y 所造成的平均失真度，即：所造成的平均失真度，即：q 結(jié)論說明：結(jié)論說明：離散無記憶離散無記憶 N 次擴(kuò)展信源通過離散無記憶次擴(kuò)展信源通過離散無記憶 N 次擴(kuò)展信次擴(kuò)展信道的平均失真度是單符號(hào)信源通過單符號(hào)信道的平均失真度的道的平均失真度是單符號(hào)信源通過單符號(hào)信道的平均失真度的 N 倍。倍。q N 次擴(kuò)展的保真度準(zhǔn)則：次擴(kuò)展的保真度準(zhǔn)則：離散無記憶離散無記憶 N 次擴(kuò)展信源通過離散無記次擴(kuò)展信源通過離散無記憶憶 N 次擴(kuò)展信道的保真度準(zhǔn)則為：次擴(kuò)展信道的保真度準(zhǔn)則為：11( )() (/)(/)1,2,1,2,kkkNNNNiijijikkp xp xp yxp yxinjm，11( )

58、 (/) ( ,)nmkijiijijDDp x p yx d x y kD:( )D NND 因此()D NND4.4信息率失真函數(shù)及性質(zhì)第44頁2022-6-5(1) 試驗(yàn)信道試驗(yàn)信道 單符號(hào)信源和單符號(hào)信道的試驗(yàn)信道單符號(hào)信源和單符號(hào)信道的試驗(yàn)信道q 當(dāng)固定信源（當(dāng)固定信源（ P(X)已知），單個(gè)符號(hào)失真度也給定時(shí)，選擇信道已知），單個(gè)符號(hào)失真度也給定時(shí)，選擇信道使使 。凡滿足要求的信道稱為。凡滿足要求的信道稱為 D 失真許可的試驗(yàn)信道失真許可的試驗(yàn)信道，簡(jiǎn)稱，簡(jiǎn)稱試試驗(yàn)信道驗(yàn)信道。q 所有試驗(yàn)信道構(gòu)成的集合用所有試驗(yàn)信道構(gòu)成的集合用 PD 來表示，即：來表示，即： mjniDDxypP

59、ijD, 2 , 1, 2 , 1: )/( DD 4.4.2 信息率失真函數(shù)的定義信息率失真函數(shù)的定義 N 次擴(kuò)展的試驗(yàn)信道次擴(kuò)展的試驗(yàn)信道： 對(duì)于離散無記憶信源的對(duì)于離散無記憶信源的 N 次擴(kuò)展信源和離散無記憶信道的次擴(kuò)展信源和離散無記憶信道的 N 次次擴(kuò)展信道，其試驗(yàn)信道集合擴(kuò)展信道，其試驗(yàn)信道集合 PD(N) 為：為：()(/):();1,2,1,2,NND NjiPp yxD NND injm4.4信息率失真函數(shù)及性質(zhì)第45頁2022-6-5(2) 信息率失真函數(shù)信息率失真函數(shù) 單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)單符號(hào)信源和單符號(hào)信道的信息率失真函數(shù)q 信息率失真函數(shù)（率失真函數(shù)

60、）信息率失真函數(shù)（率失真函數(shù)） R(D) ：在信源和失真度給定以：在信源和失真度給定以后，后，PD 是滿足保真度準(zhǔn)則是滿足保真度準(zhǔn)則 的試驗(yàn)信道集合，平均互信息的試驗(yàn)信道集合，平均互信息 I(X;Y) 是信道傳遞概率是信道傳遞概率 p(yj /xi) 的下凸函數(shù)，所以在的下凸函數(shù)，所以在 PD 中一定可以中一定可以找到某個(gè)試驗(yàn)信道，使找到某個(gè)試驗(yàn)信道，使 I(X;Y) 達(dá)到最小，即：達(dá)到最小，即：q 在信源給定以后，總希望在允許一定失真的情況下，傳送信源所在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則必須的信息率越小越好。從接收