信息論與編碼第4章-信息率失真函數(shù)

第4章信息率失真函數(shù)在實際生活中，人們不一定要求完全無失真的恢復(fù)消息，也就是允許有一定的失真。因此，可以對信源輸出的信息進(jìn)行失真處理，通過降低信息率，提高傳輸效率。本章主要討論在一定程度的失真情況下所需的最少信息率，從分析失真函數(shù)、平均失真出發(fā)，求出信息率的失真函數(shù)。率失真函數(shù)8/14/20241第4章信息率失真函數(shù)4.1 平均失真和信息率失真函數(shù)4.2 離散信源和連續(xù)信源的R(D)計算8/14/20242失真函數(shù)既然允許一定的失真存在，對信息率的要求便可降低?？梢砸胍粋€失真函數(shù)，計算在失真度一定的情況下傳輸信息率的極小值。誤差或失真越大，接收者收到消息后對信源存在的不確定性就越大，獲得的信息量就越小，傳輸消息所需的信息率也越小。所以信息率與失真有關(guān)。為了定量地描述信息率和失真的關(guān)系，必須先規(guī)定失真的測度。8/14/20243失真函數(shù)信源信源編碼信道編碼信道信道譯碼信源譯碼信宿干擾廣義無干擾信道把信道編碼、信道和信道譯碼等價成是一個沒有任何干擾的廣義信道，這樣收信者收到消息后，所產(chǎn)生的失真只是由信源編碼帶來的。同樣，也可以把信源編碼和信源譯碼等價成一個信道，稱為試驗信道。信源信宿試驗信道8/14/20244失真函數(shù)假設(shè)某一信源X輸出一個隨機變量xi∈{a1,a2,…,an}，經(jīng)信源編碼后輸出Y，yj∈{b1,b2,…,bm}。

xi

＝y(tǒng)j

沒有失真

xi≠yj

產(chǎn)生失真失真的大小可以用一個量來表示，即失真函數(shù)d(xi,yj)，用來衡量信源每發(fā)出一個符號xi

，而在接收端再現(xiàn)成符號yj所引起的失真程度。8/14/20245失真函數(shù)單符號失真函數(shù)定義為：將所有的d(xi,yj)排列起來，用矩陣表示為d稱為失真矩陣8/14/20246失真函數(shù)例：假設(shè)信源變量X＝{a1,a2,…,an}，接收變量Y＝{b1,b2,…,bn}。定義單符號失真度為漢明失真漢明失真矩陣二元對稱信源d(0,0)=d(1,1)=0d(0,1)=d(1,0)=18/14/20247失真函數(shù)例：刪除信源。假設(shè)信源變量X＝{a1,a2,…,an}，接收變量Y＝{b1,b2,…,bm}，m=n+1。定義單符號失真度

無失真：d(0,0)=d(1,1)=0全失真：d(0,1)=d(1,0)=1半失真：d(0,2)=d(1,2)=1/2式中接收符號bm稱為刪除符號。如果信源符號再現(xiàn)為刪除符號bm，其失真程度比再現(xiàn)為其他接收符號少一半。二元刪除信源n=2，m=38/14/20248失真函數(shù)失真函數(shù)形式可以根據(jù)需要任意選取，最常用的有均方失真：絕對失真：相對失真：誤碼失真：連續(xù)信源離散信源8/14/20249失真函數(shù)如果假定離散信源輸出符號序列X=(X1X2…Xl…XL),

Xl∈A={a1,…an}，其中L長符號序列xi=(xi1xi2…xiL)，經(jīng)信源編碼后輸出符號序列Y=(Y1Y2…Yl…YL)，Yl∈B={b1,…bm}，其中L長符號序列

yj=(yj1yj2…yjL)， 序列失真函數(shù)定義為式中，d(xil

,yjl)表示信源輸出符號序列xi的第l個符號和編碼輸出符號序列yj的第l個符號之間的失真函數(shù)信源序列的失真度等于序列中對應(yīng)單個符號的失真度之和8/14/202410平均失真由于xi和yj都是隨機變量，所以失真函數(shù)d(xi,yj)也是隨機變量。將失真函數(shù)的數(shù)學(xué)期望或統(tǒng)計平均值稱為平均失真。式中，p(aibj)表示聯(lián)合概率分布p(ai)表示信源符號概率分布，p(bj

/ai)表示轉(zhuǎn)移概率分布8/14/202411平均失真失真函數(shù)d(xi,yj)描述了某個信源符號通過傳輸后失真的大小。對于不同的信源符號和不同的接收符號，其值是不同的。平均失真：對信源和信道進(jìn)行的統(tǒng)計平均。描述某一信源在某一試驗信道傳輸下的失真大小，是從總體上描述整個系統(tǒng)的失真情況。連續(xù)隨機變量的平均失真pxy(x,y)是連續(xù)隨機變量的聯(lián)合概率密度d(x,y)是連續(xù)隨機變量的失真函數(shù)8/14/202412平均失真L維信源符號序列的平均失真度當(dāng)信源與信道無記憶時，信源符號平均失真度（平均每個符號的平均失真度）表示信源符號序列的第l個符號的平均失真8/14/202413信息率失真函數(shù)無論是無噪信道還是有噪信道：如果R(輸出信息率)＜C(信道容量)，總能找到一種編碼使在信道上能以任意小的錯誤概率、任意接近C的傳輸率來傳送信息。如果R＞C，就必須對信源壓縮，使其壓縮后的信息傳輸率R小于信道容量C，但同時要保證壓縮所引入的失真不超過預(yù)先規(guī)定的限度。因此，信息壓縮問題就是對于給定的信源，在滿足平均失真的前提下，使信息率盡可能小。8/14/202414信息率失真函數(shù)保真度準(zhǔn)則平均失真度不大于允許的失真當(dāng)信源p(xi)給定，單個符號失真度d(xi,yj)給定時，選擇不同的試驗信道（相當(dāng)于不同的編碼方法），所得的平均失真度也不同。滿足保真度準(zhǔn)則的所有試驗信道，即轉(zhuǎn)移概率分布p(yj

/xi)，構(gòu)成了一個信道集合D允許信道（D允許的試驗信道），即滿足保真度準(zhǔn)則的試驗信道8/14/202415信息率失真函數(shù)信息率失真函數(shù)R(D)限定失真為D的條件下，信源輸出的最小信息率。在信源給定后，希望在滿足一定失真的情況下，使信源傳輸給信宿的信息傳輸率R盡可能地小。從信宿來看，就是在滿足保真度準(zhǔn)則下，尋找再現(xiàn)信源消息所必須獲得的最小平均信息量。即在滿足保真度準(zhǔn)則條件下尋找平均互信息I(X;Y)的最小值。8/14/202416信息率失真函數(shù)例：已知信源的概率分布為p(x)={0.5,0.5}，信道轉(zhuǎn)移矩陣如右，求互信息。8/14/202417信息率失真函數(shù)討論可見當(dāng)

p(x)一定時，I(X;Y)隨p(yj

/xi)而變。因為p(x)分布一定時，不同的試驗信道所能傳遞的信息量是不同的。當(dāng)p(x)一定時，I(X;Y)是關(guān)于p(yj

/xi)的下凸函數(shù)。因此當(dāng)改變p(yj

/xi)時，I(X;Y)有一極小值。8/14/202418信息率失真函數(shù)平均互信息I(X;Y)信源的概率分布p(xi)的上凸函數(shù)。信道傳遞概率p(yj/xi)的下凸函數(shù)。信道容量信息率失真函數(shù)信道固定輸入概率分布固定8/14/202419信息率失真函數(shù)信道容量假定信道固定的前提下，選擇一種試驗信源使信息傳輸率最大。它所反映的是信道傳輸信息的能力，是信道可靠傳送的最大信息傳輸率。一旦找到了信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。不同的信道其信道容量不同。8/14/202420信息率失真函數(shù)信息率失真函數(shù)假定信源給定的情況下，用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可以壓縮的程度，是在滿足一定失真度要求下信源可壓縮的最低值。率失真函數(shù)一旦找到，與求極值過程中選擇的試驗信道不再有關(guān)，而只是信源特性的參量。不同的信源其R(D)不同。8/14/202421信息率失真函數(shù)研究信道容量充分利用已給信道，使傳輸?shù)男畔⒘孔畲?，而發(fā)生錯誤的概率任意小。研究信息率失真函數(shù)解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號盡快地傳送盡可能多的信源消息，以提高通信的有效性。8/14/202422信息率失真函數(shù)例：設(shè)信源的符號集為A={al,a2,…,a2n}，概率分布為p(ai)=1/2n，i=1,2…2n，失真函數(shù)為信源熵 如果對信源進(jìn)行無失真編碼，平均每個符號至少需要log2n個二進(jìn)制碼元。 即不發(fā)生差錯時失真為0，出錯失真為1，試研究在一定編碼條件下信息壓縮的程度。8/14/202423信息率失真函數(shù)假定允許有一定失真，失真限度為D=1/2。設(shè)想采用右面的編碼方案:計算平均失真：由于該試驗信道是一個確定信道，得H(Y/X)=0計算平均互信息：壓縮的信息率8/14/202424信息率失真函數(shù)的性質(zhì)

R(D)的定義域率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大取值問題，即[Dmin,Dmax]。D的下界Dmin由于平均失真度是非負(fù)實數(shù)d(xi,yj)的數(shù)學(xué)期望，因此也是非負(fù)實數(shù)，即D的下界為0。Dmin＝0，對應(yīng)于無失真情況，相當(dāng)于無噪信道，信道傳輸?shù)男畔⒘康扔谛旁挫兀碦(D)=R(0)=H(X)允許平均失真度能否達(dá)到其下限值0，與單個符號的失真函數(shù)有關(guān)。8/14/202425信息率失真函數(shù)的性質(zhì)Dmin的計算只有當(dāng)失真矩陣的每一行至少有一個0元素時，信源的平均失真度才能達(dá)到下限值0。連續(xù)信源的Dmin因為實際信道總是有干擾的，其容量有限，要無失真地傳送連續(xù)信息是不可能的。當(dāng)允許有一定失真時，R(D)將為有限值，傳送才是可能的。8/14/202426信息率失真函數(shù)的性質(zhì)R(D)的定義域為[Dmin,Dmax]當(dāng)Dmin=0時，R(Dmin)=H(X)當(dāng)D≥Dmax時，R(D)=0當(dāng)0≤D≤Dmax時，0＜R(D)＜H(X)D的上界Dmax由于I(X;Y)是非負(fù)函數(shù)，而R(D)是在約束條件下的I(X;Y)的最小值，所以R(D)也是一個非負(fù)函數(shù)，即R(D)≥0，它的下限值為零。Dmax是滿足R(D)=0時所有平均失真度中的最小值。8/14/202427信息率失真函數(shù)的性質(zhì)Dmax的計算R(D)=0

→I(X;Y)=0，即試驗信道輸入與輸出相互獨立，條件概率p(bj

/ai)與ai無關(guān)。8/14/202428信息率失真函數(shù)的性質(zhì)例：設(shè)輸入輸出符號表為X=Y={0,1}，輸入概率分布p(x)={1/3,2/3}，失真矩陣如下。求Dmin和Dmax。解：失真矩陣的每一行至少有一個0元素時,Dmin=08/14/202429信息率失真函數(shù)的性質(zhì)例：設(shè)輸入輸出符號表為X=Y={0,1}，輸入概率分布p(x)={1/3,2/3}，失真矩陣如下。求Dmin和Dmax。解：8/14/202430信息率失真函數(shù)