信息論與編碼第4章-信息率失真函數(shù)

第4章信息率失真函數(shù)在實(shí)際生活中，人們不一定要求完全無(wú)失真的恢復(fù)消息，也就是允許有一定的失真。因此，可以對(duì)信源輸出的信息進(jìn)行失真處理，通過(guò)降低信息率，提高傳輸效率。本章主要討論在一定程度的失真情況下所需的最少信息率，從分析失真函數(shù)、平均失真出發(fā)，求出信息率的失真函數(shù)。率失真函數(shù)8/14/20241第4章信息率失真函數(shù)4.1 平均失真和信息率失真函數(shù)4.2 離散信源和連續(xù)信源的R(D)計(jì)算8/14/20242失真函數(shù)既然允許一定的失真存在，對(duì)信息率的要求便可降低?？梢砸胍粋€(gè)失真函數(shù)，計(jì)算在失真度一定的情況下傳輸信息率的極小值。誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小，傳輸消息所需的信息率也越小。所以信息率與失真有關(guān)。為了定量地描述信息率和失真的關(guān)系，必須先規(guī)定失真的測(cè)度。8/14/20243失真函數(shù)信源信源編碼信道編碼信道信道譯碼信源譯碼信宿干擾廣義無(wú)干擾信道把信道編碼、信道和信道譯碼等價(jià)成是一個(gè)沒(méi)有任何干擾的廣義信道，這樣收信者收到消息后，所產(chǎn)生的失真只是由信源編碼帶來(lái)的。同樣，也可以把信源編碼和信源譯碼等價(jià)成一個(gè)信道，稱為試驗(yàn)信道。信源信宿試驗(yàn)信道8/14/20244失真函數(shù)假設(shè)某一信源X輸出一個(gè)隨機(jī)變量xi∈{a1,a2,…,an}，經(jīng)信源編碼后輸出Y，yj∈{b1,b2,…,bm}。

xi

＝y(tǒng)j

沒(méi)有失真

xi≠yj

產(chǎn)生失真失真的大小可以用一個(gè)量來(lái)表示，即失真函數(shù)d(xi,yj)，用來(lái)衡量信源每發(fā)出一個(gè)符號(hào)xi

，而在接收端再現(xiàn)成符號(hào)yj所引起的失真程度。8/14/20245失真函數(shù)單符號(hào)失真函數(shù)定義為：將所有的d(xi,yj)排列起來(lái)，用矩陣表示為d稱為失真矩陣8/14/20246失真函數(shù)例：假設(shè)信源變量X＝{a1,a2,…,an}，接收變量Y＝{b1,b2,…,bn}。定義單符號(hào)失真度為漢明失真漢明失真矩陣二元對(duì)稱信源d(0,0)=d(1,1)=0d(0,1)=d(1,0)=18/14/20247失真函數(shù)例：刪除信源。假設(shè)信源變量X＝{a1,a2,…,an}，接收變量Y＝{b1,b2,…,bm}，m=n+1。定義單符號(hào)失真度

無(wú)失真：d(0,0)=d(1,1)=0全失真：d(0,1)=d(1,0)=1半失真：d(0,2)=d(1,2)=1/2式中接收符號(hào)bm稱為刪除符號(hào)。如果信源符號(hào)再現(xiàn)為刪除符號(hào)bm，其失真程度比再現(xiàn)為其他接收符號(hào)少一半。二元?jiǎng)h除信源n=2，m=38/14/20248失真函數(shù)失真函數(shù)形式可以根據(jù)需要任意選取，最常用的有均方失真：絕對(duì)失真：相對(duì)失真：誤碼失真：連續(xù)信源離散信源8/14/20249失真函數(shù)如果假定離散信源輸出符號(hào)序列X=(X1X2…Xl…XL),

Xl∈A={a1,…an}，其中L長(zhǎng)符號(hào)序列xi=(xi1xi2…xiL)，經(jīng)信源編碼后輸出符號(hào)序列Y=(Y1Y2…Yl…YL)，Yl∈B={b1,…bm}，其中L長(zhǎng)符號(hào)序列

yj=(yj1yj2…yjL)， 序列失真函數(shù)定義為式中，d(xil

,yjl)表示信源輸出符號(hào)序列xi的第l個(gè)符號(hào)和編碼輸出符號(hào)序列yj的第l個(gè)符號(hào)之間的失真函數(shù)信源序列的失真度等于序列中對(duì)應(yīng)單個(gè)符號(hào)的失真度之和8/14/202410平均失真由于xi和yj都是隨機(jī)變量，所以失真函數(shù)d(xi,yj)也是隨機(jī)變量。將失真函數(shù)的數(shù)學(xué)期望或統(tǒng)計(jì)平均值稱為平均失真。式中，p(aibj)表示聯(lián)合概率分布p(ai)表示信源符號(hào)概率分布，p(bj

/ai)表示轉(zhuǎn)移概率分布8/14/202411平均失真失真函數(shù)d(xi,yj)描述了某個(gè)信源符號(hào)通過(guò)傳輸后失真的大小。對(duì)于不同的信源符號(hào)和不同的接收符號(hào)，其值是不同的。平均失真：對(duì)信源和信道進(jìn)行的統(tǒng)計(jì)平均。描述某一信源在某一試驗(yàn)信道傳輸下的失真大小，是從總體上描述整個(gè)系統(tǒng)的失真情況。連續(xù)隨機(jī)變量的平均失真pxy(x,y)是連續(xù)隨機(jī)變量的聯(lián)合概率密度d(x,y)是連續(xù)隨機(jī)變量的失真函數(shù)8/14/202412平均失真L維信源符號(hào)序列的平均失真度當(dāng)信源與信道無(wú)記憶時(shí)，信源符號(hào)平均失真度（平均每個(gè)符號(hào)的平均失真度）表示信源符號(hào)序列的第l個(gè)符號(hào)的平均失真8/14/202413信息率失真函數(shù)無(wú)論是無(wú)噪信道還是有噪信道：如果R(輸出信息率)＜C(信道容量)，總能找到一種編碼使在信道上能以任意小的錯(cuò)誤概率、任意接近C的傳輸率來(lái)傳送信息。如果R＞C，就必須對(duì)信源壓縮，使其壓縮后的信息傳輸率R小于信道容量C，但同時(shí)要保證壓縮所引入的失真不超過(guò)預(yù)先規(guī)定的限度。因此，信息壓縮問(wèn)題就是對(duì)于給定的信源，在滿足平均失真的前提下，使信息率盡可能小。8/14/202414信息率失真函數(shù)保真度準(zhǔn)則平均失真度不大于允許的失真當(dāng)信源p(xi)給定，單個(gè)符號(hào)失真度d(xi,yj)給定時(shí)，選擇不同的試驗(yàn)信道（相當(dāng)于不同的編碼方法），所得的平均失真度也不同。滿足保真度準(zhǔn)則的所有試驗(yàn)信道，即轉(zhuǎn)移概率分布p(yj

/xi)，構(gòu)成了一個(gè)信道集合D允許信道（D允許的試驗(yàn)信道），即滿足保真度準(zhǔn)則的試驗(yàn)信道8/14/202415信息率失真函數(shù)信息率失真函數(shù)R(D)限定失真為D的條件下，信源輸出的最小信息率。在信源給定后，希望在滿足一定失真的情況下，使信源傳輸給信宿的信息傳輸率R盡可能地小。從信宿來(lái)看，就是在滿足保真度準(zhǔn)則下，尋找再現(xiàn)信源消息所必須獲得的最小平均信息量。即在滿足保真度準(zhǔn)則條件下尋找平均互信息I(X;Y)的最小值。8/14/202416信息率失真函數(shù)例：已知信源的概率分布為p(x)={0.5,0.5}，信道轉(zhuǎn)移矩陣如右，求互信息。8/14/202417信息率失真函數(shù)討論可見(jiàn)當(dāng)

p(x)一定時(shí)，I(X;Y)隨p(yj

/xi)而變。因?yàn)閜(x)分布一定時(shí)，不同的試驗(yàn)信道所能傳遞的信息量是不同的。當(dāng)p(x)一定時(shí)，I(X;Y)是關(guān)于p(yj

/xi)的下凸函數(shù)。因此當(dāng)改變p(yj

/xi)時(shí)，I(X;Y)有一極小值。8/14/202418信息率失真函數(shù)平均互信息I(X;Y)信源的概率分布p(xi)的上凸函數(shù)。信道傳遞概率p(yj/xi)的下凸函數(shù)。信道容量信息率失真函數(shù)信道固定輸入概率分布固定8/14/202419信息率失真函數(shù)信道容量假定信道固定的前提下，選擇一種試驗(yàn)信源使信息傳輸率最大。它所反映的是信道傳輸信息的能力，是信道可靠傳送的最大信息傳輸率。一旦找到了信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。不同的信道其信道容量不同。8/14/202420信息率失真函數(shù)信息率失真函數(shù)假定信源給定的情況下，用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可以壓縮的程度，是在滿足一定失真度要求下信源可壓縮的最低值。率失真函數(shù)一旦找到，與求極值過(guò)程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源其R(D)不同。8/14/202421信息率失真函數(shù)研究信道容量充分利用已給信道，使傳輸?shù)男畔⒘孔畲?，而發(fā)生錯(cuò)誤的概率任意小。研究信息率失真函數(shù)解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通信的有效性。8/14/202422信息率失真函數(shù)例：設(shè)信源的符號(hào)集為A={al,a2,…,a2n}，概率分布為p(ai)=1/2n，i=1,2…2n，失真函數(shù)為信源熵 如果對(duì)信源進(jìn)行無(wú)失真編碼，平均每個(gè)符號(hào)至少需要log2n個(gè)二進(jìn)制碼元。 即不發(fā)生差錯(cuò)時(shí)失真為0，出錯(cuò)失真為1，試研究在一定編碼條件下信息壓縮的程度。8/14/202423信息率失真函數(shù)假定允許有一定失真，失真限度為D=1/2。設(shè)想采用右面的編碼方案:計(jì)算平均失真：由于該試驗(yàn)信道是一個(gè)確定信道，得H(Y/X)=0計(jì)算平均互信息：壓縮的信息率8/14/202424信息率失真函數(shù)的性質(zhì)

R(D)的定義域率失真函數(shù)的定義域問(wèn)題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大取值問(wèn)題，即[Dmin,Dmax]。D的下界Dmin由于平均失真度是非負(fù)實(shí)數(shù)d(xi,yj)的數(shù)學(xué)期望，因此也是非負(fù)實(shí)數(shù)，即D的下界為0。Dmin＝0，對(duì)應(yīng)于無(wú)失真情況，相當(dāng)于無(wú)噪信道，信道傳輸?shù)男畔⒘康扔谛旁挫?，即R(D)=R(0)=H(X)允許平均失真度能否達(dá)到其下限值0，與單個(gè)符號(hào)的失真函數(shù)有關(guān)。8/14/202425信息率失真函數(shù)的性質(zhì)Dmin的計(jì)算只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí)，信源的平均失真度才能達(dá)到下限值0。連續(xù)信源的Dmin因?yàn)閷?shí)際信道總是有干擾的，其容量有限，要無(wú)失真地傳送連續(xù)信息是不可能的。當(dāng)允許有一定失真時(shí)，R(D)將為有限值，傳送才是可能的。8/14/202426信息率失真函數(shù)的性質(zhì)R(D)的定義域?yàn)閇Dmin,Dmax]當(dāng)Dmin=0時(shí)，R(Dmin)=H(X)當(dāng)D≥Dmax時(shí)，R(D)=0當(dāng)0≤D≤Dmax時(shí)，0＜R(D)＜H(X)D的上界Dmax由于I(X;Y)是非負(fù)函數(shù)，而R(D)是在約束條件下的I(X;Y)的最小值，所以R(D)也是一個(gè)非負(fù)函數(shù)，即R(D)≥0，它的下限值為零。Dmax是滿足R(D)=0時(shí)所有平均失真度中的最小值。8/14/202427信息率失真函數(shù)的性質(zhì)Dmax的計(jì)算R(D)=0

→I(X;Y)=0，即試驗(yàn)信道輸入與輸出相互獨(dú)立，條件概率p(bj

/ai)與ai無(wú)關(guān)。8/14/202428信息率失真函數(shù)的性質(zhì)例：設(shè)輸入輸出符號(hào)表為X=Y={0,1}，輸入概率分布p(x)={1/3,2/3}，失真矩陣如下。求Dmin和Dmax。解：失真矩陣的每一行至少有一個(gè)0元素時(shí),Dmin=08/14/202429信息率失真函數(shù)的性質(zhì)例：設(shè)輸入輸出符號(hào)表為X=Y={0,1}，輸入概率分布p(x)={1/3,2/3}，失真矩陣如下。求Dmin和Dmax。解：8/14/202430信息率失真函數(shù)