第四章有關(guān)信息率失真函數(shù)的基本概念

第4章

信息率失真函數(shù)2023/2/61信息率失真函數(shù)主要內(nèi)容：限失真信源編碼定理信息率失真函數(shù)保真度準(zhǔn)則下的信源編碼定理教學(xué)基本要求：掌握率失真函數(shù)的定義、性質(zhì)、計(jì)算掌握保真度準(zhǔn)則下的信源編碼定理重點(diǎn)和難點(diǎn)：率失真函數(shù)(離散信源，連續(xù)信源)的計(jì)算保真度準(zhǔn)則下的信源編碼定理2023/2/62本章主要內(nèi)容4.1基本概念

4.2

離散無(wú)記憶信源R(D)的計(jì)算4.3連續(xù)無(wú)記憶信源的R(D)的計(jì)算2023/2/63理論上“消息完全無(wú)失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性信道編碼定理：無(wú)論何種信道，只要

H(X)=<信息速率R=<信道容量C總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和無(wú)限接近于C的傳輸速率來(lái)傳送信息。反之，若R>C則傳輸必失真。實(shí)際上“消息完全無(wú)失真?zhèn)魉汀钡牟豢蓪?shí)現(xiàn)性要做到無(wú)失真信源編碼，要求H(X)<R<C；實(shí)際的信源常常是連續(xù)信源，連續(xù)信源的絕對(duì)熵?zé)o窮大,要求信息率R也無(wú)限大，要無(wú)失真?zhèn)魉?，也就要求信道容量C必須為無(wú)窮大。而實(shí)際信道帶寬是有限的，所以信道容量受限制。因此無(wú)法滿(mǎn)足無(wú)失真?zhèn)鬏數(shù)臈l件，因此傳輸質(zhì)量必然受影響。2023/2/64有些失真沒(méi)有必要完全消除（限失真信源編碼）實(shí)際生活中，人們一般并不要求獲得完全無(wú)失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。打電話(huà)，即使語(yǔ)音信號(hào)有一些失真，接電話(huà)的人也能聽(tīng)懂。放電影：理論上需要無(wú)窮多幅靜態(tài)畫(huà)面，由于人眼的視覺(jué)暫留性，實(shí)際上只需要每秒放映24幅靜態(tài)畫(huà)面。信息率失真理論——信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)定理指出：在允許一定失真度D的情況下，信源輸出的信息率可以壓縮到R(D).2023/2/65信息率失真函數(shù)極小值問(wèn)題I(X;Y)是P（X）和P（Y/X）的二元函數(shù)。在討論信道容量時(shí)：固定P（Y/X）,I(X;Y)是P（X）的函數(shù)。離散情況下，I(X;Y)是的上凸函數(shù)，因此必有I(X;Y)的極大值。在討論信息速率時(shí)：固定,I(X;Y)是的下凸函數(shù)，因此必有I(X;Y)的極小值。但是若X和Y統(tǒng)計(jì)獨(dú)立，即這樣極小值就變成0，此時(shí)極小值就沒(méi)有意義了。引入一個(gè)失真函數(shù)R(D)，計(jì)算在失真度D一定的情況下，信息率R的極小值2023/2/66信息率與失真的關(guān)系信道中固有的噪聲和不可避免的干擾，使信源的消息通過(guò)信道傳輸后造成誤差和失真。誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越少，信道傳輸消息所需的信息率也越小。描述失真度大小和信息速率關(guān)系的定理稱(chēng)為：保真度準(zhǔn)則下的信源編碼定理，也叫信息率失真理論。信息率失真理論的應(yīng)用：信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。2023/2/674.1主要內(nèi)容失真函數(shù)

平均失真信息率失真函數(shù)信息率失真函數(shù)的基本性質(zhì)2023/2/68失真函數(shù)由于信息率與失真有關(guān)，為了定量地描述信息率和失真的關(guān)系，必須先規(guī)定失真的測(cè)度標(biāo)準(zhǔn)。即失真函數(shù)，失真函數(shù)用來(lái)表示信源接收到的消息和發(fā)送的消息之間的誤差。具體地：每一對(duì)，指定一個(gè)非負(fù)函數(shù)稱(chēng)為單個(gè)符號(hào)的失真度（失真函數(shù)），它表示信源發(fā)出一個(gè)符號(hào)，在接收端收到所引起的誤差或失真。distortion2023/2/69失真函數(shù)失真函數(shù)其它表示收發(fā)誤差的失真函數(shù)：平方誤差失真函數(shù)或均方失真函數(shù)絕對(duì)失真函數(shù)相對(duì)失真函數(shù)2023/2/610單符號(hào)離散信源的失真函數(shù)設(shè)離散無(wú)記憶信源為信源通過(guò)轉(zhuǎn)移概率矩陣P（Y/X）的信道傳輸?shù)慕邮斩薡接收端Y2023/2/611失真矩陣要描述離散信源的所有失真情況，必須用矩陣來(lái)表示：即失真矩陣，記作D若一個(gè)信源沒(méi)有正確的傳輸，所有符號(hào)的錯(cuò)誤傳輸大小都為α，則可寫(xiě)作對(duì)角線上為0，其余為α,則該單符號(hào)離散信源的失真矩陣可以寫(xiě)作。若α=1，則失真函數(shù)稱(chēng)為漢明失真函數(shù)，失真矩陣稱(chēng)為漢明失真矩陣，變?yōu)?023/2/612失真矩陣若α=1，則失真函數(shù)稱(chēng)為漢明失真函數(shù)，失真矩陣稱(chēng)為漢明失真矩陣，變?yōu)?023/2/613例：已知單符號(hào)離散無(wú)記憶信源X={0,1}，Y={0,1，2}，失真函數(shù)為

d(0,0)=d(1,1)=0；d(0,1)=d(1,0)=1；d(0,2)=d(1,2)=0.5，求失真矩陣：解：2023/2/614以上離散無(wú)記憶信源的N次擴(kuò)展信源的失真函數(shù)：若發(fā)送和接收的消息分別為：則N次擴(kuò)展信源的失真函數(shù)可定義為2023/2/615連續(xù)信源的失真函數(shù)記作：d(x,y)例：d(x,y)=(y-x)22023/2/616平均失真只能表示兩個(gè)特定的具體符號(hào)之間的失真。平均失真：平均失真為失真函數(shù)的數(shù)學(xué)期望?？梢员硎拘诺榔骄鶄鬏斆總€(gè)符號(hào)所引起的失真的大小，是從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性，信道統(tǒng)計(jì)特性和失真度的函數(shù)，當(dāng)以上三個(gè)量給定后，平均失真度就不再是一個(gè)隨機(jī)量了，而變成一個(gè)確定的量。人們所允許的失真都是平均意義上的失真。2023/2/617平均失真單符號(hào)離散無(wú)記憶信源的平均失真N次擴(kuò)展信源的平均失真

2023/2/618所以，N次擴(kuò)展信源的平均失真為（前提為：無(wú)記憶信源）當(dāng)對(duì)于定義域內(nèi)的i,j,k,則2023/2/619連續(xù)信源的平均失真因?yàn)殡x散信源：2023/2/620信息率失真函數(shù)定義：給定信源和失真函數(shù)，要使信源的平均失真(D為給定的失真上限)，則需找到某個(gè)信道（滿(mǎn)足一定的信道轉(zhuǎn)移概率分布或轉(zhuǎn)移概率密度函數(shù)），使在該信道（稱(chēng)為試驗(yàn)信道）上傳輸?shù)男畔⑺俾蔬_(dá)到最小，這個(gè)最小的信息速率稱(chēng)為信息率失真函數(shù)，記作R(D)。信息率失真函數(shù)示意圖2023/2/621單符號(hào)離散無(wú)記憶信源的信息率失真函數(shù)其中2023/2/622單符號(hào)離散無(wú)記憶信源的N次擴(kuò)展信源的信息率失真函數(shù)2023/2/623信息率失真函數(shù)的基本性質(zhì)

率失真函數(shù)的定義域(0,Dmax)1、當(dāng)平均失真D=0時(shí)，率失真函數(shù)R(D)=R(0)=H(X)證明：(1)對(duì)于離散信源當(dāng)D=Dmin=0時(shí)，說(shuō)明信源無(wú)失真的通過(guò)確定信道到達(dá)接收端，此時(shí)信道傳輸?shù)男畔⒘浚ㄆ骄バ畔）就是信源熵

R(D)=R(0)=I(X;Y)=H(X)-H(X/Y)=H(X)2023/2/624信息率失真函數(shù)的基本性質(zhì)

率失真函數(shù)的定義域(0,Dmax)(2)對(duì)于連續(xù)信源，因?yàn)榻^對(duì)熵為無(wú)窮大，所以當(dāng)D=0時(shí)，相當(dāng)于無(wú)噪信道，此時(shí)，R(D)=R(0)=H(X)=∞而實(shí)際信道傳輸容量有限，所以要實(shí)現(xiàn)連續(xù)信源的無(wú)失真?zhèn)魉褪遣豢赡艿模挥性试S一定的失真，使R(D)變?yōu)橛邢拗?，傳送才有可?023/2/625

2、當(dāng)D=Dmax時(shí)，R(Dmax)=0。

分析：失真值D越大，R(D)越小，D大到一定程度，R(D)=0現(xiàn)在將所有滿(mǎn)足R(D)=0中D的最小值，定義為R(D)定義域的上限D(zhuǎn)max。即

故：R(D)的定義域?yàn)椋?，Dmax）2023/2/626相當(dāng)于求Dj的最小數(shù)學(xué)期望若Ds是所有Dj中最小的一個(gè)，則取p(ys)=1，其它p(yj)=0,此時(shí)Dj的數(shù)學(xué)期望必然最小2023/2/627例：已知二元信源解：（1）求Dmax

2023/2/6282023/2/629（1）2023/2/630例：已知二元信源解：（2）求Dmin

2023/2/631(2)已知：分析：達(dá)到Dmin時(shí)，即平均失真最小。需使每輸入一個(gè)符號(hào)，選取失真矩陣該行的最小失真元素，令該位置對(duì)應(yīng)的輸出概率最大（取1），該行其它轉(zhuǎn)移輸出概率均為0，此時(shí)得到平均失真才為最小。所以：R(Dmin)=R(0)=H(X)2023/2/632二、R(D)是定義域(0,Dmax)上的嚴(yán)格單調(diào)遞減連續(xù)下凸函數(shù)2023/2/633保真度準(zhǔn)則下的信源編碼定理設(shè)一離散平穩(wěn)無(wú)記憶信源的信息率失真函數(shù)為R(D)，當(dāng)實(shí)際信息率

R>