信息論第一章課件

信息率失真函數(shù)23-Dec-2227.1基本概念在前面幾章的討論中，其基本出發(fā)點(diǎn)都是如何保證信息的無(wú)失真?zhèn)鬏?。但在許多實(shí)際應(yīng)用中，人們并不要求完全無(wú)失真地恢復(fù)消息，而是只要滿足一定的條件，近似地恢復(fù)信源發(fā)出的消息就可以了。然而，什么是允許的失真？如何對(duì)失真進(jìn)行描述？信源輸出信息率被壓縮的最大程度是多少？信息率失真理論回答了這些問題。223-Dec-223(1)“消息完全無(wú)失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性信道編碼定理：無(wú)論何種信道，只要信息率R小于信道容量C，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和任意接近于C的傳輸率來(lái)傳送信息。反之，若R>C，則傳輸總要失真。完全無(wú)失真?zhèn)魉筒豢蓪?shí)現(xiàn)：實(shí)際的信源常常是連續(xù)的，信息率無(wú)限大，要無(wú)失真?zhèn)魉鸵笮畔⒙蔙為無(wú)窮大；實(shí)際信道帶寬是有限的，所以信道容量受限制。要想無(wú)失真?zhèn)鬏?，所需的信息率大大超過信道容量R>>C。7.1.1引言323-Dec-225實(shí)際生活中的需要實(shí)際生活中，人們一般并不要求獲得完全無(wú)失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。例如打電話：即使語(yǔ)音信號(hào)有一些失真，接電話的人也能聽懂。人耳接收信號(hào)的帶寬和分辨率是有限的。放電影：理論上需要無(wú)窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性”，實(shí)際上只要每秒放映24幅靜態(tài)畫面。有些失真沒有必要完全消除。7.1.1引言523-Dec-226(3)信息率失真理論信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)。定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。信息率失真理論是量化（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。7.1.1引言6第4章信息率失真函數(shù)失真大于某一限度后，信息質(zhì)量會(huì)嚴(yán)重?fù)p傷，甚至散失利用價(jià)值。在允許一定失真程度的條件下，至少要多少比特的信息率才能描述信源呢？人的視覺和聽覺都允許一定限度的失真。所以可以對(duì)信源輸出的消息經(jīng)過失真處理，降低信息率，提高傳輸效率。失真越大，信息率越小，傳輸效率越高。限失真信源編碼器：7

本章主要討論：在信源允許一定失真情況下所需的最少信息率。從分析失真函數(shù)、平均失真出發(fā)，分析信息率失真函數(shù)R(D)。

84.1平均失真和信息率失真函數(shù)4.1.1失真函數(shù)4.1.2平均失真4.1.3信息率失真函數(shù)R(D)4.1.4信息率失真函數(shù)的性質(zhì)1023-Dec-22127.1.2失真度與平均失真度(2)失真函數(shù)（失真度）失真函數(shù)（失真度）設(shè)離散無(wú)記憶信源為7.1基本概念1223-Dec-22147.1.2失真度與平均失真度失真矩陣失真度還可表示成矩陣的形式稱[D]為失真矩陣。它是n×m階矩陣。連續(xù)信源和連續(xù)信道的失真函數(shù)在連續(xù)信源和連續(xù)信道情況下，失真度定義為d(x,y)≥07.1基本概念14失真矩陣：失真函數(shù)一般定義：例4－1設(shè)信源符號(hào)：編碼器輸出符號(hào)：規(guī)定的失真函數(shù)為：失真矩陣為：1523-Dec-22167.1.2失真度與平均失真度(3)常用的失真函數(shù)第一種當(dāng)i=j時(shí)，X與Y的取值一樣，用Y來(lái)代表X就沒有誤差，所以定義失真度為0；當(dāng)i≠j時(shí)，用Y代表X就有誤差。這種定義認(rèn)為對(duì)所有不同的i和j引起的誤差都一樣，所以定義失真度常數(shù)a。失真矩陣的特點(diǎn)是對(duì)角線上的元素均為0，對(duì)角線以外的其它元素都為常數(shù)a。7.1基本概念1623-Dec-22177.1.2失真度與平均失真度當(dāng)a=1時(shí)的失真函數(shù)稱為漢明失真函數(shù)。

第二種：d(xi,yj)=(yj－xi)2這種函數(shù)稱為均方誤差失真函數(shù)，失真矩陣稱為均方誤差失真矩陣。若信源符號(hào)代表輸出信號(hào)的幅度值，則較大的幅度失真比較小的幅度失真引起的錯(cuò)誤更為嚴(yán)重，嚴(yán)重程度用平方表示。失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、主觀感覺上的差別大小等因素人為規(guī)定的。7.1基本概念17第三種：絕對(duì)失真函數(shù)第四種：相對(duì)失真函數(shù)第五種：誤碼失真函數(shù)均方、相對(duì)與絕對(duì)失真函數(shù)適用于連續(xù)信源，誤碼失真函數(shù)適用于離散信源。184.1.2平均失真xi和yj所取的符號(hào)不同，d(xi，yj)不同。xi和yj都是隨機(jī)變量，失真函數(shù)d(xi，yj)是隨機(jī)變量函數(shù)。平均失真：d(xi，yj)的數(shù)學(xué)期望或統(tǒng)計(jì)平均值，反映整個(gè)信源的失真大小信源編碼器20

連續(xù)隨機(jī)變量平均失真：對(duì)于L長(zhǎng)序列平均失真為：

21無(wú)論是無(wú)噪信道還是有噪信道:R＜C總能找到一種編碼使在信道上能以任意小的錯(cuò)誤概率,以任意接近C的傳輸率來(lái)傳送信息

R＞C就必須對(duì)信源壓縮,使其壓縮后信息傳輸率R’小于信道容量C,但同時(shí)要保證壓縮所引入的失真不超過預(yù)先規(guī)定的限度。信息壓縮問題就是對(duì)于給定的信源,在滿足平均失真的前提下,使信息率盡可能小。23信息率失真函數(shù)R(D)若平均失真度不大于我們所允許的失真,即,則稱此為保真度準(zhǔn)則.當(dāng)信源p(xi)給定,單個(gè)符號(hào)失真度d(xi,yj)給定時(shí),選擇不同的試驗(yàn)信道p(yj|xi),相當(dāng)于不同的編碼方法,其所得的平均失真度不同。試驗(yàn)信道24理論基礎(chǔ)定理2：對(duì)于固定信源分布，平均互信息I(X;Y)是信道傳遞概率p(y|x)的∪型凹函數(shù)。I(X;Y)是信道轉(zhuǎn)移概率P(Y/X)的下凹函數(shù)（最小值）——信息率失真函數(shù)的基礎(chǔ)平均互信息：26例：已知編碼器輸入的概率分布為p(x)={0.5,0.5}信道矩陣求互信息27編碼器輸入的概率分布為p(x)={0.5,0.5}信道矩陣求互信息可見當(dāng)p(x)一定時(shí),I(X,Y)隨p(yj|xi)而變。因?yàn)閜(x)分布一定時(shí),信道受干擾不同所能傳遞的信息量是不同的。當(dāng)p(x)一定時(shí),I(X,Y)是關(guān)于p(yj|xi)的下凸函數(shù)。因此當(dāng)改變p(yj|xi)時(shí),I(X,Y)有一極小值。28例4-1-3

設(shè)信源的符號(hào)表為A＝{a1，a2，…，a2n}，概率分布為p(ai)＝1/2n，i＝1，2，…，2n，失真函數(shù)規(guī)定為

即符號(hào)不發(fā)生差錯(cuò)時(shí)失真為0，一旦出錯(cuò)，失真為1，試研究在一定編碼條件下信息壓縮的程度。30解：信源熵：a1a2anan+1a2na1a2an......設(shè)想采用編碼方案：試驗(yàn)信道為確定信道，所以：信道輸出Y的概率分布：信道輸出Y的熵：設(shè)失真限度：平均失真：314.1.4信息率失真函數(shù)的性質(zhì)1、R(D)的定義域信息率失真的定義域問題就是在信源和失真函數(shù)已知的情況下,討論允許平均失真度D的最小和最大取值問題。由于平均失真度是非負(fù)實(shí)數(shù)d(xi,yj)的數(shù)學(xué)期望,因此也是非負(fù)的實(shí)數(shù),即的下界是0。允許平均失真度能否達(dá)到其下限值0,與單個(gè)符號(hào)的失真函數(shù)有關(guān)。32R(D)的定義域Dmin和R(Dmin)信源的最小平均失真度：只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí),信源的平均失真度才能達(dá)到下限值0。當(dāng)Dmin=0,即信源不允許任何失真時(shí),信息率至少應(yīng)等于信源輸出的平均信息量—信息熵。即

R(0)=H(X)33R(D)的定義域因?yàn)閷?shí)際信道總是有干擾的,其容量有限,要無(wú)失真地傳送連續(xù)信息是不可能的。當(dāng)允許有一定失真時(shí),R(D)將為有限值,傳送才是可能的。對(duì)于連續(xù)信源：34R(D)的定義域R(D)的定義域?yàn)閇Dmin，Dmax]。通常Dmin=0，R(Dmin)=H(X)當(dāng)D≥Dmax時(shí),R(D)=0當(dāng)0≤D≤Dmax時(shí),0＜R(D)＜H(X)35R(D)的定義域Dmax：定義域的上限。Dmax是滿足R(D)=0時(shí)所有的平均失真度中的最小值。由于I(X,Y)是非負(fù)函數(shù),而R(D)是在約束條件下的I(X,Y)的最小值,所以R(D)也是一個(gè)非負(fù)函數(shù),它的下限值是零。R(D)≥036由于I(X,Y)=0的充要條件是X與Y統(tǒng)計(jì)獨(dú)立,即：在j=1，…，m中，值最小的j，當(dāng)該j對(duì)應(yīng)的pj＝1，而其余pj為零。37例4-3

設(shè)輸入輸出符號(hào)X＝Y(jié){0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣為Dmin＝0，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符號(hào)解：這時(shí)信源編碼器無(wú)失真（），該編碼器的轉(zhuǎn)移概率為：38R(Dmax)＝0輸出符號(hào)概率：p(b1)＝0，p(b2)＝139信息率失真函數(shù)的性質(zhì)1、R(D)是非負(fù)的實(shí)數(shù),R(D)≥0。其定義域?yàn)?~Dmax,其值為0~H(X)。當(dāng)D＞Dmax時(shí),R(D)≡02、R(D)是關(guān)于D的下凸函數(shù)R(D)在定義域內(nèi)是失真度D的U型下凸函數(shù)3、R(D)的單調(diào)遞減性及連續(xù)性容許的失真度越大，所要求的信息率越小。反之亦然。40R(D)H(X)0DDmaxDR(D)0DmaxD

離散系統(tǒng)：

連續(xù)系統(tǒng)：414.1.5信息率失真函數(shù)與信道容量的比較平均互信息I(X;Y)：

信源的概率分布p(xi)的上凸函數(shù)。信道傳遞概率p(yj|xi)的下凸函數(shù)。信道容量：信息率失真函數(shù)：

平均互信息42信道容量：假定信道固定的前提下,選擇一種試驗(yàn)信源使信息傳輸率最大。它所反映的是信道傳輸信息的能力,是信道可靠傳送的最大信息傳輸率。一旦找到了信道容量,它就與信源不再有關(guān),而是信道特性的參量,隨信道特性的變化而變化;不同的信道其信道容量不同。信道容量43信息率失真函數(shù)信息率失真函數(shù)：假定信源給定的情況下,用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可以壓縮的程度,是在滿足一定失真度要求下信源可壓縮的最低值。率失真函數(shù)一旦找到,就與求極值過程中選擇的試驗(yàn)信道不再有關(guān),而只是信源特性的參量不同的信源其R(D)不同。44研究信道容量：充分利用已給信道,使傳輸?shù)男畔⒘孔畲?而發(fā)生錯(cuò)誤的概率任意小。研究信息率失真函數(shù)：解決在已知信源和允許失真度D的條件下,使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息,以提高通信的有效性。45信道容量C信息率失真函數(shù)R(D)R(D)與信道容量C的比較：研究對(duì)象信道信源給定條件信道轉(zhuǎn)移概率p(yj/xi)信源分布p(xi)選擇參數(shù)信源分布p(xi)信源編碼器編碼方法p(yj/xi)限制條件結(jié)論I(X;Y)=H(X)-H(X/Y)噪聲干擾消失的信息量H(X/Y)壓縮損失的信息量H(X/Y)464.2離散信源和連續(xù)信源的R（D）計(jì)算（1）當(dāng)d(x,y)=(x-y)2

某些特殊情況下R（D）的表示式為：（2）當(dāng)d(x,y)=|x-y|（3）當(dāng)d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時(shí)，R(D)=H(p)－H(D)47

0

DmaxDR(D)

H(3)(1)(2)信息率失真函數(shù)R(D)曲線：48求信息率失真函數(shù)R(D)。例4-2-1設(shè)輸入輸出符號(hào)表為X＝Y(jié)