應(yīng)用信息論第講率失真函數(shù)

應(yīng)用信息論第講率失真函數(shù)2023/2/61第一頁，共四十一頁，2022年，8月28日4.1.1引言4.1.2失真度與平均失真度4.1.3信息率失真函數(shù)的定義4.1.4信息率失真函數(shù)的性質(zhì)4.1基本概念2023/2/62第二頁，共四十一頁，2022年，8月28日(1)“消息完全無失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性信道編碼定理：無論何種信道，只要信息率R小于信道容量C，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和任意接近于C的傳輸率來傳送信息。反之，若R>C，則傳輸總要失真。完全無失真?zhèn)魉筒豢蓪?shí)現(xiàn)：實(shí)際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮畔⒙蔙為無窮大；實(shí)際信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏?，所需的信息率大大超過信道容量R>>C。4.1.1引言4.1基本概念2023/2/63第三頁，共四十一頁，2022年，8月28日(2)實(shí)際中允許一定程度的失真技術(shù)發(fā)展的需要隨著科學(xué)技術(shù)的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，這就需要傳送、存儲和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，往往需要對數(shù)據(jù)壓縮，這樣也會(huì)帶來一定的信息損失。人類社會(huì)已進(jìn)入信息時(shí)代，信息爆炸的結(jié)果要求人們解決如何對浩如煙海的數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的存儲容量(如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂)、傳輸時(shí)間(如數(shù)據(jù)通信和遙測)、或占有帶寬(如多媒體通信、數(shù)字音頻廣播、高清晰度電視)，要想方設(shè)法壓縮給定消息集合占用的空間域、時(shí)間域和頻率域資源。如海洋地球物理勘探遙測數(shù)據(jù)，用60路傳感器，每路信號1KHz，16位A/D量化，每航測1Km就需記錄1盤0.5英寸的磁帶，一條測量船每年就可勘測15000Km，數(shù)據(jù)流之大可見一斑。4.1.1引言4.1基本概念2023/2/64第四頁，共四十一頁，2022年，8月28日實(shí)際生活中的需要實(shí)際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。例如打電話：即使語音信號有一些失真，接電話的人也能聽懂。人耳接收信號的帶寬和分辨率是有限的。放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性”，實(shí)際上只要每秒放映24幅靜態(tài)畫面。有些失真沒有必要完全消除。4.1.1引言4.1基本概念2023/2/65第五頁，共四十一頁，2022年，8月28日(3)信息率失真理論信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)。定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。信息率失真理論是量化（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。4.1.1引言4.1基本概念2023/2/66第六頁，共四十一頁，2022年，8月28日信息率失真函數(shù)極小值問題I(X;Y)是P(X)和P(Y/X)的二元函數(shù)；在討論信道容量時(shí)：規(guī)定了P(Y/X)，I(X;Y)變成了P(X)的函數(shù)。在離散情況下，因?yàn)镮(X;Y)對p(xi)是上凸函數(shù)，所以變更p(xi)所求極值一定是I(X;Y)的極大值；在連續(xù)情況下，變更信源P(X)求出的也是極大值，但求極值時(shí)還要一些其它的限制條件。在討論信息率時(shí)可規(guī)定：p(xi)，變更p(yj/xi)來求平均互信息的極值，稱為信道容量對偶問題。由于I(X;Y)是p(yj/xi)的下凸函數(shù)，所求的極值一定是極小值。但若X和Y相互統(tǒng)計(jì)獨(dú)立(p(yj/xi)=p(yj))，這個(gè)極小值就是0，因?yàn)镮(X;Y)是非負(fù)的，0必為極小值，這樣求極小值就沒意義了。引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的情況下信息率的極小值就變長有意義了。4.1.1引言4.1基本概念2023/2/67第七頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度(1)信息率與失真的關(guān)系(2)失真度(3)常用的失真函數(shù)(4)平均失真度(5)N次擴(kuò)展信道的平均失真度4.1基本概念2023/2/68第八頁，共四十一頁，2022年，8月28日(1)信息率與失真的關(guān)信道中固有的噪聲和不可避免的干擾，使信源的消息通過信道傳輸后造成誤差和失真誤差或失真越大，接收者收到消息后對信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息所需的信息率也越小。4.1.2失真度與平均失真度4.1基本概念2023/2/69第九頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度(2)失真度失真度設(shè)離散無記憶信源為4.1基本概念2023/2/610第十頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度對每一對(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m

稱d(xi,yj)為單個(gè)符號的失真度/失真函數(shù)。表示信源發(fā)出一個(gè)符號xi，在接收端再現(xiàn)yj所引起的誤差或失真。4.1基本概念2023/2/611第十一頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度失真矩陣失真度還可表示成矩陣的形式稱[D]為失真矩陣。它是n×m階矩陣。連續(xù)信源和連續(xù)信道的失真函數(shù)在連續(xù)信源和連續(xù)信道情況下，失真度定義為d(x,y)≥04.1基本概念2023/2/612第十二頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度(3)常用的失真函數(shù)第一種當(dāng)i=j時(shí)，X與Y的取值一樣，用Y來代表X就沒有誤差，所以定義失真度為0；當(dāng)i≠j時(shí)，用Y代表X就有誤差。這種定義認(rèn)為對所有不同的i和j引起的誤差都一樣，所以定義失真度常數(shù)a。失真矩陣的特點(diǎn)是對角線上的元素均為0，對角線以外的其它元素都為常數(shù)a。4.1基本概念2023/2/613第十三頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度當(dāng)a=1時(shí)的失真函數(shù)稱為漢明失真函數(shù)。第二種：d(xi,yj)=(yj－xi)2這種函數(shù)稱為平方誤差失真函數(shù)，失真矩陣稱為平方誤差失真矩陣。若信源符號代表輸出信號的幅度值，則較大的幅度失真比較小的幅度失真引起的錯(cuò)誤更為嚴(yán)重，嚴(yán)重程度用平方表示。失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)、主觀感覺上的差別大小等因素人為規(guī)定的。4.1基本概念2023/2/614第十四頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度(4)平均失真度平均失真度定義d(xi,yj)只能表示兩個(gè)特定的具體符號xi和yj之間的失真。平均失真度：平均失真度為失真度的數(shù)學(xué)期望，4.1基本概念2023/2/615第十五頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度平均失真度意義是在平均意義上，從總體上對整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性p(xi)、信道統(tǒng)計(jì)特性p(yj/xi)和失真度d(xi,yj)的函數(shù)。當(dāng)p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。保真度準(zhǔn)則人們所允許的失真指的都是平均意義上的失真。保真度準(zhǔn)則：規(guī)定平均失真度不能超過某一限定的值D，即，則D就是允許失真的上界。該式稱為保真度準(zhǔn)則。4.1基本概念2023/2/616第十六頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度(5)N次擴(kuò)展信道的平均失真度N次擴(kuò)展單符號離散無記憶信源X{x1,x2,…,xn}的N次擴(kuò)展信源XN

=X1X2…XN

，在信道中的傳遞作用相當(dāng)于單符號離散無記憶信道的N次擴(kuò)展信道，輸出也是一個(gè)隨機(jī)變量序列YN=Y1Y2…YN

。此時(shí)輸入共有nN個(gè)不同的符號信道的輸出共有mN個(gè)不同的符號4.1基本概念2023/2/617第十七頁，共四十一頁，2022年，8月28日4.1.2失真度與平均失真度定義離散無記憶信道{X

P(Y/X)Y}的N次擴(kuò)展信道的輸入序列ai和輸出序列bj之間的失真函數(shù)為上式說明：離散無記憶信道的N次擴(kuò)展信道輸入輸出之間的失真，等于輸入序列ai中N個(gè)信源符號xi1,xi2,…,xiN各自通過信道{X

P(Y/X)Y}，分別輸出對應(yīng)的N個(gè)信宿符號yj1,yj2,…,yjN后所引起的N個(gè)單符號失真d(xik,yjk)(k=1,2,…,N)之和。4.1基本概念2023/2/618第十八頁，共四十一頁，2022年，8月28日N次擴(kuò)展的失真度定義N次離散無記憶擴(kuò)展信源和信道的平均失真度為，則4.1.2失真度與平均失真度4.1基本概念2023/2/619第十九頁，共四十一頁，2022年，8月28日“N次擴(kuò)展”與“單符號”平均失真度的關(guān)系由擴(kuò)展信源和擴(kuò)展信道的無記憶性有4.1.2失真度與平均失真度4.1基本概念2023/2/620第二十頁，共四十一頁，2022年，8月28日實(shí)際上，(k=1,2,…,N)是同一信源X在N個(gè)不同時(shí)刻通過同一信道{X

P(Y/X)Y}所造成的平均失真度，因此都等于單符號信源X通過信道{X

P(Y/X)Y}所造成的平均失真度，即上式說明：離散無記憶N次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信道的平均失真度是單符號信源通過單符號信道的平均失真度的N倍。4.1.2失真度與平均失真度4.1基本概念2023/2/621第二十一頁，共四十一頁，2022年，8月28日N次擴(kuò)展的保真度準(zhǔn)則離散無記憶N次擴(kuò)展信源通過離散無記憶N次擴(kuò)展信道的保真度準(zhǔn)則為4.1.2失真度與平均失真度4.1基本概念2023/2/622第二十二頁，共四十一頁，2022年，8月28日4.1.3信息率失真函數(shù)的定義(1)試驗(yàn)信道(2)信息率失真函數(shù)(3)求信息率失真函數(shù)的方法(4)研究信道編碼和率失真函數(shù)的意義4.1基本概念2023/2/623第二十三頁，共四十一頁，2022年，8月28日4.1.3信息率失真函數(shù)的定義(1)試驗(yàn)信道單符號信源和單符號信道的試驗(yàn)信道當(dāng)固定信源（P(X)已知），單個(gè)符號失真度也給定時(shí)，選擇信道使。凡滿足要求的信道稱為D失真許可的試驗(yàn)信道，簡稱試驗(yàn)信道。所有試驗(yàn)信道構(gòu)成的集合用PD來表示，即N次擴(kuò)展的試驗(yàn)信道對于離散無記憶信源的N次擴(kuò)展信源和離散無記憶信道的N次擴(kuò)展信道，其試驗(yàn)信道集合PD(N)為4.1基本概念2023/2/624第二十四頁，共四十一頁，2022年，8月28日(2)信息率失真函數(shù)單符號信源和單符號信道的信息率失真函數(shù)在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即這個(gè)最小值R(D)稱為信息率失真函數(shù)，簡稱率失真函數(shù)。在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。4.1.3信息率失真函數(shù)的定義4.1基本概念2023/2/625第二十五頁，共四十一頁，2022年，8月28日“N次擴(kuò)展”的信息率失真函數(shù)對于離散無記憶信源的N次擴(kuò)展信源和離散無記憶信道的N次擴(kuò)展信道，在所有滿足保真度準(zhǔn)則的N維試驗(yàn)信道集合中，一定可以尋找到某個(gè)信道使平均互信息取最小值RN(D)，這個(gè)最小值稱為它的信息率失真函數(shù)。由信源和信道的無記憶性，可以證明RN(D)=NR(D)。4.1.3信息率失真函數(shù)的定義4.1基本概念2023/2/626第二十六頁，共四十一頁，2022年，8月28日(3)求信息率失真函數(shù)的方法對偶問題平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函數(shù)，又是信道傳遞概率p(yj/xi)的下凸函數(shù)。率失真函數(shù)R(D)是在允許失真D和信源概率分布p(xi)已給的條件下，求平均互信息的極小值（最?。﹩栴}，而信道容量C是在信道特性p(yj/xi)已知的條件下求平均互信息的極大值（最大）問題。這兩個(gè)問題是對偶問題。4.1.3信息率失真函數(shù)的定義4.1基本概念2023/2/627第二十七頁，共四十一頁，2022年，8月28日求信道容量的方法

信道容量是假定信道固定的前提下，選擇一種試驗(yàn)信源，使信息率最大。一旦找到了這個(gè)信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。4.1.3信息率失真函數(shù)的定義4.1基本概念2023/2/628第二十八頁，共四十一頁，2022年，8月28日求信息率失真函數(shù)的方法信息率失真函數(shù)R(D)是假定信源給定的情況下，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。4.1.3信息率失真函數(shù)的定義4.1基本概念2023/2/629第二十九頁，共四十一頁，2022年，8月28日(4)研究信道編碼和率失真函數(shù)的意義研究信道容量的意義：在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以提高通信的可靠性。這就是信道編碼問題。研究信息率失真函數(shù)的意義：研究信息率失真函數(shù)是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問題。4.1.3信息率失真函數(shù)的定義4.1基本概念2023/2/630第三十頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)(1)率失真函數(shù)的定義域什么是率失真函數(shù)的定義域允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。4.1基本概念2023/2/631第三十一頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)信源最小平均失真度Dmin

是非負(fù)函數(shù)d(xi,yj)的數(shù)學(xué)期望，也是一個(gè)非負(fù)函數(shù)，顯然其下限為0。因此允許平均失真度D的下限也必然是0，這就是不允許有任何失真的情況。允許平均失真度D能否達(dá)到其下限值0，與單個(gè)符號的失真函數(shù)有關(guān)。信源最小平均失真度Dmin

：對于每一個(gè)xi，找出一個(gè)yj與之對應(yīng)，使d(xi,yj)最小，不同的xi對應(yīng)的最小d(xi,yj)也不同。這相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。對所有這些不同的最小值求數(shù)學(xué)期望，就是信源的最小平均失真度。4.1基本概念2023/2/632第三十二頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)只有當(dāng)失真矩陣的每一行至少有一個(gè)0元素時(shí)，信源的平均失真度才能達(dá)到下限值0。當(dāng)Dmin=0時(shí)（信源不允許任何失真存在），信息率至少應(yīng)等于信源輸出的平均信息量（信源熵），即R(0)=H(X)。連續(xù)信源有。這時(shí)雖然信源熵是有限的，但信息量是無窮大。實(shí)際信道容量總是有限的，無失真?zhèn)魉瓦@種連續(xù)信息是不可能的。只有當(dāng)允許失真（R(D)為有限值），傳送才是可能的。4.1基本概念2023/2/633第三十三頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)信源最大平均失真度Dmax信源最大平均失真度Dmax

：必須的信息率越小，容忍的失真就越大。當(dāng)R(D)等于0時(shí)，對應(yīng)的平均失真最大，也就是函數(shù)R(D)定義域的上界值Dmax

。信息率失真函數(shù)是平均互信息的極小值：當(dāng)R(D)=0時(shí)，即平均互信息的極小值等于0；當(dāng)D>Dmax時(shí)，從數(shù)學(xué)意義上講，因?yàn)镽(D)是非負(fù)函數(shù)，所以它仍只能等于0。這相當(dāng)于輸入X和輸出Y統(tǒng)計(jì)獨(dú)立。意味著在接收端收不到信源發(fā)送的任何信息，與信源不發(fā)送任何信息等效。或者說傳送信源符號的信息率可以壓縮至0。4.1基本概念2023/2/634第三十四頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)計(jì)算Dmax的值令試驗(yàn)信道特性p(yj/xi)=p(yj)(i=1,2,…,n)這時(shí)X和Y相互獨(dú)立，等效于通信中斷，因此I(X;Y)=0，即R(D)=0。滿足上式的試驗(yàn)信道有許多，相應(yīng)地可求出許多平均失真值，從中選取最小的一個(gè)，就是這類平均失真值的下界Dmax。上式是用不同的概率分布{p(yj)}對Dj求數(shù)學(xué)期望，取數(shù)學(xué)期望當(dāng)中最小的一個(gè)作為Dmax。4.1基本概念2023/2/635第三十五頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)實(shí)際是用p(yj)對Dj進(jìn)行線性分配，使線性分配的結(jié)果最小。當(dāng)p(xi)和d(xi,yj)給定時(shí)，必可計(jì)算出Dj

，Dj隨j的變化而變化，p(yj)是任選的，只需滿足非負(fù)性和歸一性。若Ds是所有Dj當(dāng)中最小的一個(gè)，可取p(ys)=1，其它p(yj)為0，這時(shí)Dj的線性分配（數(shù)學(xué)期望）必然最小，即4.1基本概念2023/2/636第三十六頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)4.1基本概念2023/2/637第三十七頁，共四十一頁，2022年，8月28日4.1.4信息率失真函數(shù)的性質(zhì)[例4.1.1]二元信源，相應(yīng)的失真矩