信息論與編碼民大06限失真信源編碼課件

理論上“消息完全無失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性信道編碼定理：無論何種信道，只要信息率R=(Klog2m)/L小于信道容量C，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和任意接近于C的傳輸率來傳送信息。反之，若R>C，則傳輸總要失真。實(shí)際上“消息完全無失真?zhèn)魉汀钡牟豢蓪?shí)現(xiàn)性實(shí)際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮诺廊萘緾為無窮大；實(shí)際信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏?，所需的信息率大大超過信道容量R>>C。11-Dec-221理論上“消息完全無失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性11-Dec-221有些失真沒有必要完全消除（限失真信源編碼）實(shí)際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。打電話：即使語音信號(hào)有一些失真，接電話的人也能聽懂。放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性”，實(shí)際上只要每秒放映24幅靜態(tài)畫面。信息率失真理論-------信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)。定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。11-Dec-222有些失真沒有必要完全消除（限失真信源編碼）信息率失真理論--在允許一定失真程度的條件下，怎樣用盡可能少的信道符號(hào)來表達(dá)信源的信息，也就是信源熵所能壓縮的極限或者說編碼后信源輸出的信息率壓縮的極限值，這就是限失真信源編碼要討論的問題。限失真信源編碼也稱保真度準(zhǔn)則下的信源編碼、熵壓縮編碼或者稱信息率失真理論，它是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。如果無失真的冗余度壓縮編碼主要是針對(duì)離散信源的，那么，限失真的熵壓縮編碼主要是針對(duì)連續(xù)信源。11-Dec-223在允許一定失真程度的條件下，怎樣用盡可能少的信道符號(hào)來表達(dá)信信息率失真函數(shù)極小值問題I(X;Y)是P(X)和P(Y/X)的二元函數(shù)；在討論信道容量時(shí)：固定P(Y/X)，I(X;Y)變成P(X)的函數(shù)。在離散情況下，因?yàn)镮(X;Y)對(duì)p(xi)是上凸函數(shù)，所以變更p(xi)所求極值一定是I(X;Y)的極大值；在討論率失真時(shí)：固定p(xi)，變更p(yj/xi)來求平均互信息的極小值。由于I(X;Y)是p(yj/xi)的下凸函數(shù)，所求的極值一定是極小值。但若X和Y相互統(tǒng)計(jì)獨(dú)立(p(yj/xi)=p(yj))，這個(gè)極小值就是0，因?yàn)镮(X;Y)是非負(fù)的，0必為極小值，這樣求極小值就沒意義了。引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的情況下信息率的極小值就變成有意義了。11-Dec-224信息率失真函數(shù)極小值問題11-Dec-224信息率與失真的關(guān)系信道中固有的噪聲和不可避免的干擾，使信源的消息通過信道傳輸后造成誤差和失真誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息所需的信息率也越小。11-Dec-225信息率與失真的關(guān)系11-Dec-225失真度設(shè)離散無記憶信源為對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m稱d(xi,yj)為單個(gè)符號(hào)的失真度/失真函數(shù)。它表示信源發(fā)出一個(gè)符號(hào)xi，在接收端再現(xiàn)yj所引起的誤差或失真。11-Dec-226失真度對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj均方失真：絕對(duì)失真：相對(duì)失真：

誤碼失真：失真函數(shù)的表達(dá)11-Dec-227失真函數(shù)的表達(dá)11-Dec-227常用的失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)大小等人為規(guī)定的。常用的失真函數(shù)有(1)絕對(duì)失真：漢明失真在離散對(duì)稱信道中，定義單個(gè)符號(hào)失真度為漢明失真。漢明失真矩陣D通常為方陣，且對(duì)角線上的元素為0。即(2)均方失真：平方誤差失真函數(shù)如果信源符號(hào)代表信源輸出信號(hào)的幅度值，則上式意味著較大的幅度差值要比較小的幅度差值引起的失真更為嚴(yán)重，嚴(yán)重程度用平方表示。11-Dec-228常用的失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起失真矩陣失真度還可表示成矩陣的形式稱[D]為失真矩陣。它是n×m階矩陣。d(x,y)≥011-Dec-229失真矩陣11-Dec-229平均失真度d(xi,yj)只能表示兩個(gè)特定的具體符號(hào)xi和yj之間的失真。平均失真度：平均失真度為失真度的數(shù)學(xué)期望11-Dec-2210平均失真度11-Dec-2210平均失真度意義是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性p(xi)、信道統(tǒng)計(jì)特性p(yj/xi)和失真度d(xi,yj)的函數(shù)。當(dāng)p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。保真度準(zhǔn)則人們所允許的失真指的都是平均意義上的失真。保真度準(zhǔn)則：規(guī)定平均失真度不能超過某一限定的值D，即，則D就是允許失真的上界。該式稱為保真度準(zhǔn)則。將保真度準(zhǔn)則作為信道傳遞概率的約束條件，再求信道的信息率R=I(X;Y)的最小值就有實(shí)際意義。11-Dec-2211平均失真度意義11-Dec-2211試驗(yàn)信道單符號(hào)信源和單符號(hào)信道的試驗(yàn)信道當(dāng)固定信源（P(X)已知），單個(gè)符號(hào)失真度也給定時(shí)，選擇信道使。凡滿足要求的信道稱為D失真許可的試驗(yàn)信道，所有試驗(yàn)信道構(gòu)成的集合用PD來表示，即11-Dec-2212試驗(yàn)信道11-Dec-2212信息率失真函數(shù)在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即這個(gè)最小值R(D)稱為信息率失真函數(shù)，簡稱率失真函數(shù)。在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。11-Dec-2213信息率失真函數(shù)11-Dec-2213信息率失真函數(shù)與信道容量的對(duì)偶問題平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函數(shù)，又是信道傳遞概率p(yj/xi)的下凸函數(shù)。率失真函數(shù)R(D)是在允許失真D和信源概率分布p(xi)已給的條件下，求平均互信息的極小值問題。而信道容量C是在信道特性p(yj/xi)已知的條件下求平均互信息的極大值問題。11-Dec-2214信息率失真函數(shù)與信道容量的對(duì)偶問題11-Dec-2214研究率失真函數(shù)和信道容量的意義研究信息率失真函數(shù)的意義：是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問題。研究信道容量的意義：是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以提高通信的可靠性。這就是信道編碼問題。11-Dec-2215研究率失真函數(shù)和信道容量的意義11-Dec-2215信息率失真函數(shù)的性質(zhì)率失真函數(shù)的定義域允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。11-Dec-2216信息率失真函數(shù)的性質(zhì)率失真函數(shù)的定義域11-Dec-2216信源最小平均失真度Dmin是非負(fù)函數(shù)d(xi,yj)的數(shù)學(xué)期望，也是一個(gè)非負(fù)函數(shù)，顯然其下限為0。因此允許平均失真度D的下限也必然是0，這就是不允許有任何失真的情況。允許平均失真度D能否達(dá)到其下限值0，與單個(gè)符號(hào)的失真函數(shù)有關(guān)。信源最小平均失真度Dmin：對(duì)于每一個(gè)xi，找出一個(gè)yj與之對(duì)應(yīng)，使d(xi,yj)最小，不同的xi對(duì)應(yīng)的最小d(xi,yj)也不同。這相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。對(duì)所有這些不同的最小值求數(shù)學(xué)期望，就是信源的最小平均失真度。11-Dec-2217信源最小平均失真度Dmin11-Dec-2217信源最大平均失真度Dmax信源最大平均失真度Dmax：所需的信息率越小，容忍的失真就越大。當(dāng)R(D)等于0時(shí)，對(duì)應(yīng)的平均失真最大，也就是函數(shù)R(D)定義域的上界值Dmax。信息率失真函數(shù)是平均互信息的極小值：當(dāng)R(D)=0時(shí)，即平均互信息的極小值等于0；當(dāng)D>Dmax時(shí)，從數(shù)學(xué)意義上講，因?yàn)镽(D)是非負(fù)函數(shù)，所以它仍只能等于0。這相當(dāng)于輸入X和輸出Y統(tǒng)計(jì)獨(dú)立。意味著在接收端收不到信源發(fā)送的任何信息，與信源不發(fā)送任何信息等效?；蛘哒f傳送信源符號(hào)的信息率可以壓縮至0。11-Dec-2218信源最大平均失真度Dmax11-Dec-2218結(jié)論：R(D)的定義域?yàn)?Dmin,Dmax)；一般情況下Dmin=0，R(Dmin)=H(X)；當(dāng)D≥Dmax時(shí)，R(D)=0；當(dāng)Dmin<D<Dmax時(shí)，0<R(D)<H(X)。率失真函數(shù)對(duì)允許平均失真度的下凸性：

對(duì)任一0≤θ≤1和任意平均失真度D’和D’’≤Dmax，有R[θD’+(1－θ)D’’]≤θR(D’)+(1－θ)R(D’’)由于函數(shù)R(D)具有凸?fàn)钚?，保證了它在定義域內(nèi)是連續(xù)的。在Dmin<D<Dmax范圍內(nèi)R(D)單調(diào)遞減。在連續(xù)信源時(shí)，當(dāng)D→0時(shí)，R(D)→∞，曲線將不與R(D)軸相交。11-Dec-2219結(jié)論：11-Dec-2219求信息率失真函數(shù)R(D)的方法信息率失真函數(shù)R(D)是假定信源給定的情況下，選擇試驗(yàn)信道，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。11-Dec-2220求信息率失真函數(shù)R(D)的方法11-Dec-2220離散信源率失真函數(shù)的參量表達(dá)式(1)求I(X;Y)極小值（即率失真函數(shù)R(D)）方法采用參量表示法，并用收斂迭代算法可以求出最小值，但是要得到它的顯式一般是很困難的，通常只能求出信息率失真函數(shù)的參量表達(dá)式。已知信源概率分布函數(shù)p(xi)和失真度d(xi,yj)，在滿足保真度準(zhǔn)則的條件下，在試驗(yàn)信道集合PD當(dāng)中選擇p(yj/xi)，使平均互信息11-Dec-2221離散信源率失真函數(shù)的參量表達(dá)式(1)求I(X;Y)極小值（(2)離散信源的信息率失真函數(shù)已知平均互信息在(4.2.5)的條件限制下求I(X;Y)的極值，引入?yún)⒘縎和μi(i=1,2,…,n)，構(gòu)造一個(gè)新函數(shù)ф(4.2.6)（S和μi為待定參量)離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2222(2)離散信源的信息率失真函數(shù)離散信源率失真函數(shù)的參量表離散信源率失真函數(shù)的參量表達(dá)式如果能求出使ф達(dá)到極小值的試驗(yàn)信道p(yj/xi)

，就能得到I(X;Y)的極小值。11-Dec-2223離散信源率失真函數(shù)的參量表達(dá)式如果能求出使ф達(dá)到極小值的試驗(yàn)離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2224離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2224離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2225離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2225第一步：求λi離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2226第一步：求λi離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2離散信源率失真函數(shù)的參量表達(dá)式第二步：求p(yj)第三步：求p(yj/xi)將解出的λi和求p(yj)代入式(4.2.10)，可求得mn個(gè)以S為參量的p(yj/xi)。11-Dec-2227離散信源率失真函數(shù)的參量表達(dá)式第二步：求p(yj)11-De第四步：求D(S)將這(4.2.10)的mn個(gè)p(yj/xi)代入(4.2.5)得到以S為參量的允許平均失真函數(shù)D(S)。離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2228第四步：求D(S)離散信源率失真函數(shù)的參量表達(dá)式11-Dec第五步：求R(S)將這(4.2.10)的mn個(gè)p(yj/xi)代入(4.2.4)得到以S為參量的率失真函數(shù)R(S)。離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2229第五步：求R(S)離散信源率失真函數(shù)的參量表達(dá)式11-Dec第六步：選擇使p(yj)非負(fù)的所有S，得到D和R值，可以畫出R(D)曲線，如圖4.2.1。離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2230第六步：選擇使p(yj)非負(fù)的所有S，得到D和R值，可以畫出離散信源率失真函數(shù)的參量表達(dá)式(3)

參量S的說明可以證明S就是R(D)函數(shù)的斜率。由R(D)函數(shù)的遞減性，斜率S必然負(fù)值；S是D的遞增函數(shù)，D從0變到Dmax，S將逐漸增加；當(dāng)D=0時(shí)，R(D)的斜率S的最小值趨于負(fù)無窮。11-Dec-2231離散信源率失真函數(shù)的參量表達(dá)式(3)參量S的說明11-De離散信源率失真函數(shù)的參量表達(dá)式當(dāng)D=Dmax時(shí)：S達(dá)到最大；這個(gè)最大值也是某一個(gè)負(fù)值，最大是0。當(dāng)D>Dmax時(shí)：在D=Dmax處，除某些特例外，S將從某一個(gè)負(fù)值跳到0，S在此點(diǎn)不連續(xù)。在D的定義域[0,Dmax]內(nèi)，除某些特例外，S將是D的連續(xù)函數(shù)。11-Dec-2232離散信源率失真函數(shù)的參量表達(dá)式當(dāng)D=Dmax時(shí)：S達(dá)到最大；(1)二元離散信源的率失真函數(shù)

設(shè)二元信源

計(jì)算率失真函數(shù)R(D)二元離散信源的信息率失真函數(shù)11-Dec-2233(1)二元離散信源的率失真函數(shù)二元離散信源的信息率失真函數(shù)先求出Dmax11-Dec-2234先求出Dmax11-Dec-2234第一步：求λi，由式(4.2.12)有11-Dec-2235第一步：求λi，由式(4.2.12)有11-Dec-2235第二步：求p(yj)，由式(4.2.11)有11-Dec-2236第二步：求p(yj)，由式(4.2.11)有11-Dec-2第三步：求p(yj/xi)，由式(4.2.10)有11-Dec-2237第三步：求p(yj/xi)，由式(4.2.10)有11-De第四步：求D(S)，將上述結(jié)果代入式(4.2.14)有11-Dec-2238第四步：求D(S)，將上述結(jié)果代入式(4.2.14)有11-第五步：求率失真函數(shù)R(S)，將上述結(jié)果代入式(4.2.15)有11-Dec-2239第五步：求率失真函數(shù)R(S)，將上述結(jié)果代入式(4.2.15對(duì)于這種簡單信源，可從D(S)解出S與D的顯式表達(dá)式。將S代入上面的λi，p(yj)和p(yj/xi)和R(S)得：11-Dec-2240對(duì)于這種簡單信源，可從D(S)解出S與D的顯式表達(dá)式。將S代以及11-Dec-2241以及11-Dec-2241第六步：通過以上步驟計(jì)算出來的R(D)和S(D)如圖4.2.2。11-Dec-2242第六步：通過以上步驟計(jì)算出來的R(D)和S(D)如圖4.2.(2)信息率失真函數(shù)曲線圖說明若α=1，把d(xi,yj)當(dāng)成了誤碼個(gè)數(shù)，即X和Y不一致時(shí)，認(rèn)為誤了一個(gè)碼元，所以d(xi,yj)的數(shù)學(xué)期望就是平均誤碼率。能容忍的失真等效于能容忍的誤碼率。11-Dec-2243(2)信息率失真函數(shù)曲線圖說明11-Dec-2243R(D)不僅與D有關(guān)，還與p有關(guān)。概率分布不同，R(D)曲線就不一樣。當(dāng)p=0.25時(shí)，如果能容忍的誤碼率也是0.25，不用傳送信息便可達(dá)到R=0，這就是R(Dmax)=0的含義。11-Dec-2244R(D)不僅與D有關(guān)，還與p有關(guān)。概率分布不同，R(D)曲當(dāng)D相同時(shí)，信源越趨于等概率分布，R(D)就越大。由最大離散熵定理，信源越趨于等概率分布，其熵越大，即不確定性越大，要去除這不確定性所需的信息傳輸率就越大，而R(D)正是去除信源不確定性所必須的信息傳輸率。11-Dec-2245當(dāng)D相同時(shí)，信源越趨于等概率分布，R(D)就越大。由最大離關(guān)于S(D)S(D)與p無直接關(guān)系，S(D)曲線只有一條，p=0.5和p=0.25都可以用，但它們的定義域不同；p=0.25時(shí)定義域是D=0~0.25，即到A點(diǎn)為止，此時(shí)Smax=－1.59。D>0.25時(shí)，S(D)就恒為0了。所以在A點(diǎn)S(D)是不連續(xù)的；當(dāng)p=0.5時(shí)，曲線延伸至D=0.5處，此時(shí)Smax=0，故S(D)是連續(xù)曲線，定義域?yàn)镈=0~0.5。11-Dec-2246關(guān)于S(D)11-Dec-2246(3)二元等概率離散信源的率失真函數(shù)當(dāng)上述二元信源呈等概率分布時(shí)，上面式子分別退化為11-Dec-2247(3)二元等概率離散信源的率失真函數(shù)11-Dec-2247精品課件！12/11/202248電信學(xué)院汪漢新精品課件！12/11/202248電信學(xué)院汪漢新精品課件！12/11/202249電信學(xué)院汪漢新精品課件！12/11/202249電信學(xué)院汪漢新這個(gè)結(jié)論很容易推廣到n元等概率信源的情況。11-Dec-225011-Dec-2250理論上“消息完全無失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性信道編碼定理：無論何種信道，只要信息率R=(Klog2m)/L小于信道容量C，總能找到一種編碼，使在信道上能以任意小的錯(cuò)誤概率和任意接近于C的傳輸率來傳送信息。反之，若R>C，則傳輸總要失真。實(shí)際上“消息完全無失真?zhèn)魉汀钡牟豢蓪?shí)現(xiàn)性實(shí)際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮诺廊萘緾為無窮大；實(shí)際信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏?，所需的信息率大大超過信道容量R>>C。11-Dec-2251理論上“消息完全無失真?zhèn)魉汀钡目蓪?shí)現(xiàn)性11-Dec-221有些失真沒有必要完全消除（限失真信源編碼）實(shí)際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的失真存在。打電話：即使語音信號(hào)有一些失真，接電話的人也能聽懂。放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性”，實(shí)際上只要每秒放映24幅靜態(tài)畫面。信息率失真理論-------信息率失真函數(shù)香農(nóng)定義了信息率失真函數(shù)R(D)。定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。11-Dec-2252有些失真沒有必要完全消除（限失真信源編碼）信息率失真理論--在允許一定失真程度的條件下，怎樣用盡可能少的信道符號(hào)來表達(dá)信源的信息，也就是信源熵所能壓縮的極限或者說編碼后信源輸出的信息率壓縮的極限值，這就是限失真信源編碼要討論的問題。限失真信源編碼也稱保真度準(zhǔn)則下的信源編碼、熵壓縮編碼或者稱信息率失真理論，它是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。如果無失真的冗余度壓縮編碼主要是針對(duì)離散信源的，那么，限失真的熵壓縮編碼主要是針對(duì)連續(xù)信源。11-Dec-2253在允許一定失真程度的條件下，怎樣用盡可能少的信道符號(hào)來表達(dá)信信息率失真函數(shù)極小值問題I(X;Y)是P(X)和P(Y/X)的二元函數(shù)；在討論信道容量時(shí)：固定P(Y/X)，I(X;Y)變成P(X)的函數(shù)。在離散情況下，因?yàn)镮(X;Y)對(duì)p(xi)是上凸函數(shù)，所以變更p(xi)所求極值一定是I(X;Y)的極大值；在討論率失真時(shí)：固定p(xi)，變更p(yj/xi)來求平均互信息的極小值。由于I(X;Y)是p(yj/xi)的下凸函數(shù)，所求的極值一定是極小值。但若X和Y相互統(tǒng)計(jì)獨(dú)立(p(yj/xi)=p(yj))，這個(gè)極小值就是0，因?yàn)镮(X;Y)是非負(fù)的，0必為極小值，這樣求極小值就沒意義了。引入一個(gè)失真函數(shù)，計(jì)算在失真度一定的情況下信息率的極小值就變成有意義了。11-Dec-2254信息率失真函數(shù)極小值問題11-Dec-224信息率與失真的關(guān)系信道中固有的噪聲和不可避免的干擾，使信源的消息通過信道傳輸后造成誤差和失真誤差或失真越大，接收者收到消息后對(duì)信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息所需的信息率也越小。11-Dec-2255信息率與失真的關(guān)系11-Dec-225失真度設(shè)離散無記憶信源為對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj)≥0i=1,2,…,n

j=1,2,…,m稱d(xi,yj)為單個(gè)符號(hào)的失真度/失真函數(shù)。它表示信源發(fā)出一個(gè)符號(hào)xi，在接收端再現(xiàn)yj所引起的誤差或失真。11-Dec-2256失真度對(duì)每一對(duì)(xi,yj)，指定一個(gè)非負(fù)函數(shù)d(xi,yj均方失真：絕對(duì)失真：相對(duì)失真：

誤碼失真：失真函數(shù)的表達(dá)11-Dec-2257失真函數(shù)的表達(dá)11-Dec-227常用的失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起的損失、風(fēng)險(xiǎn)大小等人為規(guī)定的。常用的失真函數(shù)有(1)絕對(duì)失真：漢明失真在離散對(duì)稱信道中，定義單個(gè)符號(hào)失真度為漢明失真。漢明失真矩陣D通常為方陣，且對(duì)角線上的元素為0。即(2)均方失真：平方誤差失真函數(shù)如果信源符號(hào)代表信源輸出信號(hào)的幅度值，則上式意味著較大的幅度差值要比較小的幅度差值引起的失真更為嚴(yán)重，嚴(yán)重程度用平方表示。11-Dec-2258常用的失真函數(shù)失真函數(shù)是根據(jù)人們的實(shí)際需要和失真引起失真矩陣失真度還可表示成矩陣的形式稱[D]為失真矩陣。它是n×m階矩陣。d(x,y)≥011-Dec-2259失真矩陣11-Dec-229平均失真度d(xi,yj)只能表示兩個(gè)特定的具體符號(hào)xi和yj之間的失真。平均失真度：平均失真度為失真度的數(shù)學(xué)期望11-Dec-2260平均失真度11-Dec-2210平均失真度意義是在平均意義上，從總體上對(duì)整個(gè)系統(tǒng)失真情況的描述。它是信源統(tǒng)計(jì)特性p(xi)、信道統(tǒng)計(jì)特性p(yj/xi)和失真度d(xi,yj)的函數(shù)。當(dāng)p(xi)，p(yj/xi)和d(xi,yj)給定后，平均失真度就不是一個(gè)隨機(jī)變量了，而是一個(gè)確定的量。如果信源和失真度一定，就只是信道統(tǒng)計(jì)特性的函數(shù)。信道傳遞概率不同，平均失真度隨之改變。保真度準(zhǔn)則人們所允許的失真指的都是平均意義上的失真。保真度準(zhǔn)則：規(guī)定平均失真度不能超過某一限定的值D，即，則D就是允許失真的上界。該式稱為保真度準(zhǔn)則。將保真度準(zhǔn)則作為信道傳遞概率的約束條件，再求信道的信息率R=I(X;Y)的最小值就有實(shí)際意義。11-Dec-2261平均失真度意義11-Dec-2211試驗(yàn)信道單符號(hào)信源和單符號(hào)信道的試驗(yàn)信道當(dāng)固定信源（P(X)已知），單個(gè)符號(hào)失真度也給定時(shí)，選擇信道使。凡滿足要求的信道稱為D失真許可的試驗(yàn)信道，所有試驗(yàn)信道構(gòu)成的集合用PD來表示，即11-Dec-2262試驗(yàn)信道11-Dec-2212信息率失真函數(shù)在信源和失真度給定以后，PD是滿足保真度準(zhǔn)則的試驗(yàn)信道集合，平均互信息I(X;Y)是信道傳遞概率p(yj/xi)的下凸函數(shù)，所以在PD中一定可以找到某個(gè)試驗(yàn)信道，使I(X;Y)達(dá)到最小，即這個(gè)最小值R(D)稱為信息率失真函數(shù)，簡稱率失真函數(shù)。在信源給定以后，總希望在允許一定失真的情況下，傳送信源所必須的信息率越小越好。從接收端來看，就是在滿足保真度準(zhǔn)則的條件下，尋找再現(xiàn)信源消息必須的最低平均信息量，即平均互信息的最小值。11-Dec-2263信息率失真函數(shù)11-Dec-2213信息率失真函數(shù)與信道容量的對(duì)偶問題平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函數(shù)，又是信道傳遞概率p(yj/xi)的下凸函數(shù)。率失真函數(shù)R(D)是在允許失真D和信源概率分布p(xi)已給的條件下，求平均互信息的極小值問題。而信道容量C是在信道特性p(yj/xi)已知的條件下求平均互信息的極大值問題。11-Dec-2264信息率失真函數(shù)與信道容量的對(duì)偶問題11-Dec-2214研究率失真函數(shù)和信道容量的意義研究信息率失真函數(shù)的意義：是為了解決在已知信源和允許失真度D的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以提高通信的有效性。這是信源編碼問題。研究信道容量的意義：是為了解決在已知信道中傳送最大信息率問題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以提高通信的可靠性。這就是信道編碼問題。11-Dec-2265研究率失真函數(shù)和信道容量的意義11-Dec-2215信息率失真函數(shù)的性質(zhì)率失真函數(shù)的定義域允許平均失真度：率失真函數(shù)中的自變量D，也就是人們規(guī)定的平均失真度的上限值。率失真函數(shù)的定義域問題就是在信源和失真函數(shù)已知的情況下，討論允許平均失真度D的最小和最大值問題。D的選取必須根據(jù)固定信源X的統(tǒng)計(jì)特性P(X)和選定的失真函數(shù)d(xi,yj)，在平均失真度的可能取值范圍內(nèi)。11-Dec-2266信息率失真函數(shù)的性質(zhì)率失真函數(shù)的定義域11-Dec-2216信源最小平均失真度Dmin是非負(fù)函數(shù)d(xi,yj)的數(shù)學(xué)期望，也是一個(gè)非負(fù)函數(shù)，顯然其下限為0。因此允許平均失真度D的下限也必然是0，這就是不允許有任何失真的情況。允許平均失真度D能否達(dá)到其下限值0，與單個(gè)符號(hào)的失真函數(shù)有關(guān)。信源最小平均失真度Dmin：對(duì)于每一個(gè)xi，找出一個(gè)yj與之對(duì)應(yīng)，使d(xi,yj)最小，不同的xi對(duì)應(yīng)的最小d(xi,yj)也不同。這相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。對(duì)所有這些不同的最小值求數(shù)學(xué)期望，就是信源的最小平均失真度。11-Dec-2267信源最小平均失真度Dmin11-Dec-2217信源最大平均失真度Dmax信源最大平均失真度Dmax：所需的信息率越小，容忍的失真就越大。當(dāng)R(D)等于0時(shí)，對(duì)應(yīng)的平均失真最大，也就是函數(shù)R(D)定義域的上界值Dmax。信息率失真函數(shù)是平均互信息的極小值：當(dāng)R(D)=0時(shí)，即平均互信息的極小值等于0；當(dāng)D>Dmax時(shí)，從數(shù)學(xué)意義上講，因?yàn)镽(D)是非負(fù)函數(shù)，所以它仍只能等于0。這相當(dāng)于輸入X和輸出Y統(tǒng)計(jì)獨(dú)立。意味著在接收端收不到信源發(fā)送的任何信息，與信源不發(fā)送任何信息等效?；蛘哒f傳送信源符號(hào)的信息率可以壓縮至0。11-Dec-2268信源最大平均失真度Dmax11-Dec-2218結(jié)論：R(D)的定義域?yàn)?Dmin,Dmax)；一般情況下Dmin=0，R(Dmin)=H(X)；當(dāng)D≥Dmax時(shí)，R(D)=0；當(dāng)Dmin<D<Dmax時(shí)，0<R(D)<H(X)。率失真函數(shù)對(duì)允許平均失真度的下凸性：

對(duì)任一0≤θ≤1和任意平均失真度D’和D’’≤Dmax，有R[θD’+(1－θ)D’’]≤θR(D’)+(1－θ)R(D’’)由于函數(shù)R(D)具有凸?fàn)钚裕ＷC了它在定義域內(nèi)是連續(xù)的。在Dmin<D<Dmax范圍內(nèi)R(D)單調(diào)遞減。在連續(xù)信源時(shí)，當(dāng)D→0時(shí)，R(D)→∞，曲線將不與R(D)軸相交。11-Dec-2269結(jié)論：11-Dec-2219求信息率失真函數(shù)R(D)的方法信息率失真函數(shù)R(D)是假定信源給定的情況下，選擇試驗(yàn)信道，在用戶可以容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量。它反映的是信源可壓縮程度。率失真函數(shù)一旦找到，就與求極值過程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其R(D)是不同的。11-Dec-2270求信息率失真函數(shù)R(D)的方法11-Dec-2220離散信源率失真函數(shù)的參量表達(dá)式(1)求I(X;Y)極小值（即率失真函數(shù)R(D)）方法采用參量表示法，并用收斂迭代算法可以求出最小值，但是要得到它的顯式一般是很困難的，通常只能求出信息率失真函數(shù)的參量表達(dá)式。已知信源概率分布函數(shù)p(xi)和失真度d(xi,yj)，在滿足保真度準(zhǔn)則的條件下，在試驗(yàn)信道集合PD當(dāng)中選擇p(yj/xi)，使平均互信息11-Dec-2271離散信源率失真函數(shù)的參量表達(dá)式(1)求I(X;Y)極小值（(2)離散信源的信息率失真函數(shù)已知平均互信息在(4.2.5)的條件限制下求I(X;Y)的極值，引入?yún)⒘縎和μi(i=1,2,…,n)，構(gòu)造一個(gè)新函數(shù)ф(4.2.6)（S和μi為待定參量)離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2272(2)離散信源的信息率失真函數(shù)離散信源率失真函數(shù)的參量表離散信源率失真函數(shù)的參量表達(dá)式如果能求出使ф達(dá)到極小值的試驗(yàn)信道p(yj/xi)

，就能得到I(X;Y)的極小值。11-Dec-2273離散信源率失真函數(shù)的參量表達(dá)式如果能求出使ф達(dá)到極小值的試驗(yàn)離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2274離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2224離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2275離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2225第一步：求λi離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2276第一步：求λi離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2離散信源率失真函數(shù)的參量表達(dá)式第二步：求p(yj)第三步：求p(yj/xi)將解出的λi和求p(yj)代入式(4.2.10)，可求得mn個(gè)以S為參量的p(yj/xi)。11-Dec-2277離散信源率失真函數(shù)的參量表達(dá)式第二步：求p(yj)11-De第四步：求D(S)將這(4.2.10)的mn個(gè)p(yj/xi)代入(4.2.5)得到以S為參量的允許平均失真函數(shù)D(S)。離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2278第四步：求D(S)離散信源率失真函數(shù)的參量表達(dá)式11-Dec第五步：求R(S)將這(4.2.10)的mn個(gè)p(yj/xi)代入(4.2.4)得到以S為參量的率失真函數(shù)R(S)。離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2279第五步：求R(S)離散信源率失真函數(shù)的參量表達(dá)式11-Dec第六步：選擇使p(yj)非負(fù)的所有S，得到D和R值，可以畫出R(D)曲線，如圖4.2.1。離散信源率失真函數(shù)的參量表達(dá)式11-Dec-2280第六步：選擇使p(yj)非負(fù)的所有S，得到D和R值，可以畫出離散信源率失真函數(shù)的參量表達(dá)式(3)

參量S的說明可以證明S就是R(D)函數(shù)的斜率。由R(D)函數(shù)的遞減性，斜率S必然負(fù)值；S是D的遞增函數(shù)，D從0變到Dmax，S將逐漸增加；當(dāng)D=0時(shí)，R(D)的斜率S的最小值趨于負(fù)無窮。11-Dec-2281離散信源率失真函數(shù)的參量表達(dá)式(3)參量S的說明11-De離散信源率失真函數(shù)的參量表達(dá)式當(dāng)D=Dmax時(shí)：S達(dá)到最大；這個(gè)最大值也是某一個(gè)負(fù)值，最大是0。當(dāng)D>Dmax時(shí)：在D=Dmax處，除某些特例外，S將從某一個(gè)負(fù)值跳到0，S在此點(diǎn)不連續(xù)。在D的定義域[0,Dmax]內(nèi)，除某些特例外，S將是D的連續(xù)函數(shù)。11-Dec-2282離散信源率失真函數(shù)的參量表達(dá)式當(dāng)D=Dmax時(shí)：S達(dá)到最大；(1)二元離散信源的率失真函數(shù)

設(shè)二元信源

計(jì)算率失真函數(shù)R(D)二元離散信源的信息率失真函數(shù)11-Dec-22