《信息論與編碼》課件第4章

1、第4章信息率失真函數(shù) 本章主要討論在信源允許一定失真情況下所需的最少信息率，從分析失真函數(shù)、平均失真出發(fā)，求出信息率失真函數(shù)R（D） 。 4.1 平均失真和信息率失真函數(shù)4.2 離散信源和連續(xù)信源的R（D）計(jì)算14.1 平均失真和信息率失真函數(shù)4.1.1 失真函數(shù)4.1.2 平均失真4.1.3 信息率失真函數(shù)R(D)4.1.4 信息率失真函數(shù)的性質(zhì)24.1 平均失真和信息率失真函數(shù) 在實(shí)際問(wèn)題中，信號(hào)有一定的失真是可以容忍的。但是當(dāng)失真大于某一限度后，信息質(zhì)量將被嚴(yán)重?fù)p傷，甚至喪失其實(shí)用價(jià)值。要規(guī)定失真限度，必須先有一個(gè)定量的失真測(cè)度。為此可引入失真函數(shù)。34.1.1 失真函數(shù) 假如某一信源X

2、，輸出樣值為xi，xia1,an，經(jīng)過(guò)有失真的信源編碼器，輸出Y，樣值為yj，yj b1,bm。如果xiyj，則認(rèn)為沒(méi)有失真；如果xi yj，那么就產(chǎn)生了失真。失真的大小，用一個(gè)量來(lái)表示，即失真函數(shù)d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函數(shù)定義為 4失真矩陣 單個(gè)符號(hào)的失真度的全體構(gòu)成的矩陣 ，稱為失真矩陣5最常用的失真函數(shù) 均方失真：相對(duì)失真：誤碼失真：絕對(duì)失真：前三種失真函數(shù)適用于連續(xù)信源，后一種適用于離散信源。 6 失真函數(shù)的定義可以推廣到序列編碼情況，如果假定離散信源輸出符號(hào)序列X=(X1X2XlXL)，其中L長(zhǎng)符號(hào)序列樣值xi(xi1xi2xilxiL)，經(jīng)

3、信源編碼后，輸出符號(hào)序列Y=(Y 1Y 2Y lY L)，其中L長(zhǎng)符號(hào)序列樣值yj(yj1yj2yjlyjL)，則失真函數(shù)定義為： 其中d(xil，yjl)是信源輸出L長(zhǎng)符號(hào)樣值xi中的第l個(gè)符號(hào)xil時(shí)，編碼輸出L長(zhǎng)符號(hào)樣值yj中的第l個(gè)符號(hào)yjl的失真函數(shù)。 74.1.2 平均失真 由于xi和yj都是隨機(jī)變量，所以失真函數(shù)d(xi，yj)也是隨機(jī)變量，限失真時(shí)的失真值，只能用它的數(shù)學(xué)期望或統(tǒng)計(jì)平均值，因此將失真函數(shù)的數(shù)學(xué)期望稱為平均失真，記為 信源編碼器8對(duì)于連續(xù)隨機(jī)變量同樣可以定義平均失真對(duì)于L長(zhǎng)序列編碼情況，平均失真為 94.1.3 信息率失真函數(shù)R(D)信源編碼器XY假想信道將信源編

4、碼器看作信道104.1.3 信息率失真函數(shù)R(D)給出一個(gè)失真的限制值D，在滿足平均失真 D的條件下，選擇一種編碼方法使信息率R盡可能小。信息率R就是所需輸出的有關(guān)信源X的信息量。11（1）D允許試驗(yàn)信道 平均失真由信源分布p(xi)、假想信道的轉(zhuǎn)移概率p(yj/xi)和失真函數(shù)d(xi，yj)決定，若p(xi)和d(xi，yj)已定，則可給出滿足x下式條件的所有轉(zhuǎn)移概率分布pij，它們構(gòu)成了一個(gè)信道集合PD稱為D允許試驗(yàn)信道。 12（2）信息率失真函數(shù)R(D) 由于互信息取決于信源分布和信道轉(zhuǎn)移概率分布，當(dāng)p(xi)一定時(shí)，互信息I是關(guān)于p(yj/xi) 的U型凸函數(shù)，存在極小值。因而在上述

5、允許信道PD中，可以尋找一種信道pij，使給定的信源p(xi)經(jīng)過(guò)此信道傳輸后，互信息I(X；Y)達(dá)到最小。該最小的互信息就稱為信息率失真函數(shù)R(D)，即 13對(duì)于離散無(wú)記憶信源，R(D)函數(shù)可寫成 p(ai)，i1，2，n 是信源符號(hào)概率分布； p(bj/ai)，i1，2，n，j1，2，m 是轉(zhuǎn)移概率分布 p(bj)，j1，2，m 是接收端收到符號(hào)概率分布。 14 例4-1-3 設(shè)信源的符號(hào)表為Aa1，a2，a2n，概率分布為p(ai)1/2n，i1，2，2n，失真函數(shù)規(guī)定為 即符號(hào)不發(fā)生差錯(cuò)時(shí)失真為0，一旦出錯(cuò)，失真為1，試研究在一定編碼條件下信息壓縮的程度。154.1.4 信息率失真函數(shù)

6、的性質(zhì)R(D)函數(shù)的定義域 Dmin和R(Dmin) Dmin0 對(duì)于連續(xù)信源 16 (2) Dmax和R(Dmax)選擇所有滿足R(D)0中D的最小值，定義為R(D)定義域的上限D(zhuǎn)max，即因此可以得到R(D)的定義域?yàn)?7Dmax是這樣來(lái)計(jì)算的。R(D)0就是I(X;Y)0，這時(shí)試驗(yàn)信道輸入與輸出是互相獨(dú)立的，所以條件概率p(yj/xi)與xi無(wú)關(guān)。即18求出滿足條件 的D中的最小值 ，即此時(shí)平均失真為19從上式觀察可得：在j=1，m中，可找到 值最小的j，當(dāng)該j對(duì)應(yīng)的pj1，而其余pj為零時(shí)，上式右邊達(dá)到最小，這時(shí)上式可簡(jiǎn)化成20例4-1-4 設(shè)輸入輸出符號(hào)表為XY0，1，輸入概率分布p

7、(x)=1/3，2/3，失真矩陣為21解：當(dāng)Dmin0時(shí)，R(Dmin)H(X)H(1/3，2/3)0.91比特/符號(hào)，這時(shí)信源編碼器無(wú)失真，所以該編碼器的轉(zhuǎn)移概率為 22當(dāng)R(Dmax)0時(shí) 此時(shí)輸出符號(hào)概率p(b1)0，p(b2)1， 所以這時(shí)的編碼器的轉(zhuǎn)移概率為 232、R(D)函數(shù)的下凸性和連續(xù)性 3、R(D)函數(shù)的單調(diào)遞減性 容許的失真度越大，所要求的信息率越小。反之亦然。 24綜上所述，可以得出如下結(jié)論：R(D)是非負(fù)的實(shí)數(shù)，即R(D) 0。其定義域?yàn)?Dmax，其值為0H(X)。當(dāng)DDmax時(shí)， R(D) 0。R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。R(D)是關(guān)于D

8、的嚴(yán)格遞減函數(shù)。25由以上三點(diǎn)結(jié)論，對(duì)一般R(D)曲線的形態(tài)可以畫出來(lái) R(D)H(X)R(D) 0 D Dmax DR(D) 0 Dmax D 信息率失真曲線264.2 離散信源和連續(xù)信源的R（D）計(jì)算 某些特殊情況下R（D）的表示式為： （1）當(dāng)d(x,y)=(x-y)2， 時(shí)，27(2)當(dāng)d(x,y)=|x-y|， 時(shí)， (3)當(dāng)d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時(shí)，R(D)=H(p)H(D) 28這些R（D）可畫成圖4-5的三條曲線 0 Dmax D R(D) H(3)(1)(2)圖4-5 信息率失真函數(shù)R(D)29例4-2-1 設(shè)輸入輸出符號(hào)表為XY0，1，輸入概率分布p(x)=