保真度準(zhǔn)則下的信源編碼

保真度準(zhǔn)則下的信源編碼第一頁，共四十頁，2022年，8月28日1、實(shí)際通信中存在失真。

在實(shí)際通信中，信源輸出的信息傳輸率總是大大超過信道容量，不可能實(shí)現(xiàn)完全無失真地傳輸信源的信息。此外，為了提高傳輸和存儲效率，必須進(jìn)行數(shù)據(jù)壓縮，這樣也會損失一定的信息，帶來失真。2、實(shí)際生活中允許有一定失真。在實(shí)際生活中，人們不一定要求完全無失真的恢復(fù)消息，也就是允許有一定的失真。引言第二頁，共四十頁，2022年，8月28日3、引出所研究的問題：允許一定失真下信源編碼。那么在允許一定程度失真的條件下，能夠把信源信息壓縮到什么程度，也就是，允許一定程度失真的條件下，如何能快速的傳輸信息，這就是本章所要討論的問題。本章所討論的內(nèi)容是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。

失真度如何表示？基于失真度定義的信息率失真函數(shù)及其性質(zhì)？什么是保真度準(zhǔn)則？在保真度準(zhǔn)則下如何進(jìn)行信源編碼？引言第三頁，共四十頁，2022年，8月28日第一節(jié)失真度和平均失真度第四頁，共四十頁，2022年，8月28日

1、失真度根據(jù)信道編碼定理，我們可以把信道編碼、信道和信道解碼等價(jià)成是一個(gè)沒有任何干擾的廣義信道，這樣收信者收到消息后，所產(chǎn)生的失真只是由信源編碼帶來的。我們也可以把信源編碼和信源譯碼等價(jià)成一個(gè)信道，稱此信道為試驗(yàn)信道。第一節(jié)失真度和平均失真度第五頁，共四十頁，2022年，8月28日現(xiàn)在我們要研究在給定允許失真的條件下，是否可以設(shè)計(jì)一種信源編碼使信息傳輸率為最低。為此，我們首先討論失真的測度。設(shè)信源變量為，其概率分布為對于每一對(u,v)，我們指定一個(gè)非負(fù)的函數(shù)稱為單個(gè)符號的失真度（或稱失真函數(shù)）。接收端（信宿）變量為。第一節(jié)失真度和平均失真度第六頁，共四十頁，2022年，8月28日失真函數(shù)用來表征信源發(fā)出一個(gè)符號，而在接收端再現(xiàn)成符號所引起的誤差或失真。d越小表示失真越小，等于0表示沒有失真?？梢詫⑺械氖д婧瘮?shù)排列成矩陣的形式：我們稱它為失真矩陣。第一節(jié)失真度和平均失真度第七頁，共四十頁，2022年，8月28日例1：失真矩陣為：這種失真稱為漢明失真。在二元情況下：第一節(jié)失真度和平均失真度第八頁，共四十頁，2022年，8月28日[例2]二元刪除信道X={0,1};Y={0,2,1}[P]=02101-pp010p1-p

01-p0pp

11-p12回憶：二元刪除信道第九頁，共四十頁，2022年，8月28日

這種信道實(shí)際是存在的。假如有一個(gè)實(shí)際信道，它的輸入時(shí)代表0和1的兩個(gè)正、負(fù)方波信號，如圖3.5(a)所示。那么，信道輸出送入譯碼器的將是受干擾后的方波信號R(t)，如圖3.5(b)所示。我們可以用積分I=來判別發(fā)送的信號是“0”，還是“1”。如果I是正的，且大于某一電平，那么判別發(fā)送的是“0”；若I是負(fù)的，且小于某一電平，則判別發(fā)送的是“1”。而若I的絕對值很小，不能做出確切的判斷，就認(rèn)為接收到的是特殊符號“2”，假如信道干擾不是很嚴(yán)重的話，那么，10和01的可能性要比02和12的可能性小的多，所以假設(shè)P(y=1|x=0)=P(y=0|x=1)=0是較合理的。

01-p0pp

11-p12第十頁，共四十頁，2022年，8月28日例2：刪除信源對于二元刪除信源r=2，s=3，失真度為第一節(jié)失真度和平均失真度第十一頁，共四十頁，2022年，8月28日例3：對稱信源r=s，定義失真度為：當(dāng)r=s=3時(shí)，失真矩陣為：第一節(jié)失真度和平均失真度平方誤差失真第十二頁，共四十頁，2022年，8月28日第一節(jié)失真度和平均失真度2、平均失真度第十三頁，共四十頁，2022年，8月28日第一節(jié)失真度和平均失真度若平均失真度不大于我們所允許的失真D，我們稱此為保真度準(zhǔn)則。凡滿足保真度準(zhǔn)則的這些試驗(yàn)信道稱為D失真許可的試驗(yàn)信道。把所有D失真許可的試驗(yàn)信道組成一個(gè)集合，用符號BD表示。第十四頁，共四十頁，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)第十五頁，共四十頁，2022年，8月28日回憶：互信息

事件是否發(fā)生具有不確定性，用度量。接收到符號后，事件是否發(fā)生仍保留有一定的不確定性，用度量。觀察事件前后，這兩者之差就是通信過程中所獲得的信息量，用表示，稱為事件和事件之間的互信息量。第十六頁，共四十頁，2022年，8月28日

I(X;Y)=H(X)-H(X|Y)

因?yàn)镠(X)表示傳輸前信源的不確定性，而H(X|Y)表示收到符號后，對信源尚存的不確定性，所以二者之差是信道傳遞的信息量。

P(x)平均互信息定義：互信息I(x:y)在兩個(gè)概率空間X和Y中求統(tǒng)計(jì)平均的結(jié)果；先驗(yàn)熵與信道疑義度之差。回憶：平均互信息第十七頁，共四十頁，2022年，8月28日

定理3.1：平均互信息I(X;Y)是輸入信源概率分布P(x)的型凸函數(shù)（又稱上凸函數(shù)）。

這就是說，對于一定的信道轉(zhuǎn)移概率分布，總可以找到某一個(gè)先驗(yàn)概率分布的信源X，使平均互信息量達(dá)到相應(yīng)的最大值Imax，這時(shí)稱這個(gè)信源為該信道的匹配信源?？梢哉f不同的信道轉(zhuǎn)移概率對應(yīng)不同的Imax。因此，當(dāng)固定某信道時(shí)，選擇不同的信源（其概率分布不同）與信道連接，在信道輸出端接收到每個(gè)符號后獲得的信息量是不同的。對于每一個(gè)固定的信道，一定存在一個(gè)某種概率分布的信源，使輸出端獲得的平均信息量為最大?；貞洠浩骄バ畔⒌男再|(zhì)第十八頁，共四十頁，2022年，8月28日

定理3.2平均互信息I(X;Y)信道傳遞概率P(y|x)的U型凸函數(shù)（又稱下凸函數(shù)）。這就是說，對于一個(gè)已知先驗(yàn)概率為P(X)的離散信源，總可以找到某一個(gè)轉(zhuǎn)移概率分布的信道，使平均互信息量達(dá)到相應(yīng)的最小值Imin?？梢哉f不同的信源先驗(yàn)概率對應(yīng)不同的Imin?；蛘哒fImin是P(X)的函數(shù)。即平均互信息量的最小值體現(xiàn)了信源本身的特性。因此，當(dāng)信源固定后，選擇不同的信道來傳輸同一信源符號時(shí)，在信道的輸出端獲得關(guān)于信源的信息量是不同的。對每一種信源都存在一種最差的信道，此信道的干擾（噪聲）最大，而輸出端獲得的信息量最小?；貞洠浩骄バ畔⒌男再|(zhì)第十九頁，共四十頁，2022年，8月28日對于一個(gè)固定的信道，總存在一種信源（概率分布為P(x)），使傳輸每個(gè)符號平均獲得的信息量最大，定義這個(gè)最大的信息傳輸率為信道容量C，單位是比特/符號，即

信道容量是完全描述信道特性的參量，是信道能夠傳輸?shù)淖畲笮畔⒘俊?/p>

回憶：平均互信息與信道容量第二十頁，共四十頁，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)1、信息率失真函數(shù)

當(dāng)信源和失真函數(shù)給定后，我們總希望在滿足保真度準(zhǔn)則下尋找平均互信息的最小值。也就是在中找一個(gè)信道，使平均互信息取極小值。這個(gè)最小值就是在的條件下，信源必須傳輸?shù)淖钚∑骄畔⒘俊?/p>

改變試驗(yàn)信道求平均互信息的最小值，實(shí)質(zhì)上是選擇一種編碼方式使信息傳輸率為最小?，F(xiàn)在我們要研究在給定允許失真的條件下，設(shè)計(jì)一種信源編碼使信息傳輸率為最低。從接收端來看，就是在滿足保真度準(zhǔn)則下，尋找再現(xiàn)信源消息所必須獲得的最低平均信息量。第二十一頁，共四十頁，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)2、信息率失真函數(shù)的性質(zhì)

1)、R(D)的定義域是

(1)、和允許失真度D的最小值為0，即不允許有失真，R(0)的最小值為H(U)，即信息傳輸率至少為信源的信息熵。例：滿足最小失真度的試驗(yàn)信道是一個(gè)無噪無損信道：第二十二頁，共四十頁，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)(2)因?yàn)镈越大，R(D)越小，最小為0，當(dāng)D再大時(shí)，R(D)也只能為0，此時(shí)，發(fā)送與接收統(tǒng)計(jì)獨(dú)立，即：失真度函數(shù)變?yōu)椋寒?dāng)時(shí)，而當(dāng)時(shí)，

可以這樣選，當(dāng)最小時(shí)，取等于1，則：

所以，就是在R(D)=0的情況下，求的最小值第二十三頁，共四十頁，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)2)、R(D)是D的下凸函數(shù)0DR(D)第二十四頁，共四十頁，2022年，8月28日第二節(jié)信息率失真函數(shù)及其性質(zhì)3)、

R(D)函數(shù)的單調(diào)遞減性和連續(xù)性第二十五頁，共四十頁，2022年，8月28日第三節(jié)二元信源和離散對稱信源的R(D)函數(shù)第二十六頁，共四十頁，2022年，8月28日第三節(jié)

二元信源和離散對稱信源的R(D)函數(shù)1、二元對稱信源的R(D)函數(shù)第二十七頁，共四十頁，2022年，8月28日要達(dá)到最大允許失真，唯一確定此時(shí)，可計(jì)算得信息傳輸率一般情況下，當(dāng)時(shí)，第三節(jié)

二元信源和離散對稱信源的R(D)函數(shù)在漢明失真度下，平均失真度等于平均錯(cuò)誤率。第二十八頁，共四十頁，2022年，8月28日可以計(jì)算得：二元信源的信息率失真函數(shù)為在漢明失真條件下，例：第三節(jié)

二元信源和離散對稱信源的R(D)函數(shù)

對于離散對稱信源，在漢明失真條件下：第二十九頁，共四十頁，2022年，8月28日第四節(jié)保真度準(zhǔn)則下的信源編碼定理第三十頁，共四十頁，2022年，8月28日第四節(jié)保真度準(zhǔn)則下的信源編碼定理使編碼后的每個(gè)信源符號的信息傳輸率滿足：該定理告訴我們：即，而碼的平均失真度。

第三十一頁，共四十頁，2022年，8月28日

該定理告訴我們：如果編碼后平均每個(gè)信源符號的信息傳輸率小于信息率失真函數(shù)，就不能在保真度準(zhǔn)則下再現(xiàn)信源的消息。第四節(jié)保真度準(zhǔn)則下的信源編碼定理第三十二頁，共四十頁，2022年，8月28日第五節(jié)聯(lián)合有失真信源信道編碼定理第三十三頁，共四十頁，2022年，8月28日第五節(jié)聯(lián)合有失真信源信道編碼定理第三十四頁，共四十頁，2022年，8月28日第六節(jié)限失真信源編碼定理的實(shí)用意義第三十五頁，共四十頁，2022年，8月28日第六節(jié)限失真信源編碼定理的實(shí)用意義例：要對此信源進(jìn)行無失真編碼，每個(gè)信源符號必須用一個(gè)二元符號來表示，信源的信息輸出率為R=H=1。若允許失真存在，并定義失真函數(shù)為漢明失真，即可以設(shè)想這樣一種信源編碼：無噪無損信道傳輸?shù)谌?，共四十頁?022年，8月28日第六節(jié)限失真信源編碼定理的實(shí)用意義UVYf(U)失真信源編碼碼字C=(0，1)實(shí)際信道譯碼U000，101，100，110，011，111，001，······V000，111，000，111，111，111，000，······C0，1，0，1，1，1，0，······Y0，1，0，1，1，1，0，······000，111，000，111，111，111，000，······編碼譯碼