第四信息率失真函數

第四信息率失真函數第一頁，共二十二頁，編輯于2023年，星期一4.1概念和定義

在實際應用場合，容許一定程度失真的情況比要求無失真的情況更為重要。信息率失真函數擬解決的問題：信息率和失真之間的關系。信息率失真理論的基本概念：在允許傳輸消息出現一定的失真時，傳輸該消息所需要的信息速率（最小值）將比不允許失真時小，且允許的失真愈大，則信息速率（最小值）允許減小的程度也愈大。在給定平均失真函數D的條件下，可以求出信息速率的最小值。第二頁，共二十二頁，編輯于2023年，星期一一、失真函數失真函數d(x,y)表征了接收消息y與發(fā)送消息x之間的定量失真度。即：d(x,y)∣x=ai,y=aj＝dij其中，失真函數dij是一個與失真情況相對應的非負實數：0，i＝jdij＝d,d＞0i≠j顯然：i＝j時，收發(fā)之間無失真，失真函數dij＝0i≠j時，意味著出現了失真，dij值的大小表示這種失真的程度。第三頁，共二十二頁，編輯于2023年，星期一若X集有N個符號，Y集有M個符號時，則聯合集上有N×M個不同i、j取值的失真函數。失真函數dij的二種表示方式：（1）矩陣表示法（2）連線表示法平均失真度：失真函數的統(tǒng)計平均值（數學期望）D數學式為：兩個L維矢量之間的失真函數為：信源的平均失真度：第四頁，共二十二頁，編輯于2023年，星期一若平均失真度不大于所允許的失真，則稱為保真度準則。二、信息率失真函數（率失真函數）當某條件概率P(yj/xi)能使互信息I最小，此時的I就稱為在保真度準則下所必須具有的最小信息速率，用R(D)表示。數學式為：R(D)＝minI(X;Y)＝minI(X;Y)其中PD為滿足失真條件的轉移概率Pji的集合，D為允許的失真。Pji∈PDd≤D第五頁，共二十二頁，編輯于2023年，星期一信息率失真函數R(D)定義：在給定信源消息的概率分布{P(xi)}及平均失真函數允許值D的前提下，傳輸這些信源消息并使其失真程度在允許范圍內時，所需要的信息傳輸速率的極小值。R(D)反映了信源可以壓縮的程度，是在滿足一定失真度要求下，信源可壓縮的最低值，對不同的信源，R(D)不同。第六頁，共二十二頁，編輯于2023年，星期一例4－1：設信源符號有2n種，且等概，失真函數定義為：dij＝0（i＝j時），dij＝1（i≠j時），允許平均失真D＝1/2，要傳送此信源，需要多少信息率？第七頁，共二十二頁，編輯于2023年，星期一課堂練習：設信源具有100個以等概率出現的符號，并以每秒發(fā)出1個符號的速率從信源輸出，試求在允許失真度D＝0.1的條件下，傳輸這些符號所需要的信息傳輸速率的大小。結論：在允許一定失真的條件下，信息傳輸速率可以減小，同時所需要的信道容量也可以相應地減小，允許的失真度愈大，則信息傳輸速率可被壓縮的程度亦愈大。第八頁，共二十二頁，編輯于2023年，星期一4.2信息率失真函數R(D)的性質一、當D＝0時，R(0)＝H(X)通常Dmin＝0；D＝0時不允許有失真；注意：D是否能達到0，與單個符號的失真函數有關，只有當失真矩陣中每行至少有一個0元素時，D才能達到0值。二、R(Dmax)＝0Dmax是平均失真度的上界值，使平均互信息量等于0時所允許的失真度。注意：D≥Dmax時，R(D)仍為0，R(D)的定義域為（0，Dmax）第九頁，共二十二頁，編輯于2023年，星期一三、在0～Dmax范圍內，R(D)是D上的凹函數（下凸函數）四、R(D)是D的單調遞減的連續(xù)函數如圖為R(D)的典型曲線：在連續(xù)信源的情況下，R(0)→∞，曲線不與R(D)軸相交。第十頁，共二十二頁，編輯于2023年，星期一4.3離散信源的R(D)函數的計算一、R(D)的參量表達式已知：其中：求R(D)就是求I的極值引入拉氏乘子S和ui，再對Pji求導，并令其為0，即第十一頁，共二十二頁，編輯于2023年，星期一幾個有用的結果：（1）（2）（3）信息率失真函數參量表達式：第十二頁，共二十二頁，編輯于2023年，星期一注意：參變數S是R(D)函數曲線的斜率，即：

dR/dD＝S，由于R(D)曲線是單調遞減的凹函數曲線，所以該曲線的斜率S為負值，同時，在D從0～Dmax過程中，S值逐漸增大（S的絕對值逐漸減小）。二、二元信源和對稱失真函數的R(D)函數信源概率：p1＝p≤1/2，p2＝1－p≥1/2失真函數：

dij

第十三頁，共二十二頁，編輯于2023年，星期一可見：平均失真函數D就是平均誤碼率。如圖為不同信源概率值的R(D)曲線：顯然Dmax＝p，R(Dmax)＝0第十四頁，共二十二頁，編輯于2023年，星期一結論：在信源壓縮問題中，規(guī)定D是一個困難的任務。實際中，失真總是可以容忍的，只是如何定義失真函數dij和規(guī)定可容許的D值，D↑→壓縮量↑→傳輸代價↓要發(fā)揮R(D)函數理論的作用，核心問題是研究失真函數和平均失真值的合理性問題，這須通過大量實驗才能達到。第十五頁，共二十二頁，編輯于2023年，星期一三、迭代算法基本步驟：1）任選一個Pji①代入下式，求得各qj①2）再代入下式求得各Pji②，依此類推，直到各階段的R(S)值穩(wěn)定為止。第十六頁，共二十二頁，編輯于2023年，星期一4.4連續(xù)信源的R(D)函數定義和表達式：設：平均失真≤允許失真度時，{P(y/x)}∈PD則定義連續(xù)信源的率失真函數R(D)為：R（D）＝InfI（P(y/x)）{P(y/x)}∈PD第十七頁，共二十二頁，編輯于2023年，星期一與離散情況類似，并設得公式：（1）

（2）（3）（4）第十八頁，共二十二頁，編輯于2023年，星期一常用方法：（1）分別求出p(x)和g(x)的特征函數（2）則：（3）若q0(x)符合概率密度函數的要求（非負性、歸一性），就可得到R(D)函數的參量表達式。第十九頁，共二十二頁，編輯于2023年，星期一例4－2：設連續(xù)信源的變量x服從正態(tài)分布，即定義失真函數且求信息率失真函數R(D)。解：第二十頁，共二十二頁，編輯于2023年，星期一給定允許失真度D＝－1/2S，即：上式為正態(tài)變量在均方誤差準則下的率失真函數。第二十一頁，共二