第8次課ch4率失真-1

第8次課3.4連續(xù)信道及其容量3.4.1連續(xù)單符號(hào)加性信道3.4.2多維無(wú)記憶加性連續(xù)信道3.4.3限時(shí)限頻限功率加性高斯白噪聲信道回憶C＝1/2log(1+SNR)

噪聲均值為零、方差不同，總平均功率受限P，用注水法分配功率。無(wú)失真時(shí)：R=H(X)有失真時(shí)：R=R(D)=H(X)－H(X/Y)H(X)H(X/Y)：由于壓縮編碼損失的信息回憶信源編碼器H(X)R信源4.2信息率失真函數(shù)的性質(zhì)R(D)函數(shù)的定義域

⑴Dmin和R(Dmin)Dmin＝0

，無(wú)失真

對(duì)于連續(xù)信源

討論何時(shí)Dmin=0?只有當(dāng)失真矩陣中每行至少有一個(gè)零元素。何時(shí)R(0)=H(X)?只有當(dāng)失真矩陣中每行至少有一個(gè)零，并每一列最多只有一個(gè)零。否那么R(0)可以小于H(X)，表示這時(shí)信源符號(hào)集中有些符號(hào)可以壓縮、合并而不帶來(lái)任何失真。(2)Dmax和R(Dmax)

R(Dmax)=0

選擇所有滿足R(D)＝0中D的最小值，定義為R(D)定義域的上限D(zhuǎn)max，即因此可以得到R(D)的定義域?yàn)镈max=?R(D)＝0就是I(X;Y)＝0，這時(shí)試驗(yàn)信道輸入與輸出是互相獨(dú)立的，所以條件概率p(yj/xi)與xi無(wú)關(guān)。即需滿足條件從上式觀察可得：在j=1，…，m中，可找到值最小的j，當(dāng)該j對(duì)應(yīng)的pj＝1，而其余pj為零時(shí)，上式右邊到達(dá)最小，這時(shí)上式可簡(jiǎn)化成例設(shè)輸入輸出符號(hào)表為X＝Y(jié){0，1}，輸入概率分布p(x)={1/3，2/3}，失真矩陣為解：當(dāng)Dmin＝0時(shí)，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符號(hào)，這時(shí)信源編碼器無(wú)失真，所以該編碼器的轉(zhuǎn)移概率為當(dāng)R(Dmax)＝0時(shí)

此時(shí)輸出符號(hào)概率p(b1)＝0，p(b2)＝1，

所以這時(shí)的編碼器的轉(zhuǎn)移概率為

2.R(D)的下凸性證明思路:設(shè)D=D1+(1-)D2,(01)再證:R(D1+(1-)D2)R(D1)+(1-)R(D2)3.R(D)的單調(diào)遞減性和連續(xù)性假設(shè)D>D’,PDPD’(選擇pji的范圍大)

(連續(xù)性證明從略)綜上所述，可以得出如下結(jié)論：R(D)是非負(fù)的實(shí)數(shù)，即R(D)0。其定義域?yàn)镈min～Dmax，其值為0～H(X)。當(dāng)D>Dmax時(shí)，R(D)0。R(D)是關(guān)于D的下凸函數(shù)，因而也是關(guān)于D的連續(xù)函數(shù)。R(D)是關(guān)于D的嚴(yán)格遞減函數(shù)。容許的D越大，所要求的R越小。反之亦然。由以上三點(diǎn)結(jié)論，對(duì)一般信息率失真R(D)曲線的形態(tài)可以畫出來(lái)：

R(D)H(X)R(D)0DDmaxDR(D)0DmaxD

離散系統(tǒng)連續(xù)系統(tǒng)4.3.1R(D)的參量表示4.3.2二元信源的R(D)4.3.3離散對(duì)稱信源的R(D)4.3.4迭代計(jì)算4.3離散信源R(D)的計(jì)算4.3.1R(D)的參量表示信源概率分布pi和給定失真矩陣[dij]，求R(D)。?I(pij)是pij的下凸函數(shù)，但通過(guò)求條件極值難以得到R(D)顯式，通常先求參量表示式。(1)(2)用拉格朗日乘子法有令(4)式兩邊對(duì)j求和得(5)(3)(4)可解得：(4)式兩邊乘以pi再對(duì)i求和得(6)解(6)式得i，解(5)式得qj。將(4)式代入(2)式得到以s為參量的D(s)(7)(8)將(4)式代入(1)式得到以s為參量的R(s)將i和qj代入(7)式得到S(D)，再代入(8)式消去參量S，就可得到R(D)。注意:qj應(yīng)確保為非負(fù)，否那么計(jì)算失效。4.3.2二元信源的R(D)函數(shù):P(a1)=p,P(a2)=1-p,p1/2,求:R(D)解：(1)Dmin＝0，R(0)=H(X)=H(p)，(2)R(Dmax)＝0，(3)當(dāng)0<D<Dmax

時(shí)，用參量法：解(6)式方程組可求得：

解(5)式方程組可求得：

代入(7)、(8)式得：消去s得：從(4)式得：1.00.80.60.40.20.0

0.10.20.30.40.5DR(D)/bitp=0.5p=0.3p=0.2p=0.1R(D)=H(p)－H(D)，p為參數(shù)信源分布越均勻，R(D)越大，信源壓縮的可能性越??；信源分布不均勻，冗余度大，R(D)小，信源壓縮的可能性越大；H(X/Y)H(Pe)+Pelog(r-1)H(Pe)是錯(cuò)誤概率Pe的熵，表示產(chǎn)生錯(cuò)誤概率Pe的不確定度。接收到Y(jié)后還留有對(duì)X的平均不確定度H(X/Y)可分為兩局部：接收到Y(jié)后判決是對(duì)還是錯(cuò)的不確定度H(Pe)；判決錯(cuò)誤Pe發(fā)生后，為了確定到底是哪個(gè)輸入符號(hào)發(fā)送而造成錯(cuò)誤的最大不確定度Pelog(r-1)。Fano不等式Fano不等式該不等式表示信道疑義度H(X/Y)與平均錯(cuò)誤概率Pe之間的關(guān)系。對(duì)于給定的信源、信道及編譯碼規(guī)那么，即給定了聯(lián)合空間{(x,y),p(x,y)}，疑義度H(X/Y)=H(X)-I(X;Y)就可被確定，它是信源熵超過(guò)I(X;Y)的局部，這個(gè)值就給定了譯碼錯(cuò)誤概率的下限。例P(a1)=p,P(a2)=1-p,p1/2，用方諾不等式求R(D)。解：Dmin和Dmax時(shí)與前面相同。當(dāng)0<D<Dmax時(shí)，用方諾不等式。因?yàn)镈=E(d)=P01+P10=Pe4.3.3離散對(duì)稱信源的R(D)X={x1,x2,…,xn}，等概分布pi=1/n，那么不止一種據(jù)方諾不等式根據(jù)R(D)的定義，必須找到一個(gè)試驗(yàn)信道使其平均互信息到達(dá)上式右邊最小值。可選擇一個(gè)反向信道：

計(jì)算得到p(y)=1/n，再算得E[d]、H(X/Y)和R(D)，可驗(yàn)證該試驗(yàn)信道滿足平均失真度要求。n元對(duì)稱信源對(duì)于同一失真度D，n越大，R(D)越大，信源壓縮性越小。3.02.01.00.20.40.60.81.0DR(D)n=8n=4n=24.3.4R(D)迭代計(jì)算?出發(fā)點(diǎn):?定義當(dāng)S<0,設(shè)只要找到，并將其代入(2)式,用反證法可證得:

(1)(2)(3)(4)即為R(D)參量表達(dá)式,且對(duì)pij,qj呈下凸函數(shù)。故迭代的依據(jù)是求出滿足minF的,再求R(s),D(s)。?迭代公式:(1)給定pij,以qj為變量,求約束條件為時(shí)的minF。迭代公式1:(5)(6)(2)qj給定,以pij為變量求滿足pij歸1約束條件下的minF。迭代公式2:迭代步驟:Step1.選初始Step2.將代入迭代公式1,求出和R(s)(1,1);Step3.將代入迭代公式2,求出和R(s)(2,1)???直至R(s)(k+1,k)－R(s)(k,k)滿足容差為止。Step4.假定一個(gè)較負(fù)的s值,求相應(yīng)的D(s),R(s);

再增大s,繼續(xù)計(jì)算相應(yīng)的D(s),R(s);

直至S=Smax,R(Smax)=0。這些S的R(S)和D(S)值就可得到R(D)的曲線。

該方法與信道容量的迭代算法流程有相似之處，但現(xiàn)在是計(jì)算R(D)函數(shù)隨D變化的一條曲線，而信道容量只是計(jì)算某一個(gè)具體值。4.4連續(xù)信源的R(D)函數(shù)1.定義

XR,YR,p(x),p(y)記為p,q(y)；失真函數(shù)d(x,y)平均失真互信息令p(y/x)PD,那么定義:Inf(infimum)下確界連續(xù)函數(shù)集中可能不存在極小值，但存在下確界。連續(xù)信源的率失真函數(shù)仍滿足性質(zhì)：在內(nèi)嚴(yán)格遞減。R(D)函數(shù)的計(jì)算仍是求極值的問(wèn)題，同樣可用拉格朗日乘子法。某些特殊情況下R(D)的表示式為：(2)當(dāng)d(x,y)=|x-y|，時(shí)，(3)當(dāng)d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p時(shí)，

R(D)=H(p)－H(D)

(1)當(dāng)d(x,y)=(x-y)2，時(shí)，這些R(D)可畫成三條曲線0DmaxDR(D)H(3)(1)(2)

信息率失真函數(shù)R(D)第4章復(fù)習(xí)失真函數(shù)平均失真信息率失真函數(shù)R(D)Dmin＝0，信道容量C率失真函數(shù)R(D)R(D)與C的比較研究對(duì)象信道信源給定條件信道轉(zhuǎn)移概率p(yj/xi)信源分布p(xi)選擇參數(shù)信源分布p(xi)信源編碼器編碼方法p(yj/xi)限制條件結(jié)論I(X;Y)=H(X)-H(X/Y)噪聲干擾消失的信息量H(X/Y)壓縮損失的信息量H(X/Y)問(wèn)題的提出對(duì)于通信系統(tǒng)，如何提高通信的有效性和可靠性？----編碼理論上計(jì)算所得的最大或最小信息率(信道容量C、率失真函數(shù)R(D))是否能到達(dá)或逼近?討論內(nèi)容：編碼分為信源編碼和信道編碼，其中信源編碼又分為無(wú)失真和限失真。無(wú)失真離散信源編碼定理(定長(zhǎng)/變長(zhǎng))限失真信源編碼定理信道編碼定理第5章編碼定理

第5章編碼定理5.1無(wú)失真離散信源編碼定理5.2限失真信源編碼定理5.3信道編碼定理5.4聯(lián)合信源信道編碼定理信源存在冗余度原因是信源符號(hào)之間存在概率分布不均勻和相關(guān)性。信源編碼的主要任務(wù)就是減少冗余，提高編碼效率。信源壓縮編碼的根本途徑有兩個(gè)：使序列中的各個(gè)符號(hào)盡可能地互相獨(dú)立，即解除相關(guān)性；使編碼后各個(gè)符號(hào)出現(xiàn)的概率盡可能地相等，即概率均勻化。5.1無(wú)失真離散信源編碼定理信源編碼的作用可歸納為：(1)符號(hào)變換：使信源的輸出符號(hào)與信道的輸入符號(hào)相匹配；(2)冗余度壓縮：使編碼效率等于或接近100％。5.1無(wú)失真離散信源編碼定理將信源消息分成假設(shè)干組，即符號(hào)序列xi，xi＝(xi1xi2…xil…xiL)，xilA={a1，a2，…，ai，…，an}每個(gè)符號(hào)序列xi依照固定碼表映射成一個(gè)碼字yi，yi＝(yi1yi2…yil…yiL)，yilB={b1，b2，…，bi，…，bm}這樣的碼稱為分組碼，有時(shí)也叫塊碼。只有分組碼才有對(duì)