[物理]信道與信道容量PPT課件

信道與信道容量,第三章,.,2,3.1信道分類和表示參數(shù)3.2離散單個符號信道及其容量3.3離散序列信道及其容量3.4連續(xù)信道及其容量,內(nèi)容,.,3,信道,設(shè)信道的輸入X=(X1,X2Xi,),Xia1an輸出Y=(Y1,Y2Yj,),Yjb1bm信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計依賴關(guān)系,反映信道統(tǒng)計關(guān)系,信道,X,Y,p(Y|X),.,4,無干擾(無噪聲)信道,無干擾(無噪聲)信道信道的輸出信號Y與輸入信號X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:,.,5,有干擾無記憶信道,有干擾無記憶信道信道的輸出信號Y與輸入信號X之間沒有確定的關(guān)系,但轉(zhuǎn)移概率滿足:,有干擾無記憶信道可分為:二進(jìn)制離散信道離散無記憶信道離散輸入、連續(xù)輸出信道波形信道,.,6,離散無記憶信道DMC,信道輸入是n元符號Xa1,a2,an信道輸出是m元符號Yb1,b2,bm轉(zhuǎn)移矩陣已知X,輸出Y統(tǒng)計特性,.,7,3.2離散單個符號信道及其容量,.,8,信道容量,平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。,信道的信息傳輸率就是平均互信息,.,9,信道容量,信道容量C：最大的信息傳輸率,單位時間的信道容量：,.,10,信道容量的計算,對于一般信道,信道容量計算相當(dāng)復(fù)雜,我們只討論某些特殊類型的信道：離散信道可分成：無干擾(無噪)信道無噪無損信道有噪無損信道無噪有損信道有干擾無記憶信道有干擾有記憶信道,.,11,無干擾離散信道,無噪無損信道,有噪無損信道,無噪有損信道,.,12,3.2.1對稱DMC信道,對稱離散信道：對稱性:每一行都是由同一集p1,p2,pm的諸元素不同排列組成輸入對稱每一列都是由集q1,q2,qn的諸元素不同排列組成輸出對稱,滿足對稱性,所對應(yīng)的信道是對稱離散信道。,.,13,對稱DMC信道,信道矩陣,不具有對稱性,因而所對應(yīng)的信通不是對稱離散信道。,.,14,對稱DMC信道,若輸入符號和輸出符號個數(shù)相同,都等于n,且信道矩陣為,此信道稱為強(qiáng)對稱信道(均勻信道)信道矩陣中各列之和也等于1,.,15,對稱DMC信道,對稱離散信道的平均互信息為,.,16,對稱DMC信道,對稱DMC信道的容量：,上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對稱信道矩陣中行矢量p1,p2,pm和輸出符號集的個數(shù)m有關(guān)。,強(qiáng)對稱信道的信道容量：,.,17,設(shè)二進(jìn)制對稱信道的輸入概率空間信道矩陣：,BSC信道容量,.,18,.,19,BSC信道容量,當(dāng)p固定時,I(X,Y)是的U型上凸函數(shù)。,I(XY),BSC信道容量,1-H(p),I(X,Y)對存在一個極大值。,.,20,p,C,當(dāng)固定信源的概率分布時,I(X,Y)是p的型下凸函數(shù)。,信道無噪聲,當(dāng)p=0,C=10=1bit=H(X),當(dāng)p=1/2,信道強(qiáng)噪聲,BSC信道容量,BSC信道容量,.,21,信道容量,定理：給定轉(zhuǎn)移概率矩陣P后,平均互信息I(X;Y)是輸入信源的概率分布p(ai)的型上凸函數(shù)。,定理：平均互信息I(X;Y)是信道傳遞概率p(bj|ai)的型凸函數(shù)。,信道容量是完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊?.,22,當(dāng)信源輸入符號的速率為rs(符/秒),信道容量,BSC信道容量,實(shí)際信息傳輸速率Rt為,進(jìn)入信道輸入端的信息速率,.,23,例BSC信道如圖,rs=1000符號/秒,錯誤傳遞概率p=0.1求:信道容量,0,Y,0.9,1,0.1,輸入符號等概時有最大信息傳輸速率,信道實(shí)際信息傳輸速率,X,.,24,串聯(lián)信道,例3-3設(shè)有兩個離散BSC信道,串接如圖,兩個BSC信道的轉(zhuǎn)移矩陣為:,X0,0Z,Y,1,1,1-p,1-p,1-p,p,串聯(lián)信道的轉(zhuǎn)移矩陣為:,1-p,p,.,25,串聯(lián)信道,X0,0Z,Y,1,1,求得:,在實(shí)際通信系統(tǒng)中,信號往往要通過幾個環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯(lián)信道。,p,p,1-p,1-p,1-p,1-p,.,26,串聯(lián)信道,由信息不增原理,信道2,信道m(xù),信道1,可以看出,串接的信道越多,其信道容量可能會越小,當(dāng)串接信道數(shù)無限大時,信道容量可能會趨于0,X,Y,Z,.,27,3.2.3準(zhǔn)對稱DMC信道,準(zhǔn)對稱信道轉(zhuǎn)移概率矩陣P是輸入對稱而輸出不對稱將信道矩陣P的列劃分成若干個互不相交的子集mk,由mk為列組成的矩陣Pk是對稱矩陣。,它們滿定對稱性,所以P1所對應(yīng)的信道為準(zhǔn)對稱信道。,.,28,準(zhǔn)對稱信道的信道容量,準(zhǔn)對稱信道,準(zhǔn)對稱信道容量,.,29,準(zhǔn)對稱信道的信道容量,當(dāng)輸入分布為等概率時：,其中n是輸入符號集的個數(shù),(p1,p2,pm)為準(zhǔn)對稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個互不相交的子集。Nk是第k個子矩陣Pk中行元素之和,Mk是第k個子矩陣Pk中列元素之和。,.,30,例：設(shè)信道傳遞矩陣為,計算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4,將它分成,.,31,3.2.4一般DMC信道,定理：一般離散信道的平均互信息I(X;Y)達(dá)到極大值的充分和必要條件是輸入概率p(ai)必須滿足:I(ai;Y)=C對于所有ai其p(ai)0I(ai;Y)C對于所有ai其p(ai)=0,上式說明：當(dāng)信道的平均互信息I(X;Y)達(dá)到信道容量時,輸入符號概率集p(ai)中每一個符號ai對輸出端Y提供相同的互信息,只是概率為0的除外。,.,32,3.3離散序列信道及容量,.,33,離散序列信道及容量,設(shè)信道的輸入X=(X1,X2Xi,),Xia1an輸出Y=(Y1,Y2Yj,),Yjb1bm,信道,X,Y,p(Y|X),對于無記憶離散序列信道,其信道轉(zhuǎn)移概率為,僅與當(dāng)前輸入輸出有關(guān)。若信道是平穩(wěn)的,.,34,定理：若信道的輸入和輸出分別是L長序列X和Y,且信道是無記憶的,亦即信道傳遞概率為,則存在,定理：若信道的輸入和輸出分別是L長序列X和Y,且信源是無記憶的,亦即,則存在,.,35,離散序列信道及容量,若信源與信道都是無記憶的,L次擴(kuò)展信道的信道容量,當(dāng)信道平穩(wěn)時:,一般情況下:,.,36,例3-7.BSC信道二次擴(kuò)展,00,X,01,10,11,00,01,10,11,Y,轉(zhuǎn)移概率矩陣,2次擴(kuò)展信道的信道容量,若p=0.1則C2=(20.938)bit/序列=1.062bit/序列C1=0.531bit/符號,.,37,.,38,獨(dú)立并聯(lián)信道,設(shè)有L個信道,它們的輸入、輸出分