信道與信道容量

信道與信道容量第一頁，共六十頁，2022年，8月28日3.1信道分類和表示參數(shù)3.2離散單個符號信道及其容量3.3離散序列信道及其容量3.4連續(xù)信道及其容量內(nèi)容2第二頁，共六十頁，2022年，8月28日信道設(shè)信道的輸入X=(X1,X2…Xi,…),Xi∈{a1…an}輸出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道轉(zhuǎn)移概率矩陣p(Y|X)：描述輸入/輸出的統(tǒng)計依賴關(guān)系,反映信道統(tǒng)計關(guān)系信道XYp(Y|X)3第三頁，共六十頁，2022年，8月28日無干擾(無噪聲)信道無干擾(無噪聲)信道信道的輸出信號Y與輸入信號X之間有確定的關(guān)系Y=f(X),已知X后就確知Y轉(zhuǎn)移概率:4第四頁，共六十頁，2022年，8月28日有干擾無記憶信道有干擾無記憶信道信道的輸出信號Y與輸入信號X之間沒有確定的關(guān)系,但轉(zhuǎn)移概率滿足:有干擾無記憶信道可分為:二進制離散信道離散無記憶信道離散輸入、連續(xù)輸出信道波形信道5第五頁，共六十頁，2022年，8月28日離散無記憶信道DMC信道輸入是n元符號X∈{a1,a2,…,an}信道輸出是m元符號Y∈{b1,b2,…,bm}轉(zhuǎn)移矩陣已知X,輸出Y統(tǒng)計特性a1a2anb1b2bm::::::p11p12p21p22pnm6第六頁，共六十頁，2022年，8月28日3.2離散單個符號信道及其容量7第七頁，共六十頁，2022年，8月28日信道容量平均互信息I(X;Y)：接收到符號Y后平均每個符號獲得的關(guān)于X的信息量。信道的信息傳輸率就是平均互信息

8第八頁，共六十頁，2022年，8月28日信道容量信道容量C：最大的信息傳輸率單位時間的信道容量：9第九頁，共六十頁，2022年，8月28日信道容量的計算對于一般信道,信道容量計算相當(dāng)復(fù)雜,我們只討論某些特殊類型的信道：離散信道可分成：無干擾(無噪)信道無嗓無損信道有噪無損信道無噪有損信道有干擾無記憶信道有干擾有記憶信道10第十頁，共六十頁，2022年，8月28日無干擾離散信道無噪無損信道有噪無損信道(一對多)無噪有損信道(多對一)11第十一頁，共六十頁，2022年，8月28日3.2.1對稱DMC信道對稱離散信道：對稱性:每一行都是由同一集{p1,p2,…pm}的諸元素不同排列組成——輸入對稱每一列都是由集{q1,q2,…qn}的諸元素不同排列組成——輸出對稱滿足對稱性,所對應(yīng)的信道是對稱離散信道。12第十二頁，共六十頁，2022年，8月28日對稱DMC信道信道矩陣不具有對稱性,因而所對應(yīng)的信通不是對稱離散信道。13第十三頁，共六十頁，2022年，8月28日對稱DMC信道若輸入符號和輸出符號個數(shù)相同,都等于n,且信道矩陣為此信道稱為強對稱信道(均勻信道)信道矩陣中各列之和也等于114第十四頁，共六十頁，2022年，8月28日對稱DMC信道對稱離散信道的平均互信息為15第十五頁，共六十頁，2022年，8月28日對稱DMC信道對稱DMC信道的容量：上式是對稱離散信道能夠傳輸?shù)淖畲蟮钠骄畔⒘?它只與對稱信道矩陣中行矢量{p1,p2,…pm}（第二項為矩陣任一行元素的信息熵）和輸出符號集的個數(shù)m有關(guān)。強對稱信道的信道容量：16第十六頁，共六十頁，2022年，8月28日設(shè)二進制對稱信道的輸入概率空間信道矩陣：BSC信道容量17第十七頁，共六十頁，2022年，8月28日18第十八頁，共六十頁，2022年，8月28日當(dāng)p固定時,I(X;Y)是ω的型上凸函數(shù)。I(X;Y)ωBSC信道容量1-H(p)I(X;Y)對ω存在一個極大值。BSC信道容量19第十九頁，共六十頁，2022年，8月28日pC當(dāng)固定信源的概率分布ω時,I(X;Y)是p的型下凸函數(shù)。信道無噪聲當(dāng)p=0,C=1－0=1bit=H(X)當(dāng)p=1/2,

信道強噪聲BSC信道容量BSC信道容量20第二十頁，共六十頁，2022年，8月28日信道容量定理：給定轉(zhuǎn)移概率矩陣P后,平均互信息I(X;Y)是輸入信源的概率分布p(ai)的型上凸函數(shù)。定理：平均互信息I(X;Y)是信道傳遞概率p(bj|ai)的型凸函數(shù)。信道容量是完全描述信道特性的參量,是信道能夠傳輸?shù)淖畲笮畔⒘俊?1第二十一頁，共六十頁，2022年，8月28日離散無記憶模K加性噪聲信道X是信道輸入，Z是信道干擾，Y為信道輸出，取值空間均為同一整數(shù)集，X=Z=Y={0,1,…,K-1},Y=XZmodK。該信道稱為離散無記憶模K加性噪聲信道。計算機系統(tǒng)和數(shù)字通信系統(tǒng)中有些情況下可用該模型描述。由信道的對稱性及可得該類信道的容量為XZY22第二十二頁，共六十頁，2022年，8月28日例3-3離散無記憶模K加性噪聲信道Y=XZmodK，X和Y均取值于{0,1,…,K-1},求該信道容量。該信道可用右圖表示，可明顯看出對稱DMC信道特征，信道轉(zhuǎn)移概率矩陣為01K-1012K-123第二十三頁，共六十頁，2022年，8月28日利用離散無記憶模K加性噪聲信道容量公式可得24第二十四頁，共六十頁，2022年，8月28日當(dāng)信源輸入符號的速率為rs(符/秒),信道容量BSC信道容量實際信息傳輸速率Rt為

進入信道輸入端的信息速率

等概分布25第二十五頁，共六十頁，2022年，8月28日例BSC信道如圖,rs=1000符號/秒,錯誤傳遞概率p=0.1求:信道容量?0Y0.1?10.9輸入符號等概時有最大信息傳輸速率信道實際信息傳輸速率0.10.910x26第二十六頁，共六十頁，2022年，8月28日串聯(lián)信道例3-4設(shè)有兩個離散BSC信道,串接如圖,兩個BSC信道的轉(zhuǎn)移矩陣為:X00ZY111-p1-p1-pp串聯(lián)信道的轉(zhuǎn)移矩陣為:1-pp27第二十七頁，共六十頁，2022年，8月28日串聯(lián)信道X00ZY11求得:在實際通信系統(tǒng)中,信號往往要通過幾個環(huán)節(jié)的傳輸,或多步的處理,這些傳輸或處理都可看成是信道,它們串接成一個串聯(lián)信道。pp1-p1-p1-p1-p28第二十八頁，共六十頁，2022年，8月28日串聯(lián)信道由信息不增原理信道2信道m(xù)信道1…可以看出,串接的信道越多,其信道容量可能會越小,當(dāng)串接信道數(shù)無限大時,信道容量可能會趨于0XYZ29第二十九頁，共六十頁，2022年，8月28日3.2.3準(zhǔn)對稱DMC信道準(zhǔn)對稱信道轉(zhuǎn)移概率矩陣P是輸入對稱而輸出不對稱將信道矩陣P的列劃分成若干個互不相交的子集mk,由mk為列組成的矩陣[P]k是對稱矩陣。它們滿足對稱性,所以P1所對應(yīng)的信道為準(zhǔn)對稱信道。

30第三十頁，共六十頁，2022年，8月28日準(zhǔn)對稱信道的信道容量準(zhǔn)對稱信道由于轉(zhuǎn)移概率矩陣中每行的元素相同，所以31第三十一頁，共六十頁，2022年，8月28日準(zhǔn)對稱信道的信道容量但每列的元素不相同，所以信道的輸入和輸出分布概率可能不等，此時H(Y)的最大值可能小于Y等概率時的熵。因而準(zhǔn)對稱信道容量因為I是輸入符號概率的型凸函數(shù)，根據(jù)信道容量的定義式，可引入拉格朗日乘子法求解極值問題，便求得輸入符號概率和最大互信息。32第三十二頁，共六十頁，2022年，8月28日準(zhǔn)對稱信道的信道容量例3-5已知一個信道的信道轉(zhuǎn)移矩陣為由P可看出信道的輸入符號有兩個，可設(shè)信道的輸出符號有3個，用b1,b2,b3表示。由得聯(lián)合概率的矩陣為33第三十三頁，共六十頁，2022年，8月28日恒定，與的分布無關(guān)。由得式中，34第三十四頁，共六十頁，2022年，8月28日即輸入符號分布等概率時，I(X;Y)達到最大值。所以信道容量為由解得此時輸出符號的概率為35第三十五頁，共六十頁，2022年，8月28日準(zhǔn)對稱信道的信道容量求準(zhǔn)對稱信道的容量，可以通過如下方法來求，即將信道矩陣P劃分成若干個互不相交的對稱子集mk。36第三十六頁，共六十頁，2022年，8月28日準(zhǔn)對稱信道的信道容量當(dāng)輸入分布為等概率時，達到信道容量為：其中n是輸入符號集的個數(shù)，為準(zhǔn)對稱信道矩陣中的行元素。設(shè)矩陣可劃分成r個互不相交的子集。Nk是第k個子矩陣Pk中行元素之和,Mk是第k個子矩陣Pk中列元素之和。

37第三十七頁，共六十頁，2022年，8月28日例：設(shè)信道傳遞矩陣為

計算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4將它分成

38第三十八頁，共六十頁，2022年，8月28日39第三十九頁，共六十頁，2022年，8月28日例3-740第四十頁，共六十頁，2022年，8月28日3.2.4一般DMC信道定理：一般離散信道的平均互信息I(X;Y)達到極大值的充分和必要條件是輸入概率{p(ai)}必須滿足:I(ai;Y)=C對于所有ai其p(ai)＞0I(ai;Y)≤C對于所有ai其p(ai)=0上式說明：當(dāng)信道的平均互信息I(X;Y)達到信道容量時,輸入符號概率集{p(ai)}中每一個符號ai對輸出端Y提供相同的互信息,只是概率為0的除外。41第四十一頁，共六十頁，2022年，8月28日3.2.4一般DMC信道42第四十二頁，共六十頁，2022年，8月28日3.3離散序列信道及容量前面討論的信道輸入輸出均為單個符號的隨機變量，然而在實際應(yīng)用中，信道的輸入和輸出卻是在空間或時間上離散的隨機序列，有無記憶的離散序列信道，當(dāng)然更多的是有記憶的，即序列的轉(zhuǎn)移概率之間有關(guān)聯(lián)性。43第四十三頁，共六十頁，2022年，8月28日離散序列信道及容量設(shè)信道的輸入X=(X1,X2…Xi,…XL),Xi∈{a1…an}

輸出Y=(Y1,Y2…Yj,…YL),Yj∈{b1…bm}信道XYp(Y|X)對于無記憶離散序列信道,其信道轉(zhuǎn)移概率為即僅與當(dāng)前輸入有關(guān)。若信道是平穩(wěn)的44第四十四頁，共六十頁，2022年，8月28日定理：若信道的輸入和輸出分別是L長序列X和Y,且信道是無記憶的,亦即信道傳遞概率為則存在

定理：若信道的輸入和輸出分別是L長序列X和Y,且信源是無記憶的,亦即輸入矢量X中各個分量相互獨立則存在

45第四十五頁，共六十頁，2022年，8月28日離散序列信道及容量若信源與信道都是無記憶的L次擴展信道的信道容量當(dāng)信道平穩(wěn)時:

一般情況下:

46第四十六頁，共六十頁，2022年，8月28日例3-9.BSC信道二次擴展00X01101100011011Y轉(zhuǎn)移概率矩陣2次擴展信道的信道容量

若p=0.1則C2=(2－0.938)bit/序列=1.062bit/序列C1=1-H(0.1)=0.531bit/序列C2=2C147第四十七頁，共六十頁，2022年，8月28日獨立并聯(lián)信道設(shè)有L個信道,它們的輸入、輸出分別是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一個信道的輸出Yl只與本信道的輸入Xl有關(guān),與其他信道的輸入、輸出都無關(guān)。此時序列的轉(zhuǎn)移概率X1X2XLY1Y2YL也是無記憶序列信道。48第四十八頁，共六十頁，2022年，8月28日獨立并聯(lián)信道獨立并聯(lián)信道的信道容量所以即聯(lián)合平均互信息不大于各自信道平均互信息之和。49第四十九頁，共六十頁，2022年，8月28日3.4連續(xù)信道及其容量50第五十頁，共六十頁，2022年，8月28日連續(xù)信道及其容量連續(xù)信道的容量不容易計算。當(dāng)信道為加性連續(xù)信道時,情況簡單一些。設(shè)信道的輸入和輸出信號是隨機過程x(t)和y(t)y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪聲

一個受加性高斯白噪聲干擾的帶限波形信道的容量,由香農(nóng)(1948)正式定義：信道n(t)x(t)y(t)51第五十一頁，共六十頁，2022年，8月28日連續(xù)信道及其容量高斯白噪聲加性信道單位時間的信道容量這就是著名的香農(nóng)公式

信噪比SNR

52第五十二頁，共六十頁，2022年，8月28日3.5信源與信道的匹配53第五十三頁，共六十頁，2022年，8月28日信源發(fā)出消息(符號)一般要通過信道來傳輸，到達信宿，因此要求信源的輸出與信道的輸入匹配。(1)符號匹配：信源輸出的符號必須是信道能夠傳送的符號，可在信源與信道之間加入編碼器來實現(xiàn)，也可以在信源壓縮編碼時一步完成。(2)信息匹配：對于某一信道，只有當(dāng)輸入符號的概率分布p(x)滿足一定條件時才能達到其信道容量C。也就是說，只有特定的信源才能使某一信道的信息傳輸率達到最大。一般情況下，信源與信道連接時，其信息傳輸率R=I(X;Y)并未達到最大，即信道沒有得到充分利用。當(dāng)信源與信道連接時，若信息傳輸率達到了信道容量，則稱此信源與信道達到匹配；否則認(rèn)為信道有冗余。54第五十四頁，共六十頁，2022年，8月28日信道冗余度定義為

信道絕對冗余度=C-I(X;Y)其中C是信道容量，I(X;Y)是信道實際傳輸?shù)钠骄畔⒘俊?/p>

信道相對冗余度=1-I