第四章-信道(2-1)quan

1、第四章第四章 信道信道(2)(2)3、 準對稱準對稱DMC信道信道若若P P(y(yj j/x/xi i) )不滿足對稱條件，但是不滿足對稱條件，但是P P 可以分解為可以分解為s s個子個子陣，陣， 其中其中r=1,2sr=1,2s。 且所有子陣且所有子陣P Pr r滿足對稱性條件，則稱滿足對稱性條件，則稱P P為準對稱信道。為準對稱信道。例：例： )(1srPPPP211212122112121221 - 1 1 - 1 1PPP顯然子陣顯然子陣P P1 1, ,P P2 2滿足對稱性（行，列）滿足對稱性（行，列）求求“準對稱信道容量準對稱信道容量”有兩種方法有兩種方法1.利用導數求函數極

2、值利用導數求函數極值 信道的輸入消息集合中只有兩個消息的情況信道的輸入消息集合中只有兩個消息的情況 信道的消息集合信道的消息集合X X中只有中只有X1和和X2兩個消息，并設它們的概率為兩個消息，并設它們的概率為P(P(X1) )，P(P(X2) )1 1。根據給定的信道傳輸概率集合或信道矩陣，可求得各個聯(lián)合概根據給定的信道傳輸概率集合或信道矩陣，可求得各個聯(lián)合概率率P(P(xy) )和各個信宿消息的概率和各個信宿消息的概率P(P(y) ) ,它們都以它們都以為參變量的函數為參變量的函數 然后用公式然后用公式I(XI(X；Y)Y)H(Y)H(Y)H(Y|X)H(Y|X) C C是是I(XI(X；

3、Y)Y)對某個信源概率矢量對某個信源概率矢量P P(P(P(X1), P(), P(X2)的極大值的極大值, ,故可用偏導故可用偏導為零的方法為零的方法, ,即即 ，得出，得出I(XI(X；Y)Y)極大值時的極大值時的值，代入值，代入I(XI(X；Y)Y)中，可得中，可得 C C R Rmax max I(XI(X；Y)Y)maxmax0);( YXI0.2ln(0.30.2 )0.20.2ln(0.50.2 )0.203/16/13/16/16/16/13/13/11P可以分解成可以分解成6/16/1,3/13/1,3/16/16/13/17 . 01 . 02 . 02 . 01 . 07

4、 . 02P1 . 01 . 0,7 . 02 . 02 . 07 . 0可以分解成可以分解成2.將轉移概率矩陣劃分成多個互不相交的對稱子集將轉移概率矩陣劃分成多個互不相交的對稱子集當輸入等概率時達到信道容量當輸入等概率時達到信道容量C=lognH(p1,p2,ps) NrlogMrr=1S其中其中n為輸入符號集個數；為輸入符號集個數； p1,p2,ps為轉移概率矩陣為轉移概率矩陣P中某一行的元素；中某一行的元素；Nr為第為第r個子矩陣中某行元素之和；個子矩陣中某行元素之和；Mr為第為第r個子矩陣中某列元素之和；個子矩陣中某列元素之和；s為子集個數。為子集個數。H(p1,p2,ps)=H(Y|

5、xi)例：已知信道轉移概率矩陣為例：已知信道轉移概率矩陣為P0.5 0.3 0.20.3 0.5 0.2求其信道容量求其信道容量。0.5 0.3 0.3 0.5 0.20.2分解成：分解成：C=lognH(p1,p2,ps)NrlogMrr=1sn=2, N1=0.5+0.3=0.8, M1=0.5+0.3=0.8N2=0.2, M2=0.2+0.2=0.4s=24.4.二元對稱刪除信道二元對稱刪除信道12121221 -1 1P5. 具有可逆矩陣信道具有可逆矩陣信道其特點是：其特點是：P一定為方陣，存在逆陣一定為方陣，存在逆陣該信道的容量為：該信道的容量為：jjjijiPPClog expl

6、n具有可逆矩陣信道的信道容量也可以先給出信源的概率具有可逆矩陣信道的信道容量也可以先給出信源的概率分布，利用對平均互信息量求導的方法來計算。分布，利用對平均互信息量求導的方法來計算。 串聯(lián)信道和并聯(lián)信道的信道容量串聯(lián)信道和并聯(lián)信道的信道容量 串聯(lián)信道（級聯(lián)信道）串聯(lián)信道（級聯(lián)信道） 串聯(lián)信道的信道矩陣串聯(lián)信道的信道矩陣為信道為信道1 1的信道矩陣的信道矩陣1 1與信道與信道2 2的信道矩陣的信道矩陣2 2的乘的乘積，即積，即 1 12 2 根據矩陣乘法，根據矩陣乘法，中的中的i i行第行第k k列的元素列的元素P(P(zk|xi) )為為 對多個信道串聯(lián)，可先計算第一、二信道相串聯(lián)，再把這結果

7、與第三信道串聯(lián)，以對多個信道串聯(lián)，可先計算第一、二信道相串聯(lián)，再把這結果與第三信道串聯(lián)，以此類推。此類推。信道1P(y|x)信道2P(z|y)等效信道P(z|x)xyzxz JjkijikyzPxyPxzP)|()|()|(例：兩個交叉?zhèn)鬏敻怕蕿槔簝蓚€交叉?zhèn)鬏敻怕蕿榈亩M制對稱信道相串聯(lián)，求這串聯(lián)信道的信道矩的二進制對稱信道相串聯(lián)，求這串聯(lián)信道的信道矩陣及信道上傳輸的平均信息量陣及信道上傳輸的平均信息量 解：由題意有解：由題意有 串聯(lián)信道的等效信道仍為對稱信道，但交叉?zhèn)鬏敻怕首兂闪舜?lián)信道的等效信道仍為對稱信道，但交叉?zhèn)鬏敻怕首兂闪? 2(1-(1-) )，等效信，等效信道的信道容量為道的信

8、道容量為 1121222221)1()1(2)1(2)1(1111)1log()1()1(2log)1(21loglog)|()(22221max LjjijiiPPLxYHYHC 并聯(lián)信道并聯(lián)信道 當各信道相互獨立時，聯(lián)合條件概率為：當各信道相互獨立時，聯(lián)合條件概率為： 平均聯(lián)合互信息量為：平均聯(lián)合互信息量為： 一般來說，當一般來說，當N N個相互獨立的信道并聯(lián)時，其總信道容量個相互獨立的信道并聯(lián)時，其總信道容量 C C為：為： 當并聯(lián)的各個信道相同時，當并聯(lián)的各個信道相同時， 等號成立條件是信源的各消等號成立條件是信源的各消息符號之間無記憶。息符號之間無記憶。信道1信道2xxxxyyyy)

9、|()|()|(xyPxyPxxyyP YYXXYYXXyyPxyPxyPxyPxyPxxPyyPxxyyPyyxxPYYXXI)()|()|(log)|()|()()()|(log)() ; ( NiiCC1iNCC 4.3.4 譯碼方案譯碼方案譯碼時所用的準則譯碼時所用的準則 在一般的信息傳輸系統(tǒng)中，信宿收到的集合在一般的信息傳輸系統(tǒng)中，信宿收到的集合Y Y不一定與信源發(fā)出的信息集合不一定與信源發(fā)出的信息集合X X相同，而信宿需要知道此時信源發(fā)出的是哪一個消息，故需要把信宿收到的相同，而信宿需要知道此時信源發(fā)出的是哪一個消息，故需要把信宿收到的消息恢復成相對應的信源消息。這個消息恢復過程稱

10、為譯碼，用公式表示為消息恢復成相對應的信源消息。這個消息恢復過程稱為譯碼，用公式表示為XXg(Y)g(Y) 通常采用的譯碼方案是通常采用的譯碼方案是最大后驗準則最大后驗準則：把信道輸出符號消息：把信道輸出符號消息yj譯成具有最譯成具有最大后驗概率大后驗概率P(P(x* *| |yj) )的那個信道輸入符號消息的那個信道輸入符號消息x* *12MXxxx信道12LYyyy譯碼器12( )MXg Yxxx 用數學公式表示：若用數學公式表示：若 P(P(x* *| |yj) P() P(xi| |yj) ) ，對所有的，對所有的i i1 1，2 2，M(M(但但除掉除掉x* *所對應的下標所對應的下

11、標i)i)，則把，則把yj譯成譯成x* *，此準則使消息的錯誤傳輸概率最小，此準則使消息的錯誤傳輸概率最小例：已知一個信源的概率空間為例：已知一個信源的概率空間為所使用信道的信道矩陣所使用信道的信道矩陣 。找出能使錯誤傳輸概率最小的譯碼。找出能使錯誤傳輸概率最小的譯碼方案，并求出錯誤傳輸概率方案，并求出錯誤傳輸概率 解：信道傳輸特性如圖解：信道傳輸特性如圖X X，P(X )=P(X )=X1， X2， X31/21/2， 1/41/4， 1/41/421210001001 由公式由公式 P(P(xy) )P(P(x)P()P(y/x) )可得矩陣形式表示的聯(lián)合概率分布可得矩陣形式表示的聯(lián)合概率

12、分布P(xy):P(xy): 再由公式再由公式 可得行矩陣形式表示的可得行矩陣形式表示的Y Y中三個消息的概率分布：中三個消息的概率分布： 再由公式再由公式 可得矩陣形式表示的后驗概率分布可得矩陣形式表示的后驗概率分布: :8181000410021 XxyPyP)()(818143)()()|(yPxyPyxP 11000310032 收到收到y(tǒng)1后對后對x1，x2，x3的后驗概率分布為：的后驗概率分布為： P(P(x1| |y1) )2/3 P(2/3 P(x2| |y1) )1/3 P(1/3 P(x3| |y1) )0 0 比較大小后，按最大后驗概率準則，應把信宿收到的比較大小后，按最

13、大后驗概率準則，應把信宿收到的y1譯成譯成x1 同理，信宿收到同理，信宿收到y(tǒng)2后對后對x1，x2，x3中以中以P(P(x3| |y2) )最大，應把最大，應把y2譯成譯成x3 信宿收到信宿收到y(tǒng)3后對后對x1，x2，x3中以中以P(P(x3| |y3) )最大，應把最大，應把y3譯成譯成x3 所以此準則的譯碼方案為：所以此準則的譯碼方案為：g(g(y1) )x1 g(g(y2) )x3 g(g(y3) )x3 總的來說，各個消息的傳輸和譯碼過程如下：總的來說，各個消息的傳輸和譯碼過程如下：信源發(fā)出消息信源發(fā)出消息x1，信宿收到，信宿收到y(tǒng)1，譯碼器譯成，譯碼器譯成x1 ( (正確傳輸正確傳輸

14、) )信源發(fā)出消息信源發(fā)出消息x2，信宿收到，信宿收到y(tǒng)1，譯碼器譯成，譯碼器譯成x1 （不正確傳輸）（不正確傳輸）信源發(fā)出消息信源發(fā)出消息x3，信宿收到，信宿收到y(tǒng)2或或y3，譯碼器譯成，譯碼器譯成x3 ( (正確傳輸正確傳輸) ) 采用此準則的譯碼方案后，這個消息傳輸系統(tǒng)的正確傳輸概率采用此準則的譯碼方案后，這個消息傳輸系統(tǒng)的正確傳輸概率P PC C為：為： P PC C P(P(x1)+ P()+ P(x3) )1/2 + 1/41/2 + 1/43/43/4 錯誤傳輸概率錯誤傳輸概率P PE E為為: : P PE E P(P(x2) )1/41/4 譯碼中兩種特殊情況：譯碼中兩種特殊

15、情況： 若信道的輸入消息以等概率分布，即若信道的輸入消息以等概率分布，即P(P(xi) )1/M1/M，這時對于某個收到的消，這時對于某個收到的消息息yj而言，當信道的傳輸概率而言，當信道的傳輸概率P(P(yj| |xi) )為最大時，其相應的后驗概率為最大時，其相應的后驗概率P(P(xi| |yj) )也是最大。所以在信道輸入消息以等概率分布的條件下，可以從最大信道傳輸也是最大。所以在信道輸入消息以等概率分布的條件下，可以從最大信道傳輸概率概率P(P(yj| |x* *) )直接判定此時信源發(fā)出的消息是直接判定此時信源發(fā)出的消息是x* *。這稱為最大似然譯碼準則。這稱為最大似然譯碼準則。當信

16、源當信源X X概率空間未知時，可用此準則概率空間未知時，可用此準則. . 若傳輸信道對同一個輸出消息若傳輸信道對同一個輸出消息yj的各個的各個P(P(xi| |yj)()(其中其中i i1 1，2 2，M)M)都都相等，但存在某個輸入消息相等，但存在某個輸入消息x* *的出現(xiàn)概率的出現(xiàn)概率P(P(x* *) )為最大，這樣就可以把為最大，這樣就可以把yj直接直接譯成譯成x* * 對于對于K K重符號序列消息的譯碼方案與單符號消息類似重符號序列消息的譯碼方案與單符號消息類似信道編碼定理信道編碼定理定理定理 對離散平穩(wěn)無記憶信道，其容量為對離散平穩(wěn)無記憶信道，其容量為C，輸入序列長度為，輸入序列長

17、度為L。則，只要實際信息率則，只要實際信息率RC，就必可找到一種編碼：當，就必可找到一種編碼：當L足夠長足夠長時，有時，有PeC，則對任何編碼，則對任何編碼， Pe必大于零必大于零說明說明 前者為正定理，后者為逆定理前者為正定理，后者為逆定理 給出了信息傳輸率的極限給出了信息傳輸率的極限 只要只要RC，必為有失真?zhèn)鬏?，必為有失真?zhèn)鬏?存在性定理存在性定理連續(xù)信道及其容量連續(xù)信道及其容量 （一）連續(xù)單消息信道及其容量（一）連續(xù)單消息信道及其容量 僅討論兩類情況僅討論兩類情況 加性高斯白噪聲信道加性高斯白噪聲信道 一般線性迭加干擾信道一般線性迭加干擾信道 1 1 高斯信道高斯信道 回顧：回顧：高斯

18、分布信源高斯分布信源 結論結論 熵值熵值 只與方差有關，與只與方差有關，與m無關。無關。22()221( )2x mp xe222( )() ()( )mE Xxp x dxE Xmxmp x dx221()log (2)2cHXe )( )/()(xypxyPnpN),0(2N其中：其中： I(X;Y)=HI(X;Y)=HC C(Y)-H(Y)-HC C(Y/X) (Y/X) 112()()(/) log(/)1()(/)()2log2CNNRRCNCeYp xyxPyx dxdyHPYyxYeHHH1 1 高斯信道高斯信道 （續(xù)）（續(xù)）2()1max(;)max()2log2CepxCI

19、X YYeH根據平均功率最大熵定理：只有當信道輸出根據平均功率最大熵定理：只有當信道輸出Y正態(tài)分布時熵最正態(tài)分布時熵最大，其概率密度函數為：大，其概率密度函數為： pY(y)=N(0,P)由于信道輸入由于信道輸入X與噪聲獨立，且與噪聲獨立，且y=x+n功率可以相加，得：功率可以相加，得：P=S+2S為信道輸入的平均功率值。為信道輸入的平均功率值。2()22221max(;)max()2log2111log 2log 2log2221log(1),(2Cep xCI X YYeHPePeSPS其 中迭 加 性 ）pY(y)=N(0,P) pn(n)=N(0, 2)y=x+n所以：所以：pX(x)

20、= N(0,S) 即當信道輸入是均值為即當信道輸入是均值為0，方差為，方差為S的高斯分布隨的高斯分布隨機變量時，信息傳輸速率達到最大值。機變量時，信息傳輸速率達到最大值。2 2 一般迭加性干擾信道一般迭加性干擾信道 雷電、工業(yè)干擾、其它脈沖干擾屬迭加性干擾，它們是非高斯型雷電、工業(yè)干擾、其它脈沖干擾屬迭加性干擾，它們是非高斯型分布。有以下定理：分布。有以下定理：定理：對迭加性連續(xù)信道，受到平均功率（方差）為定理：對迭加性連續(xù)信道，受到平均功率（方差）為2 2的非高斯的非高斯干擾影響時，當信道輸出平均功率干擾影響時，當信道輸出平均功率P P一定時，信道容量上下界為：一定時，信道容量上下界為： )

21、(2log21)1log(212nHePCS（一）連續(xù)單消息信道及其容量（一）連續(xù)單消息信道及其容量 （續(xù)）（續(xù)）結論：高斯信道容量是一切平均功率受限的迭加性非高斯結論：高斯信道容量是一切平均功率受限的迭加性非高斯信道容量的下限值。其它分布的容量都比高斯容量大，因信道容量的下限值。其它分布的容量都比高斯容量大，因此高斯容量是一切分布容量值最保守的估計值。此高斯容量是一切分布容量值最保守的估計值。 一般信道的頻帶寬度總是有限的，設頻帶寬度為F，在這樣的波形信道中，滿足限頻、限時、限功率的條件約束，所以可通過采樣將輸入和輸出信號轉化為L維的隨機序列： 12(,.,)Lxx xx12(,.,)Lyy

22、 yyyxn和而在頻帶內的高斯噪聲是彼此獨立的，從而有 按照采樣定理，在0，T范圍內要求序列長度這是多維無記憶加性高斯信道，其信道容量為這是多維無記憶加性高斯信道，其信道容量為： -這是重要的這是重要的香農公式香農公式。當信道輸入信號是平均功率受。當信道輸入信號是平均功率受限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。限的高斯白噪聲信號時，信息傳輸率才達到此信道容量。（二）廣義平穩(wěn)的限頻（二）廣義平穩(wěn)的限頻( (F F) )、限時、限時( (T T) )、限功率、限功率( (P P) )白色白色高斯信道及其容量高斯信道及其容量C C。 L=2FT)1log()1log(21212SFTSCLiii香農（香農（ShannonShannon）公式的物理意義與用途：公式的物理意義與用途： （二）廣義平穩(wěn)的限頻（二）廣義平穩(wěn)的限頻( (F F) )、限時、限時( (T T) )、限功率、限功率( (P P) )白色白色高斯信道及其容量高斯信道及其容量C C。（續(xù)）。（續(xù)） 2S)1log(2STtFf)1log(2SFTC它給出了決定信道容量它給出了決定信道容量C C的是三個信號物理參量：的是三個信號物理參量：F F、T T、 之間的辯證關系。之間的辯證關系。 2log(1)S