通信原理教程12

1、第十二章 信息理論12.1 離散信源的熵熵的定義：設：信源 X n個不同的消息x1, x2, , xi, , xn， 則定義熵為信源的平均信息量 H(X)：式中，I (xi) = - log2 P(xi)(b) I (xi)表示消息 xi含有的信息量熵H(X)可以理解為信源的平均不確定度。1二進制信源的熵設：信源僅有“0”和“1”兩種消息。發(fā)送“1”的概率P(1) = ，則 發(fā)送“0”的概率P(0) = 1 - = 信源的熵等于若一個消息是一個碼元，則熵H()的單位：比特 / 碼元H() 曲線當 = 1/2時，此信源的熵最大；這時的兩個消息是等概率出現(xiàn)的，其不確定度最大。當 1/2時，一個消息

2、比另一個消息更可能出現(xiàn)，因此不確定度減小。若 或 等于0，則不確定度為0。 2n 進制信源的熵設：信源有n種可能出現(xiàn)的消息，并用Pi表示第i個消息的出現(xiàn)概率， 則由熵的定義可以寫出此信源的熵熵的最大值：令上式對Pk的導數(shù)等于0，求H的最大值。由于故當Pk變時， 可僅使Pn隨之變化，并保持其他Pi為常數(shù)。于是得到利用求導數(shù)公式上式變?yōu)榛?令等于0，就可以求出H的最大值。 當Pk = Pn，上式等于0。由于Pk是任意一個消息的出現(xiàn)概率，所以有將上式代入得到H的最大值：412.2 離散信道模型二進制無記憶編碼信道的模型信道的特性：由下列信道轉移概率矩陣所完全確定式中，P(yj /xi) 發(fā)送 xi

3、，收到 yj 的條件概率。 信道輸入和輸出概率關系若輸入概率矩陣為則由可以計算出11P(1 / 0)P(0 / 1)00P(0 / 0)P(1 / 1)發(fā)送端接收端5輸入輸出的聯(lián)合概率矩陣P(X, Y)將P(X)寫成對角線形式：并與相乘，得到聯(lián)合概率矩陣P(X, Y)：式中， 發(fā)送 xi 收到 yj 的聯(lián)合概率 6例1：設有一個二進制信道，如圖所示， 其轉移矩陣為： 若信道輸入的概率為 試求輸出概率矩陣P(Y)和聯(lián)合概率矩陣P(X, Y)。解 輸出概率矩陣: 聯(lián)合概率矩陣:0.30.4x1y1y2x20.70.6發(fā)送端接收端712.3 聯(lián)合熵和條件熵設：一信道有n個可能輸入和m個可能輸出，則可

4、用輸入概率P(xi)，輸出概率P(yj)，轉移概率P(yj/xi)和聯(lián)合概率P(xi, yj)定義下列不同的熵函數(shù)： 信源的平均不確定度； 接收碼元的平均不確定度； 給定發(fā)送X后接收碼元的平均不確定度； 收到一個碼元后發(fā)送碼元 的平均不確定度； 整個通信系統(tǒng)的平均不確定度。 聯(lián)合熵公式：812.4 無噪聲信道容量互信息量 I (X; Y)定義：在收到發(fā)送碼元后，此發(fā)送碼元的平均不確定度的下降量式中， H(X) 信源的平均不確定度； H(X / Y) 收到一個碼元后發(fā)送碼元的平均不確定度 上式可以改寫為性質：信道容量C定義：互信息量的最大值 （b/碼元） 性質：C 僅是信道轉移概率的函數(shù)； C是

5、一個碼元能夠傳輸?shù)淖畲笃骄畔⒘俊?9例2：試求下圖中的無噪聲離散信道的容量。【解】 由式 及式可知，對于無噪聲信道，當 i j 時， P(xi, yj) = 0, P(xi / yj) = 0;當 i = j 時，P(xi / yj) = 1。因此，H(X / Y) = 0，I(X; Y) = H(X) 若信源中所有碼元是等概率的，則信源的熵H(X)最大。因此， x1x2xny1y2yn111無噪聲離散信道10例3：試求圖中二進制對稱信道的容量。 其中P(x1) = ，P(x2) = 1 - ?！窘狻扛鶕?jù)信道容量的定義式， 需要求出的最大值。 上式右端第二項為將P(x1) = ，P(x2)

6、= 1 - 和轉移概率p, q代入上式，得出 上式可以化簡為將上式代入得到 ppqq發(fā)送端接收端x2x1y1y211當H(Y)為最大時，上式達到最大。 H(Y)的最大值等于 1，故按照上式畫出的曲線：二進制對稱信道的誤碼率Pe式中，P( e/xi )為給定輸入 xi 條件下的誤碼率，所以有上式表明無條件誤碼率Pe等于條件誤碼率P( yj / xi )，i j。C1212.5 信源編碼12.5.1無噪聲信道編碼原理信源的信息速率Rs ：式中， H(X) 信源的熵 （b/碼元）； r 碼元速率 （波特 = 碼元/s）。 無噪聲信道編碼定理（香農第一定理）： 給定一個信道和一個信源，若此信源以小于信

7、道容量C的速率Rs產生信息，則一定能夠以某種方式對信源的輸出編碼，使得編碼輸出能夠無差錯地通過此信道傳輸；但是若信源輸出速率Rs大于容量C，則不可能無差錯地傳輸。 13例：設：有一個二進制信源，它有兩個可能的輸出A和B，P(A) = 0.9,P(B) = 0.1 信源輸出的碼元速率 r = 3.5 (碼元/s) 信道無誤傳輸?shù)拇a元速率 S = 2 (碼元/s) 則從例3可知，在p = 1時，信道容量 C = 1 （b / 碼元）。 故現(xiàn)在信道的信息速率 = SC = 2 (b / s)現(xiàn)在，r S ，所以信源的碼元不能直接送入信道。然而，信源的熵為它相當于信源信息速率為 現(xiàn)在，信源的信息速率r

8、H(X) 信道的信息速率SC， 有可能傳輸，但需要在傳輸之前作信源編碼。二進制信源信源編碼器二進制信道信源的碼元速率： r 3.5 碼元/sC = 1b/碼元S = 2 碼元/sSC = 2 b/s14信源的擴展：把信源中的n個碼元編成一組，稱為碼字。將最短的碼字分配給最有可能出現(xiàn)的信源碼元組，并將最長的碼字分配給最少可能出現(xiàn)的信源碼元組。這樣，信源編碼就降低了平均碼元速率，使信源能和信道匹配。這種編碼稱為信源的擴展。信源的n階擴展：將原始信源中的n個碼元編成一組。1階擴展： 這時編碼器輸出的碼元速率等于信源的碼元速率。故在信道輸入端的碼元速率仍然大于信道的傳輸能力。信源碼元碼元概率P(xi)

9、碼字碼字長度liP(xi)liA0.9010.9B0.1110.1L=1.0 15 2階擴展：將原始信源中的2個碼元編成一組，構成原始信源的2階擴展 平均碼字長度L等于式中，P(xi) 擴展信源中第i個碼組的概率， li 第i個碼組對應的碼字的長度。每個信源碼元在編碼后碼字中占用的平均碼元數(shù)為編碼器輸出的碼元速率為 它仍然高于信道的傳輸能力（2碼元/s），故碼元速率還需要進一步減小。 信源碼元碼元概率P(xi)碼字碼字長度liP(xi)liAA0.81010.81AB0.091020.18BA0.0911030.27BB0.0111130.03L=1.29163階擴展：平均碼字長度：L = 1

10、.598 每個信源碼元在編碼后碼字中占用的平均碼元數(shù)為編碼器輸出的碼元速率為這一速率可以為信道所接受，所以能用3階擴展傳輸。信源碼元碼元概率P(xi)碼字碼字長度liP(xi)liAAA0.729010.729AAB0.08110030.243ABA0.08110130.243BAA0.08111030.243ABB0.0091110050.045BAB0.0091110150.045BBA0.0091111050.045BBB0.0011111150.005L=1.59817L/n和n的關系曲線 從曲線可以看出，L/n永遠大于信源的熵，并且當n增大時收斂于信源的熵。 18 12.5.2 信源

11、編碼的分類和效率有關定義字母表：若干個符號的集合碼字：由一個字母表中的若干符號構成字長：碼字中符號的數(shù)目 碼元：在信道中傳輸?shù)姆栃旁淳幋a的分類非分組碼分組碼：碼長是固定的 唯一可譯碼：其碼字不用空格區(qū)分就可以譯出。 瞬時碼 非瞬時碼 ：需要參考后繼碼字譯碼 例：信源符號非瞬時碼瞬時碼x1 0 0 x2 01 10 x3 011 110 x40111111019信源編碼的效率效率定義：碼字的最小平均字長 Lmin 和碼字的平均字長 L 之比式中，P(xi) 第 i 個信源符號的概率， li 對應第 i 個信源符號的碼字的長度。可以證明，最小平均字長等于式中，H(X) 被編碼的消息集合的熵， D

12、 編碼字母表中的符號數(shù)目將上兩式合并，得到對于二進制(D = 2)而言，上式變成由上式看出，若效率為100%，則平均字長L應等于熵H(X)。 2012.5.3 擴展二進制信源的熵可以證明，一個離散無記憶信源的第n階擴展的熵等于所以，擴展信源的效率為 若當n趨向于無窮大時，效率趨近100%，則L/n趨近于擴展信源的熵。這可以從下圖看出。2112.5.4 香農-費諾碼 編碼方法舉例首先將信源符號 xi 按照出現(xiàn)概率不增大的次序排列；然后將信源符號劃分成兩組（用虛線A-A標出），使每組中符號的概率盡可能相等； 將“0”分配給上組，“1”分配給下組；如此進行下去，直至不能再劃分為止。 若每次劃分都能給

13、出等概率的分組，則這種方法能給出100%效率的編碼。此例的效率：信源符號出現(xiàn)概率碼字碼長碼長概率x10.25000020.5x20.25000120.5 A -Ax30.1250 10030.375x40.1250 10130.375x50.0625 110040.25x60.0625 110140.25x70.0625 111040.25x80.0625 111140.25平均字長2.7522 信源輸出 x7和x8合并的結果消息 概率 消息概率 x10.2500 x10.2500 x20.2500 x20.2500 x30.1250 x30.1250 0 x40.1250 x40.1250

14、1x40.1250 0 x50.0625x50.0625 0 x60.0625x60.0625 1 x70.0625 0 x80.0625 1編碼得到的碼字 x110 x211 x3010 x4011 x50010 x60011 x70000 x800010 0111 0112.5.5 霍夫曼碼對于給定熵的信源，霍夫曼碼能得到最小平均字長。 編碼過程舉例將信源消息 xi 按照概率不增大的次序排列;將概率最小的兩個信源消息 x7 和 x8 合并;為x7分配“0”， x8分配“1”，作為其碼字的最后一個符號；將x7和x8合并后看成是一個復合消息x4 ；23令復合消息x4的概率等于x7和x8的概率之

15、和，即0.1250 ；將消息x1, x2, x3, x4, x5, x6和x4仍按概率不增大的次序排列;將消息x5和x6合并，將合并結果再和x4合并；如此進行到最后，得到了一個樹狀結構；從樹的最右端向左追蹤，就得到了編碼輸出碼字。 信源輸出 x7和x8合并的結果消息 概率 消息概率 x10.2500 x10.2500 x20.2500 x20.2500 x30.1250 x30.1250 0 x40.1250 x40.1250 1x40.1250 0 x50.0625x50.0625 0 x60.0625x60.0625 1 x70.0625 0 x80.0625 1編碼得到的碼字 x110

16、x211 x3010 x4011 x50010 x60011 x70000 x800010 0111 0124從霍夫曼編碼得到的碼字與香農-費諾編碼得到的不同，因為將復合消息插入到哪些點是有任意性的。將二進制數(shù)字“0”和“1”分配給上面或下面的消息也是任意的。 然而，這兩種編碼的平均字長是一樣的。在這個例子中，因為香農-費諾碼給出100%的效率，所以霍夫曼碼自然不會比它差。 但是，一般而言，這兩種編碼方法給出的平均字長不一定相等。2512.6 白色加性高斯噪聲信道的容量香農第二定理：給定一個容量為Cc的離散無記憶信道和一個正速率為R的信源，若 R Cc，則必定有一種編碼，當其足夠長時，使信源的

17、輸出能以任意小的錯誤概率通過此信道傳輸。對于白色加性高斯噪聲的連續(xù)信道，它能夠傳輸?shù)淖畲笮畔⑺俾视上率浇o出： 香農-哈特萊(Shannon-Hartley)定律 式中， B 信道帶寬（Hz）， S/N 信號噪聲功率比。 Cc 信道傳輸?shù)淖畲笮畔⑺俾?(b / s)。 26容量Cc的特性保持Cc不變，帶寬B和信噪比S/N可以交換。對于無噪聲情況（S/N = ），只要帶寬不為0，則容量Cc將是無窮大。在有噪聲情況下，當B 時，Cc趨向于如下極限值：【證】令x = S/n0B，代入得到因為當x 時，ln(1 +x)1/x 1，所以上式變?yōu)?7Cc與B的關系：按照右式畫出Cc與Eb/n0的關系：當以速

18、率Rb = Cc 傳輸時，碼元能量：式中，Tb = 1/Cc 每比特的持續(xù)時間將上式代入式：得出當B 時，或上式表明，對于Rb = Cc 的理想情況，當B 時，僅需Eb /n0 = -1.6 dB就能實現(xiàn)無誤傳輸。BS/n0S/n0S/n0ln2Cc28Eb/n0與Cc/B的關系曲線：在Rb Cc區(qū)域，不能使錯誤概率達到任意小若信源比特率Rb一定，且?guī)払足夠大，使BRb，則僅需Eb/n0略大于-1.6 dB就可以工作在Rb B，則需要很大的Eb/n0值才能工作在Rb Cc區(qū)域。 帶寬受限工作狀態(tài) 。29信噪比和帶寬關系設：原始信號的帶寬為B1，在以信噪比S1/N1傳輸時，其最大信息傳輸速率R1為將此信號調制（或）編碼后，若仍保持原來的信息傳輸速率R1，但是帶寬變成B2，所需信噪比變成S2/N2，則應有將上兩式合并，得到或當信噪比很大時，上式變?yōu)樾旁氡鹊母纳坪蛶挶菳2/B1成指數(shù)關系。30帶寬