通信原理_信息理論.ppt

1、1,第十二章 信息理論,12.1 離散信源的熵 熵的定義： 設(shè)：信源 X 能發(fā)出n個(gè)不同的消息x1, x2, , xi, , xn， 則定義熵為信源的平均信息量 H(X)： 式中，I (xi) = - log2 P(xi)(b) I (xi)表示消息 xi含有的信息量 熵H(X)可以理解為信源的平均不確定度。,2,二進(jìn)制信源的熵 設(shè)：信源僅有“0”和“1”兩種消息。 發(fā)送“1”的概率P(1) = ， 則 發(fā)送“0”的概率P(0) = 1 - = 信源的熵等于 若一個(gè)消息是一個(gè)碼元，則熵H()的單位：比特 / 碼元 H() 曲線 當(dāng) = 1/2時(shí)，此信源的熵最大；這時(shí)的兩個(gè)消息是等概率出現(xiàn)的，其

2、不確定度最大。 當(dāng) 1/2時(shí)，一個(gè)消息比另一個(gè)消息更可能出現(xiàn)，因此不確定度減小。 若 或 等于0，則不確定度為0。,3,n 進(jìn)制信源的熵 設(shè)：信源有n種可能出現(xiàn)的消息，并用Pi表示第i個(gè)消息的出現(xiàn)概率， 則由熵的定義可以寫出此信源的熵 熵的最大值： 令上式對(duì)Pk的導(dǎo)數(shù)等于0，求H的最大值。 由于 故當(dāng)Pk變時(shí)， 可僅使Pn隨之變化，并保持其他Pi為常數(shù)。 于是得到 利用求導(dǎo)數(shù)公式 上式變?yōu)?或,4,令 等于0，就可以求出H的最大值。 當(dāng)Pk = Pn，上式等于0。由于Pk是任意一個(gè)消息的出現(xiàn)概率，所以有 將上式代入 得到H的最大值：,5,12.2 離散信道模型 二進(jìn)制無記憶編碼信道的模型 信道

3、的特性：由下列信道轉(zhuǎn)移概率矩陣所完全確定 式中，P(yj /xi) 發(fā)送 xi ，收到 yj 的條件概率。 信道輸入和輸出概率關(guān)系 若輸入概率矩陣為 則由 可以計(jì)算出,6,輸入輸出的聯(lián)合概率矩陣P(X, Y) 將P(X)寫成對(duì)角線形式： 并與 相乘，得到聯(lián)合概率矩陣P(X, Y)： 式中， 發(fā)送 xi 收到 yj 的聯(lián)合概率,7,例1：設(shè)有一個(gè)二進(jìn)制信道，如圖所示， 其轉(zhuǎn)移矩陣為： 若信道輸入的概率為 試求輸出概率矩陣P(Y)和聯(lián)合概率矩陣P(X, Y)。 解 輸出概率矩陣: 聯(lián)合概率矩陣:,8,12.3 聯(lián)合熵和條件熵 設(shè)：一信道有n個(gè)可能輸入和m個(gè)可能輸出， 則可用輸入概率P(xi)，輸出

4、概率P(yj)，轉(zhuǎn)移概率P(yj/xi)和聯(lián)合概率P(xi, yj)定義下列不同的熵函數(shù)： 信源的平均不確定度； 接收碼元的平均不確定度； 給定發(fā)送X后接收碼元的 平均不確定度； 收到一個(gè)碼元后發(fā)送碼元 的平均不確定度； 整個(gè)通信系統(tǒng)的平均不確 定度。 聯(lián)合熵公式：,9,12.4 無噪聲信道容量 互信息量 I (X; Y) 定義：在收到發(fā)送碼元后，此發(fā)送碼元的平均不確定度的下降量 式中， H(X) 信源的平均不確定度； H(X / Y) 收到一個(gè)碼元后發(fā)送碼元的平均不確定度 上式可以改寫為 性質(zhì)： 信道容量C 定義：互信息量的最大值 （b/碼元） 性質(zhì)：C 僅是信道轉(zhuǎn)移概率的函數(shù)； C是一個(gè)碼

5、元能夠傳輸?shù)淖畲笃骄畔⒘俊?10,例2：試求下圖中的無噪聲離散信道的容量。 【解】 由式 及式 可知，對(duì)于無噪聲信道， 當(dāng) i j 時(shí)， P(xi, yj) = 0, P(xi / yj) = 0; 當(dāng) i = j 時(shí)，P(xi / yj) = 1。 因此，H(X / Y) = 0，I(X; Y) = H(X) 若信源中所有碼元是等概率的，則信源的熵H(X)最大。 因此，,11,例3：試求圖中二進(jìn)制對(duì)稱信道的容量。 其中P(x1) = ，P(x2) = 1 - 。 【解】根據(jù)信道容量的定義式， 需要求出 的最大值。 上式右端第二項(xiàng)為 將P(x1) = ，P(x2) = 1 - 和轉(zhuǎn)移概率p,

6、 q代入上式，得出 上式可以化簡為 將上式代入 得到,12,當(dāng)H(Y)為最大時(shí)，上式達(dá)到最大。 H(Y)的最大值等于 1，故 按照上式畫出的曲線： 二進(jìn)制對(duì)稱信道的誤碼率Pe 式中，P( e/xi )為給定輸入 xi 條件下的誤碼率，所以有 上式表明無條件誤碼率Pe等于條件誤碼率P( yj / xi )，i j。,13,12.5 信源編碼 12.5.1無噪聲信道編碼原理 信源的信息速率Rs ： 式中， H(X) 信源的熵 （b/碼元）； r 碼元速率 （波特 = 碼元/s）。 無噪聲信道編碼定理（香農(nóng)第一定理）： 給定一個(gè)信道和一個(gè)信源，若此信源以小于信道容量C的速率Rs產(chǎn)生信息，則一定能夠以

7、某種方式對(duì)信源的輸出編碼，使得編碼輸出能夠無差錯(cuò)地通過此信道傳輸；但是若信源輸出速率Rs大于容量C，則不可能無差錯(cuò)地傳輸。,14,例： 設(shè)：有一個(gè)二進(jìn)制信源，它有兩個(gè)可能的輸出A和B， P(A) = 0.9,P(B) = 0.1 信源輸出的碼元速率 r = 3.5 (碼元/s) 信道無誤傳輸?shù)拇a元速率 S = 2 (碼元/s) 則從例3可知，在p = 1時(shí)，信道容量 C = 1 （b / 碼元）。 故現(xiàn)在信道的信息速率 = SC = 2 (b / s) 現(xiàn)在，r S ，所以信源的碼元不能直接送入信道。 然而，信源的熵為 它相當(dāng)于信源信息速率為 現(xiàn)在，信源的信息速率rH(X) 信道的信息速率SC

8、， 有可能傳輸，但需要在傳輸之前作信源編碼。,15,信源的擴(kuò)展：把信源中的n個(gè)碼元編成一組，稱為碼字。將最短的碼字分配給最有可能出現(xiàn)的信源碼元組，并將最長的碼字分配給最少可能出現(xiàn)的信源碼元組。這樣，信源編碼就降低了平均碼元速率，使信源能和信道匹配。 這種編碼稱為信源的擴(kuò)展。 信源的n階擴(kuò)展：將原始信源中的n個(gè)碼元編成一組。 1階擴(kuò)展： 這時(shí)編碼器輸出的碼元速率等于信源的碼元速率。故在信道輸入端的碼元速率仍然大于信道的傳輸能力。,16,2階擴(kuò)展：將原始信源中的2個(gè)碼元編成一組，構(gòu)成原始信源的2階擴(kuò)展 平均碼字長度L等于 式中，P(xi) 擴(kuò)展信源中第i個(gè)碼組的概率， li 第i個(gè)碼組對(duì)應(yīng)的碼字的

9、長度。 每個(gè)信源碼元在編碼后碼字中占用的平均碼元數(shù)為 編碼器輸出的碼元速率為 它仍然高于信道的傳輸能力（2碼元/s）， 故碼元速率還需要進(jìn)一步減小。,17,3階擴(kuò)展： 平均碼字長度：L = 1.598 每個(gè)信源碼元在編碼后碼字中占用的平均碼元數(shù)為 編碼器輸出的碼元速率為 這一速率可以為信道所接受，所以能用3階擴(kuò)展傳輸。,18,L/n和n的關(guān)系曲線 從曲線可以看出，L/n永遠(yuǎn)大于信源的熵，并且當(dāng)n增大時(shí)收斂于信源的熵。,19,12.5.2 信源編碼的分類和效率 有關(guān)定義 字母表：若干個(gè)符號(hào)的集合 碼字：由一個(gè)字母表中的若干符號(hào)構(gòu)成 字長：碼字中符號(hào)的數(shù)目 碼元：在信道中傳輸?shù)姆?hào) 信源編碼的分類

10、 非分組碼 分組碼：碼長是固定的 唯一可譯碼： 其碼字不用空格區(qū)分就可以譯出。 瞬時(shí)碼 非瞬時(shí)碼 ：需要參考后繼碼字譯碼 例：,20,信源編碼的效率 效率定義： 碼字的最小平均字長 Lmin 和碼字的平均字長 L 之比 式中，P(xi) 第 i 個(gè)信源符號(hào)的概率， li 對(duì)應(yīng)第 i 個(gè)信源符號(hào)的碼字的長度。 可以證明，最小平均字長等于 式中，H(X) 被編碼的消息集合的熵， D 編碼字母表中的符號(hào)數(shù)目 將上兩式合并，得到 對(duì)于二進(jìn)制(D = 2)而言，上式變成 由上式看出，若效率為100%，則平均字長L應(yīng)等于熵H(X)。,21,12.5.3 擴(kuò)展二進(jìn)制信源的熵 可以證明，一個(gè)離散無記憶信源的第

11、n階擴(kuò)展的熵等于 所以，擴(kuò)展信源的效率為 若當(dāng)n趨向于無窮大時(shí)，效率趨近100%，則L/n趨近于擴(kuò)展信源的熵。這可以從下圖看出。,22,12.5.4 香農(nóng)-費(fèi)諾碼 編碼方法舉例 首先將信源符號(hào) xi 按照出現(xiàn)概率不增大的次序排列； 然后將信源符號(hào)劃分成兩組（用虛線A-A標(biāo)出），使每組中符號(hào)的概率盡可能相等； 將“0”分配給上組，“1”分配給下組； 如此進(jìn)行下去，直至不能再劃分為止。 若每次劃分都能給出等概率的分組，則這種方法能給出100%效率的編碼。 此例的效率：,23,12.5.5 霍夫曼碼 對(duì)于給定熵的信源，霍夫曼碼能得到最小平均字長。 編碼過程舉例 將信源消息 xi 按照概率不增大的次序

12、排列; 將概率最小的兩個(gè)信源消息 x7 和 x8 合并; 為x7分配“0”， x8分配“1”，作為其碼字的最后一個(gè)符號(hào)； 將x7和x8合并后看成是一個(gè)復(fù)合消息x4 ；,24,令復(fù)合消息x4的概率等于x7和x8的概率之和，即0.1250 ； 將消息x1, x2, x3, x4, x5, x6和x4仍按概率不增大的次序排列; 將消息x5和x6合并，將合并結(jié)果再和x4合并； 如此進(jìn)行到最后，得到了一個(gè)樹狀結(jié)構(gòu)； 從樹的最右端向左追蹤，就得到了編碼輸出碼字。,25,從霍夫曼編碼得到的碼字與香農(nóng)-費(fèi)諾編碼得到的不同，因?yàn)閷?fù)合消息插入到哪些點(diǎn)是有任意性的。將二進(jìn)制數(shù)字“0”和“1”分配給上面或下面的消息

13、也是任意的。 然而，這兩種編碼的平均字長是一樣的。在這個(gè)例子中，因?yàn)橄戕r(nóng)-費(fèi)諾碼給出100%的效率，所以霍夫曼碼自然不會(huì)比它差。 但是，一般而言，這兩種編碼方法給出的平均字長不一定相等。,26,12.6 白色加性高斯噪聲信道的容量 香農(nóng)第二定理：給定一個(gè)容量為Cc的離散無記憶信道和一個(gè)正速率為R的信源，若 R Cc，則必定有一種編碼，當(dāng)其足夠長時(shí)，使信源的輸出能以任意小的錯(cuò)誤概率通過此信道傳輸。 對(duì)于白色加性高斯噪聲的連續(xù)信道，它能夠傳輸?shù)淖畲笮畔⑺俾视上率浇o出： 香農(nóng)-哈特萊(Shannon-Hartley)定律 式中， B 信道帶寬（Hz）， S/N 信號(hào)噪聲功率比。 Cc 信道傳輸?shù)淖畲?/p>

14、信息速率 (b / s)。,27,容量Cc的特性 保持Cc不變，帶寬B和信噪比S/N可以交換。 對(duì)于無噪聲情況（S/N = ），只要帶寬不為0，則容量Cc將是無窮大。 在有噪聲情況下，當(dāng)B 時(shí)，Cc趨向于如下極限值： 【證】令x = S/n0B，代入 得到 因?yàn)楫?dāng)x 0時(shí)，ln(1 +x)1/x 1，所以上式變?yōu)?28,Cc與B的關(guān)系：按照右式畫出 Cc與Eb/n0的關(guān)系：當(dāng)以速率Rb = Cc 傳輸時(shí)， 碼元能量： 式中，Tb = 1/Cc 每比特的持續(xù)時(shí)間 將上式代入式： 得出當(dāng)B 時(shí)， 或 上式表明，對(duì)于Rb = Cc 的理想情況，當(dāng)B 時(shí)，僅需 Eb /n0 = -1.6 dB就能實(shí)現(xiàn)

15、無誤傳輸。,29,Eb/n0與Cc/B的關(guān)系曲線： 在Rb Cc區(qū)域，不能使錯(cuò)誤概率達(dá)到任意小 若信源比特率Rb一定，且?guī)払足夠大，使BRb，則僅需Eb/n0略大于-1.6 dB就可以工作在Rb B，則需要很大的Eb/n0值才能工作在Rb Cc區(qū)域。 帶寬受限工作狀態(tài) 。,30,信噪比和帶寬關(guān)系 設(shè)：原始信號(hào)的帶寬為B1，在以信噪比S1/N1傳輸時(shí)，其最大信息傳輸速率R1為 將此信號(hào)調(diào)制（或）編碼后，若仍保持原來的信息傳輸速率R1，但是帶寬變成B2，所需信噪比變成S2/N2，則應(yīng)有 將上兩式合并，得到 或 當(dāng)信噪比很大時(shí)，上式變?yōu)?信噪比的改善和帶寬比B2/B1成指數(shù)關(guān)系。,31,帶寬B和比特能量Eb的關(guān)系 由香農(nóng)-哈特萊定律公式 看出：因n0可以認(rèn)為是常數(shù)，所以增大帶寬B，可以換取Eb的減小，即帶寬和比特能量之間也同樣有交換關(guān)系。,32,例4：設(shè)1幀黑白電視圖像由30萬個(gè)像素組成，每個(gè)像素能取10個(gè)亮度電平，并且這10個(gè)亮度電平是等概率出現(xiàn)的。若每秒發(fā)送25幀圖像，要求圖像信噪比達(dá)到30 dB，試求所需傳輸帶寬