信息論編碼 田寶玉chapter112

1、1廣播信道（Broadcast Channel, BC）與多址接入信道正好相反，它有一個輸入和多個輸出。圖11.10 2單輸入雙輸出的廣播信道：圖11.11 單輸入雙輸出廣播信道3退化的廣播信道：存在一個條件概率函數(shù) 使得由級聯(lián)信道的性質(zhì)可知， 、 、 構(gòu)成一個馬氏鏈，或者說在 已知的條件下 與 無關(guān)。21(|)p yy112112(| ) (|)(| )Yp yx p yy dyp yx圖11.12 退化的廣播信道X1Y2Y1YX2Y4定理11.2 通過退化廣播信道 發(fā)送獨立信息的容量區(qū)域是滿足下式的所有 的封閉集合的凸包： 輔助隨機變量 的基數(shù)的界限是用凸集理論的標準方法來確定的。12XY

2、Y12(,)R R1222(,):0( ;)R RRI U Y110(;/)RI X Y U12( ) ( / ) (/ )p u p x u p y yx對某聯(lián)合分布12min,UUXYY成立且 的基數(shù)U5例11.4 二元對稱廣播信道。求該信道的容量區(qū)域。解：圖11.12 二元對稱廣播信道11221122121 212211221121 2111 111(1)(1)(1)(1) (1)(1)(1)(1)( / ) ppppqqppppqqppppp pp pp pp ppppPZ Xp 6構(gòu)造一個二元隨機源U，設(shè) 為對稱分布，錯誤轉(zhuǎn)移概率為 ，得：由定理11.2得，速率區(qū)域為0p()P x

3、u0120( ; )( )()1(*)1(* )I U ZH ZH Z UH pppH pq 011(;)()()()()(*)()I X Y UH Y UH Y XUH Y UH Y XH ppH p1011(;)(*)()RI X Y UH ppH p20( ; )1(* )RI U ZH pq 圖11.14 二元對稱廣播信道的容量區(qū)域7例11.5 高斯廣播信道。假設(shè)信道輸入信號的平均功率為 。求該信道的容量區(qū)域。解：高斯廣播信道也屬于退化的廣播信道引入輔助隨機輸入集合 將輸入信號功率 分成 和 ，用于傳輸 的平均功率為 ，用于傳輸 的平均功率為 即：SP222YXZYZ 圖11.15 高

4、斯廣播信道圖11.16 退化高斯廣播信道12UU U111211222, , YUZUXYZUUUSPSP(1)SP1USP2U(1)SP122()SSsE XPPP121()SsE UPP222()(1)SsE UPP8從單用戶高斯信道的理論可知，要使退化高斯信道的輸入輸出的平均互信息為最大，輸入X應(yīng)為高斯分布；當輸入 為高斯分布時因 獨立，所以得容量區(qū)域為：1U1211(;/)log(1)2sPI X Y U21YU與2221222222( ;)(;)(;/)(1)1 (;)log(1)2ssI U YI U YI U YUPI U YP222(1)1log(1)2ssPRP1211log

5、(1)2sPR圖11.17 高斯廣播信道容量區(qū)域9相關(guān)信源編碼進行編碼時，力求對信源相關(guān)帶來的剩余度的壓縮，提高網(wǎng)絡(luò)傳輸?shù)挠行浴?1.3 11.3 相關(guān)信源編碼相關(guān)信源編碼圖11.19 相關(guān)信源編碼的一般模型101. Berger相關(guān)信源編碼模型2. Slepian-Wolf相關(guān)信源編碼模型圖11.20 Berger相關(guān)信源編碼圖11.21 Slepian-Wolf模型113. 帶邊信息的相關(guān)信源編碼4. 分集的相關(guān)信源編碼圖11.22 帶邊信息的信源模型圖11.23分集的相關(guān)信源編碼模型12由Slepian-Wolf相關(guān)信源編碼的模型，得定理11.3 Slepian-Wolf相關(guān)信源編碼定

6、理：對于相關(guān)信源 編碼問題，可達速率的區(qū)域為：若滿足上面的條件即可在接收端無差錯地恢復(fù) 和1212()()(,)H XH XH XX112()(|)H XH XX221()(|)H XH XX12(,)XX1122211212(|)(|)()RH XXRH XXRRH X X1X2X13例例11.611.6 設(shè)信源 ，信源 ，其中 。 ，若 則有 ，且 。由此得 比特。而 比特（設(shè) ）因此，在已知 的情況下要確定 ，只需要0.5比特，而不是1比特。因為 與 具有相關(guān)性，在已知 時，已提供了一些關(guān)于 的信息量，因此只需獲得大于 比特的信息量， 就能完全確定 。由此可見在對相關(guān)信源 和 進行編碼時

7、只要保證 就能完全確定 。11110,1 , (0)(1)2Sp sp s00,1S 00(0)1,(1)p sp p sp 210SSS20,1S 221(1)(0)2p sp s21()()1H SH S21(/)( )0.5H SSH p1S2S0.11p 2S1S1S2S21()H S S2S2S1S2S11221(),()RH SRH S S14例11.7 有兩城市A和B，它們的天氣（晴，雨）的聯(lián)合概率如表所示：求理論上平均每天所需傳送的最小比特數(shù)：（1）兩城市獨立進行壓縮編碼傳送；（2）兩城市利用相關(guān)信源縮編碼傳送；（3）若國家氣象局已知A城市天氣的情況下，利用相關(guān)信源縮編碼傳送B

8、城市天氣。 A B B雨 B晴 A雨04450055 A晴 0055044515解:（1）容易得兩城市的天氣分布情況均為雨和晴等概率出現(xiàn)。不考慮天氣在時間先后上的相關(guān)性，將A、B兩城市的天氣視為獨立等概信源，有 獨立地對信源編碼傳送，即不考慮A、B兩城市之間天氣的關(guān)聯(lián)性。 這時實現(xiàn)無失真編碼傳輸，必須使編碼以后的信息傳輸速率滿足 。因此獨立進行壓縮編碼傳送兩城市天氣情況最小需要比特數(shù)為2比特； /1ABHH比特 天AABB,RHRH16（2）利用相關(guān)信源編碼時，考慮在天氣方面兩城市之間的關(guān)聯(lián)性，可得聯(lián)合熵 從而傳送每天兩城市的天氣情況最小需要 （3）在已知A城市天氣的情況下，利用相關(guān)信源編碼，

9、只需要再傳條件熵 比特就可以完全獲得B城市的天氣情況。(0.445,0.445,0.055,0.055)1.5ABHH比特ABH=1.5ABRR比特B/AABAHH-H =0.517例11.8 U為含8個等概率符號的離散無記憶信源，符號集0，1，7，信源符號分別通過兩個信源編碼器: 編碼器1將信源符號轉(zhuǎn)換成碼長為3的二進代碼 ，再通過信道1傳輸，輸出為 ，即信源編碼1: 編碼器2按編碼器1的方式將信源符號轉(zhuǎn)換成二進代碼后，將代碼分成4組： 再將每組的序號 (符號集為：00，01，10，11）通過一個無噪聲信道傳輸，即信源編碼2： 1X1Y0000 10017111，000,111001,110

10、010,101100,011，2X0,7001,6012,5103,411，18信道1的作用是等概率地將輸入的每個長度為3的二元碼字 變成與其漢明距離不大于1的另一個長度為3的二元碼字 ；接收端根據(jù) ，對U作出判決。1x1y21x y信源編碼1信源編碼2信道1譯碼器X1UX2Y1 U圖11.26 傳輸系統(tǒng)框圖191.分別求兩信源編碼器編碼后的信息傳輸速率 ；2.求信道1的轉(zhuǎn)移概率矩陣和容量； 3.求4.設(shè)計譯碼器的譯碼原則，并指出譯碼器能否無差錯的將信源符號譯出？解：1.信源編碼器1得信息傳輸速率 比特/碼符號 信源編碼器2得信息傳輸速率 比特/碼符號；2.信道1的轉(zhuǎn)移概率矩陣：12rr，12

11、212 1(, , ( /), ( / ), ( /) I U Y I U XHU XHU Y HU XY； ） （ ； ）1log813R 2log81.52R 11/ 41/ 41/ 401/ 40001/ 41/ 401/ 401/ 4001/ 401/ 41/ 4001/ 4001/ 41/ 41/ 40001/ 41/ 40001/ 41/ 41/ 4001/ 4001/ 41/ 401/ 4001/ 401/ 401/ 41/ 40001/ 401/ 41/ 41/ 4P20信道1為對稱信道，輸出等概時達到信道容量：3.因為U到 的變換是一一對應(yīng)的變換，所以U到 的轉(zhuǎn)移概率矩陣與

12、相同。因信道輸入等概率，因此輸出也等概，所以 與信道1的容量相同，即 的轉(zhuǎn)移概率矩陣為： 11122( )()log 8log 41CH YH Y X 比特1X1Y1( ;I U Y）1( ;I U Y）=1bit222( ;/I U XH XH XU） （ ） （）2UX2 00011011 X01112131U415161712222211 2, ( ) 3/0;2/;1( / )( )( ; ) 2H XH UH X UI U XbitH U XH UI U XbitH U YH UI U Ybitbitbit,bit,（ ）（）（）（） （ ）（）214. 由2的結(jié)果可知，分別單獨利用 或 都不能無差錯譯碼。 而 ，所以由 和 共同譯碼則可以無差錯譯碼。因此設(shè)計譯碼原則：譯碼器根據(jù)接收的 ，確定U所在的組，設(shè)兩個可能發(fā)送的碼字為 ；再分別求 與 的漢明距離，對應(yīng)最小漢明距離的 判決為譯碼器的輸出。很明顯，可以實現(xiàn)無差錯譯碼。12121212121212/(-/H U YXH UYXH YXH UH YXUH YXH UH Y UH XUH YX（） （）（ ） （） （）（ ） （） （） （）212()( )(/)( )(/)(/)uupp u pup u pu pu112y