信息論與編碼習(xí)題

1、第3章復(fù)習(xí) 信道參數(shù)：用轉(zhuǎn)移概率表示信道 信道模型 二進(jìn)制離散信道BSC 離散無記憶信道DMC 波形信道 1 1 信道容量 信道上每傳送一個符號(每使用一次信道)所 能攜帶的比特?cái)?shù)，即比特/信道符號 (bits/symbol或bits/channel use)。 如果已知信道符號傳送周期是T秒，此時 Ct=C /T，比特/秒(bits/s) 2 2 );(max )( YXIC i xP DMC信道的容量 對稱DMC信道的容量：當(dāng)信道輸入符號 等概分布時，可達(dá)到其信道容量 BSC信道的容量：m2 準(zhǔn)對稱信道的容量 3 3 1 log(|)loglog m iijij j CmH Y xmpp

2、帶限波形信道的容量 條件： 信道帶寬W受限 噪聲為加性高斯白噪聲（均值為零，功率譜 密度為N0） 輸入信號平均功率受限PS 若輸入信號是平均功率受限的高斯白噪聲信 號，可達(dá)信道容量 香農(nóng)公式： 香農(nóng)限：1.6dB 4 4 0 log(1)log(1) P CWWSNR WN 習(xí)題 設(shè)二元對稱信道的傳遞矩陣為 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求該信道的信道容量及其達(dá)到信道容量時的輸入概率分 布； 3 2 3 1 3 1 3 2 某信源發(fā)送端有2個符號Xi ，i1，2； ，每 秒發(fā)出一個符號。接受端有3種符

3、號yj ，j1， 2，3，轉(zhuǎn)移概率矩陣為 （1）計(jì)算接受端的平均不確定度； （2）計(jì)算由于噪聲產(chǎn)生的不確定度 ； （3）計(jì)算信道容量。 222 1122 max (; )loglog 2( lglg) log 100.082 / 3333 mi CI X YmHbit symbol 1 ( ) 2 i p x其最佳輸入分布為 解： 1/ 21/ 20 1/ 21/ 41/ 4 P 第6章信道編碼復(fù)習(xí) 概念：概念： 差錯符號、差錯比特差錯符號、差錯比特 差錯圖樣：隨機(jī)差錯、突發(fā)差錯 糾錯碼分類糾錯碼分類：檢和糾錯碼、分組碼和卷積碼、線性碼與非線 性碼 、糾隨機(jī)差錯碼和糾突發(fā)差錯碼 30 矢量空間

4、與碼空間 n維維n重空間有相互重空間有相互 正交的正交的n個基底個基底 選擇選擇k個基底構(gòu)成個基底構(gòu)成k 維維n重碼空間重碼空間C 選擇另外的選擇另外的(n-k)個個 基底構(gòu)成空間基底構(gòu)成空間H C和和H是對偶的，正是對偶的，正 交的交的 CHT0, GHT=0 31 n維維n重空間重空間V k維維k重重 k維維n重重 n-k維維 信息組信息組 碼空間碼空間 n重重H 空間空間m C 有擾離散信道的編碼定理 若傳信率RC，就不可能有任何一種編碼能使差 錯概率任意小。 32 ()NE R e Pe 差錯控制的途徑 從公式 增大碼長N 增大可靠性函數(shù)E(R)：加大信道容量C 減小碼率(傳信率)R。

5、 從概念上 利用冗余度（增強(qiáng)相關(guān)性） 噪聲均化(隨機(jī)化) 33 ()NER e Pe 最優(yōu)譯碼與最大似然譯碼 最佳譯碼最佳譯碼 Max P(ci /r)，性能優(yōu)，實(shí)現(xiàn) 難 最大似然譯碼最大似然譯碼 Max P(r / ci)，性能次 優(yōu)，實(shí)現(xiàn)容易 最佳譯碼等同最大似然譯碼：最佳譯碼等同最大似然譯碼： 碼集的碼字以相同概率發(fā)送 接收碼等概分布 34 i c i c 線性分組碼 線性分組碼基本概念 碼元、碼字、碼集 重量、重量分布、恒重碼 線性碼（封閉性） 基底、矢量正交、矢量空間正交、對偶 空間、線性相關(guān)、線性無關(guān) 35 生成矩陣和校驗(yàn)矩陣 生成矩陣G：CmG 校驗(yàn)矩陣H：CHT0 系統(tǒng)形式：G

6、Ik|P，HPT|In-k 差錯圖案E=R-C，伴隨式SRHTEHT 標(biāo)準(zhǔn)陣列譯碼表 36 碼距與糾、檢錯能力 碼的總體性能取決于碼距的分布特性（重重 量譜量譜），而糾、檢錯能力取決于其中的最 小者dmin ，dmin = min w (C i ) 檢、糾錯能力： 可檢dmin1個差錯 可糾t= INT(dmin1)/2個差錯 校驗(yàn)矩陣H中有（dmin-1)列線性無關(guān) dmin (n-k+1)，極大最小距離碼極大最小距離碼 37 特殊的線性分組碼 完備碼 漢明碼： t=1，(2m-1，2m-1-m) 高萊（Golay）碼：二進(jìn)制（23，12）線性碼，其最小距離 dmin7，糾錯能力t=3 38 0 2 t nk i n i 循環(huán)碼 循環(huán)碼用多項(xiàng)式表示： C(x)=m(x)g(x) 生成多項(xiàng)式： xn+1g(x)h(x) 校驗(yàn)多項(xiàng)式：C(x)h(x)=0 mod(xn+1) g(x)x n-k + gn-k-1 x n-k-1+ g1 x +1 系統(tǒng)循環(huán)碼：C(x) = xn-k m(x) + r (x)， r (x) = xn-k m(x) mod g(x) 39 擴(kuò)展碼和縮短碼 擴(kuò)展碼