信息論基礎教程課程論文

1、信道編碼的發(fā)展與應用摘要：在有擾離散信道上，只要信息傳輸速率不大于信道容量，就總可以找到一種信道編碼方式來實現(xiàn)無誤傳輸。這就是信息論的開創(chuàng)者香農(nóng)在1948年提出的信道編碼定理。信道編碼定理給信道編碼的研究指出了明確的方向。本文介紹了幾種主要的信道編碼、譯碼原理，分析了他們的實現(xiàn)方法和性能，并對各種編碼的優(yōu)缺點進行了總結(jié)，在給出信道編碼的應用實例的基礎上對信道編碼的未來進行了展望。關鍵詞：信道編碼；分組碼；卷積碼；級聯(lián)碼；Turbo碼信息與通信系統(tǒng)中的編碼有4種形式：信源編碼、信道編碼、密碼編碼和多址編碼。信源編碼解決了通信系統(tǒng)的有效性問題，通過壓縮信源冗余信息來提高通信的效率；信道編碼則是通過

2、增加冗余位來達到保證通信系統(tǒng)的可靠性（通過犧牲寬帶或傳輸速率來換取可靠性），其基本思想是根據(jù)相關性來檢測和糾正傳輸過程中產(chǎn)生的差錯；密碼編碼則是保證了系統(tǒng)的安全性；多址編碼主要是解決多用戶通信問題。香農(nóng)第二編碼定理證明，用任意接近信道容量C的傳輸速率R傳送并且傳輸?shù)牟铄e率可以任意小的編碼方法是存在的。香農(nóng)還從理論上證明了，即使是隨機編碼，只要碼組長度無限，就可以找到一種信道編碼方式來實現(xiàn)無誤傳輸。信道編碼的任務就是尋找這種編碼的。1 信道編碼的分類1.1 分組碼把信息序列以每個碼元分組，然后把每組個信息元按一定規(guī)律產(chǎn)生個多余的校驗元，輸出序列每組長為。每一碼字的個校驗元只與本組的個信息元有關，

3、與別的信息位無關，記為分組碼。線性分組碼是最有實用價值的一類碼，比如漢明碼、Golay碼、RS碼、BCH碼等都屬于線性分組碼。分組碼線性是指碼組中碼元的約束關系是線性的，而分組則是對編碼而言。線性分組碼的編碼方式是將信源輸出序列分組，每組是長為的信息序列，然后按照一定的編碼規(guī)則插入位的校驗位，校驗位是所有信息位的線性組合，組成長的碼字序列。線性分組碼可以用近世代數(shù)理論中有限維有限域的矩陣來描述。線性分組碼生成矩陣為，信息矢量為，則編碼輸出為:如果生成的是系統(tǒng)碼, 即原始的信息出現(xiàn)在編碼中, 則生成矩陣可改寫為:其中: 表示階單位陣，為階陣。線性分組碼用于譯碼的校驗矩陣為 ,滿足和。對于系統(tǒng)碼而

4、言,其校驗矩陣為，為階陣, 為階單位陣。由此可知線性分組碼的生成矩陣和校驗矩陣的行矢量彼此正交。線性分組碼的性質(zhì)是： 碼中任意兩個碼字之和仍為一碼字； 任意碼字是的行向量的線性組合； 零向量0=（0,0，0）是一個碼字，稱為零碼字； 線性分組碼的最小距離等于非零碼字的最小重量（即漢明重量，即對于一個非零碼字而言，非零元素的個數(shù)即為漢明重量）?！纠?】 已知生成矩陣為，求生成的線性分組碼及由生成的線性分組碼。解 由于則有又因為則由生成矩陣生成的（7,3）線性分組碼為000000000000100111010100100111011011101010010011101011010011110110

5、10011111110100把校驗矩陣當作生成矩陣，可生成（7,4）線性分組碼：00000000000000101100010010110001000111010011010011101000101100010101100010110011101001111000101100010011101001101001110101011000101111000101100110100111011110100111011111111111這樣生成的和是互相正交的。1.1.1 循環(huán)碼一個線性分組碼, 如果每個碼字經(jīng)過任意循環(huán)移位后仍然是一個線性分組碼, 那么此碼就是一個循環(huán)碼。循環(huán)碼是線性分組碼中最主要、

6、最有用的一個子類，它具有完整的代數(shù)結(jié)構(gòu)，編譯和譯碼可以用具有反饋聯(lián)級的移位寄存器來實現(xiàn)。它滿足循環(huán)移位特性：碼中任何一個碼字的循環(huán)移位仍是碼中的一個碼字。一般線性分組碼的個基底之間不存在規(guī)則的聯(lián)系，因此我們需用個基底組成生成矩陣來表示一個碼的特征。而循環(huán)碼的個基底可以是同一個基底循環(huán)次得到，因此用一個基底就可以表示一個碼的特征。我們可以用不大于（n-1）次的碼多項式來唯一表示一個碼字：根據(jù)循環(huán)碼的定義，與一般的線性分組碼相比，循環(huán)碼的生成矩陣結(jié)構(gòu)更加簡化，生成矩陣由生成多項式?jīng)Q定：必為的因子，根據(jù)線性分組碼的產(chǎn)生原理，則循環(huán)碼有下面的關系式：，編碼器的實現(xiàn)框圖如圖1所示。圖1 編碼器的實現(xiàn)，其

7、中：為相應的校驗多項式，最高次數(shù)為。構(gòu)造循環(huán)碼的步驟： 對作因式分解，找出（）此因式。 以該（）此因式作為生成多項式，與不高于次的信息多項式相乘得碼多項式。的次數(shù)不高于次。【例2】 構(gòu)造一個（7,4）循環(huán)碼。 解 （1）對作因式分解得：。3次因式有兩個和，均可以作為（7,4）循環(huán)碼的生成多項式，選擇不同的會得到不同的（7,4）循環(huán)碼。（2）選，信息多項式共有種可能的組合，對應16個碼字。利用可得到16個碼字。例如，=（0110）對應碼字：表1是該（7,4）循環(huán)碼的碼字?？梢钥闯觯魏未a字的循環(huán)仍然是碼字，整個碼組有4組碼字的循環(huán)，但都是的線性組合。表1 （7,4）循環(huán)碼信息比特碼字（循環(huán)1）信

8、息比特碼字（循環(huán)2）信息比特碼字（循環(huán)3和4）000100100100100011010111111000011010011010011010011010001010001010001110001100011011011000101101010011111001011101011101011100011100111100101100101100101100001111000000011111111.1.2 BCH碼如果是有限域上的一個非零元素，存在整數(shù)，則碼長為最小漢明距離為的BCH碼在域上的生成多項式必以為根。如果上的非零元素是域上最小多項式的根，則BCH碼的生成多項式可以用下面的公式來描述

9、：當時稱為狹義BCH碼，當時稱為本原BCH碼，當時稱為二元BCH碼。BCH碼家族最重要的碼就是狹義本原二元碼。他的生成多項式可改寫為：這里為糾錯個數(shù)，為不可約多項式，LCM為取最小公倍式。由該生成多項式產(chǎn)生的最小碼距（為設計碼距）?？杉m個錯誤的BCH碼的生成多項式可按下面的步驟求解：1 選擇域上的一個本原元素；2 根據(jù)設計的糾錯能力，確定由本原多項式?jīng)Q定的的最下多項式；3 計算，其中均為根。BCH碼是一類重要的循環(huán)碼，能糾正多個隨機錯誤（漢明碼只能糾單個錯誤）。由于具有糾錯能力強、編碼簡單、譯碼較容易實現(xiàn)等優(yōu)點而被廣泛采用。1.2 卷積碼編碼器在某個時間段產(chǎn)生的個碼元，不但取決于該時間段進入編

10、碼器的個信息位，而且也與前面的個時間段內(nèi)的信息組有關，這就是樹碼或稱鏈碼。卷積碼是樹碼中最重要的一類，是一種非線性碼，其編碼器中有記憶器件存在。它的碼字與個時間段的信息組的映射關系是時不變的線性關系，卷積碼與分組碼相似，具有糾正隨機錯誤、突發(fā)錯誤或同時糾正這兩類錯誤的能力。通常卷積碼更適用于前向糾錯。一般的卷積碼選取較小的和較大的，可以獲得既簡單又有高性能的信道編碼。卷積碼的描述方式有很多種：生成矩陣、生成多項式、D變換，以及主要用于譯碼的樹圖、trellis圖和狀態(tài)轉(zhuǎn)移圖等。卷積碼的生成矩陣與分組碼不同，他是一個半無限矩陣。這就導致了卷積碼在編碼上的輸出是有頭無尾的，即每個信息段的輸出都是無

11、窮的。實際中，通過在信息段的后面增加個0來分割，因為在連續(xù)輸入個0后輸出也是0。卷積碼的譯碼算法有多種，主要包括：序列譯碼、迭代譯碼、list譯碼以及維特比譯碼等。其中維特比譯碼用的較多，他是一種基于trellis圖最大似然譯碼，因此也是一種最佳譯碼算法。維特比譯碼的缺點主要有2個：要等全部接收的數(shù)據(jù)進入譯碼器后才能最后算出譯碼的結(jié)果，因此時延長。共有條幸存路徑的全部歷史數(shù)據(jù)需要保存，所以存儲量很大。 1.3 級聯(lián)碼串行級聯(lián)碼由兩個短碼（內(nèi)碼和外碼）串接而成。其分組長度是內(nèi)、外碼分組長度的乘積，碼率是兩種碼率的乘積。外碼的作用是糾正經(jīng)內(nèi)碼譯碼后遺留下來的一些差錯。根據(jù)各種編碼的特性，典型的串行

12、級聯(lián)碼方案采用特別適合于糾突發(fā)錯誤的RS（Reed-Soloman）碼為外碼，糾隨機錯誤能力很強的卷積碼為內(nèi)碼，信息數(shù)據(jù)經(jīng)RS編碼、交織和卷積編碼后發(fā)送出去，接收信號后經(jīng)卷積譯碼、去交織和RS譯碼后輸出。串行級聯(lián)碼與單一碼相比更易獲得高的編碼增益，設備不太復雜，費用相對較低，運用于對編碼效率要求不高的通信系統(tǒng)可獲得優(yōu)異的性能。在加性高斯白噪聲（AWGN）信道中，若要系統(tǒng)誤碼率不大于，那么，不編碼的最佳相于PSK系統(tǒng)要求比特能量與噪聲密度之比（Eb/No）為9.5dB，采用卷積碼-序列譯碼的系統(tǒng)要求Eb/No為3-5Db,采用串行級聯(lián)碼的系統(tǒng)要求Eb/No為0.2dB，這與香農(nóng)容量極限（-1.6

13、dB）僅差1.8dB。串行級聯(lián)碼的問題在于它仍然沒有擺脫短碼的束縛，因而在信息傳輸速率接近信道容限時，其譯碼過程不但不會減少錯誤，而且還可能使錯誤增加。于是人們繼續(xù)尋找性能更優(yōu)異的可譯碼結(jié)構(gòu)，其重要成果是1992年申請專利、1993年在ICC會議上以論文形式公開的Turbo-code。1.4 Turbo碼Turbo碼是1993年由C.Berrou等提出的一種并聯(lián)的卷積碼編碼方案。他巧妙地將卷積碼和隨機交織器結(jié)合在一起，實現(xiàn)了隨機編碼的思想；同時，采用軟輸出迭代譯碼來逼近最大似然譯碼。仿真結(jié)果表明：在AWGN 信道下，碼率為1/2 的Turbo 碼在達到誤比特率（BER) 105時，Eb/N0僅

14、為約0.7dB （這種情況下達到信道容量的理想Eb/N0值為0db），遠遠超過了其他編碼方式，一時在信息和編碼理論界引起了轟動。Turbo碼由于其近Shannon界的突出糾錯能力，成為近年信道編碼理論研究的熱點問題。其編碼器由兩個（或多個）帶反饋的系統(tǒng)卷積碼器經(jīng)一交織器并行級聯(lián)而成，接收端采用逐位最大后驗概率譯碼器通過反復迭代循環(huán)來譯碼。編碼器結(jié)構(gòu)如圖2所示。圖2 Turbo碼編碼器結(jié)構(gòu)Turbo碼有一重要特點是其譯碼較為復雜，比常規(guī)的卷積碼要復雜的多，這種復雜不僅在于其譯碼要采用迭代的過程，而且采用的算法本身也比較復雜。這些算法的關鍵是不但要能夠?qū)γ勘忍剡M行譯碼，而且還要伴隨著譯碼給出每比特

15、譯出的可靠性信息，有了這些信息，迭代才能進行下去。用于Turbo碼譯碼的具體算法有：標準算法（對BJCR算法的修正）、對數(shù)域算法、最大值算法及軟輸出維特比譯碼算法（SOVA）。他的結(jié)構(gòu)圖可以用流水線的形式來描述，每個單元表示一次迭代，如圖3所示。圖3 迭代算法結(jié)構(gòu)圖由于充分利用了碼間的附加信息，Turbo碼獲得了很好的編碼增益。Turbo碼不僅在信道信噪比很低的高噪聲環(huán)境下性能優(yōu)越，而且還具有很強的抗衰落、抗干擾能力，因此它在信道條件差的移動通信系統(tǒng)中有很大的應用潛力，在第三代移動通信系統(tǒng)(IMT-2000）中己經(jīng)將Turbo碼作為其傳輸高速數(shù)據(jù)的信道編碼標準。2 信道編碼的應用2.1 糾錯碼

16、在數(shù)字音頻/視頻傳輸中的應用2.1.1 數(shù)字音頻廣播（DAB）：(1)在FM多路復用DAB中采用循環(huán)碼，傳文本文件時用（273,190）碼。(2)歐洲D(zhuǎn)AB標準：采用rate-compatible punctured convolutional(RCPC) coding scheme:1) Unequal and Adaptive Error Protection with RCPC Codes;2) The RCPC Coding Scheme for the European DAB System;2.1.2 數(shù)字視頻廣播（DAB）：(1)第一個標準（90年代）：（514,493）BCH碼

17、，；(2)采用級連碼：（204,188）RS碼 +（2,1,7）卷積碼(3)歐洲最近的DVB標準（2005）：BCH+LDPC碼組成的級連碼2.2 糾錯碼在移動通信中的應用2.2.1 Turbo碼在第三代移動通信中的應用 編碼原理圖4 Turbo碼編碼器框圖 3G數(shù)字移動通信中的Turbo碼編碼器結(jié)構(gòu)2.3 糾錯碼在光纖通信中的應用糾錯碼在光纖通信中的應用是近幾年才提出的，基本原因在于，一是光纖本身具有較強的抗干擾能力，二是在光纖通信初期對速率的要求不高，一條光纖只須傳輸一個波長的信號。隨著Internet的普及與迅速發(fā)展，通信業(yè)務量大增，因而需要采用波分復用，甚至密集波分復用技術。在長距離或

18、超長距離、大容量DWDM光纖通信系統(tǒng)中，光纖的色散、長距離傳輸引起的信號衰減、信道噪聲以及一根光纖中多個波長之間的干擾會使系統(tǒng)的性能大大下降，為此，在光纖干線上每隔大約80公里就必須進行一次光中繼，每隔400公里左右則必須進行一次電信號的再生，從而使建網(wǎng)和運營的成本劇增。解決上述問題的關鍵是在光纖通信中引入前向糾錯編碼（Eorward Error-Correction，簡稱為FEC）技術。采用FEC所獲得的編碼增益，可用于降低誤碼率、以提高通信的可靠性，也可用于增大傳輸距離，還可用于減小所需的發(fā)射功率，或綜合加以利用。2.3.1 帶內(nèi)FEC方案帶內(nèi)FEC方案是ITU-T在2000年10月通過的

19、G.707建議中提出的。所謂帶內(nèi)，是指將FEC的冗余監(jiān)督位置于SONET/SDH原有幀格式開銷中的未定義位上，無須增加額外的帶寬。該方案適用于4路OC-48/STM-16，或單路OC-192/STM-64信號，線路速率為10Gb/s，速率低于OC-48/STM-16時不使用FEC，高于此速率時須在此方案基礎上加上交織技術。該方案的優(yōu)點是，加上FEC后不會影響SONET/SDH原有的幀格式，線路速率保持不變，而且與不采用用FEC的網(wǎng)絡兼容。BCH碼是一類可糾正多個隨機錯誤的線性分組碼。帶內(nèi)FEC方案采用可糾3個比特錯誤的二元（4359,4320）BCH碼（簡稱為BCH-3），該碼是本原（8119

20、，8152）BCH碼的一種縮短碼, 其生成多項式為按照SDH-16幀結(jié)構(gòu)，取比特用戶數(shù)據(jù)，加上39個冗余監(jiān)督元，便構(gòu)成的一個碼長為n=4359的（4359,4320）BCH碼的碼字， 其最小距離為7， 故最多可糾正3比特錯誤。這39個冗余監(jiān)督元充填于SDH-16幀結(jié)構(gòu)開銷中未定義的空閑比特位中，所以，采用帶內(nèi)FEC既不影響原來的幀格式，也不改變線路的傳輸速率。 由于SDH-16幀結(jié)構(gòu)由9行組成，每行有字節(jié)（每字節(jié)8比特），于是每行可編成8個BCH（4320，4359）碼的碼字。每個BCH（4320，4359）碼的碼字可糾正3個比特錯誤。若采用交織技術，即將8個碼字排成一個陣列，每行一個碼字（4

21、320比特），共有8行、4320列，傳輸時按順序逐列傳輸，在接收端再按此方式排成陣列，然后逐行譯碼，如果在傳輸過程中連續(xù)有3列（24比特）發(fā)生錯誤，每個接收碼組中也只有3比特錯誤，因而譯碼器可自動加以糾正。可見，經(jīng)過交織處理后，帶內(nèi)FEC可糾正單個接收碼組中的任意3比特錯誤，同時可糾正SDH-16幀中長度多達24比特的突發(fā)錯誤。 2.3.2 帶外FEC方案帶內(nèi)FEC的優(yōu)點是不用改變SONET/SDH的幀格式、無須提高線路速率，但其糾錯能力非常有限，已不能滿足更高速率的遠程網(wǎng)絡的質(zhì)量要求。因而ITU-T在2001年制定的G.709標準中便提出了適合DWDM光傳輸網(wǎng)（OTN）2.5、10、40Gb

22、/s速率的帶外FEC方案, 而G.795提出的帶外FEC方案則主要用于2.5Gb/s以及更高的速率海底光纖傳輸網(wǎng)絡。這兩種帶外FEC方案基本相同，不同點是G . 975采用的交織技術未形成標準，G . 709則有統(tǒng)一的標準。所謂帶外，是指FEC為了實現(xiàn)糾錯所增加的冗余校驗位不是象帶內(nèi)FEC那樣插入原有幀格式的空閑位中，而是附加在數(shù)據(jù)幀之后，需要增加額外的帶寬，即使用帶外FEC后線路速率會提高。以上兩種帶外FEC均采用Reed-Solomob碼(簡稱RS碼)。RS碼是一類具有很強的既能糾隨機錯誤又能糾突發(fā)錯誤的最大距離非二元碼，在各種通信及計算機、光盤存儲系統(tǒng)中具有廣泛應用。 FEC采用RS（255，239）碼，簡稱RS-8，即在k=239數(shù)據(jù)字節(jié)（每個字節(jié)為一個碼元符號）后加上16個校驗字節(jié)便構(gòu)成長為n=255字節(jié)的碼字, 其編碼效率為93.7%。RS（255，239）碼生多項式為：該碼可糾正接收碼組中任意8字節(jié)的隨機錯誤，糾單個突發(fā)錯誤的最大長度為64比特。兩種