信息論與編碼理論-信道編碼-概念概要課件

1、2022/10/111 Today does not walk, will have to run tomorrow2022/10/101 Today does not wal2022/10/112信道編碼定理1948年,信息論的奠基人C.E.Shannon在他的開創(chuàng)性論文“通信的數(shù)學(xué)理論”中,提出了著名的有噪信道編碼定理。他指出：對任何信道,只要信息傳輸速率R不大于信道容量C, 就一定存在這樣的編碼方法：在采用最大似然譯碼時,其誤碼率可以任意小。信道編碼2022/10/102信道編碼定理信道編碼2022/10/113信道編碼定理該定理在理論上給出了對給定信道通過編碼所能達到的編碼增益的上限,

2、并指出了為達到理論極限應(yīng)采用的譯碼方法。在信道編碼定理中,香農(nóng)提出了實現(xiàn)最佳編碼的三個基本條件 ：(1 )采用隨機編譯碼方式 ; (2 )編碼長度 , 即分組的碼組長度無限 ; (3)譯碼采用最佳的最大似然譯碼算法。信道編碼2022/10/103信道編碼定理信道編碼2022/10/114信道編碼定理在滿足這三個條件的前提下 ,香農(nóng)認(rèn)為在有噪信道中可以實現(xiàn)無差錯傳輸。在這一編碼定理的理論引導(dǎo)下, 人們開始了對設(shè)計出信道好碼的探索與研究。信道編碼定理為人們探索信道的最佳編碼方案提供了理論依據(jù),但并沒有指明如何獲得好碼。后來出現(xiàn)了多種信道編碼方案,如RS碼、卷積碼、級聯(lián)碼等。每一編碼方案的提出,性能

3、雖有所提高,但距香農(nóng)極限還有很大距離。1993年出現(xiàn)的Turbo碼,由于其很好地應(yīng)用了編碼定理中的隨機性編譯碼條件和最佳譯碼算法, 而獲得了幾乎接近香農(nóng)理論極限的譯碼性能, 立即在通信界引起了研究Turbo碼的熱潮。信道編碼2022/10/104信道編碼定理信道編碼2022/10/115信道編碼的歷史50年代至60年代初，主要研究各種有效的編、譯碼方法，奠定了線性分組碼的理論基礎(chǔ)；提出了BCH編碼、譯碼方法以及卷積碼的序列譯碼；給出了糾錯碼的基本碼限；還出版了糾錯碼的第一本專著60年代至70年代初，這是糾錯碼發(fā)展過程中最為活躍的時期。提出了如門限譯碼、迭代譯碼、軟判決譯碼和卷積碼的Viterb

4、i譯碼等有效的編譯碼方法；同時注意到了糾錯碼實用化的問題，討論了如碼重量分布、譯碼錯誤概率和不可檢錯誤概率的計算、信道的模型化等與實用化有關(guān)的各種問題 信道編碼2022/10/105信道編碼的歷史信道編碼2022/10/116信道編碼的歷史70年代以來，糾錯碼在實際應(yīng)用中得到了更大的發(fā)展。大規(guī)模集成電路和微機的迅速發(fā)展，為糾錯碼的實用打下了堅實的物質(zhì)基礎(chǔ)。70年代末、80年代初（20世紀(jì)），G. Ungerboeck把編碼與調(diào)制相結(jié)合提出了網(wǎng)格編碼調(diào)制（TCM, trellis-coded modulation）技術(shù)是編碼理論的又一重要里程碑。繼TCM之后，1993年C. Berrou，A.

5、Glavieux和P. Thitimajshima發(fā)現(xiàn)的Turbo碼是又一重大突破.信道編碼2022/10/106信道編碼的歷史信道編碼2022/10/117 信道編碼定理指出：在編碼速率小于信道容量的條件下，通過編碼可以使譯碼錯誤概率任意小，從而達到可靠通信。給出的結(jié)果只說明存在一種編碼方式。其誤碼率隨著碼長n的增長趨于任意小。證明是非構(gòu)造性的，它沒有告訴我們?nèi)绾螛?gòu)造實際上可實現(xiàn)的、具有上述性能的這類碼的方法。 信道編碼/糾錯編碼/差錯控制：就是為解決這一問題而產(chǎn)生的學(xué)科，它的目的是尋找在實際上易于實現(xiàn)且能達到可靠通信的編譯碼方法。6.1 信道編碼的概念6.2 線性分組碼6.3 循環(huán)碼6.4

6、 卷積碼6.5 信道編碼總結(jié)第六章 信道編碼2022/10/107 信道編碼定理指出2022/10/1186.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用6.1.2 信道編碼的基本思想和分類6.1.3 檢錯與糾錯原理6.1.4 差錯控制的基本方式和能力6.1 信道編碼的概念2022/10/1086.1.1 信道編碼在數(shù)字通信系統(tǒng)中的2022/10/119(1) 數(shù)字通信系統(tǒng)工作原理數(shù)字通信系統(tǒng)模型信源：可以是人或機器（例如計算機、傳感器）；信源編碼器：將信源輸出變換成信息序列；調(diào)制器：把輸入的消息序列變換為適合于在實際信道中傳輸/存儲的信號波形；6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用

7、2022/10/109(1) 數(shù)字通信系統(tǒng)工作原理6.1.12022/10/1110傳輸信道/存儲媒介有線：實際的傳輸信道可能是光纜、電纜等有線信道；無線：高頻無線線路、衛(wèi)星中繼等無線信道；存儲媒介：媒介可以是磁帶、磁盤、光盤等；無論何種傳輸媒介，都受到不同性質(zhì)的干擾：有線信道中的脈沖干擾；無線信道中的噪聲和衰落；存儲媒介的缺損也被看做是脈沖干擾。解調(diào)器：其輸入信號一般是受到干擾的混合波形，解調(diào)器的任務(wù)就是從有用信號和干擾的混合波形中恢復(fù)有用的信號，這個過程與調(diào)制器的過程相反。由于干擾的作用，解調(diào)器的輸出信號不可避免地包含著差錯，差錯的多少不應(yīng)超過系統(tǒng)所規(guī)定的數(shù)值。6.1.1 信道編碼在數(shù)字通

8、信系統(tǒng)中的地位和作用2022/10/1010傳輸信道/存儲媒介6.1.1 信道編2022/10/1111信源譯碼器：把解調(diào)器輸出的序列變換成為信源輸出的估值。 圖6.1.1所示的數(shù)字通信系統(tǒng)并沒有信道編碼和信道譯碼的環(huán)節(jié)。為了明確信道編碼在數(shù)字通信系統(tǒng)中的地位和作用，介紹數(shù)字通信系統(tǒng)的主要技術(shù)指標(biāo)。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用2022/10/1011信源譯碼器：把解調(diào)器輸出的序列變換成2022/10/1112(2) 通信系統(tǒng)的主要技術(shù)指標(biāo)傳輸速率碼元：攜帶數(shù)據(jù)信息的信號單元。碼元傳輸速率/波特率/調(diào)制速率：每秒鐘通過信道傳輸?shù)拇a元數(shù)。單位是波特(Bd)。比特率/比特傳輸速率

9、：每秒鐘通過信道傳輸?shù)男畔⒘俊挝皇潜忍?秒(bit/s)。這兩種傳輸速率的定義不同，它們都是衡量系統(tǒng)傳輸能力的主要指標(biāo)。二進制：每個碼元的信息含量為1比特，二進制的波特率與比特率在數(shù)值上是相等的。M進制：每一個碼元的信息含量為 log2M。如果碼元傳輸速率為 rs 波特，相應(yīng)的比特率 rb 為rb = rs log2M (bit/s)6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用2022/10/1012(2) 通信系統(tǒng)的主要技術(shù)指標(biāo)6.12022/10/1113差錯率：差錯率是衡量傳輸質(zhì)量的重要指標(biāo)之一，它有以下幾種不同的定義。碼元差錯率：指在傳輸?shù)拇a元總數(shù)中發(fā)生差錯的碼元數(shù)所占的比例（平

10、均值），簡稱誤碼率。比特差錯率 /比特誤碼率：指在傳輸?shù)谋忍乜倲?shù)中發(fā)生差錯的比特數(shù)所占的比例（平均值）。在二進制傳輸系統(tǒng)中，碼元差錯率就是比特差錯率。碼組差錯率：指在傳輸?shù)拇a組總數(shù)中發(fā)生差錯的碼組數(shù)所占的比例（平均值）。根據(jù)不同的應(yīng)用場合對差錯率有不同的要求。在電報傳送時，允許的比特差錯率約為104105；計算機數(shù)據(jù)傳輸，一般要求比特差錯率小于108109；在遙控指令和武器系統(tǒng)的指令系統(tǒng)中，要求有更小的誤比特率或碼組差錯率。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用2022/10/1013差錯率：差錯率是衡量傳輸質(zhì)量的重要指2022/10/1114可靠性可靠性是衡量傳輸系統(tǒng)質(zhì)量的一項重要

11、指標(biāo)，工程中經(jīng)常用平均無故障間隔時間來衡量。在數(shù)字通信系統(tǒng)中信息傳輸/存儲所遇到的最主要的問題是在傳輸過程中出現(xiàn)差錯的問題，也就是傳輸可靠性的問題。在傳輸過程中產(chǎn)生不同差錯的主要原因：不同的傳輸系統(tǒng)有不同的性能；在傳輸過程中干擾不同。不同的用戶或不同的傳輸系統(tǒng)對差錯率的要求不同。有兩種途徑降低誤碼率以滿足系統(tǒng)要求：降低信道(調(diào)制解調(diào)器/傳輸媒介)本身引起的誤碼率；采用信道編碼，在數(shù)字通信系統(tǒng)中增加差錯控制設(shè)備。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用2022/10/1014可靠性6.1.1 信道編碼在數(shù)字通信2022/10/1115降低信道引起誤碼率的主要方法選擇合適的傳輸線路：如有線

12、線路中，電纜線路優(yōu)于明線線路，光纜優(yōu)于電纜；改進傳輸線路的傳輸特性或增加發(fā)送信號功率：如進行相位均衡和幅度均衡以改進線路的群延時特性和幅頻特性，增加中繼放大器。在無線信道中，可以增加發(fā)射機功率、利用高增益天線、低噪聲放大器等方法改善信道；選用潛在抗干擾性較強的調(diào)制解調(diào)方案。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用2022/10/1015降低信道引起誤碼率的主要方法6.1.2022/10/1116(3) 采用信道編碼的數(shù)字通信系統(tǒng)在某些情況下，信道的改善可能較困難或者不經(jīng)濟，這就要求采用信道編碼，以便滿足系統(tǒng)差錯率的技術(shù)指標(biāo)要求。信道編碼為系統(tǒng)設(shè)計者提供了一個降低系統(tǒng)差錯率的措施。采用信

13、道編碼后的數(shù)字通信系統(tǒng)可用圖6.1.2所示。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用2022/10/1016(3) 采用信道編碼的數(shù)字通信系統(tǒng)62022/10/1117(1) 編碼信道：是研究糾錯編碼和譯碼的一種模型。如圖6.1.3所示。編碼信道無線通信中的發(fā)射機、天線、自由空間、接收機等的全體；有線通信中的如調(diào)制解調(diào)器、電纜等的全體；Internet 網(wǎng)的多個路由器、節(jié)點、電纜、底層協(xié)議等的全體；計算機的存儲器（如磁盤等）的全體。6.1.2 信道編碼的基本思想和分類2022/10/1017(1) 編碼信道：是研究糾錯編碼和譯2022/10/1118二進制信道：當(dāng)碼字 C 和接收向量

14、R 均由二元序列/向量表示時，稱編碼信道為二進制信道。C=(C0,C1,Cn-1), Ci0,1R=(R0,R1,Rn-1), Ri0,1 描述二進制信道輸入輸出關(guān)系或噪聲干擾程度的是轉(zhuǎn)移概率p(R/C)。無記憶二進制信道：對任意的n都有 則稱為無記憶二進制信道。無記憶二進制對稱信道/BSC/硬判決信道：無記憶二進制信道的轉(zhuǎn)移概率又滿足 p(0/1)=p(1/0)=pb，稱為無記憶二進制對稱信道。如圖6.1.4所示。6.1.2 信道編碼的基本思想和分類2022/10/1018二進制信道：當(dāng)碼字 C 和接收向量 2022/10/1119只要噪聲是白噪聲，大多數(shù)二進制傳輸信道的模型都可以等效為一個

15、BSC信道。二進制編碼信道模型： R =C+E (mod 2)E：隨機變量；差錯圖案：隨機序列(Ei)；稱E=(E0,E1,En-1)中Ei=1為第i位上的一個隨機錯誤；第i至第j位之間有很多錯誤時，稱為一個ji+1長的突發(fā)錯誤。二進制軟判決信道：無記憶編碼信道的每一個二元符號輸出可以用多個比特表示，理想情況下為實數(shù)，此時的無記憶二進制信道稱為二進制軟判決信道。6.1.2 信道編碼的基本思想和分類2022/10/1019只要噪聲是白噪聲，大多數(shù)二進制傳輸信2022/10/1120硬判決和軟判決譯碼在差錯控制編碼方面的第一個量化的飛躍在于系統(tǒng)工程師意識到將解調(diào)和譯碼分離會帶來損失。差錯控制編碼理

16、論的提出，最初是為了補償由解調(diào)器引進的差錯。在這個思想指引下，解調(diào)器首先判斷調(diào)制器的輸入會是什么，再將判決的結(jié)果輸入到譯碼器；然后使用已知的碼字結(jié)構(gòu)去判斷編碼器輸入端的碼字。這個過程稱之為“硬”判決譯碼；它并不是一個最佳的方法，因為對于每次硬判決，解調(diào)器都要丟失一些可能會用到的信息，而且我們知道，不應(yīng)該在和這個信息有關(guān)的所有判決執(zhí)行之前，將信息過早地丟棄。6.1.2 信道編碼的基本思想和分類2022/10/1020硬判決和軟判決譯碼6.1.2 信道編2022/10/1121硬判決和軟判決譯碼采用將編碼和調(diào)制結(jié)合的方法，解調(diào)器就不會將一些錯誤傳遞到譯碼器。解調(diào)器只是對各種符號進行暫時的估計，通常

17、被稱作“軟”判決，這樣就可以不丟失一些對于譯碼器來說有用的信息?！白罴选钡淖g碼器可以采用（最大后驗概率）算法，將比特差錯率（）最小化。軟判決譯碼相對于硬判決譯碼，通常在性能上具有一定程度的改善。經(jīng)常引用的數(shù)字是，如果采用軟判決，信號的會相對于硬判決具有的優(yōu)勢。 在進行硬判決譯碼時，采用碼字間漢明距離最大化準(zhǔn)則；而對于軟判決譯碼，則是幾何距離（歐式距離）最大化準(zhǔn)則。因此，軟判決譯碼時我們常說針對“信號空間”進行譯碼。6.1.2 信道編碼的基本思想和分類2022/10/1021硬判決和軟判決譯碼6.1.2 信道編2022/10/1122(2) 信道編碼的基本思想信道編碼的對象：是信源編碼器輸出的信

18、息序列m。通常是二元符號1、0組成的序列。信道編碼的基本思想按一定規(guī)則給數(shù)字序列m增加一些多余的碼元，使不具有規(guī)律性的信息序列 m 變換為具有某種規(guī)律性的數(shù)碼序列 C；碼序列中的信息序列碼元與多余碼元之間是相關(guān)的；信道譯碼器利用這種預(yù)知的 編碼規(guī)則譯碼。檢驗接收到的數(shù)字序列 R 是否符合既定的 規(guī)則，從而發(fā)現(xiàn) R 中是否有錯，或者糾正其中的差錯；根據(jù)相關(guān)性來檢測/發(fā)現(xiàn)和糾正傳輸過程中產(chǎn)生的差錯就是信道編碼的基本思想。6.1.2 信道編碼的基本思想和分類2022/10/1022(2) 信道編碼的基本思想6.1.22022/10/1123碼元的組成及其它們之間的關(guān)系信息碼組：數(shù)字序列 m 總是以

19、k 個碼元為一組傳輸，稱這k 個碼元的碼組為信息碼組。例如遙控系統(tǒng)中的每個指令字，計算機中的每個字節(jié)。碼組/碼字：信道編碼器按一定的規(guī)則對每個信息碼組附加一些多余的碼元，構(gòu)成了 n 個碼元的碼組。碼組的 n 個碼元之間是相關(guān)的，附加的 (nk) 個多余碼元為何種符號序列與待編碼的信息碼組有關(guān)。監(jiān)督碼元/監(jiān)督元：附加的 (nk) 個碼元稱為該碼組的監(jiān)督碼元或監(jiān)督元。6.1.2 信道編碼的基本思想和分類2022/10/1023碼元的組成及其它們之間的關(guān)系6.1.2022/10/1124可靠性與帶寬、速度的關(guān)系從信息傳輸?shù)慕嵌?，監(jiān)督元不載有任何信息，所以是多余的。這種多余度使碼字具有一定的糾錯和檢錯

20、能力，提高了傳輸?shù)目煽啃?，降低了誤碼率；如果要求信息傳輸速度不變，在附加了監(jiān)督元后必須減小碼組中每個碼元符號的持續(xù)時間，對二進制碼，就是要減小脈沖寬；若編碼前每個碼脈沖的歸一化寬度為1，則編碼后的歸一化寬度為 k/n (kn,k/n pb(1pb)n 1 pbt(1pb)n t pbn總認(rèn)為發(fā)生差錯的圖案是差錯數(shù)目較少的圖案，當(dāng)接收到重復(fù)碼的接收序列 R 中“1”的個數(shù)少于一半時，認(rèn)為發(fā)送的是C0，否則認(rèn)為是 C1。圖6.1.7所示糾1個任意差錯的3重復(fù)碼。6.1.3 檢錯與糾錯原理2022/10/1031(3) 重復(fù)消息位方法6.1.3 檢2022/10/11326.1.3 檢錯與糾錯原理2

21、022/10/10326.1.3 檢錯與糾錯原理2022/10/1133(4) 等重碼/定比碼設(shè)計碼字中的非0符號個數(shù)恒為常數(shù)，即 C 由全體重量恒等于 m 的 n 重向量組成（等重碼） /非0符號與0符號的比例是固定的（定比碼）等重碼可以檢測出全部奇數(shù)位差錯，對某些碼字的傳輸則可以檢測出部分偶數(shù)位差錯。定比碼有很好的檢錯能力，由于監(jiān)督位數(shù)多，因此其效率比奇偶校驗碼低。但它的應(yīng)用很廣，因為它們的大部分設(shè)備都可以與不編碼的五單位和其單位電報系統(tǒng)通用。如5/3,7/3定比碼。6.1.3 檢錯與糾錯原理2022/10/1033(4) 等重碼/定比碼6.1.3 檢1、差錯控制的理論基礎(chǔ)1)香農(nóng)第二定理

22、2)近世代數(shù)6.1.4 差錯控制的基本方式和能力1、差錯控制的理論基礎(chǔ)1)香農(nóng)第二定理2)近世代數(shù)6.1.42、差錯控制的途徑信道編碼定理公式糾錯編碼的基本理論利用冗余度噪聲均化6.1.4 差錯控制的基本方式和能力2、差錯控制的途徑信道編碼定理公式糾錯編碼的基本理論利用冗余2022/10/1136前向糾錯(FEC)：發(fā)送端的信道編碼器將信息碼組編成具有一定糾錯能力的碼。接收端信道譯碼器對接收碼字進行譯碼，若傳輸中產(chǎn)生的差錯數(shù)目在碼的糾錯能力之內(nèi)時，譯碼器對差錯進行定位并加以糾正。自動請求重發(fā)(ARQ)：用于檢測的糾錯碼在譯碼器輸出端只給出當(dāng)前碼字傳輸是否可能出錯的指示，當(dāng)有錯時按某種協(xié)議通過一

23、個反向信道請求發(fā)送端重傳已發(fā)送的碼字全部或部分?；旌霞m錯(HEC)：是FEC與ARQ方式的結(jié)合。發(fā)端發(fā)送同時具有自動糾錯和檢測能力的碼組，收端收到碼組后，檢查差錯情況，如果差錯在碼的糾錯能力以內(nèi)，則自動進行糾正。如果信道干擾很嚴(yán)重，錯誤很多，超過了碼的糾錯能力，但能檢測出來，則經(jīng)反饋信道請求發(fā)端重發(fā)這組數(shù)據(jù)。6.1.4 差錯控制的基本方式和能力 3、差錯控制系統(tǒng)2022/10/10366.1.4 差錯控制的基本方式和能力2022/10/1137信息反饋(IRQ)：也稱回程校驗方式。收端把收到的數(shù)據(jù)，原封不動地通過反饋信道送回到發(fā)端，發(fā)端比較發(fā)的數(shù)據(jù)與反饋來的數(shù)據(jù)，從而發(fā)現(xiàn)錯誤，并且把錯誤的消息

24、再次傳送，直到發(fā)端沒有發(fā)現(xiàn)錯誤為止。6.1.4 差錯控制的基本方式和能力2022/10/1037信息反饋(IRQ)：也稱回程校驗方式 3、差錯控制系統(tǒng)1) FEC:糾錯碼6.1.4 差錯控制的基本方式和能力 3、差錯控制系統(tǒng)1) FEC:糾錯碼6.1.4 差錯控制的2) ARQ:檢錯碼判決信息 3、差錯控制系統(tǒng)6.1.4 差錯控制的基本方式和能力2) ARQ:檢錯碼判決信息 3、差錯控制系統(tǒng)6.1.4 差停止-等待式ARQ連續(xù)式ARQ選擇式ARQ 3、差錯控制系統(tǒng)2) ARQ:6.1.4 差錯控制的基本方式和能力停止-等待式ARQ連續(xù)式ARQ選擇式ARQ 3、差錯控制系統(tǒng)W-ARQ 3、差錯控

25、制系統(tǒng)2) ARQ:6.1.4 差錯控制的基本方式和能力112ACK12NAK222ACK23W-ARQ方式的原理為：發(fā)送端發(fā)送碼字后，等待接收端反饋回該碼字的判決信號。如果碼字接收正確，則繼續(xù)發(fā)下一個碼字；如果碼字接收錯誤，則重傳該碼字，指導(dǎo)該碼字正確接收為止。W-ARQ 3、差錯控制系統(tǒng)2) ARQ:6.1.4 差錯控GBN-ARQ 3、差錯控制系統(tǒng)2) ARQ:6.1.4 差錯控制的基本方式和能力12345112345NAK12345123674567345GBN-ARQ方式的原理為：發(fā)送端發(fā)送一串碼字后，如果接收端反饋回第n個碼字接收錯誤的信號，那么接收端刪除第n個碼字及后續(xù)接收的所有

26、碼字，發(fā)送端將重傳第n個碼字及后續(xù)的所有碼字。GBN-ARQ 3、差錯控制系統(tǒng)2) ARQ:6.1.4 差SR-ARQ 3、差錯控制系統(tǒng)2) ARQ:6.1.4 差錯控制的基本方式和能力1234511234NAK167NAK4451678498109111012SR-ARQ方式的原理為：SR-ARQ在GBN-ARQ的基礎(chǔ)進行改進，如果發(fā)送端從接收端反饋信號中發(fā)現(xiàn)某個碼字接收錯誤，則發(fā)送端只重傳該碼字，接收端只刪除錯誤碼字，而保留正確接收的碼字。SR-ARQ 3、差錯控制系統(tǒng)2) ARQ:6.1.4 差錯信息碼判決信息3) HEC:4、IRQ:糾檢結(jié)和碼判決信息 3、差錯控制系統(tǒng)6.1.4 差錯控制的基本方式和能力信息碼判決信息3) HEC:4、IRQ:糾檢結(jié)和碼判決信息 3、差錯控制系統(tǒng)設(shè)計差錯控制系統(tǒng)時需考慮以下因素：1、滿足用戶對錯誤概率的要求2、有盡可能高的信息傳輸率3、有盡可能簡單的編譯碼算法，且易于實現(xiàn)4、可接受的成本6.1.4 差錯控制的基本方式和能力