物理信息論與編碼原理-第7章-信道編碼的基本概念課件

1、信息論與編碼原理（第七章）信道編碼的基本概念8/4/20221Department of Electronics and Information, NCUT Song Peng第1頁，共48頁。第7章 信道編碼的基本概念7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用7.2 錯誤的種類和有關(guān)術(shù)語7.3 信道編碼的基本思想和分類7.4 檢錯與糾錯原理7.5 差錯控制的基本方式和能力8/4/20222Department of Electronics and Information, NCUT Song Peng第2頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理

2、(2) 通信系統(tǒng)的主要技術(shù)指標(biāo)(3) 采用信道編碼的數(shù)字通信系統(tǒng)8/4/20223Department of Electronics and Information, NCUT Song Peng第3頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理數(shù)字通信系統(tǒng)模型信源：可以是人或機器（例如計算機、傳感器）；信源編碼器：將信源輸出變換成信息序列；調(diào)制器：把輸入的消息序列變換為適合于在實際信道中傳輸（存儲）的信號波形；返回8/4/20224Department of Electronics and Information, NCUT Song Peng第4頁，

3、共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理 傳輸信道/存儲媒介 有線：實際的傳輸信道可能是光纜、電纜等有線信道； 無線：高頻無線線路、衛(wèi)星中繼等無線信道； 存儲媒介：媒介可以是磁帶、磁盤、光盤等； 無論何種傳輸媒介，都受到不同性質(zhì)的干擾 有線信道中的脈沖干擾； 無線信道中的噪聲 和衰落； 存儲媒介的缺損也被看做是脈沖干擾。圖示8/4/20225Department of Electronics and Information, NCUT Song Peng第5頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理解調(diào)器：其

4、輸入信號一般是受到干擾的混合波形，解調(diào)器的任務(wù)就是從有用信號和干擾的混合波形中恢復(fù)有用的信號，這個過程與調(diào)制器的過程相反。由于干擾的作用，解調(diào)器的輸出信號不可避免地包含著差錯，差錯的多少不應(yīng)超過系統(tǒng)所規(guī)定的數(shù)值。信源譯碼器：把解調(diào)器輸出的序列變換成為信源輸出的估值。信宿：用戶。 圖6.1.1 所示的數(shù)字通信系統(tǒng)并沒有信道編碼和信道譯碼的環(huán)節(jié)。為了明確信道編碼在數(shù)字通信系統(tǒng)中的地位和作用，介紹數(shù)字通信系統(tǒng)的主要技術(shù)指標(biāo)。圖示返回目錄8/4/20226Department of Electronics and Information, NCUT Song Peng第6頁，共48頁。7.1 信道編碼

5、在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 傳輸速率 碼元：攜帶數(shù)據(jù)信息的信號單元。 碼元傳輸速率（波特率、調(diào)制速率）：每秒鐘通過信道傳輸?shù)拇a元數(shù)。單位是波特（Bd）。 比特率（比特傳輸速率）：每秒鐘通過信道傳輸?shù)男畔⒘俊挝皇潜忍?/秒（bit/s）。 這兩種傳輸速率的定義不同，它們都是衡量系統(tǒng)傳輸能力的主要指標(biāo). 二進制：每個碼元的信息含量為 1 比特，二進制的波特率與比特率在數(shù)值上是相等的。 M進制：每一個碼元的信息含量為 log2M。如果碼元傳輸速率為 rs 波特，相應(yīng)的比特率 rb 為：rb = rs log2M (bit/s)8/4/20227Department

6、of Electronics and Information, NCUT Song Peng第7頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 差錯率：差錯率是衡量傳輸質(zhì)量的重要指標(biāo)之一，有幾種不同的定義 碼元差錯率：指在傳輸?shù)拇a元總數(shù)中發(fā)生差錯的碼元數(shù)所占的比例（平均值），簡稱誤碼率。 比特差錯率（比特誤碼率）：指在傳輸?shù)谋忍乜倲?shù)中發(fā)生差錯的比特數(shù)所占的比例（平均值）。在二進制傳輸系統(tǒng)中，碼元差錯率就是比特差錯率。 碼組差錯率：指在傳輸?shù)拇a組總數(shù)中發(fā)生差錯的碼組數(shù)所占的比例（平均值）。 根據(jù)不同的應(yīng)用場合對差錯率有不同的要求。 在電報傳送時，允許的比

7、特差錯率約為 104105； 計算機數(shù)據(jù)傳輸，一般要求比特差錯率小于 108109； 遙控指令和武器系統(tǒng)指令中，要求誤比特率更小。8/4/20228Department of Electronics and Information, NCUT Song Peng第8頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 可靠性 是衡量傳輸系統(tǒng)質(zhì)量的一項重要指標(biāo)，工程中經(jīng)常用平均無故障間隔時間來衡量。 在數(shù)字通信系統(tǒng)中信息傳輸（存儲）遇到的最主要的問題是在傳輸過程中出現(xiàn)差錯的問題，也就是傳輸可靠性 的問題。 在傳輸過程中產(chǎn)生不同差錯的主要原因 不同的傳輸系統(tǒng)有不

8、同的性能； 在傳輸過程中干擾不同。 不同的用戶或不同的傳輸系統(tǒng)對差錯率的要求不同。 有兩種途徑降低誤碼率以滿足系統(tǒng)要求： 降低信道（調(diào)制解調(diào)器/傳輸媒介）本身引起的誤碼率； 采用信道編碼，在數(shù)字通信系統(tǒng)中增加差錯控制設(shè)備。8/4/20229Department of Electronics and Information, NCUT Song Peng第9頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 可靠性 降低信道引起誤碼率的主要方法 選擇合適的傳輸線路：如有線線路中，電纜線路優(yōu)于明線線路，光纜優(yōu)于電纜； 改進傳輸線路的傳輸特性或增加發(fā)送信號功率：

9、如進行相位均衡和幅度均衡以改進線路的群延時特性和幅頻特性，增加中繼放大器。在無線信道中，可以增加發(fā)射機功率、利用高增益天線、低噪聲放大器等方法改善信道； 選用潛在抗干擾性較強的調(diào)制解調(diào)方案。返回目錄8/4/202210Department of Electronics and Information, NCUT Song Peng第10頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(3) 采用信道編碼的數(shù)字通信系統(tǒng)在某些情況下，信道的改善可能較困難或者不經(jīng)濟，可采用信道編碼，以便滿足系統(tǒng)差錯率的技術(shù)指標(biāo)要求。信道編碼為系統(tǒng)設(shè)計者提供了一個降低系統(tǒng)差錯率的措施。采用信道編碼后的數(shù)字通

10、信系統(tǒng)可用圖7.1.2 所示。返回目錄8/4/202211Department of Electronics and Information, NCUT Song Peng第11頁，共48頁。7.2 錯誤的種類和有關(guān)術(shù)語 (1) 錯誤圖樣 (2) 錯誤種類 (3) 檢錯碼與糾錯碼8/4/202212Department of Electronics and Information, NCUT Song Peng第12頁，共48頁。7.2 錯誤的種類和有關(guān)術(shù)語(1) 錯誤圖樣 在通信系統(tǒng)的接收端，若接收矢量 R 和發(fā)送的原碼字 V 不一樣，例如 V =(11000)，而 R =(10001)，

11、R 與 V 不同，即出現(xiàn)了兩個錯誤。這種錯誤是由信道中的噪聲干擾所引起的。 錯誤圖樣： 設(shè)發(fā)送的碼字為 V=(v1,v2,vn)，接收矢量為R=(r1,r2,rn)； 由于R=V+E，所以 E=(e1,e2,en)=(v1+r1,v2+r2,vn+rn)； 如 ei=vi+ri，則表示碼字的第 i 位受到干擾,也就是說 R 的第 i 位有錯; 例如：V =(11000)，R =(10001)， 根據(jù)上式可得： E=(1+1,1+0,0+0,0+0,0+1)； 可知接收矢量的第 2 位和第 5 位是錯誤的。返回目錄8/4/202213Department of Electronics and I

12、nformation, NCUT Song Peng第13頁，共48頁。7.2 錯誤的種類和有關(guān)術(shù)語(2) 錯誤種類隨機錯誤：由隨機噪聲的干擾所引起。由于噪聲的隨機性，使得這種錯誤的特點為：各碼元是否發(fā)生錯誤是相互獨立的，通常不會成片地出現(xiàn)錯誤。突發(fā)錯誤：由突發(fā)噪聲的干擾所引起。(3) 檢錯碼與糾錯碼檢錯碼：有發(fā)現(xiàn)錯誤能力但沒有糾正錯誤的能力。糾錯碼：有發(fā)現(xiàn)并糾正錯誤能力的碼，是一種重要的抗干擾碼。返回目錄8/4/202214Department of Electronics and Information, NCUT Song Peng第14頁，共48頁。7.3 信道編碼的基本思想和分類(1

13、) 編碼信道(2) 信道編碼的基本思想(3) 信道編碼的分類8/4/202215Department of Electronics and Information, NCUT Song Peng第15頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道 是研究糾錯編碼和譯碼的一種模型。圖7.3.1 所示。 編碼信道： 無線通信中的發(fā)射機、天線、自由空間、接收機等的全體； 有線通信中的如調(diào)制解調(diào)器、電纜等的全體； Internet 網(wǎng)的多個路由器、節(jié)點、電纜、底層協(xié)議等的全體； 計算機的存儲器（如磁盤等）的全體。8/4/202216Department of Electronics a

14、nd Information, NCUT Song Peng第16頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道二進制信道：當(dāng)碼字 C 和接收向量 R 均由二元序列（向量表示時），稱編碼信道為二進制信道。C=(c0,c1,cn-1), ci0,1R=(r0,r1,rn-1), ri0,1 描述二進制信道輸入輸出關(guān)系或噪聲干擾程度的是轉(zhuǎn)移概率p(R/C)。無記憶二進制信道：對任意的 n 都有： 則稱為無記憶二進制信道。8/4/202217Department of Electronics and Information, NCUT Song Peng第17頁，共48頁。7.3 信

15、道編碼的基本思想和分類(1) 編碼信道 無記憶二進制對稱信道 /BSC /硬判決信道：無記憶二進制信道的轉(zhuǎn)移概率又滿足 p(0/1)=p(1/0)=pb，稱為無記憶二進制對稱信道。 只要噪聲是白噪聲，大多數(shù)二進制傳輸信道的模型都可以等效為一個 BSC信道。8/4/202218Department of Electronics and Information, NCUT Song Peng第18頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道 無記憶二進制對稱信道 /BSC /硬判決信道：無記憶二進制信道的轉(zhuǎn)移概率又滿足 p(0/1)=p(1/0)=pb，稱為無記憶二進制對稱信道。

16、 二進制編碼信道模型：R =C+E (mod 2) E：錯誤圖樣（隨機變量）； 稱 E=(e0,e1,en1) 中 ei=1 為第 i 位上的一個隨機錯誤； 第 i 至第 j 位之間有很多錯誤時，稱為一個 ji+1 長的突發(fā)錯誤。8/4/202219Department of Electronics and Information, NCUT Song Peng第19頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道二進制軟判決信道：無記憶編碼信道的每一個二元符號輸出可以用多個比特表示，理想情況下為實數(shù)，此時的無記憶二進制信道稱為二進制軟判決信道。返回目錄8/4/202220Dep

17、artment of Electronics and Information, NCUT Song Peng第20頁，共48頁。7.3 信道編碼的基本思想和分類(2) 信道編碼的基本思想 信道編碼的對象：是信源編碼器輸出的信息序列 m。通常是二元符號 1、0 組成的序列。 信道編碼的基本思想 按一定規(guī)則給數(shù)字序列 m 增加一些多余的碼元，使不具有規(guī)律性的信息序列 m 變換為具有某種規(guī)律性的數(shù)碼序列 C； 碼序列中的信息序列碼元與多余碼元之間是相關(guān)的； 信道譯碼器利用這種預(yù)知的 編碼規(guī)則譯碼。檢驗接收到的數(shù)字序列 R 是否符合既定的 規(guī)則，從而發(fā)現(xiàn) R 中是否有錯，或者糾正其中的差錯; 根據(jù)相關(guān)

18、性來檢測（發(fā)現(xiàn)）和糾正傳輸過程中產(chǎn)生的差錯就是信道編碼的基本思想。8/4/202221Department of Electronics and Information, NCUT Song Peng第21頁，共48頁。7.3 信道編碼的基本思想和分類(2) 信道編碼的基本思想 碼元的組成及其它們之間的關(guān)系 信息碼組：數(shù)字序列 m 總是以 k 個碼元為一組傳輸，稱這 k 個碼元的碼組為信息碼組。例如遙控系統(tǒng)中的每個指令字，計算機中的每個字節(jié)。 碼組（碼字）：信道編碼器按一定的規(guī)則對每個信息碼組附加一些多余的碼元，構(gòu)成了 n 個碼元的碼組。 碼組的 n 個碼元之間是相關(guān)的，附加的 (nk) 個多

19、余碼元為何種符號序列與待編碼的信息碼組有關(guān)。 監(jiān)督碼元（監(jiān)督元）：附加的 (nk) 個碼元稱為該碼組的監(jiān)督碼元或監(jiān)督元。8/4/202222Department of Electronics and Information, NCUT Song Peng第22頁，共48頁。7.3 信道編碼的基本思想和分類(2) 信道編碼的基本思想 可靠性與帶寬、速度的關(guān)系 從信息傳輸?shù)慕嵌?，監(jiān)督元不載有任何信息，所以是多余的。這種多余度使碼字具有一定的糾錯和檢錯能力，提高了傳輸?shù)目煽啃?，降低了誤碼率； 如果要求信息傳輸速度不變，在附加了監(jiān)督元后必須減小碼組中每個碼元符號的持續(xù)時間，對二進制碼，就是要減小脈沖寬

20、；若編碼前每個碼脈沖的歸一化寬度為1，則編碼后的歸一化寬度為 k/n (kn,k/n pb(1pb)n 1 pbt(1pb)n t pbn 總認(rèn)為發(fā)生差錯的圖案是差錯數(shù)目較少的圖案，當(dāng)接收到重復(fù)碼的接收序列 R 中“1”的個數(shù)少于一半時，認(rèn)為發(fā)送的是C0，否則認(rèn)為是 C1。圖6.1.7 所示糾 1 個任意差錯的 3 重復(fù)碼。8/4/202231Department of Electronics and Information, NCUT Song Peng第31頁，共48頁。7.4 檢錯與糾錯原理(3) 重復(fù)消息位方法返回目錄8/4/202232Department of Electronic

21、s and Information, NCUT Song Peng第32頁，共48頁。7.4 檢錯與糾錯原理(4) 等重碼（定比碼）設(shè)計碼字中的非 0 符號個數(shù)恒為常數(shù)，即 C 由全體重量恒等于 m 的 n 重向量組成。5 中取 3 等重碼可以檢測出全部奇數(shù)位差錯，對某些碼字的傳輸則可以檢測出部分偶數(shù)位差錯。返回目錄8/4/202233Department of Electronics and Information, NCUT Song Peng第33頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式(2) 最大似然譯碼8/4/202234Department of E

22、lectronics and Information, NCUT Song Peng第34頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式前向糾錯(FEC) 自動請求重發(fā)(ARQ)混合糾錯(HEC)前向信息反饋(IRQ)8/4/202235Department of Electronics and Information, NCUT Song Peng第35頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式 前向糾錯(FEC) 發(fā)送端發(fā)送能夠被糾錯的碼； 接收端收到這些碼后，通過糾錯譯碼器不僅能自動發(fā)現(xiàn)錯誤，而且能自動糾正接收碼字傳輸中的錯誤。8/

23、4/202236Department of Electronics and Information, NCUT Song Peng第36頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式 自動請求重發(fā)(ARQ) 發(fā)送端發(fā)出能夠發(fā)現(xiàn)（檢測）錯誤的碼； 接收端收到通過信道傳來的碼后，譯碼器根據(jù)該碼的編碼規(guī)則，判決收到的碼序列中有無錯誤產(chǎn)生； 通過反饋信道把判決信號告訴發(fā)端； 發(fā)端根據(jù)這判決信號，把接收端認(rèn)為有錯的消息再次傳送，直到接收端認(rèn)為正確接收為止。8/4/202237Department of Electronics and Information, NCUT Song

24、 Peng第37頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式 自動請求重發(fā)(ARQ) ARQ 方式對系統(tǒng)的要求 必須有一反饋信道； 適用于一個用戶對一個用戶的通信； 信源能夠控制； 系統(tǒng)收發(fā)兩端必須互相配合，控制電路比較復(fù)雜。8/4/202238Department of Electronics and Information, NCUT Song Peng第38頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式 混合糾錯(HEC)：是 FEC 與 ARQ 方式的結(jié)合 發(fā)端發(fā)送同時具有自動糾錯和檢測能力的碼組； 收端收到碼組后，檢查差錯情況，如

25、果差錯在碼的糾錯能力以內(nèi)，則自動進行糾正； 如果信道干擾很嚴(yán)重，錯誤很多，超過了碼的糾錯能力，但能檢測出來，則經(jīng)反饋信道請求發(fā)端重發(fā)這組數(shù)據(jù)。 這種方式在一定程度上避免了 FEC 方式要求用復(fù)雜的譯碼設(shè)備和 ARQ 方式信息連貫性差的缺點，并能達到較低的誤碼率，因此在實際中的應(yīng)用越來越廣。圖示8/4/202239Department of Electronics and Information, NCUT Song Peng第39頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式 前向信息反饋(IRQ)：也稱回程校驗方式。 收端把收到的數(shù)據(jù), 原封不動地通過反饋信道送回到

26、發(fā)端; 發(fā)端比較發(fā)的數(shù)據(jù)與反饋來的數(shù)據(jù)，從而發(fā)現(xiàn)錯誤，并且把錯誤的消息再次傳送，直到發(fā)端沒有發(fā)現(xiàn)錯誤為止。圖示8/4/202240Department of Electronics and Information, NCUT Song Peng第40頁，共48頁。7.5 差錯控制的基本方式和能力(1) 差錯控制的基本方式返回返回目錄8/4/202241Department of Electronics and Information, NCUT Song Peng第41頁，共48頁。7.5 差錯控制的基本方式和能力(2) 最大似然譯碼 譯碼過程 譯碼器接收到一個接收碼字 R 后，按編碼規(guī)則對

27、R 進行譯碼后輸出信息碼組的估值 m ； 信息碼組 m 與碼字 C 之間是有固定規(guī)則的，這相當(dāng)于信道譯碼器能給出碼字 C 的估值 C 。當(dāng) C C 時就出現(xiàn)了譯碼錯誤。因為只有當(dāng) C =C 時，m =m。8/4/202242Department of Electronics and Information, NCUT Song Peng第42頁，共48頁。7.5 差錯控制的基本方式和能力(2) 最大似然譯碼 最大后驗概率譯碼準(zhǔn)則 當(dāng)譯碼器收到某一個接收碼字 R 后，根據(jù)最大后驗概率 p(C/R) 進行譯碼判決，一定是譯碼錯誤概率最小。 根據(jù)貝葉斯原理：8/4/202243Department of Electronics and Information, NCUT Song Peng第43頁，共48頁。(2) 最大似然譯碼 最大后驗概率譯碼準(zhǔn)則 似然函數(shù)：p(R/C) 漢明距離（距離）：在 (n,k)線性碼中，兩個碼字 U、V 之間對應(yīng)碼元位上符號取