信息論與編碼第6章-信道編碼

第6章信道編碼信道編碼是以信息在信道上的正確傳輸為目標(biāo)的編碼，可分為兩個(gè)層次：如何正確接收載有信息的信號(hào)如何避免少量差錯(cuò)信號(hào)對(duì)信息內(nèi)容的影響糾錯(cuò)編碼試圖克服信道中噪聲造成的損害基本思想：在消息通過一個(gè)有噪信道傳輸前，以多余符號(hào)的形式在消息中增添冗余度。通信原理THISISANINTRSTNGBOOKTHISISANINTERESTINGBOOK8/14/20241第6章信道編碼m：輸入信息序列的每k個(gè)信息符號(hào)分成一段，稱為信息組mi：信息元C：碼字 Ci：碼元r=n-k：校驗(yàn)元分組碼：每個(gè)碼字中增加的r個(gè)校驗(yàn)元只由本組的k個(gè)信息元產(chǎn)生，與其他信息組的信息元無關(guān)。記為(n,k)卷積碼：增加的r個(gè)校驗(yàn)元既與本組信息元有關(guān)，還與前面L組信息元有關(guān)。記為(n,k,L)(m1,m2,…,mk){x0,x1,…xq-1}(c1,c2,…,cn)qkqn8/14/20242第6章信道編碼6.1 有擾離散信道的編碼定理6.2 糾錯(cuò)編譯碼的基本原理與分析方法8/14/20243差錯(cuò)和差錯(cuò)控制系統(tǒng)分類差錯(cuò)符號(hào)、差錯(cuò)比特符號(hào)是信息比特的載體。信號(hào)差錯(cuò)與信息差錯(cuò)既有聯(lián)系又有區(qū)別。符號(hào)差錯(cuò)概率（誤碼元率）指信號(hào)差錯(cuò)概率 誤比特率指信息差錯(cuò)概率8/14/20244差錯(cuò)和差錯(cuò)控制系統(tǒng)分類隨機(jī)差錯(cuò)差錯(cuò)始終以相等的概率獨(dú)立發(fā)生于各碼字、各碼元和各比特之間，與前后位置和時(shí)間無關(guān)。如加性高斯白噪聲突發(fā)差錯(cuò)由突發(fā)噪聲引起的前后相關(guān)、成堆出現(xiàn)的差錯(cuò)。數(shù)學(xué)模型：雙狀態(tài)一階馬爾可夫鏈模型8/14/20245糾錯(cuò)碼分類從功能角度，差錯(cuò)碼分為檢錯(cuò)碼和糾錯(cuò)碼檢錯(cuò)碼：用于發(fā)現(xiàn)差錯(cuò)的信道碼糾錯(cuò)碼：能自動(dòng)糾正差錯(cuò)的信道碼例：要發(fā)送A和B可以采用以下三種方法：不重復(fù)：用0代表A，1代表B。重復(fù)一次：用00代表A，11代表B。 增加一位碼元，傳送效率降低一倍。重復(fù)兩次：用000代表A，用111代表B。 增加兩位碼元，效率降低兩倍。既不檢錯(cuò)，又不糾錯(cuò)檢錯(cuò)但不糾錯(cuò)既檢錯(cuò)又糾錯(cuò)8/14/20246糾錯(cuò)碼分類按照對(duì)信息序列的處理方法，有分組碼和卷積碼兩種。分組碼：將信息序列分割成k位一組后獨(dú)立編解碼，分組間無關(guān)。卷積碼：編解碼運(yùn)算不僅與本組信息有關(guān)，還與前面若干組有關(guān)。按照碼元與原始信息位的關(guān)系，分為線性碼和非線性碼。線性碼：所有碼元均是原始信息元的線性組合，編碼器不帶反饋回路。非線性碼：碼元并不都是信息元的線性組合，可能還與前面的碼元有關(guān)，編碼器可能含反饋回路。8/14/20247糾錯(cuò)碼分類按照適用的差錯(cuò)類型，分成糾隨機(jī)差錯(cuò)碼和糾突發(fā)差錯(cuò)碼兩種。隨機(jī)差錯(cuò)差錯(cuò)是相互獨(dú)立的，不相關(guān)存在這種差錯(cuò)的信道是無記憶信道或隨機(jī)信道突發(fā)差錯(cuò)指成串出現(xiàn)的錯(cuò)誤，錯(cuò)誤與錯(cuò)誤間有相關(guān)性，一個(gè)差錯(cuò)往往要影響到后面一串字0010010000001001110000000突發(fā)長度=4突發(fā)長度=6用可糾獨(dú)立差錯(cuò)的個(gè)數(shù)來衡量用可糾突發(fā)差錯(cuò)的最大長度來衡量8/14/20248差錯(cuò)控制系統(tǒng)分類前向糾錯(cuò)方式（FEC）發(fā)送端的信道編碼器將信息碼組編成具有一定糾錯(cuò)能力的碼。接收端信道譯碼器對(duì)接收碼字進(jìn)行譯碼，如果傳輸中產(chǎn)生的差錯(cuò)數(shù)目在碼的糾錯(cuò)能力之內(nèi)時(shí)，譯碼器對(duì)差錯(cuò)進(jìn)行定位并加以糾正。實(shí)時(shí)性好，適用于單工通信8/14/20249檢錯(cuò)與糾錯(cuò)方式自動(dòng)請(qǐng)求重發(fā)方式（ARQ）發(fā)送端發(fā)送檢錯(cuò)碼 接收端譯碼器判斷當(dāng)前碼字傳輸是否出錯(cuò)當(dāng)有錯(cuò)時(shí)，按某種協(xié)議通過一個(gè)反向信道請(qǐng)求發(fā)送端重傳已發(fā)送的全部或部分碼字譯碼設(shè)備不復(fù)雜，對(duì)突發(fā)錯(cuò)誤特別有效8/14/202410檢錯(cuò)與糾錯(cuò)方式混合糾錯(cuò)（HEC）FEC與ARQ方式的結(jié)合。發(fā)送端發(fā)送同時(shí)具有自動(dòng)糾錯(cuò)和檢測(cè)能力的碼組，收端收到碼組后檢查差錯(cuò)情況。如果差錯(cuò)在碼的糾錯(cuò)能力內(nèi)，則自動(dòng)進(jìn)行糾正。如果信道干擾很嚴(yán)重，錯(cuò)誤很多，超過了碼的糾錯(cuò)能力，但能檢測(cè)出來，則經(jīng)反饋信道請(qǐng)求發(fā)端重發(fā)這組數(shù)據(jù)。檢錯(cuò)、糾錯(cuò)能力強(qiáng)，譯碼設(shè)備復(fù)雜，應(yīng)用廣泛8/14/202411與差錯(cuò)控制有關(guān)的基本概念碼長：碼字中碼元的個(gè)數(shù)，用n表示漢明重量（碼重）：碼字中非0碼元的個(gè)數(shù)，用W表示。對(duì)于二進(jìn)制來說，指碼字中碼元1的數(shù)目。若碼字C=(c1c2…cn)，則漢明距離（碼距）：兩個(gè)等長碼字之間對(duì)應(yīng)碼元不相同的數(shù)目，用D表示。設(shè)兩個(gè)二元碼字X=(x1x2…xn)和Y=(y1y2…yn)，則有兩個(gè)碼字模二相加得到的新碼字的重量應(yīng)是這兩個(gè)碼字之間的漢明距離，即8/14/202412與差錯(cuò)控制有關(guān)的基本概念碼的最小距離dmin在某一碼集C中，任意兩個(gè)碼字之間漢明距離的最小值稱為該碼的最小距離，即例：碼集C={0111100,1011011,1101001}最小碼距是衡量該碼糾錯(cuò)能力的重要依據(jù)從避免碼字受干擾而出錯(cuò)的角度出發(fā)，希望碼字間有盡可能大的距離，因?yàn)樽钚〈a距代表著一個(gè)碼集中最不利的情況。從安全出發(fā)，應(yīng)使用最小碼距來分析碼的檢錯(cuò)、糾錯(cuò)能力。dmin=38/14/202413與差錯(cuò)控制有關(guān)的基本概念錯(cuò)誤圖樣在二元無記憶N次擴(kuò)展信道中，差錯(cuò)的形式也可以用二元序列來描述，稱為錯(cuò)誤圖樣。設(shè)發(fā)送碼字為C=(c1c2…cn)，接收碼字為R=(r1r2…rn)，兩者的差別為例：R=(110000)，C=(100001)E＝C⊕R=(010001)，表明接收符號(hào)系列的第2位和第6位出現(xiàn)了錯(cuò)誤。8/14/202414檢錯(cuò)、糾錯(cuò)能力差錯(cuò)的產(chǎn)生碼字集合是N維矢量空間XN中的一個(gè)子集。若傳輸無誤，接收到的碼字應(yīng)在碼字集合內(nèi)。若出現(xiàn)差錯(cuò)，有兩種可能：對(duì)應(yīng)到碼字集合外的一點(diǎn)上。對(duì)應(yīng)到碼字集合內(nèi)的另一點(diǎn)上。檢錯(cuò)與糾錯(cuò)能力糾錯(cuò)碼的檢、糾錯(cuò)能力是指能夠檢測(cè)、糾正差錯(cuò)的數(shù)目。能夠檢錯(cuò)不能檢錯(cuò)8/14/202415檢錯(cuò)、糾錯(cuò)能力檢錯(cuò)能力糾錯(cuò)碼的最小距離dmin表示從子集中一點(diǎn)偏移到另一點(diǎn)的距離。若差錯(cuò)數(shù)目e大于等于dmin，將導(dǎo)致一個(gè)碼字被譯成另一個(gè)碼字，這種錯(cuò)誤無法檢測(cè)。若差錯(cuò)數(shù)目e小于dmin，則不可能從子集的一個(gè)點(diǎn)偏移到另一個(gè)點(diǎn)，即可以檢測(cè)出差錯(cuò)。dminee≤dmin－18/14/202416檢錯(cuò)、糾錯(cuò)能力糾錯(cuò)能力以每個(gè)碼字為球心，以漢明距離t為半徑作2k個(gè)球體。球體之間不相交（且不相切）的條件是：dmin=2t+1譯碼時(shí)，所有落在球內(nèi)的接收碼字都被譯為位于球心的碼字。糾錯(cuò)能力總是小于檢錯(cuò)能力的。dmintt=INT[(dmin-1)/2]8/14/202417檢錯(cuò)、糾錯(cuò)能力檢、糾錯(cuò)能力若將檢錯(cuò)和糾錯(cuò)統(tǒng)一考慮，情況會(huì)有所變化。要增加檢錯(cuò)能力，必須抑制糾錯(cuò)能力。如碼字A、B的碼距為7碼字A發(fā)生3個(gè)差錯(cuò)時(shí)能夠糾正；若發(fā)生4個(gè)差錯(cuò)時(shí)，將被譯成B。即：檢錯(cuò)和糾錯(cuò)能力都為3。若要提高檢錯(cuò)能力為4，需將糾錯(cuò)能力減為2。若最小距離dmin的碼同時(shí)能檢ed、糾ec個(gè)差錯(cuò)，則ed+ec≤dmin-18/14/202418檢錯(cuò)、糾錯(cuò)能力對(duì)糾錯(cuò)編碼的基本要求糾錯(cuò)和檢錯(cuò)能力盡量強(qiáng)，編碼效率盡量高，碼長盡量短，編碼規(guī)律盡量簡單。在實(shí)際系統(tǒng)中，要求檢、糾錯(cuò)易于實(shí)現(xiàn)，成本盡量低。信道編碼的主要目標(biāo)以可靠性為主，即在保證抗干擾能力盡量強(qiáng)的基礎(chǔ)上，適當(dāng)兼顧有效性，尋求和構(gòu)造最小距離dmin比較大的碼。8/14/202419隨機(jī)編碼隨機(jī)編碼從N維矢量空間XN的qN個(gè)點(diǎn)中選取qK個(gè)點(diǎn)作為碼字，可以借助近世代數(shù)理論尋找最佳的方法，也可以隨機(jī)地選擇。平均差錯(cuò)概率E(R)：可靠性函數(shù)。R：碼率，表示每碼元攜帶 的信息量，又稱為傳信率。臨界速率R08/14/202420隨機(jī)編碼有擾離散信道編碼定理若有一離散無記憶平穩(wěn)信道，其容量為C，輸入符號(hào)序列長度為N。只要待傳送的信息率R＜C，總可以找到一種編碼方法，當(dāng)N足夠長時(shí)，使譯碼錯(cuò)誤概率Pe＜ε，ε為任意正數(shù)。反之，當(dāng)R＞C時(shí)，任何編碼的Pe＞0。當(dāng)N→∞時(shí)，Pe→1。與信源編碼定理類似，香農(nóng)第二定理只是一個(gè)存在性定理，它指出信道容量是一個(gè)臨界值，只要信息傳輸率不超過這個(gè)臨界值，信道就可以幾乎無失真地把信息傳送過去。8/14/202421第6章信道編碼6.1 有擾離散信道的編碼定理6.2 糾錯(cuò)編譯碼的基本原理與分析方法8/14/202422差錯(cuò)控制差錯(cuò)控制：從公式和概念兩條途徑來論述差錯(cuò)控制與信道編碼的基本原理。途徑一：信道編碼定理的公式減小差錯(cuò)概率：增大碼長N或增大可靠性函數(shù)E(R)增大E(R)：加大信道容量C或減小碼率（傳信率）R對(duì)于同樣的碼率，信道容量大者其可靠性函數(shù)E(R)也大。對(duì)于同樣的信道容量，碼率減小時(shí)其可靠性函數(shù)E(R)增大。增大C、減小R、增加N8/14/202423差錯(cuò)控制增大信道容量C擴(kuò)展帶寬開發(fā)新的寬帶媒介：例如從電纜到光纖，從中短波到毫米波、微米波。采取信道均衡措施。加大功率提高發(fā)送功率：例如提高天線增益，提高波束的方向系數(shù)等。降低噪聲：例如采用低噪聲器件、濾波、屏蔽、接地、低溫運(yùn)行等。在糾錯(cuò)編碼技術(shù)發(fā)展之前，主要依靠增大C來提高通信的可靠性。8/14/202424差錯(cuò)控制減小碼率R二進(jìn)制(N,K)分組碼：R=K/N q進(jìn)制(N,K)分組碼：R=Klog2q/N降低碼率的方法q、N不變而減小K：降低信息源速率，每秒少傳一些信息。q、K不變而增大N

：提高符號(hào)速率，占用更大帶寬。N、K不變而減小q

：減小信道的輸入、輸出符號(hào)集。用增加信道容量的冗余度來換取可靠性8/14/202425差錯(cuò)控制增加碼長N保持碼率R不變，增加碼長N的同時(shí)應(yīng)增大信息位K。在C和R固定的情況下加大N，并不增加信道容量的冗余度。隨著N增大，矢量空間XN增大，碼字間距離加大，從而可靠性提高。碼長N越大，實(shí)際差錯(cuò)概率就越能符合統(tǒng)計(jì)規(guī)律。增加碼長N的代價(jià)是編解碼算法復(fù)雜，編解碼器昂貴。通過增加碼長N來提高可靠性已成為糾錯(cuò)編碼的主要途徑之一8/14/202426差錯(cuò)控制途徑二：從概念上分析糾錯(cuò)編碼的基本原理利用冗余度噪聲均化利用冗余度冗余比特與信息比特之間存在特定的相關(guān)性。若個(gè)別信息比特出錯(cuò)，可以利用其他比特推測(cè)出錯(cuò)比特，保證信息的可靠性。傳輸冗余比特，必然要運(yùn)用冗余的資源：時(shí)間頻帶功率設(shè)備復(fù)雜度8/14/202427差錯(cuò)控制噪聲均化基本思想：設(shè)法將危害較大的、較為集中的噪聲干擾分?jǐn)傞_來，使不可恢復(fù)的信息損傷最小。噪聲均化的方法：增