信息論及編碼 第6章(1)

1、2021-10-181第六章第六章信道編碼信道編碼 2021-10-182數(shù)字通信系統(tǒng)的一般模型數(shù)字通信系統(tǒng)的一般模型 等效信道等效信道 干擾源干擾源 物理信道物理信道 解調(diào)器解調(diào)器 編碼器編碼器 譯碼器譯碼器 信宿信宿 信源信源 調(diào)制器調(diào)制器 實(shí)際信道實(shí)際信道 編碼信道編碼信道 2021-10-183將模擬信號(hào)變?yōu)?3比特線性碼聲電輸出RPE-LTP編碼器RPE-LTP譯碼器將13比特線性碼變換為8比特A律碼無(wú)線子系統(tǒng)將13比特線性碼變?yōu)槟M信號(hào)電聲輸出RPE-LTP譯碼器13 kb / sRPE-LTP編碼器將8比特A律碼變換為13比特線性碼移動(dòng)交換中心公用電話交換網(wǎng)(PSTN/ISDN)

2、模擬語(yǔ)音8000樣本/秒13比特線性碼8000樣本/秒13比特線性碼8000樣本/秒8比特A律50幀260比特/幀無(wú)線接入和GMSK調(diào)制前向糾錯(cuò)編碼交織話音編碼456比特/幀無(wú)線解調(diào)去交織糾錯(cuò)編碼無(wú)線GMSK解調(diào)糾錯(cuò)編碼去交織無(wú)線接入及調(diào)制交織前向糾錯(cuò)編碼雙工器語(yǔ)音編碼456比特/幀104 kb / s移動(dòng)臺(tái)MS基站系統(tǒng)BSSGSM系統(tǒng)的話音和信道編碼系統(tǒng)的話音和信道編碼2021-10-184語(yǔ)音編碼器（260bits）3bit奇偶校驗(yàn)奇偶校驗(yàn)半速卷積編碼器半速卷積編碼器8時(shí)隙交織時(shí)隙交織Ia類（50bit） Ib類（132bit） 類（78bit）53bit378編碼比特456bit（8個(gè)子

3、塊，57bit/子塊）4尾比特GSM語(yǔ)音編解碼的前向糾錯(cuò)（全速業(yè)務(wù)信道）語(yǔ)音編解碼的前向糾錯(cuò)（全速業(yè)務(wù)信道）2021-10-1852021-10-186香農(nóng)編碼定理香農(nóng)編碼定理n信息通過(guò)信道傳輸?shù)叫潘薜倪^(guò)程即為信息通過(guò)信道傳輸?shù)叫潘薜倪^(guò)程即為通信通信。要做到。要做到既不失真又快速地通信，需要解決兩個(gè)問(wèn)題：既不失真又快速地通信，需要解決兩個(gè)問(wèn)題：n在不失真或允許一定失真條件下，在不失真或允許一定失真條件下，如何提高信息傳輸如何提高信息傳輸速度速度-這是第這是第5 5章要討論的章要討論的信源編碼信源編碼問(wèn)題問(wèn)題. .n在信道受到干擾的情況下，在信道受到干擾的情況下，如何增加信號(hào)的抗干擾能如何增加信

4、號(hào)的抗干擾能力，同時(shí)又使得信息傳輸率最大力，同時(shí)又使得信息傳輸率最大-這是本章要討論的這是本章要討論的信道編碼信道編碼問(wèn)題問(wèn)題. .n信源編碼的基礎(chǔ)是信息論中的兩個(gè)編碼定理信源編碼的基礎(chǔ)是信息論中的兩個(gè)編碼定理n無(wú)失真信源編碼無(wú)失真信源編碼 第一極限定理第一極限定理 n限失真信源編碼限失真信源編碼 第三極限定理第三極限定理n信道編碼定理（離散和連續(xù)信道）信道編碼定理（離散和連續(xù)信道） 第二極限定理第二極限定理2021-10-187 XNUUY2021-10-188n信源編碼信源編碼n提高數(shù)字信號(hào)提高數(shù)字信號(hào)n將信源的模擬信號(hào)轉(zhuǎn)變?yōu)閿?shù)字信號(hào)將信源的模擬信號(hào)轉(zhuǎn)變?yōu)閿?shù)字信號(hào)n降低數(shù)碼率降低數(shù)碼率,

5、,壓縮傳輸頻帶壓縮傳輸頻帶( (數(shù)據(jù)壓縮數(shù)據(jù)壓縮) )n信道編碼信道編碼n提高數(shù)字通信提高數(shù)字通信 n數(shù)字信號(hào)在信道的傳輸過(guò)程中數(shù)字信號(hào)在信道的傳輸過(guò)程中, ,由于實(shí)際由于實(shí)際信道信道的的傳傳輸特性不理想輸特性不理想以及存在加性以及存在加性噪聲噪聲, ,在接收端往往會(huì)在接收端往往會(huì)產(chǎn)生產(chǎn)生誤碼誤碼。2021-10-189信道編碼信道編碼是以信息在信道上的正確傳輸為目標(biāo)是以信息在信道上的正確傳輸為目標(biāo)的編碼，可分為兩個(gè)層次上的問(wèn)題：的編碼，可分為兩個(gè)層次上的問(wèn)題：n如何正確接收載有信息的信號(hào)如何正確接收載有信息的信號(hào)線路編碼線路編碼( (通信原理，基帶編碼）通信原理，基帶編碼）n如何避免少量差錯(cuò)

6、信號(hào)對(duì)信息內(nèi)容的影響如何避免少量差錯(cuò)信號(hào)對(duì)信息內(nèi)容的影響糾錯(cuò)編碼糾錯(cuò)編碼n糾錯(cuò)編碼的理論體系屬于信息論，但糾錯(cuò)編碼糾錯(cuò)編碼的理論體系屬于信息論，但糾錯(cuò)編碼的實(shí)現(xiàn)離不開有形載體的信號(hào)理論，因此信息的實(shí)現(xiàn)離不開有形載體的信號(hào)理論，因此信息的編碼與信號(hào)的編碼有天然的聯(lián)系。的編碼與信號(hào)的編碼有天然的聯(lián)系。2021-10-18106.1 有擾離散信道的編碼理論有擾離散信道的編碼理論6.2 糾錯(cuò)編譯碼的基本原理與分析方法糾錯(cuò)編譯碼的基本原理與分析方法6.3 線性分組碼線性分組碼6.4 卷積碼卷積碼6.5 其它信道編碼其它信道編碼內(nèi)內(nèi) 容容2021-10-18116.1 6.1 有擾離散信道的編碼定理有擾離

7、散信道的編碼定理 6.1 .1 差錯(cuò)和差錯(cuò)控制系統(tǒng)分類差錯(cuò)和差錯(cuò)控制系統(tǒng)分類 6.1 .2 矢量空間與碼空間矢量空間與碼空間 6.1 .3 隨機(jī)編碼與信道編碼定理隨機(jī)編碼與信道編碼定理2021-10-18126.1.1 6.1.1 差錯(cuò)和差錯(cuò)控制系統(tǒng)分類差錯(cuò)和差錯(cuò)控制系統(tǒng)分類是衡量傳輸質(zhì)量的重要指標(biāo)之一是衡量傳輸質(zhì)量的重要指標(biāo)之一,它有幾種不同它有幾種不同的定義。的定義。n碼元差錯(cuò)率碼元差錯(cuò)率/符號(hào)差錯(cuò)率符號(hào)差錯(cuò)率n指在傳輸?shù)闹冈趥鬏數(shù)拇a元碼元總數(shù)中發(fā)生差錯(cuò)的碼元數(shù)所占的比總數(shù)中發(fā)生差錯(cuò)的碼元數(shù)所占的比例例(平均值平均值),簡(jiǎn)稱簡(jiǎn)稱誤碼率誤碼率(Error symbol rate)。n是指是指

8、差錯(cuò)概率差錯(cuò)概率 n比特差錯(cuò)率比特差錯(cuò)率 /比特誤碼率比特誤碼率(Error bit rate)：n在傳輸?shù)脑趥鬏數(shù)谋忍乇忍乜倲?shù)中發(fā)生差錯(cuò)的比特?cái)?shù)所占比例總數(shù)中發(fā)生差錯(cuò)的比特?cái)?shù)所占比例n是指是指差錯(cuò)概率差錯(cuò)概率 n對(duì)對(duì)二進(jìn)制二進(jìn)制傳輸系統(tǒng)傳輸系統(tǒng),符號(hào)差錯(cuò)等效于比特差錯(cuò)符號(hào)差錯(cuò)等效于比特差錯(cuò);對(duì)多進(jìn)制對(duì)多進(jìn)制系統(tǒng)系統(tǒng),一個(gè)符號(hào)差錯(cuò)對(duì)應(yīng)多少比特差錯(cuò)卻難以確定一個(gè)符號(hào)差錯(cuò)對(duì)應(yīng)多少比特差錯(cuò)卻難以確定2021-10-1813量級(jí)量級(jí)自然二進(jìn)制碼自然二進(jìn)制碼反射二進(jìn)制碼反射二進(jìn)制碼000000010010012010011301101041001105101111611010171111002021-1

9、0-1814差錯(cuò)率差錯(cuò)率n根據(jù)不同的應(yīng)用場(chǎng)合對(duì)差錯(cuò)率有不同的要求根據(jù)不同的應(yīng)用場(chǎng)合對(duì)差錯(cuò)率有不同的要求:n在電報(bào)傳送時(shí)在電報(bào)傳送時(shí),允許的比特差錯(cuò)率約為允許的比特差錯(cuò)率約為: 104105；n計(jì)算機(jī)數(shù)據(jù)傳輸計(jì)算機(jī)數(shù)據(jù)傳輸,一般要求比特差錯(cuò)率小于一般要求比特差錯(cuò)率小于: 108109；n在遙控指令和武器系統(tǒng)的指令系統(tǒng)中在遙控指令和武器系統(tǒng)的指令系統(tǒng)中,要求有要求有更小的誤比特率或碼組差錯(cuò)率更小的誤比特率或碼組差錯(cuò)率2021-10-1815差錯(cuò)圖樣差錯(cuò)圖樣n為定量地描述信號(hào)的差錯(cuò)為定量地描述信號(hào)的差錯(cuò),定義定義差錯(cuò)圖樣差錯(cuò)圖樣E E=CR (模模M )n最常用的二進(jìn)制碼可當(dāng)作特例來(lái)研究最常用的二進(jìn)

10、制碼可當(dāng)作特例來(lái)研究,其差錯(cuò)圖樣等其差錯(cuò)圖樣等于收碼與發(fā)碼的模于收碼與發(fā)碼的模2加加,即即 E = C R 或或 C = R En設(shè)發(fā)送的碼字設(shè)發(fā)送的碼字C 1 1 1 1 1 1 1 1 1 1 接收的碼字接收的碼字R 1 0 0 1 0 0 1 1 1 1 差錯(cuò)的圖樣差錯(cuò)的圖樣E 0 1 1 0 1 1 0 0 0 0 n差錯(cuò)圖樣中的差錯(cuò)圖樣中的“1”既是符號(hào)差錯(cuò)也是比特差錯(cuò)既是符號(hào)差錯(cuò)也是比特差錯(cuò),差錯(cuò)差錯(cuò)的個(gè)數(shù)叫的個(gè)數(shù)叫漢明距離漢明距離。0:傳輸中無(wú)錯(cuò)1:傳輸中有錯(cuò)2021-10-1816差錯(cuò)圖樣類型差錯(cuò)圖樣類型n隨機(jī)差錯(cuò)隨機(jī)差錯(cuò)：n差錯(cuò)是差錯(cuò)是相互獨(dú)立相互獨(dú)立的的,不相關(guān)不相關(guān)n存在

11、這種差錯(cuò)的信道是無(wú)記憶信道或隨機(jī)信道存在這種差錯(cuò)的信道是無(wú)記憶信道或隨機(jī)信道n突發(fā)差錯(cuò)突發(fā)差錯(cuò)：n指指成串成串出現(xiàn)的錯(cuò)誤出現(xiàn)的錯(cuò)誤,錯(cuò)誤與錯(cuò)誤間有相關(guān)性錯(cuò)誤與錯(cuò)誤間有相關(guān)性,一個(gè)差錯(cuò)一個(gè)差錯(cuò)往往要影響到后面一串字往往要影響到后面一串字nE: 0 0 1 0 0 1 0 0 0 0 0 0 1 0 0 1 1 1 0 0 0 0 0 0 突發(fā)長(zhǎng)度= 4突發(fā)長(zhǎng)度= 62021-10-1817糾錯(cuò)碼分類糾錯(cuò)碼分類 n從功能角度講從功能角度講, ,差錯(cuò)碼分為檢錯(cuò)碼和糾錯(cuò)碼差錯(cuò)碼分為檢錯(cuò)碼和糾錯(cuò)碼n檢錯(cuò)碼檢錯(cuò)碼：用于發(fā)現(xiàn)差錯(cuò)：用于發(fā)現(xiàn)差錯(cuò)n糾錯(cuò)碼糾錯(cuò)碼：能自動(dòng)糾正差錯(cuò)：能自動(dòng)糾正差錯(cuò)n糾錯(cuò)碼與檢錯(cuò)碼在理

12、論上沒有本質(zhì)區(qū)別糾錯(cuò)碼與檢錯(cuò)碼在理論上沒有本質(zhì)區(qū)別, ,只是只是應(yīng)用場(chǎng)合不同應(yīng)用場(chǎng)合不同, ,而側(cè)重的性能參數(shù)也不同。而側(cè)重的性能參數(shù)也不同。n本章的糾錯(cuò)編碼包含檢錯(cuò)碼本章的糾錯(cuò)編碼包含檢錯(cuò)碼. .2021-10-1818檢錯(cuò)與糾錯(cuò)原理檢錯(cuò)與糾錯(cuò)原理 n0:晴晴,1:雨雨n若若10,01。收端無(wú)法發(fā)現(xiàn)錯(cuò)誤。收端無(wú)法發(fā)現(xiàn)錯(cuò)誤00晴1001110011雨能發(fā)現(xiàn)一個(gè)錯(cuò)誤禁用碼組n插入插入1位監(jiān)督碼位監(jiān)督碼后具有后具有檢出檢出1位錯(cuò)碼位錯(cuò)碼的能的能力（力（2位呢？）位呢？）,但不能予以糾正。但不能予以糾正。2021-10-1819檢錯(cuò)與糾錯(cuò)原理檢錯(cuò)與糾錯(cuò)原理 000晴010001111000111雨晴

13、n在只有在只有1位錯(cuò)碼位錯(cuò)碼的情況下的情況下,可以判決哪位是錯(cuò)碼可以判決哪位是錯(cuò)碼并予以并予以糾正糾正,可以可以檢出檢出2位位或或2位以下的錯(cuò)碼。位以下的錯(cuò)碼。100011101110雨2021-10-1820檢錯(cuò)與糾錯(cuò)原理檢錯(cuò)與糾錯(cuò)原理n最大似然譯碼最大似然譯碼：n將接收到的碼字譯碼為與它將接收到的碼字譯碼為與它的的許用碼字許用碼字,并且認(rèn)為這個(gè)許用碼字就是它所對(duì)應(yīng)的發(fā)送碼字并且認(rèn)為這個(gè)許用碼字就是它所對(duì)應(yīng)的發(fā)送碼字,從而在碼字的糾錯(cuò)能力內(nèi)實(shí)現(xiàn)自動(dòng)糾錯(cuò)。從而在碼字的糾錯(cuò)能力內(nèi)實(shí)現(xiàn)自動(dòng)糾錯(cuò)。n糾錯(cuò)編碼之所以具有檢錯(cuò)、糾錯(cuò)能力糾錯(cuò)編碼之所以具有檢錯(cuò)、糾錯(cuò)能力,是因?yàn)樵谛畔⑹且驗(yàn)樵谛畔⒋a元之外加入

14、了碼元之外加入了監(jiān)督碼監(jiān)督碼。監(jiān)督碼不載信息。監(jiān)督碼不載信息,只是用來(lái)只是用來(lái)監(jiān)督信息碼在傳輸中有無(wú)差錯(cuò)。監(jiān)督信息碼在傳輸中有無(wú)差錯(cuò)。n糾錯(cuò)編碼所提高的可靠性糾錯(cuò)編碼所提高的可靠性,是以犧牲信道利用率為代是以犧牲信道利用率為代價(jià)換取的。價(jià)換取的。n監(jiān)督碼監(jiān)督碼引入引入越多越多,檢錯(cuò)、糾錯(cuò)檢錯(cuò)、糾錯(cuò)能力能力越強(qiáng)越強(qiáng),但信道的傳輸?shù)诺赖膫鬏斝氏陆狄苍蕉唷Ｐ氏陆狄苍蕉唷?021-10-1821n信道編碼信道編碼n在被傳輸信息中附加一些冗余碼在被傳輸信息中附加一些冗余碼, ,即即監(jiān)督碼元監(jiān)督碼元, ,利用附加碼元與信息碼元間的利用附加碼元與信息碼元間的約束關(guān)系約束關(guān)系加以校加以校驗(yàn)驗(yàn), ,以以。

15、n信源信源編碼編碼減少減少了了n冗余度是隨機(jī)的、無(wú)規(guī)律的冗余度是隨機(jī)的、無(wú)規(guī)律的n信道信道編碼編碼增加增加了了n冗余度是特定的、有規(guī)律的冗余度是特定的、有規(guī)律的, ,故可利用其在接收故可利用其在接收端進(jìn)行檢錯(cuò)和糾錯(cuò)。端進(jìn)行檢錯(cuò)和糾錯(cuò)。信道編碼信道編碼2021-10-1822信道編碼的基本思想信道編碼的基本思想n信道編碼信道編碼n按一定規(guī)則給數(shù)字序列按一定規(guī)則給數(shù)字序列m增加一些增加一些多余多余的碼元的碼元,使使不具有規(guī)律性的信息序列不具有規(guī)律性的信息序列 m 變換為具有某種規(guī)律變換為具有某種規(guī)律性的數(shù)碼序列性的數(shù)碼序列 C；n碼序列中的碼序列中的信息序列碼元信息序列碼元與與多余碼元多余碼元之間

16、是之間是的；的；n信道譯碼器利用這種信道譯碼器利用這種預(yù)知的預(yù)知的編碼規(guī)則譯碼。檢驗(yàn)編碼規(guī)則譯碼。檢驗(yàn)接收到的數(shù)字序列接收到的數(shù)字序列 R 是否符合既定的是否符合既定的 規(guī)則規(guī)則,從而從而發(fā)現(xiàn)發(fā)現(xiàn) R 中是否有錯(cuò)中是否有錯(cuò),或者糾正其中的差錯(cuò)；或者糾正其中的差錯(cuò)；n根據(jù)根據(jù)來(lái)檢測(cè)來(lái)檢測(cè)/發(fā)現(xiàn)和糾正發(fā)現(xiàn)和糾正傳輸過(guò)程中產(chǎn)生的傳輸過(guò)程中產(chǎn)生的差錯(cuò)就是信道編碼的基本思想。差錯(cuò)就是信道編碼的基本思想。2021-10-1823糾錯(cuò)碼分類糾錯(cuò)碼分類 n按照對(duì)信息序列的處理方法按照對(duì)信息序列的處理方法,有有分組碼分組碼和和卷積碼卷積碼n分組碼分組碼：n將將k個(gè)信息碼元分成一組個(gè)信息碼元分成一組,由這由這k個(gè)

17、碼元按照一定規(guī)個(gè)碼元按照一定規(guī)則產(chǎn)生則產(chǎn)生r個(gè)監(jiān)督碼元個(gè)監(jiān)督碼元,組成長(zhǎng)度組成長(zhǎng)度n = k + r的碼字的碼字 n卷積碼卷積碼：n先將信息序列分組先將信息序列分組, ,不同的是編解碼運(yùn)算不僅與不同的是編解碼運(yùn)算不僅與本組信息有關(guān)本組信息有關(guān), ,而且還與而且還與前面若干組有關(guān)前面若干組有關(guān)。kk010 101 010 001 110 010 xxxx 101xxxx 010 xxxxrnr2021-10-1824糾錯(cuò)碼分類糾錯(cuò)碼分類 n按照碼元與原始信息位的關(guān)系按照碼元與原始信息位的關(guān)系,分為分為n線性碼線性碼：所有碼元均是原始信息元的：所有碼元均是原始信息元的線性組合線性組合,編碼編碼器不

18、帶反饋回路。器不帶反饋回路。n非線性碼非線性碼：碼元并不都是信息元的線性組合：碼元并不都是信息元的線性組合,可能還可能還與前面已編的碼元有關(guān)與前面已編的碼元有關(guān),編碼器可能含反饋回路。編碼器可能含反饋回路。n由于非線性碼的分析比較困難由于非線性碼的分析比較困難,早期實(shí)用的糾錯(cuò)碼多為早期實(shí)用的糾錯(cuò)碼多為線性碼線性碼,但當(dāng)今發(fā)現(xiàn)的很多但當(dāng)今發(fā)現(xiàn)的很多好碼好碼恰恰是非線性碼。恰恰是非線性碼。n假設(shè)假設(shè)i，j是某（是某（ n，k）分組碼的兩個(gè)碼字，）分組碼的兩個(gè)碼字， 是是碼元字符集里的任意兩個(gè)元素，碼元字符集里的任意兩個(gè)元素， 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)也是碼字時(shí)，才稱該碼是線性碼或群碼。也是碼字時(shí)，才稱該碼

19、是線性碼或群碼。12, 2021-10-1825糾錯(cuò)碼分類糾錯(cuò)碼分類 n按照適用的差錯(cuò)類型按照適用的差錯(cuò)類型, ,分成分成: :n糾隨機(jī)差錯(cuò)碼糾隨機(jī)差錯(cuò)碼: :用于隨機(jī)差錯(cuò)信道用于隨機(jī)差錯(cuò)信道, ,其糾錯(cuò)能力用其糾錯(cuò)能力用碼組內(nèi)允許的獨(dú)立差錯(cuò)的個(gè)數(shù)來(lái)衡量。碼組內(nèi)允許的獨(dú)立差錯(cuò)的個(gè)數(shù)來(lái)衡量。n糾突發(fā)差錯(cuò)碼糾突發(fā)差錯(cuò)碼: :針對(duì)突發(fā)差錯(cuò)而設(shè)計(jì)針對(duì)突發(fā)差錯(cuò)而設(shè)計(jì), ,其糾錯(cuò)能力其糾錯(cuò)能力主要用可糾突發(fā)差錯(cuò)的最大長(zhǎng)度來(lái)衡量主要用可糾突發(fā)差錯(cuò)的最大長(zhǎng)度來(lái)衡量n 按照構(gòu)造碼的理論：代數(shù)碼、幾何碼、算術(shù)碼和按照構(gòu)造碼的理論：代數(shù)碼、幾何碼、算術(shù)碼和組合碼。代數(shù)碼：近世代數(shù)。組合碼。代數(shù)碼：近世代數(shù)。 幾何碼

20、：投影幾何。幾何碼：投影幾何。 算術(shù)碼：數(shù)論和高等算術(shù)。算術(shù)碼：數(shù)論和高等算術(shù)。 組合碼：排列組合和數(shù)論。組合碼：排列組合和數(shù)論。2021-10-1826差錯(cuò)控制系統(tǒng)分類差錯(cuò)控制系統(tǒng)分類 n前向糾錯(cuò)前向糾錯(cuò)(FEC(FEC，forward error correction)forward error correction)：n發(fā)送端的信道編碼器將信息碼組編成具有一定發(fā)送端的信道編碼器將信息碼組編成具有一定糾糾錯(cuò)能力錯(cuò)能力的碼。的碼。n接收端信道譯碼器對(duì)接收碼字進(jìn)行譯碼接收端信道譯碼器對(duì)接收碼字進(jìn)行譯碼, ,若傳輸若傳輸中產(chǎn)生的差錯(cuò)數(shù)目在碼的糾錯(cuò)能力之內(nèi)時(shí)中產(chǎn)生的差錯(cuò)數(shù)目在碼的糾錯(cuò)能力之內(nèi)時(shí),

21、,譯碼譯碼器對(duì)差錯(cuò)進(jìn)行定位并加以糾正。器對(duì)差錯(cuò)進(jìn)行定位并加以糾正。n應(yīng)用在應(yīng)用在實(shí)時(shí)性和容錯(cuò)強(qiáng)實(shí)時(shí)性和容錯(cuò)強(qiáng)的場(chǎng)合的場(chǎng)合, ,如語(yǔ)音如語(yǔ)音, ,圖像圖像2021-10-1827差錯(cuò)控制系統(tǒng)分類差錯(cuò)控制系統(tǒng)分類 n自動(dòng)請(qǐng)求重發(fā)自動(dòng)請(qǐng)求重發(fā)(ARQ, automatic repeat request)：n發(fā)端發(fā)送發(fā)端發(fā)送檢錯(cuò)碼檢錯(cuò)碼, 如如CRC(循環(huán)冗余校驗(yàn)碼循環(huán)冗余校驗(yàn)碼)，n收端譯碼器判斷當(dāng)前碼字傳輸是否出錯(cuò)；收端譯碼器判斷當(dāng)前碼字傳輸是否出錯(cuò)；n當(dāng)有錯(cuò)時(shí)按某種協(xié)議通過(guò)一個(gè)當(dāng)有錯(cuò)時(shí)按某種協(xié)議通過(guò)一個(gè)反向信道反向信道請(qǐng)求發(fā)送端請(qǐng)求發(fā)送端重傳已發(fā)送的碼字重傳已發(fā)送的碼字(全部或部分全部或部分)。

22、n應(yīng)用于數(shù)據(jù)通信網(wǎng)、計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用于數(shù)據(jù)通信網(wǎng)、計(jì)算機(jī)網(wǎng)絡(luò)2021-10-1828差錯(cuò)控制系統(tǒng)分類差錯(cuò)控制系統(tǒng)分類 n混合糾錯(cuò)混合糾錯(cuò)(HEC, hybrid error correction)：n是是FEC與與ARQ方式的結(jié)合。方式的結(jié)合。n發(fā)端發(fā)送同時(shí)具有自動(dòng)糾錯(cuò)和檢測(cè)能力的碼組發(fā)端發(fā)送同時(shí)具有自動(dòng)糾錯(cuò)和檢測(cè)能力的碼組,收端收收端收到碼組后到碼組后,檢查差錯(cuò)情況檢查差錯(cuò)情況,如果差錯(cuò)在碼的糾錯(cuò)能力以內(nèi)如果差錯(cuò)在碼的糾錯(cuò)能力以內(nèi),則自動(dòng)進(jìn)行糾正。則自動(dòng)進(jìn)行糾正。n如果信道干擾很嚴(yán)重如果信道干擾很嚴(yán)重,錯(cuò)誤很多錯(cuò)誤很多,超過(guò)了碼的糾錯(cuò)能力超過(guò)了碼的糾錯(cuò)能力,但但能檢測(cè)出來(lái)能檢測(cè)出來(lái),則經(jīng)反饋信

23、道請(qǐng)求發(fā)端重發(fā)這組數(shù)據(jù)。則經(jīng)反饋信道請(qǐng)求發(fā)端重發(fā)這組數(shù)據(jù)。n信息反饋信息反饋(IRQ)：n收端把收到的數(shù)據(jù)收端把收到的數(shù)據(jù),原封不動(dòng)地通過(guò)反饋信道送回到發(fā)原封不動(dòng)地通過(guò)反饋信道送回到發(fā)端端,發(fā)端比較發(fā)的數(shù)據(jù)與反饋來(lái)的數(shù)據(jù)發(fā)端比較發(fā)的數(shù)據(jù)與反饋來(lái)的數(shù)據(jù),從而發(fā)現(xiàn)錯(cuò)誤從而發(fā)現(xiàn)錯(cuò)誤,并并且把錯(cuò)誤的消息再次傳送且把錯(cuò)誤的消息再次傳送,直到發(fā)端沒有發(fā)現(xiàn)錯(cuò)誤為止。直到發(fā)端沒有發(fā)現(xiàn)錯(cuò)誤為止。只適于低速非實(shí)時(shí)數(shù)據(jù)通信，是一種較原始的做法。只適于低速非實(shí)時(shí)數(shù)據(jù)通信，是一種較原始的做法。 2021-10-18296.1.2 矢量空間與碼空間矢量空間與碼空間分組碼：把信源輸出的信息序列，以分組碼：把信源輸出的信息序

24、列，以k個(gè)碼元個(gè)碼元化分為化分為一段，通過(guò)編碼器把這段一段，通過(guò)編碼器把這段k個(gè)信息元按照一定的規(guī)則個(gè)信息元按照一定的規(guī)則產(chǎn)生產(chǎn)生 r個(gè)校驗(yàn)元個(gè)校驗(yàn)元，輸出長(zhǎng)為，輸出長(zhǎng)為n=k+r的一個(gè)碼組。每個(gè)碼的一個(gè)碼組。每個(gè)碼組的校驗(yàn)元僅與本組的信息元有關(guān)，而與別組無(wú)關(guān)。組的校驗(yàn)元僅與本組的信息元有關(guān)，而與別組無(wú)關(guān)。分組碼一般用分組碼一般用(n,k)來(lái)表示，其中來(lái)表示，其中n表示碼長(zhǎng)表示碼長(zhǎng)，k表示信表示信息位息位。分組碼的一個(gè)碼字可以看作一個(gè)分組碼的一個(gè)碼字可以看作一個(gè)n重矢量，所以可以用重矢量，所以可以用矢量空間矢量空間來(lái)分析和理解分組碼。來(lái)分析和理解分組碼。2021-10-1830線性（矢量）空間

25、的概念線性（矢量）空間的概念F表示碼元所在的數(shù)域，對(duì)于二進(jìn)制碼，表示碼元所在的數(shù)域，對(duì)于二進(jìn)制碼，F(xiàn)代表二元域代表二元域0,1。設(shè)。設(shè)n重有序元素的集合重有序元素的集合V= Vi , n若滿足條件：若滿足條件：nV中矢量元素在矢量加運(yùn)算下構(gòu)成加群；中矢量元素在矢量加運(yùn)算下構(gòu)成加群；nV中矢量元素與數(shù)域中矢量元素與數(shù)域F元素的標(biāo)乘封閉在元素的標(biāo)乘封閉在V中；中；n分配律、結(jié)合律成立，分配律、結(jié)合律成立， 則稱集合則稱集合V是數(shù)域是數(shù)域F上的上的n維維矢量空間矢量空間，或稱，或稱n維維線線性空間性空間，n維矢量又稱維矢量又稱n重重(n-tuples)。（關(guān)于（關(guān)于群，環(huán)，域群，環(huán)，域的概念）的概念

26、）2021-10-1831矢量的運(yùn)算規(guī)則矢量的運(yùn)算規(guī)則0121012100112211012100112(,.,)(,.,), (1)(,.,) (2)(,.,) (3)(,iiiiinjjjjjnijijijijinjniiiiinijijijiVvvvvVvvvvaFVVvvvvvvvvaVavavavavVVvvvvvv設(shè)和標(biāo)量矢量加標(biāo)量乘矢量矢量乘矢量2111211221212112212,.,) (4),.,. ,.,., .0,.,jinjnikkiiKiiiiivvFV VVVVaVa VaVVV VVa aaaVa VaVV VV線性相關(guān)與線性無(wú)關(guān)：對(duì)于域 上的若干矢量及若，則

27、稱是的線性組合。如果存在一組不全為零的使得，則稱線性相關(guān)。如果不存在一組不全12112212,., .0,.,iiiia aaaVa VaVV VV為零的使得，則稱線性無(wú)關(guān)。2021-10-1832線性空間的基底線性空間的基底空間的基底。為這個(gè)線性性空間。稱這組矢量的集合就構(gòu)成了一個(gè)線則這些矢量的線性組合的矢量如果存在一組線性無(wú)關(guān)nnVVVVVV,.,.,2121然基底。，則把這組基底稱為自，其余的分量都為分量為且每個(gè)元素中只有一個(gè)是線性空間的基底，并如果矢量01,.,21nVVV自然基底自然基底子空間子空間的子空間。是，則稱也能構(gòu)成一個(gè)矢量空間的一個(gè)元素子集若矢量空間VVVVss2021-1

28、0-1833 如在二元域如在二元域GF(2)上上n以（以（100）為基底可張成）為基底可張成一維三重一維三重子空間子空間V1，含，含21 =2 個(gè)元素，即個(gè)元素，即n以以(010)(001)為基底可張成為基底可張成二維三重二維三重子空間子空間V2，含含 22 =4個(gè)元素，即個(gè)元素，即n以以(100)(010)(001)為基底可張成為基底可張成三維三重三維三重空間空間V,含含 23 =8個(gè)元素，個(gè)元素，V1和和V2都是都是V的子空間。的子空間。1(000),(100)V2(000),(001),(010),(011)V“重?cái)?shù)重?cái)?shù)”：構(gòu)成矢量的有序元素的個(gè)數(shù)；：構(gòu)成矢量的有序元素的個(gè)數(shù)；“維數(shù)維數(shù)

29、”：張成矢量空間基底的個(gè)數(shù)；：張成矢量空間基底的個(gè)數(shù)；維數(shù)不可能大于重?cái)?shù)，而當(dāng)維數(shù)小于重?cái)?shù)時(shí)說(shuō)明這是個(gè)子空間。維數(shù)不可能大于重?cái)?shù)，而當(dāng)維數(shù)小于重?cái)?shù)時(shí)說(shuō)明這是個(gè)子空間。2021-10-1834矢量正交矢量正交正交。和則稱，即如果兩個(gè)矢量的點(diǎn)積為2121, 00VVVV矢量空間正交矢量空間正交矢量空間正交。這兩個(gè)任意元素都正交，則稱如果兩個(gè)矢量空間中的對(duì)偶空間對(duì)偶空間是對(duì)偶空間。、正交，則稱、的兩個(gè)子空間，并且是空間、如果212121VVVVVVV2021-10-1835碼空間碼空間 消息消息k長(zhǎng)長(zhǎng) (n , k) 碼字碼字n長(zhǎng)長(zhǎng) qk 種種 分組編碼器分組編碼器 qn種種 k維維k重矢量重矢量

30、n維維n重矢量重矢量 通常通常qn qk，分組編碼的任務(wù)是要在，分組編碼的任務(wù)是要在n維維n重重矢量空間的矢量空間的qn種可能組合中選擇其中的種可能組合中選擇其中的qk個(gè)構(gòu)成個(gè)構(gòu)成一個(gè)一個(gè)碼空間碼空間，其元素就是許用碼的，其元素就是許用碼的碼集碼集。 2021-10-1836分組編碼的任務(wù)分組編碼的任務(wù) n選擇一個(gè)選擇一個(gè)維維n重子空間重子空間作為碼空間。作為碼空間。n確定由確定由k維維k重信息空間到重信息空間到維維n重碼空間的重碼空間的映映射方法射方法。 碼空間的不同選擇方法，以及信息組與碼組碼空間的不同選擇方法，以及信息組與碼組的不同映射算法，就構(gòu)成了不同的分組碼。的不同映射算法，就構(gòu)成了

31、不同的分組碼。2021-10-18376.1.3 隨機(jī)編碼與信道編碼定理隨機(jī)編碼與信道編碼定理 如果不考慮編碼的具體方法，而是運(yùn)用概率統(tǒng)計(jì)的方法如果不考慮編碼的具體方法，而是運(yùn)用概率統(tǒng)計(jì)的方法在特定信道條件下對(duì)編碼信號(hào)的性能作出統(tǒng)計(jì)分析，求出差在特定信道條件下對(duì)編碼信號(hào)的性能作出統(tǒng)計(jì)分析，求出差錯(cuò)概率的上，下限邊界，其中最優(yōu)碼所能達(dá)到的差錯(cuò)概率上錯(cuò)概率的上，下限邊界，其中最優(yōu)碼所能達(dá)到的差錯(cuò)概率上界稱為隨機(jī)碼界。界稱為隨機(jī)碼界。隨機(jī)編碼的含義隨機(jī)編碼的含義機(jī)編碼。間，則稱這種編碼為隨果隨機(jī)的選取一個(gè)子空種選法，如該子空間的選取有好多重空間的一個(gè)子空間。維成的空間為個(gè)碼字組由所有重空間中的一個(gè)元

32、素，維所以碼字為碼字的長(zhǎng)度為個(gè)不同的消息。而總共有元符號(hào)組成的碼組，則個(gè)，由編成長(zhǎng)度為種符號(hào)。其中每個(gè)消息有分組碼，設(shè)消息組對(duì)于NNqNNNqMqNNqmmmmKNkkk,),.,(),(1102021-10-1838n在在(N,k)分組編碼器中隨機(jī)選定的碼集有分組編碼器中隨機(jī)選定的碼集有qNM種種 n第第m個(gè)碼集個(gè)碼集(記作記作cm )被隨機(jī)選中的概率是被隨機(jī)選中的概率是n設(shè)與這種選擇相對(duì)應(yīng)的條件差錯(cuò)概率是設(shè)與這種選擇相對(duì)應(yīng)的條件差錯(cuò)概率是Pe(cm)n全部碼集的平均差錯(cuò)概率是全部碼集的平均差錯(cuò)概率是()( )NMmPqc11( ) ( )( )NMNMqqNMeemmemmmPPPqPcc

33、c隨機(jī)編碼隨機(jī)編碼2021-10-1839隨機(jī)編碼隨機(jī)編碼n必定存在某些碼集必定存在某些碼集n某些碼集某些碼集n若若 ，就必然存在一批碼集，就必然存在一批碼集 即差錯(cuò)概率趨于零的好碼一定存在即差錯(cuò)概率趨于零的好碼一定存在 11( ) ( )( )NMNMqqNMeemmemmmPPPqPccc( )emePPc( )emePPc0eP ( )0emPc2021-10-1840隨機(jī)編碼隨機(jī)編碼n碼集點(diǎn)數(shù)碼集點(diǎn)數(shù)M=qK占占N維矢量空間總點(diǎn)數(shù)維矢量空間總點(diǎn)數(shù)qN的比例是的比例是 F =qK / qN = q-(N-K) n當(dāng)當(dāng)K和和N的差值拉大即冗余的空間點(diǎn)數(shù)增加時(shí)，平的差值拉大即冗余的空間點(diǎn)數(shù)增

34、加時(shí)，平均而言碼字的分布將變得稀疏，碼字間的平均距離均而言碼字的分布將變得稀疏，碼字間的平均距離將變大，平均差錯(cuò)概率將變小。將變大，平均差錯(cuò)概率將變小。 n當(dāng)當(dāng)F0 即即(N-K)時(shí)，能否讓平均差錯(cuò)概時(shí)，能否讓平均差錯(cuò)概率率 ？ nGallager在在1965年推導(dǎo)了年推導(dǎo)了 的上邊界，并證明這個(gè)的上邊界，并證明這個(gè)上邊界是按指數(shù)規(guī)律收斂的。上邊界是按指數(shù)規(guī)律收斂的。 eP0eP 2021-10-1841錯(cuò)誤概率的上界錯(cuò)誤概率的上界對(duì)于離散無(wú)記憶信道（對(duì)于離散無(wú)記憶信道（DMC）。錯(cuò)誤平均）。錯(cuò)誤平均概率的上界為：概率的上界為：exp( )erPNE RnE(R)為為可靠性函數(shù)可靠性函數(shù)，也叫

35、誤差指數(shù)，也叫誤差指數(shù) n碼率碼率：R =( lbM) / N nM是可能的信息組合數(shù)，是可能的信息組合數(shù)，M=qKnN是每碼字的碼元數(shù)，是每碼字的碼元數(shù)，nR表示每碼元攜帶的信息量，單位是每符號(hào)比特表示每碼元攜帶的信息量，單位是每符號(hào)比特（bit / symbol）n 是全部碼集的平均差錯(cuò)概率是全部碼集的平均差錯(cuò)概率eP2021-10-1842可靠性函數(shù)可靠性函數(shù)Er( R )的曲線的曲線可靠性函數(shù)可靠性函數(shù)Er( R )與信息傳輸率與信息傳輸率R的關(guān)系曲線如下圖，的關(guān)系曲線如下圖，是一條下凹的函數(shù)曲線。是一條下凹的函數(shù)曲線。nR在在0,R0區(qū)間時(shí)區(qū)間時(shí)E(R) R曲線是斜率為曲線是斜率為-

36、1（-45 ）的直線，的直線，E(R)反反比于比于R；而當(dāng)而當(dāng)R=C時(shí)時(shí)E(R)=0即可即可靠性為零。靠性為零。 E(R) C 0 R0 -45 R E(R)和和R的關(guān)系曲線的關(guān)系曲線2021-10-1843n正定理正定理：只要傳信率：只要傳信率R小于信道容量小于信道容量C，總存在一種信，總存在一種信道碼（及解碼器），可以以所要求的任意小的差錯(cuò)概道碼（及解碼器），可以以所要求的任意小的差錯(cuò)概率實(shí)現(xiàn)可靠的通信。率實(shí)現(xiàn)可靠的通信。n逆定理逆定理：信道容量：信道容量C是可靠通信系統(tǒng)傳信率是可靠通信系統(tǒng)傳信率R的上邊界，的上邊界，如果如果R C，就不可能有任何一種編碼能使差錯(cuò)概率任，就不可能有任何一種

37、編碼能使差錯(cuò)概率任意小。意小。 n上述兩定理統(tǒng)稱為有擾或噪聲信道的信道編碼定理上述兩定理統(tǒng)稱為有擾或噪聲信道的信道編碼定理信道編碼定理信道編碼定理2021-10-18446.2 糾錯(cuò)編譯碼的基本原理與分析方法糾錯(cuò)編譯碼的基本原理與分析方法6.2.1 糾錯(cuò)編碼的基本原理糾錯(cuò)編碼的基本原理6.2.2 譯碼方法譯碼方法-最優(yōu)譯碼最優(yōu)譯碼 和最大似然譯碼和最大似然譯碼2021-10-18456.2.1 糾錯(cuò)編碼的基本原理糾錯(cuò)編碼的基本原理一、從編碼定理出發(fā)討論糾錯(cuò)碼的基本原理一、從編碼定理出發(fā)討論糾錯(cuò)碼的基本原理二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理202

38、1-10-1846增大增大Er( R )的途徑的途徑 Er( R ) R O R1R2 C1C2C2C1R1R2一、從編碼定理出發(fā)討論糾錯(cuò)碼的基本原理：一、從編碼定理出發(fā)討論糾錯(cuò)碼的基本原理：)(RNEereP從上可以看出：要減小從上可以看出：要減小 Pe： （1）增大）增大N; （2）增大）增大Er( R )；2021-10-18471 增大信道容量增大信道容量C（1）擴(kuò)展帶寬。）擴(kuò)展帶寬。（2）加大功率。）加大功率。（3）減小噪聲功率。）減小噪聲功率。2 減小碼率減小碼率R(=KlbQ /N)（1）Q,N不變，減小不變，減小K,表示降低信息傳輸速率。表示降低信息傳輸速率。（2） Q,K不變

39、，增大不變，增大N,表示提高符號(hào)速率。表示提高符號(hào)速率。（3） N，K不變，減小不變，減小Q,表示減小信道的輸入表示減小信道的輸入 輸出符號(hào)集。輸出符號(hào)集。 增大碼長(zhǎng)增大碼長(zhǎng)N C,R,K/N不變不變一、從編碼定理出發(fā)討論糾錯(cuò)碼的基本原理：一、從編碼定理出發(fā)討論糾錯(cuò)碼的基本原理：2021-10-1848二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理：二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理：冗余度：冗余度：就是在信息流中插入冗余比特，插入的冗余比特與就是在信息流中插入冗余比特，插入的冗余比特與 信息比特存在著特定的相關(guān)性。這樣如果在傳輸過(guò)信息比特存在著特定的相關(guān)性。這樣如果在傳輸過(guò) 程中有個(gè)別信

40、息比特受損，也可以從冗余比特中恢程中有個(gè)別信息比特受損，也可以從冗余比特中恢 復(fù)或發(fā)現(xiàn)受損比特。從而保證了信息傳輸?shù)目煽啃浴?fù)或發(fā)現(xiàn)受損比特。從而保證了信息傳輸?shù)目煽啃浴＠?，假定信息為兩位共有四種組合（例如，假定信息為兩位共有四種組合（00，01，11，10）如果不加冗余位，直接傳輸，則接收端無(wú)法發(fā)現(xiàn)傳輸過(guò)程中如果不加冗余位，直接傳輸，則接收端無(wú)法發(fā)現(xiàn)傳輸過(guò)程中的錯(cuò)誤。但是如果添加一位冗余位，并且有下面的對(duì)應(yīng)關(guān)系的錯(cuò)誤。但是如果添加一位冗余位，并且有下面的對(duì)應(yīng)關(guān)系000000101110101111100000010100111001011101112021-10-1849n 傳輸傳輸冗余比

41、特冗余比特 必然要?jiǎng)佑帽厝灰獎(jiǎng)佑萌哂嗟馁Y源冗余的資源。n時(shí)間時(shí)間：比如一個(gè)比特重復(fù)發(fā)幾次：比如一個(gè)比特重復(fù)發(fā)幾次,或一段消息重復(fù)發(fā)幾遍或一段消息重復(fù)發(fā)幾遍,或或根據(jù)收端的反饋重發(fā)受損信息組。根據(jù)收端的反饋重發(fā)受損信息組。n頻帶頻帶：插入冗余比特后傳輸效率下降：插入冗余比特后傳輸效率下降,若要保持有用信息的若要保持有用信息的速率不變速率不變,方法之一是增大符號(hào)傳遞速率方法之一是增大符號(hào)傳遞速率(波特率波特率),結(jié)果就占結(jié)果就占用了更大的帶寬用了更大的帶寬。n功率功率：采用多進(jìn)制符號(hào)：采用多進(jìn)制符號(hào),用用8進(jìn)制進(jìn)制ASK符號(hào)代替符號(hào)代替4進(jìn)制進(jìn)制ASK符符號(hào)來(lái)傳送號(hào)來(lái)傳送2比特信息比特信息,可騰出

42、位置另傳可騰出位置另傳1冗余比特。冗余比特。8進(jìn)制進(jìn)制ASK符號(hào)的平均功率肯定比符號(hào)的平均功率肯定比4進(jìn)制時(shí)要大（誤碼率相同時(shí)）進(jìn)制時(shí)要大（誤碼率相同時(shí)）,這就是動(dòng)用冗余的功率資源來(lái)傳輸冗余比特。這就是動(dòng)用冗余的功率資源來(lái)傳輸冗余比特。n設(shè)備復(fù)雜度設(shè)備復(fù)雜度：加大碼長(zhǎng)：加大碼長(zhǎng),采用網(wǎng)格編碼調(diào)制采用網(wǎng)格編碼調(diào)制,是在功率、帶寬是在功率、帶寬受限信道中實(shí)施糾錯(cuò)編碼的有效方法受限信道中實(shí)施糾錯(cuò)編碼的有效方法,代價(jià)是算法復(fù)雜度的代價(jià)是算法復(fù)雜度的提高提高,需動(dòng)用設(shè)備資源。需動(dòng)用設(shè)備資源。二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理：二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理：2021-10-1850噪

43、聲均勻化：就是讓差錯(cuò)隨機(jī)化，以便符合編碼定理的條件從噪聲均勻化：就是讓差錯(cuò)隨機(jī)化，以便符合編碼定理的條件從 而得到符合編碼定理結(jié)果。其基本思想是設(shè)法將而得到符合編碼定理結(jié)果。其基本思想是設(shè)法將 危害較大的，較為集中的噪聲干擾分?jǐn)傞_來(lái)，使危害較大的，較為集中的噪聲干擾分?jǐn)傞_來(lái)，使 不可恢復(fù)的信息損傷最小。不可恢復(fù)的信息損傷最小。（1）增加碼長(zhǎng)。）增加碼長(zhǎng)。 例如：設(shè)例如：設(shè)BSC信道的誤碼率為信道的誤碼率為Pe=0.01,編碼后的糾錯(cuò)能力為編碼后的糾錯(cuò)能力為10%，當(dāng)碼長(zhǎng)當(dāng)碼長(zhǎng)N=10時(shí)，碼字中多于時(shí)，碼字中多于1位誤碼就會(huì)產(chǎn)生譯碼差錯(cuò)，差錯(cuò)概率位誤碼就會(huì)產(chǎn)生譯碼差錯(cuò)，差錯(cuò)概率為：為： 當(dāng)碼長(zhǎng)變

44、為當(dāng)碼長(zhǎng)變?yōu)?0時(shí)，則碼字中多于時(shí)，則碼字中多于4個(gè)錯(cuò)誤時(shí)產(chǎn)生差錯(cuò)，其差錯(cuò)概個(gè)錯(cuò)誤時(shí)產(chǎn)生差錯(cuò)，其差錯(cuò)概率為率為（2）卷積。）卷積。（3）交織。）交織。11031001(1)4.27 10mmmeemPC PP 44054001(1)4.92 10mmmeemPC PP 二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理：二、從冗余度和噪聲均化討論糾錯(cuò)碼的基本原理：2021-10-185176543211413 1211 10982120 1918 1716 152827 2625 2423 223534 3332 3130 2976543211413 1211 10982120 1918 1716 1

45、52827 2625 2423 223534 3332 3130 29出出入入入入出出222921815交錯(cuò)器交錯(cuò)器去交錯(cuò)器去交錯(cuò)器交錯(cuò)器工作原理圖交錯(cuò)器工作原理圖2021-10-18526.2.2 譯碼方法譯碼方法-最優(yōu)譯碼和最大似然譯碼最優(yōu)譯碼和最大似然譯碼譯碼器的任務(wù)是從受損的信息序列中盡可能正確譯碼器的任務(wù)是從受損的信息序列中盡可能正確的恢復(fù)出原始信息。的恢復(fù)出原始信息。信息組碼字00000000000010011101010010011101101110101001001110101101001111011010011111110100發(fā)送碼字發(fā)送碼字接收碼字接收碼字00111010

46、0001012021-10-1853譯碼算法的已知條件是要求已知：譯碼算法的已知條件是要求已知：（1）實(shí)際接收到的碼字序列）實(shí)際接收到的碼字序列r,r=(r1,r2,.rN)。（2）發(fā)送端所采用的編碼算法和該算法產(chǎn)生的碼集）發(fā)送端所采用的編碼算法和該算法產(chǎn)生的碼集XN,滿足滿足。NiNiiiXcccc),.,(21（3）信道模型及信道參數(shù)。）信道模型及信道參數(shù)。消息組消息組m),.,(21kmmm(N,K)編碼器編碼器NiXC 碼字),.,(21iNiiccc信道信道r接收碼),.,(21Nrrr最佳最佳/最大最大似然譯碼似然譯碼ic碼字估值),.,(21iNiiccc消息消息還原還原),.,

47、(21kmmmim消息2021-10-1854XNUUYf1fXFYXY12 ,rAa aa12 ,sBb bbX12 ,rAa aaN2021-10-1855XY12 ,rAa aa12 ,sBb bbX12 ,rAa aaN*:(),1,2,.,jjF BAF baAjs2021-10-1856XY12 ,rAa aa12 ,sBb bbX12 ,rAa aaN*(),1,2,.,jjF baAjs *(|)()|jjjjP XaYbP F bb ()|1()|)|(jjjjjP XF bYbP FPbebb 11()() 1()(|)jssejjjjjjPP bP bbFPPbeb202

48、1-10-1857XY12 ,rAa aa12 ,sBb bbX12 ,rAa aaN*(),1,2,.,jjF baAjs11()() 1()(|)jssejjjjjjPP bP bbFPPbeb111(),1()|()ssejjjjjjjPP F bbP F bP bF b *,( ,)() (|)eijijiY XaY XaPP a bP a P ba*1,111|()(|)sejjjijY XaPP bF bP barr 2021-10-18580.80.90.20.12b1b1a2a3113322( ):()F baFF ba1()0.4P a1111121( ):()F baFF

49、ba4124421( ):()F baFF ba2122222( ):()F baFF ba0.40.6XP1122|0.80.20.10.9Y XaPbba11220.320.080.060.54XYabbaP1111121()1(),1(,)(,)1(0.320.08)0.6sejjjP FP F bbP a bP a b 2221221()1(),1(,)(,)1 (0.060.54)0.4sejjjP FP F bbP a bP a b 33112210.()1(),1(,)(,)1 (0.320.514)4sejjjP FP F bbP a bP a b 44211210.()1(),1(,)(,)1 (0.080.086)6sejjjP FP F bbP