《信息處理與編碼》課件第四章 信息與通信系統(tǒng)的優(yōu)化

1、信息處理與編碼主講人 牛 凱緒論一、本課程的主要內(nèi)容主要介紹通信與信息系統(tǒng)的設(shè)計三原則：有效性、可靠性、安全性信息論的經(jīng)典應(yīng)用無失真信源編碼、信道編碼、率失真信源編碼、密碼二、主要的參考數(shù)目周炯槃 信息論基礎(chǔ) 人民郵電出版社 1983周炯槃 信源編碼原理 人民郵電出版社 1983朱雪龍 應(yīng)用信息論基礎(chǔ) 清華大學(xué)出版社Thomas M. Cover Elements of Information Theory Wiley,1991Robert J. McEliece The Theory of Information and Coding Addison-Wesley,1977三、信息論與編碼理

2、論學(xué)術(shù)界的大師簡介1948年，Shannon創(chuàng)立信息論；1950年，Hamming發(fā)明漢明碼；1955年，三位數(shù)學(xué)家發(fā)明BCH碼；1962年，Gallager發(fā)明LDPC碼；1965年，Berlekamp提出迭代BCH譯碼算法；1966年，F(xiàn)orney發(fā)明級聯(lián)碼；1967年，Viterbi發(fā)明Viterbi算法；1993年，Berrou發(fā)明Turbo碼；Claude E. ShannonAndrew J. ViterbiJ. David Forney,Jr.Claude Berrou第四章通信系統(tǒng)的優(yōu)化4-1 通信系統(tǒng)的優(yōu)化模型： 信源信源編碼加密信道編碼信源譯碼信道譯碼信道 解密信宿密鑰 源

3、噪聲道 密鑰 源ULVL1 信 源: u取值集合（范圍）：UL=UUU(L個)輸出矢量： UL =（U1U2UlUL）對應(yīng)樣值： uL =(u1ul uL)對應(yīng)概率： P(uL)=P(u1ul uL) 一）無失真： 統(tǒng)計描述方法:u=UL ,P(uL)-序列（L個）信源 =U,P(u)=U,Pi-單消息信源 信源信息度量：H(U)= P(uL)log P(uL)-序列 H(U)= P(u)log P(u)-單個 二）限失真： 描述方法 ：u=UL ,P(uL) ULVL ,d(uL vL ) 限失真信息度量： 1 信 源: u（續(xù)）： 2 信 道：C 4-1 通信系統(tǒng)的優(yōu)化模型（續(xù)）： 譯碼:

4、 g : Yn VL3 編譯碼:（f , g） 碼，廣義地講，數(shù)學(xué)上可看作是一種映射，物理上則可看作是一類變換 編碼: f : UL Xn其中 |U|L , |V|L , |X|n , |Y|n 均為有限.這時編譯碼為有限空間上的映射(變換)若 U = V = X = Y =GF (2) = 0,1 即為二元有限域，則稱上述編譯碼為二元碼。 4-1 通信系統(tǒng)的優(yōu)化模型（續(xù)）： 在通信系統(tǒng)中,可將通信的主要性能指標(biāo)歸結(jié)為 數(shù)量指標(biāo) : 有效性 抗自然干擾:可靠性抗人為干擾:安全性質(zhì)量指標(biāo)則上述編譯碼可進(jìn)一步分解為:3 編譯碼:（f , g） （續(xù)）f1 : UL Sm , 為有效性信源編碼 ;f

5、2 : Sm Cm , 為安全性密碼 ;f3 : Cm Xn , 為可靠性信道編碼 ;f =則 其中： 為有效性信源編譯碼； 為安全性加解密碼； 為可靠性信道編譯碼。 g3 : Yn Cm , 為可靠性信道譯碼 ;g2 : Cm Sm , 為安全性解密碼 ;g1 : Sm VL , 為可靠性信源譯碼 ;g =4 通信系統(tǒng): S 亦可寫成 、 、 分別表示有效、安全和可靠的通信系統(tǒng)，且有 且 、 、 、 構(gòu)成馬氏鏈； 令 ， ， 若編、譯碼方式給定，即： 這時， 4 通信系統(tǒng): S （續(xù)）即通信系統(tǒng)統(tǒng)計特性僅決定于信源與信道的統(tǒng)計特性： 與 。否則編碼可分解為三個隨機(jī)映射： 定義誤差函數(shù)：進(jìn)一步

6、可引入三類不同準(zhǔn)則： 5 系統(tǒng)度量指標(biāo)：無失真： ，即 或 誤差準(zhǔn)則： ，即 或 平均誤差： ，即 或4-1 通信系統(tǒng)的優(yōu)化模型（續(xù)）： C.E.Shannon 三個編碼定理： 1）無失真信源編碼定理：在無失真意義下實現(xiàn)通信系統(tǒng)與信源統(tǒng)計特性相匹配：即當(dāng)系統(tǒng)中傳信率 (信源熵)時，最優(yōu)的信源編、譯碼存在；反之，當(dāng) 時，最優(yōu)信源編、譯碼不存在。稱它為Shannon編碼第一定理。 2）限失真信源編碼定理：在限失真意義下，實現(xiàn)通信系統(tǒng)與信源統(tǒng)計特性相匹配：即當(dāng) （信息率失真函數(shù)）時，最優(yōu)的信源編、譯碼存在；反之，當(dāng) 時，最優(yōu)信源編、譯碼不存在，稱它為Shannon編碼第三定理。 3）信道編碼定理：在均方誤差意義下，實現(xiàn)通信系統(tǒng)與信道統(tǒng)計特性相匹配；即當(dāng)RC時，最優(yōu)信道編，譯碼不存在；稱它為Shannon編碼第二定理。4) 信源信道聯(lián)合編碼定理點到點鏈