信息論01概論電信學(xué)院

1、2022/7/20電信學(xué)院 江小平1/43信息論與編碼電子信息工程學(xué)院江小平2022/7/20電信學(xué)院 江小平2/43學(xué) 時(shí)：36教 材： 信息論與編碼,陳 運(yùn),電子工業(yè)出版社參考教材： 信息論與編碼,沈連豐,科學(xué)出版社 信息論基礎(chǔ)理論與應(yīng)用,傅祖蕓,電子工業(yè)出版社 糾錯(cuò)碼原理與方法,王新梅,西安電子科技大學(xué)出版社 “Digital Modulation and Coding”, S. Wilson, Prentice Hall（“數(shù)字調(diào)制與編碼”影印版，電子工業(yè)出版社） 2022/7/20電信學(xué)院 江小平3/43課程概況目的：了解學(xué)習(xí)信息論與編碼理論的作用與意義，對(duì)信息論與編碼理論的研究方法

2、和成果有廣泛的基本認(rèn)識(shí)，學(xué)會(huì)應(yīng)用，為進(jìn)一步研究打下基礎(chǔ)特點(diǎn)：以概念和物理意義為主，數(shù)學(xué)推導(dǎo)盡量放到課外作業(yè)：部分課后習(xí)題?？己耍浩綍r(shí)30%，考試70%2022/7/20電信學(xué)院 江小平4/43信息 物質(zhì) 客觀世界三大基本要素 能量 信息 信息時(shí)代社會(huì)的發(fā)展離不開(kāi)物質(zhì)(材料)、能量（能源）和信息資源。美國(guó)學(xué)者歐廷格說(shuō)：“沒(méi)有物質(zhì)什麼都不存在，沒(méi)有能量什麼都不發(fā)生，沒(méi)有信息什麼都沒(méi)意義?！?022/7/20電信學(xué)院 江小平5/43通信通信的基本問(wèn)題：在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)所選擇的消息。 通信系統(tǒng)三項(xiàng)性能指標(biāo)： 傳輸?shù)挠行?傳輸?shù)目煽啃?傳輸?shù)陌踩?022/7/2061. 香農(nóng)信息論20

3、22/7/20電信學(xué)院 江小平7/43Shannon信息論的基本任務(wù)1948年shannon發(fā)表了“通信的數(shù)學(xué)理論”奠定了信息論理論基礎(chǔ)基本任務(wù)是設(shè)計(jì)有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過(guò)傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸一定信息量的消息安全性2022/7/20電信學(xué)院 江小平8/43信息論發(fā)展簡(jiǎn)史1832年莫爾斯電碼對(duì)shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對(duì)調(diào)幅信號(hào)的頻譜結(jié)構(gòu)進(jìn)行研究1924年奈奎斯特證明了信號(hào)傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對(duì)

4、數(shù)1940維納將隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)引入通信與控制系統(tǒng)2022/7/20電信學(xué)院 江小平9/43信息論發(fā)展簡(jiǎn)史1948年shannon信息論奠基1952年Fano證明了Fano不等式，給出了shannon信源編碼逆定理的證明1957，Wolfowitz，1961 Fano，1968Gallager給出信源編碼定理的簡(jiǎn)介證明，并描述了碼率，碼長(zhǎng)和錯(cuò)誤概率的關(guān)系。1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976 Rissanen算術(shù)編碼，1977，78 Ziv和Lempel的LZ算法1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理2022/

5、7/20電信學(xué)院 江小平10/43信息論發(fā)展簡(jiǎn)史1950年漢明碼Hamming碼、Golay碼1954年, Reed-Muller碼，CRC碼1955年Elias提出卷積碼1959年BCH碼 (Bose, Chaudhuri, Hocquuenghem)1960年RS碼 (Reed-Solomon)1961年，Shannon的“雙路通信信道”開(kāi)拓了網(wǎng)絡(luò)信息論的研究，目前是非?；钴S的研究領(lǐng)域。1960年卷積碼的概率譯碼-Viterbi譯碼。1966年Forney級(jí)聯(lián)編碼概念聯(lián)編碼概念1974年Bahl發(fā)明了卷積碼的迭代譯碼算法（BCRJ）1982年Ungerboeck編碼調(diào)制技術(shù)(TCM)。19

6、93年Turbo編譯碼技術(shù)2022/7/20電信學(xué)院 江小平11/43信息論的研究?jī)?nèi)容狹義信息論（ shannon經(jīng)典信息論）研究信息測(cè)度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問(wèn)題，除經(jīng)典信息論外還包括噪聲理論，信號(hào)濾波和預(yù)測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)2022/7/20電信學(xué)院 江小平12/43香農(nóng)對(duì)信息的定義信息：是對(duì)事物運(yùn)動(dòng)狀態(tài)和變化方式的表征，它存在于任何事物之中，可以被認(rèn)識(shí)主體（人或機(jī)器）獲取和利用。香農(nóng)信息論：考慮事物運(yùn)動(dòng)狀態(tài)

7、及其變化方式的外在形式，實(shí)際上研究的是語(yǔ)法信息。2022/7/20電信學(xué)院 江小平13/43維納對(duì)信息的定義香農(nóng)：創(chuàng)立了信息論，但并沒(méi)有給出信息的確切定義，他認(rèn)為“信息就是一種消息”。維納：信息論的創(chuàng)始人之一，把人與外部環(huán)境交換信息的過(guò)程看作是一種廣義的通信過(guò)程。后來(lái)才認(rèn)識(shí)到“信息既不是物質(zhì)又不是能量，信息就是信息”。即信息是獨(dú)立于物質(zhì)和能量之外存在于客觀世界的第三要素。2022/7/20電信學(xué)院 江小平14/43香農(nóng)和維納理論的區(qū)別香農(nóng)理論：香農(nóng)研究的對(duì)象是從信源到信宿之間的全過(guò)程，是收、發(fā)端聯(lián)合最優(yōu)化問(wèn)題，其重點(diǎn)是放在編碼。他指出，只要在傳輸前后對(duì)消息進(jìn)行適當(dāng)?shù)木幋a和譯碼，就能保證在干擾的

8、存在下，最佳地傳送和準(zhǔn)確或近似地再現(xiàn)消息。為此發(fā)展了信息測(cè)度理論、信道容量理論和編碼理論。維納理論：維納研究的重點(diǎn)是在接收端。研究一個(gè)信號(hào)如果在傳輸過(guò)程中被某些因素（如噪聲、非線性失真等）所干擾時(shí)，在接收端怎樣把它恢復(fù)、再現(xiàn)，從干擾中提取出來(lái)。在此基礎(chǔ)上，創(chuàng)立了最佳線性過(guò)濾理論（維納濾波器）、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、噪聲理論。2022/7/20電信學(xué)院 江小平15/43信息論研究的對(duì)象和目的研究對(duì)象：信息論是一門應(yīng)用概率論、隨機(jī)過(guò)程、數(shù)理統(tǒng)計(jì)和代數(shù)的方法，來(lái)研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程學(xué)科。研究目的：提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。2022/7/201

9、62. 通信系統(tǒng)的模型2022/7/20電信學(xué)院 江小平17/43通信系統(tǒng)的通用模型信源編碼器信道譯碼器信宿干擾源2022/7/20電信學(xué)院 江小平18/43通信系統(tǒng)的細(xì)化模型信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器2022/7/20電信學(xué)院 江小平19/43各部件功能信源：(核心問(wèn)題）信源的消息中所包含的信息量 以及信息如何量度產(chǎn)生消息的源，消息可以是文字，語(yǔ)言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。研究的主要問(wèn)題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率編碼器：(核心問(wèn)題）將消息變成適合于信道傳輸?shù)男盘?hào)信源編碼器：對(duì)信源

10、輸出進(jìn)行變換（消去冗余，壓縮），提高信息傳輸?shù)挠行孕诺谰幋a器：對(duì)信源編碼輸出變換（加入冗余），提高抗干擾能力，提高信息傳輸?shù)目煽啃哉{(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?022/7/20電信學(xué)院 江小平20/43信源編碼器 信源編碼器的目的是提高傳輸有效性，也就是壓縮每個(gè)信源符號(hào)傳輸所需代碼（通常為二進(jìn)制代碼）的數(shù)目（對(duì)二進(jìn)制代碼稱比特?cái)?shù)）。例如，一個(gè)信源含4個(gè)符號(hào)a,b,c,d，概率分別為1/2，1/4，1/8，1/8。如果不采用信源編碼，每個(gè)信源符號(hào)至少需要用2個(gè)二進(jìn)制代碼傳輸。如果采用信源編碼，分別將a,b,c,d編碼成為：0，10，110，111，那么平均每信源符號(hào)只需1.75

11、個(gè)二進(jìn)制代碼傳輸?？梢?jiàn)，采用合適的信源編碼確實(shí)能通過(guò)壓縮碼率提高傳輸有效性。所以，信源編碼也稱信源壓縮編碼。2022/7/20電信學(xué)院 江小平21/43信道編碼器信道編碼器給信源編碼符號(hào)增加冗余符號(hào)，目的是提高傳輸可靠性。信源編碼輸出直接傳送，不能保證傳輸可靠性。利用信道編碼對(duì)信源編碼器的輸出符號(hào)增加一些冗余符號(hào)，并讓這些符號(hào)滿足一定的數(shù)學(xué)規(guī)律，使傳輸具有糾錯(cuò)或檢錯(cuò)能力。因?yàn)槌霈F(xiàn)傳輸錯(cuò)誤就會(huì)破壞這種數(shù)學(xué)規(guī)律。在接收端就會(huì)發(fā)現(xiàn)錯(cuò)誤。例如，最簡(jiǎn)單的奇偶糾錯(cuò)，將信源編碼輸出的每個(gè)碼組的尾補(bǔ)一個(gè)1或0，使得整個(gè)碼組“1”的個(gè)數(shù)為奇或偶（或模二加為1或0）。當(dāng)傳輸發(fā)生奇數(shù)差錯(cuò)，打亂了“1”數(shù)目的奇偶性，

12、就可以檢測(cè)出錯(cuò)誤。2022/7/20電信學(xué)院 江小平22/43信道編碼器增加冗余符號(hào)提高傳輸可靠性（圖中，有陰影的點(diǎn)表示碼字）2022/7/20電信學(xué)院 江小平23/43各部件功能信道信號(hào)從發(fā)端傳到收端的介質(zhì)信道的中心問(wèn)題是研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量干擾源系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計(jì)特性2022/7/20電信學(xué)院 江小平24/43各部件功能譯碼器編碼器的逆變換中心問(wèn)題是研究各種可實(shí)現(xiàn)的解調(diào)和譯碼方法信宿信息的接收者2022/7/20電信學(xué)院 江小平25/43信息、消息和信號(hào)信息一個(gè)抽象的概念，可以定量的描述。信息、物質(zhì)和能量是構(gòu)

13、成一切系統(tǒng)的三大要素消息是信息的載體，相對(duì)具體的概念，如語(yǔ)言，文字，數(shù)字，圖像信號(hào)表示消息的物理量，電信號(hào)的幅度，頻率，相位等等2022/7/20263. 香農(nóng)信息論的應(yīng)用2022/7/20電信學(xué)院 江小平27/43內(nèi)容香農(nóng)信息論的內(nèi)容可用一句話概括為：“一個(gè)概念，三個(gè)定理”，就是信息熵的概念和三個(gè)編碼定理。2022/7/20電信學(xué)院 江小平28/43熵1關(guān)于信源信息的度量 對(duì)信息進(jìn)行量度是信息論的首要問(wèn)題。香農(nóng)定義了熵作為信源所含信息的量度，是信息論中最重要的概念。信息熵的含義與應(yīng)用以及信息量度方法是第二章的主要內(nèi)容。 2022/7/20電信學(xué)院 江小平29/43香農(nóng)第一定理2. 無(wú)失真信源

14、編碼定理（香農(nóng)第一定理）無(wú)失真信源編碼定理，也稱香農(nóng)第一定理，是信源壓縮編碼的理論基礎(chǔ)，其內(nèi)容是:如果信源編碼碼率（編碼后傳送信源符號(hào)所需比特?cái)?shù)）不小于信源的熵，就存在無(wú)失真編碼，反之，不存在無(wú)失真編碼。2022/7/20電信學(xué)院 江小平30/43香農(nóng)第一定理 例如，英文字母加空共27符號(hào)，用代碼傳送，每個(gè)符號(hào)需5比特。但通過(guò)試驗(yàn)發(fā)現(xiàn)，實(shí)際的英文字母信源熵大約為1.4比特/符號(hào)，所以根據(jù)香農(nóng)第一定理，存在某種信源編碼方式，使得每字母僅用1.4個(gè)二進(jìn)制符號(hào)就能無(wú)失真?zhèn)魉?，這樣可以顯著提高傳輸效率。 由于定理解決的是信源無(wú)損壓縮極限的理論問(wèn)題，并未給出普遍的信源編碼的方法，所以尋找接近或達(dá)到信源熵

15、的壓縮編碼技術(shù)、分析其性能并有效實(shí)現(xiàn)是研究的主要問(wèn)題。2022/7/20電信學(xué)院 江小平31/43香農(nóng)第二定理3. 關(guān)于信道容量與信息的可靠傳輸 有噪信道編碼定理（香農(nóng)第二定理）是信道編碼的理論基礎(chǔ)，其內(nèi)容是：如果信息傳輸速率小于信道容量，則總可找到一種編碼方式使得當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意小，反之不存在使差錯(cuò)任意小的編碼。2022/7/20電信學(xué)院 江小平32/43香農(nóng)第二定理 例如，一個(gè)帶寬為3kHz的系統(tǒng)，用二進(jìn)符號(hào)傳輸，如果不進(jìn)行信道編碼，無(wú)碼間干擾的最大傳輸速率為6kbps，按照香農(nóng)AWGN信道容量公式可知，通過(guò)合適的信道編碼，在信噪比為26dB的條件下，實(shí)現(xiàn)可靠傳輸?shù)淖畲笏俾士?/p>

16、達(dá)到25.6kbps。2022/7/20電信學(xué)院 江小平33/43香農(nóng)第三定理4信息率失真理論（數(shù)據(jù)壓縮的理論基礎(chǔ)）在很多情況下，我們并不需要信息精確的傳輸，而是容許有一定限度差錯(cuò)的傳輸。這樣在保證獲取足夠信息的前提下，可以提高傳輸效率，降低通信成本。香農(nóng)指出：“實(shí)際上，當(dāng)我們有一個(gè)連續(xù)信源時(shí)，我們感興趣的不是精確的傳輸，而只是在一個(gè)給定容限內(nèi)的傳輸。問(wèn)題就是，當(dāng)我們僅需要一定的以合適方式度量的恢復(fù)保真度時(shí)，我們能不能給連續(xù)信源分配一個(gè)確定的速率?！?為實(shí)現(xiàn)限失真?zhèn)鬏數(shù)挠行裕覀兛偸窍Ｍ跐M足一定的失真要求條件下，使編碼器的碼率最小，這是一個(gè)最優(yōu)有損數(shù)據(jù)壓縮編碼的理論問(wèn)題，其理論基礎(chǔ)就是信息

17、率失真理論，核心是限失真信源編碼定理。2022/7/20電信學(xué)院 江小平34/43香農(nóng)第三定理 限失真信源編碼定理（香農(nóng)第三定理）的是有損壓縮編碼的理論基礎(chǔ)，其內(nèi)容是：只要碼字足夠長(zhǎng)，總可找到一種編碼，使得當(dāng)信源編碼的碼率 R（D）時(shí)，碼的平均失真D；反之，如果信源編碼的碼率 R（D），就不存在平均失真D的編碼。可以簡(jiǎn)述為：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D) R（D）稱為信息率失真函數(shù)，是滿足失真準(zhǔn)則（平均失真 D）下，每信源符號(hào)所需最小編碼比特?cái)?shù)。2022/7/20電信學(xué)院 江小平35/43香農(nóng)第三定理例如，一個(gè)等概率16個(gè)符號(hào)的離散信源，如果要求不失真信源編碼，那

18、么每個(gè)信源符號(hào)需要4個(gè)二進(jìn)制符號(hào)，即平均碼長(zhǎng)為4比特。但如果允許失真，就可以減小平均碼長(zhǎng)。如果要求平均失真不超過(guò)1/2，即對(duì)編碼序列進(jìn)行譯碼時(shí)，最多允許1/2的錯(cuò)誤。很明顯，我們可以將信源的前7個(gè)符號(hào)分別編碼，而信源的后9個(gè)符號(hào)都編成一個(gè)相同的（第8個(gè)）碼字傳輸，在接收端譯碼時(shí)，接收到前7個(gè)碼字與接收端符號(hào)表的前7符號(hào)一一對(duì)應(yīng)，無(wú)譯碼差錯(cuò)。當(dāng)接收到第8個(gè)碼字時(shí)，隨機(jī)的譯成接收端符號(hào)表中第8個(gè)碼字2022/7/20電信學(xué)院 江小平36/43香農(nóng)第三定理 隨機(jī)的譯成接收端符號(hào)表中第8到第16個(gè)符號(hào)中的任意一個(gè)?？傋g碼正確率為7/16+1/16=1/2，所以錯(cuò)誤率也為1/2，即編碼失真為1/2。如果用最優(yōu)二元編碼（例如，Huffman編碼）可以計(jì)算，編碼的平均