信息論與編碼 第一章 緒論

1、1奠基人：美國數(shù)學(xué)家香農(nóng)（C.E.Shannon） 1948年“通信的數(shù)學(xué)理論” 信息論涉及的課程通信原理概率論隨機(jī)過程數(shù)理統(tǒng)計(jì)2本課程主要內(nèi)容概論（2）信源與信息熵（10）信道與信道容量（10）信息率失真函數(shù)（6）信源編碼（10）信道編碼定理與分組碼（10）卷積碼（10）加密編碼（4）習(xí)題課（2）3課程性質(zhì)課程課時(shí)：64學(xué)時(shí)考試形式：閉卷（30%、卷面成績70%）平常成績包括：出勤、作業(yè)等答疑地點(diǎn)：3#1334參考書目教材：信息論基礎(chǔ)與編碼，王軍選 田小平 曹紅梅，人民郵電出版社，2011.9參考書目：信息處理與編碼，吳偉陵，人民郵電出版社，1999信息論與編碼，付祖蕓等，電子工業(yè)出版社，2

2、006Elements of Information Theory，T.M.Cover，清華大學(xué)出版社.561.1 信息的基本概念1.2信息論研究的對象和內(nèi)容1.3信息論的發(fā)展第一章 概論7消息：用文字等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來。 知識(shí)：一種具有普遍和概括性質(zhì)的高層次的信息 ，以實(shí)踐為基礎(chǔ)，通過抽象思維，對客觀事物規(guī)律性的概括。情報(bào)：是人們對于某個(gè)特定對象所見、所聞、所理解而產(chǎn)生的知識(shí) 。它們之間有著密切聯(lián)系但不等同 ，信息的含義更深刻、廣泛1.1 信息的概念信息是信息論中最基本、最重要的概念，既抽象又復(fù)雜，信息在日常生活中被認(rèn)為是“消息”、“

3、知識(shí)”、“情報(bào)”等 81.1 信息的概念“信息”不同于消息（在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的同義詞，沒有嚴(yán)格的數(shù)學(xué)含義），消息是表現(xiàn)形式，信息是實(shí)質(zhì)；“信息”不同于情報(bào)，情報(bào)的含義比“信息”窄的多，一般只限于特殊的領(lǐng)域，是一類特殊的信息；信息不同于信號(hào)，信號(hào)是承載消息的物理量；信息不同于知識(shí)，知識(shí)是人們根據(jù)某種目的,從自然界收集得來的數(shù)據(jù)中整理、概括、提取得到的有價(jià)值的信息，是一種高層次的信息。9就狹義而言，在通信中對信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息。 信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測量、可描述、可顯示。

4、消息：(或稱為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類型：離散(數(shù)字)消息，一組未知量，可用隨機(jī)序列來描述： X=(X1XiXn)連續(xù)(模擬)消息，未知量，它可用隨機(jī)過程來描述： X( t, )1.1 信息的概念10什么是信息關(guān)于信息的科學(xué)定義，到目前為止，國內(nèi)外已有不下百余種流行的說法，它們都是從不同的側(cè)面和不同的層次來揭示信息的本質(zhì)的。1928年，哈特萊(RVL Hartley)，在信息傳輸一文中提出：發(fā)信者所發(fā)出的信息，就是他在通信符號(hào)表中選擇符號(hào)的具體方式局限性：定義不涉及到信息的價(jià)值和具體內(nèi)容

5、，只考慮選擇的方式。即使考慮選擇的方法，但沒有考慮各種可能選擇方法的統(tǒng)計(jì)特性。 1.1 信息的概念111948年，維納(NWiener) 在控制論-動(dòng)物和機(jī)器中通信與控制問題一書中，指出：“信息是信息，不是物質(zhì)，也不是能量”。將“信息”上升到“最基本概念”的位置。 后來，維納在人有人的用處一書中提出：“信息是人們適應(yīng)外部世界并且使這種適應(yīng)反作用于外部世界的過程中，同外部世界進(jìn)行互相交換的內(nèi)容的名稱?！?局限性：把信息與物質(zhì)、能量混同起來。所以，維納關(guān)于信息的定義是不確切的。1.1 信息的概念121948年，香農(nóng)（C.E.Shannon） 發(fā)表了一篇著名的論文，“通信的數(shù)學(xué)理論”。 他從研究通信

6、系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對信息作了科學(xué)的定義，并進(jìn)行了定性和定量的描述。 信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述 1.1 信息的概念13通信系統(tǒng)模型信源信源編碼器信道編碼器調(diào)制器信道解調(diào)器信宿信源譯碼器信道譯碼器干擾源編碼信道1.2 信息論研究的對象和內(nèi)容14信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器1.2 信息論研究的對象和內(nèi)容15 編碼器：把消息變換成適合于信道傳輸?shù)男盘?hào)。信源編碼器：將信源的輸出進(jìn)行適當(dāng)?shù)淖儞Q，以提高信息傳輸?shù)挠行浴Ｐ诺谰幋a器：對信源編碼器的輸出進(jìn)行變換，用增加多余度的方法提高信道的抗干擾

7、能力，以提高信息傳輸?shù)目煽啃浴?調(diào)制器：將信道編碼器輸出的數(shù)字序列變換為振幅、頻率或相位受到調(diào)制控制的形式，以適合在信道中進(jìn)行較長距離的傳輸。 信道：信號(hào)由發(fā)送端傳輸?shù)浇邮斩说拿浇椤?典型的傳輸信道有明線、電纜、高頻無線信道、微波通道和光纖通道等；典型的存儲(chǔ)媒介有磁芯、磁鼓、磁盤、磁帶等。信源：產(chǎn)生消息和消息序列的來源。消息可以是離散的，也可以是連續(xù)的（數(shù)據(jù)、文字、語言、圖像），通常信源的消息序列是隨機(jī)發(fā)生的，因此要用隨機(jī)變量來描述。1.2 信息論研究的對象和內(nèi)容16干擾源：對傳輸信道或存儲(chǔ)媒介構(gòu)成干擾的來源的總稱。干擾和噪聲往往具有隨機(jī)性，所以信道的特征也可以用概率空間來描述；而噪聲源的統(tǒng)計(jì)

8、特性又是劃分信道的依據(jù)。 干擾可以分為兩類：1）加性干擾，它是由外界原因產(chǎn)生的隨機(jī)干擾，它與信道中傳送的信號(hào)的統(tǒng)計(jì)特性無關(guān)，因而信道的輸出是輸入和干擾的疊加；2）乘性干擾：信道的輸出信號(hào)可看成輸入信號(hào)和一個(gè)時(shí)變參量相乘的結(jié)果。解調(diào)器：從載波中提取信號(hào)，是調(diào)制的逆過程信道譯碼器：利用信道編碼時(shí)所提供的多余度，檢查或糾正數(shù)字序列中的錯(cuò)誤。信源譯碼器：把經(jīng)過信道譯碼器核對過的信息序列轉(zhuǎn)換成適合接收者接收的信息形式。信宿：消息傳送的對象 （人或機(jī)器 ）。1.2 信息論研究的對象和內(nèi)容17在通信系統(tǒng)中形式上傳輸?shù)氖窍?，但?shí)質(zhì)上傳輸?shù)氖切畔?。消息只是表達(dá)信息的工具、載荷信息的客體。顯然，在通信中被利用的

9、(亦即攜帶信息的)實(shí)際客體是不重要的，而重要的是信息。通信的結(jié)果是消除或部分消除不確定性從而獲得信息。香農(nóng)定義信息的局限性：（1）定義的出發(fā)點(diǎn)是假定事物狀態(tài)可以用一個(gè)以經(jīng)典集合論為基礎(chǔ)的概率模型來描述，在實(shí)際中要尋找一個(gè)合適的概率模型往往是非常困難的。有時(shí)是否存在這樣一種模型還值得探討。（2）定義沒有考慮收信者的主觀特性和主觀意義，不顧信息的具體含意、具體用途、重要程度和引起后果等因素。這就與實(shí)際情況不完全一致。其實(shí)，信息有很強(qiáng)的主觀性和實(shí)用性。1.2 信息論研究的對象和內(nèi)容18信息的測度：信息量與不確定性消除的程度有關(guān)。 用數(shù)學(xué)的語言來講，不確定就是隨機(jī)性，可運(yùn)用研究隨機(jī)事件的數(shù)學(xué)工具-概率

10、論和隨機(jī)過程來測度不確定性的大小。 某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目以及各狀態(tài)出現(xiàn)的概率大小有關(guān)。既然不確定性的大小能夠度量，所以信息是可以測度的。 與信息測度相關(guān)的幾個(gè)概念：樣本空間、概率空間 、先驗(yàn)概率 、自信息 、后驗(yàn)概率 、互信息 1.2 信息論研究的對象和內(nèi)容19 樣本空間：所有可能選擇的消息的集合（某事物所有可能出現(xiàn)的狀態(tài) ） 概率空間：一個(gè)樣本空間和它的概率測度 可用X，P來表示 先驗(yàn)概率：選擇符號(hào) ai 作為消息的概率-P(ai)自信息：ai 本身攜帶的信息量 后驗(yàn)概率：接收端收到消息(符號(hào)) bj 后而發(fā)送端發(fā)的是 ai 的概率 P(ai/bj)

11、互信息：收信者獲得的信息量-先驗(yàn)的不確定性減去尚存在的不確定性1.2 信息論研究的對象和內(nèi)容20如果信道沒有干擾，信道的統(tǒng)計(jì)特性使 ai 以概率“1”傳送到接收端。 這時(shí)，收信者接到消息尚存在的不確定性就等于零，即P(ai/bj)1，log（1/ P(ai/bj)0，不確定性全部消除。由此得互信息：有關(guān)自信息和互信息的概念即為香農(nóng)關(guān)于信息的定義和度量，通常也稱為概率信息 1.2 信息論研究的對象和內(nèi)容21信息具有以下特征：（1）信息是可以識(shí)別的（2）信息的載體是可以轉(zhuǎn)換的（3）信息是可以存貯的（4）信息是可以傳遞的（5）信息是可以加工的（6）信息是可以共享的1.2 信息論研究的對象和內(nèi)容22一

12、、 研究對象前面介紹的統(tǒng)一的通信系統(tǒng)模型。人們通過系統(tǒng)中消息的傳輸和處理來研究信息傳輸和處理的共同規(guī)律。二、研究目的找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃浴⒂行?、保密性和認(rèn)證性，以達(dá)到信息傳輸系統(tǒng)的最優(yōu)化。1.2 信息論研究的對象和內(nèi)容23可靠性 使信源發(fā)出的消息經(jīng)過信道傳輸以后，盡可能準(zhǔn)確地、不失真地再現(xiàn)于接收端。有效性 經(jīng)濟(jì)性好，即用盡可能短的時(shí)間和盡可能少的設(shè)備來傳送定數(shù)量的信息。 保密性 隱蔽和保護(hù)通信系統(tǒng)中傳送的消息，使它只能被授權(quán)接收者獲取，而不能被未授權(quán)者接收和理解。認(rèn)證性 接收者能正確判斷所接收的消息的正確性，驗(yàn)證消息的完整性，而不是偽造的和被竄改的。1.2 信息論

13、研究的對象和內(nèi)容24三、 研究內(nèi)容對信息論的研究內(nèi)容一般有以下三種理解。狹義信息論（經(jīng)典信息論）：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱為香農(nóng)信息論。一般信息論（通信理論）：主要是研究信息傳輸和處理問題，除了香農(nóng)理論外，還包括噪聲理論、信號(hào)濾波和預(yù)測、統(tǒng)計(jì)檢測和估計(jì)理論、調(diào)制理論以及信息處理理論等。廣義信息論：廣義信息論不僅包括上述兩方面的內(nèi)容，而且包括所有與信息有關(guān)的領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)等等。1.2 信息論研究的對象和內(nèi)容25信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計(jì)和近代代數(shù)的方法，來研究廣義的信息傳輸、

14、提取和處理系統(tǒng)中一般規(guī)律的學(xué)科。它的主要目的是提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以便達(dá)到系統(tǒng)最優(yōu)化；它的主要內(nèi)容(或分支)包括香農(nóng)理論、編碼理論、維納理論、檢測和估計(jì)理論、信號(hào)設(shè)計(jì)和處理理論、調(diào)制理論、隨機(jī)噪聲理論和密碼學(xué)理論等。1.2 信息論研究的對象和內(nèi)容26目前，對信息論的研究內(nèi)容一般有3種理解 1.3信息論的發(fā)展271.3信息論的發(fā)展狹義信息論（又稱香農(nóng)信息論） ：主要通過數(shù)學(xué)描述與定量分析，研究通信系統(tǒng)從信源到信宿的全過程，包括信息的測度、信道容量、信源和信道編碼理論等問題，強(qiáng)調(diào)通過編碼和譯碼使收、發(fā)兩端聯(lián)合最優(yōu)化，并且以定理的形式證明極限的存在，這部分內(nèi)容是信息論的基礎(chǔ)

15、理論。狹義信息論是以存在性研究為主體，又稱它為數(shù)學(xué)信息論。 工程信息論（又稱一般信息論、通信理論）：主要是研究信息傳輸和處理問題，除了香農(nóng)理論外，還包括噪聲理論、信號(hào)濾波和預(yù)測、統(tǒng)計(jì)檢測和估計(jì)理論、調(diào)制理論、信息處理理論等 廣義信息論：廣義信息論不僅包括上述兩方面的內(nèi)容，而且包括所有與信息有關(guān)的領(lǐng)域，如模式識(shí)別、計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)等 28電磁理論和電子學(xué)理論對通信理論技術(shù)發(fā)展起重要的促進(jìn)作用18201830年，法拉第發(fā)現(xiàn)電磁感應(yīng)莫爾斯18321835建立電報(bào)系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗(yàn)證該理論1895年馬可尼發(fā)明了無線電通信微

16、波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)激光技術(shù)使通信進(jìn)入光通信時(shí)代量子力學(xué)使通信進(jìn)入量子通信領(lǐng)域 1.3信息論的發(fā)展291832年莫爾斯電碼對shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對調(diào)幅信號(hào)的頻譜結(jié)構(gòu)進(jìn)行研究1924年奈奎斯特證明了信號(hào)傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機(jī)過程和數(shù)理統(tǒng)計(jì)引入通信與控制系統(tǒng)1946年柯切爾尼柯夫 的學(xué)位論文“起伏噪聲下的潛在抗干擾理論”，根據(jù)最小錯(cuò)誤概率準(zhǔn)則和最小均方誤差準(zhǔn)則研究了離散和連續(xù)信道的最佳接收問題 1.3信息論的發(fā)展

17、301948年shannon信息論奠基1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961 Fano，1968Gallager給出信道編碼定理的簡介證明并描述了碼率，碼長和錯(cuò)誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976 Rissanen算術(shù)編碼，1977，78 Ziv和Lempel的LZ算法 1.3信息論的發(fā)展311950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術(shù)，1993年Turbo編譯碼技術(shù)，1999年LDPC編碼技術(shù)。