信息與編碼理論 第2版 課件 1.2 信息論的研究對象、目的和內(nèi)容

1.2 信息論的研究對象、目的和內(nèi)容1.信息論研究的主要問題狹義信息論：又稱香農(nóng)信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論一般信息論狹義信息論

1.信息論研究的主要問題1）什么是信息？如何度量信息？2）怎樣確定信源輸出信息的速率？3）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？1.信息論研究的主要問題4）無失真信源編碼，所需要的最少碼符號數(shù)是多少？

香農(nóng)第一定理：如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。1.信息論研究的主要問題5）在有噪聲信道中，有沒有可能實現(xiàn)幾乎無差錯的傳輸信息？

香農(nóng)第二定理：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長時傳輸差錯任意??；否則，不存在使差錯任意小的信道編碼方式。1.信息論研究的主要問題6）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數(shù)又是多少？

香農(nóng)第三定理：對于任意的失真度，只要碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率，而碼的平均失真度。

信息論是通信的數(shù)學(xué)基礎(chǔ)，它以概率論為主要數(shù)學(xué)工具，詳細(xì)研究了通信中的各個關(guān)鍵環(huán)節(jié)，以定理的形式給出了信源編碼、信道編碼的理論極限，為各種具體的通信技術(shù)提供了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志:香農(nóng)于1948年發(fā)表的論文：

——AMathematicalTheoryofCommunication（通信的數(shù)學(xué)理論）2.什么是信息論2.什么是信息論以概率論、隨機(jī)過程為基本研究工具。研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并以編、譯碼器為重點。關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個性能（并不具體設(shè)計系統(tǒng)）。要求信源為隨機(jī)過程，不研究信宿。信息論的特點信息論幫助通信工程師從全局的觀點觀察和設(shè)計通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。2.信息論的應(yīng)用2.信息論的應(yīng)用（續(xù)1）

通信的基本問題是在一點精確地或近似地恢復(fù)另一點（信源）所選擇的消息。通常，這些消息是有含義的，但是這些語義方面的問題與通信問題無關(guān)，而重要的方面是實際消息是從一個可能的消息集合中選擇出的一條消息。

————

香農(nóng)2.信息論的應(yīng)用（續(xù)2）信息論的應(yīng)用舉例語音信號壓縮（G.711,GSM,Vocoder…）計算機(jī)文件壓縮模擬話路中數(shù)據(jù)傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）語音信號的壓縮語音信號一直是通信網(wǎng)中傳輸?shù)闹饕獙ο?。自從通信網(wǎng)數(shù)字化以來，壓縮語音信號的編碼速率就成為通信中的一個重要問題。語音編碼速率進(jìn)展：1972年CCITTG.711標(biāo)準(zhǔn)64kbit/s1992年16kbit/s；1988年歐洲移動通信GSM標(biāo)準(zhǔn)13.2kbit/s；1989美國CTIA標(biāo)準(zhǔn)速率7.95kbit/s。目前在實驗室中已經(jīng)實現(xiàn)了600bit/s的低速率語音編碼。圖像信號的壓縮圖像信號的信息量特別巨大，這對圖像信號的傳輸及存儲都帶來了巨大的不便。20世紀(jì)80年代圖像壓縮逐步進(jìn)入建立標(biāo)準(zhǔn)階段。1989年CCITT提出電視電話/會議電視的壓縮標(biāo)準(zhǔn)H.261，其壓縮比達(dá)到25:1到48:1；1991年“多灰度靜止圖像壓縮編碼