香農(nóng)信息論課件

克勞德香農(nóng)的信息論JUNE-ZHENG作品克勞德香農(nóng)的信息論JUNE-ZHENG作品1目錄一、克勞德香農(nóng)生平介紹二、信息論三、信息論的影響LOGO目錄一、克勞德香農(nóng)生平介紹二、信息論三、信息論的影響LO2

克勞德·香農(nóng)(ClaudeElwoodShannon，1916-2001)

1916年4月30日誕生于美國密西根州。父親是該鎮(zhèn)的法官，母親是鎮(zhèn)里的中學校長，香農(nóng)的祖父是一位農(nóng)場主兼發(fā)明家，發(fā)明過洗衣機和許多農(nóng)業(yè)機械；此外，香農(nóng)的家庭與大發(fā)明家愛迪生還有遠親關系。

香農(nóng)是美國數(shù)學家、信息論的創(chuàng)始人。1940年在麻省理工學院獲得碩士和博士學位，1941年進入貝爾實驗室工作。香農(nóng)提出了信息熵的概念，為信息論和數(shù)字通信奠定了基礎。主要論文有：1938年的碩士論文《繼電器與開關電路的符號分析》，1948年的《通訊的數(shù)學原理》和1949年的《噪聲下的通信》?？藙诘隆は戕r(nóng)(ClaudeElwoodShanno3

香農(nóng)是20世紀最杰出的人物之一。如果沒有他，很多我們現(xiàn)在使用的物品根本就不可能存在。數(shù)字革命是由香農(nóng)最初發(fā)起的。

——內(nèi)爾·斯羅恩（香農(nóng)理論選集的編輯）

Shannon理論的問世，象是引爆了一枚重磅的原子彈，震撼了整個科學界。

——J.Pierce(香農(nóng)的合作者和朋友）香農(nóng)是20世紀最杰出的人物之一。如果沒有他，很多4213信息論信息論的研究信息論的概念信息論的應用213信息論信息論的研究信息論的概念信息論的應用5香農(nóng)信息論課件6信息論是一門應用概率論、隨機過程、數(shù)理統(tǒng)計和代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的科學。它是Shannon在四十年代末期，以客觀概率信息為研究對象，從通信的信息傳輸問題中總結和開拓出來的理論。狹義信息論（經(jīng)典信息論）：主要研究信息的測度、信道容量以及信源和信道編碼系統(tǒng)的最優(yōu)化等問題。這部分內(nèi)容是信息論的基礎理論，又稱為香農(nóng)信息論。1948年，Shannon發(fā)表《通信的數(shù)學理論》，成為了信息論建立的里程碑，Shannon被尊崇為信息論及數(shù)字通信時代的奠基之父什么是信息論信息論是一門應用概率論、隨機過程、數(shù)理統(tǒng)計和代數(shù)的方法，來研7香農(nóng)信息論的內(nèi)容可用一句話概括為：

“一個概念，三個定理”

就是信息熵的概念和三個編碼定理。

香農(nóng)信息論的內(nèi)容可用一句話概括為：8主要內(nèi)容把信息定義為“用來消除不確定性的東西”，并給出了其度量公式--熵和互信息；建立了一些重要的性能界：信源輸出的最可能的信息量，滿足一定失真度的要求所必須傳遞的最小信息量，信道上的最大可能通過能力等建立了一組重要的編碼定理，從理論上指明了為達到上述性能界限應當遵循的信息處理的方法和原則。主要內(nèi)容把信息定義為“用來消除不確定性的東西”，并給出了其度9信息論的研究對象信道信源譯碼器編碼器信宿噪聲通信系統(tǒng)模型

信號信號加噪聲消息消息通信系統(tǒng)模型，人們通過系統(tǒng)中消息的傳輸和處理來研究信息傳輸和處理的共同規(guī)律信息論的研究對象信道信源譯碼器編碼器信宿噪聲通信系統(tǒng)模型信10信源：產(chǎn)生消息的源。消息可以是文字、語言、圖像等。編碼器：將信源發(fā)出的消息變換成適于信道傳送的信號的設備。包含信源編碼器、糾錯編碼器、調(diào)制器。信道：把載荷消息的信號從發(fā)射端傳到接收端的媒質(zhì)或通道。狹義的實際信道有電纜、波導、光纖、無線電波傳播空間。干擾源：系統(tǒng)其他各部分產(chǎn)生的噪聲和干擾都等效成信道干擾，集中作用于信道。譯碼器：編碼的逆變換。它的作用是從受干擾的信號中最大限度地提取出有關信源傳出消息的信息。信宿：信息傳送過程中的接收者，即接收消息的人或物。通信系統(tǒng)模型通信系統(tǒng)模型11研究的目的和內(nèi)容

找到信息傳輸過程的共同規(guī)律，提高信息傳輸?shù)目煽啃?、有效性、保密性和認證性，以達到信息傳輸系統(tǒng)的最優(yōu)化。

研究的目的和內(nèi)容找到信息傳輸過程的共同規(guī)律，提12香農(nóng)信息論體系結構Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡信息理論糾錯碼編碼調(diào)制理論網(wǎng)絡最佳碼香農(nóng)信息論體系結構Shannon信息論壓縮理論有失真編碼無失13信息論的應用語音信號壓縮（G.711,GSM,Vocoder）圖象信號的壓縮（JPEG,MPEG）計算機文件壓縮（compress,gzip）模擬話路中數(shù)據(jù)傳輸速率的提高降低信息傳輸所需的功率計算機網(wǎng)中數(shù)據(jù)傳輸可靠性的保證計算機中的容錯問題圖像信號的復原與重建模式分類問題與樹分類器的設計其他（信息經(jīng)濟學、醫(yī)學、生物學、管理科學等）信息論的應用語音信號壓縮（G.711,GSM,Vocod14信息論的影響信息論的局限性1.香農(nóng)的電子通信過程是一個直線單項的過程，缺乏反饋環(huán)節(jié)2.香農(nóng)把他的模式限于工程或技術傳播，顯而易見，人類主觀解釋的過程也被包含在過程信道之中，但是具有數(shù)學傾向的香農(nóng)將人類傳播的意義限定在他的范圍之外。3.香農(nóng)的信息論僅限于通信等很局限的領域4在密碼分析方面，缺乏對信息的不確定性和信息融合的研究5.重視傳播過程，不重視傳播效果6.香農(nóng)的理論涉及很多數(shù)學命題，就很少為傳播學學者所研究，大部分的傳播學者缺少必要的數(shù)學能力去從事這一工作。信息論的影響信息論的局限性1.香農(nóng)的電子通信過程是一個直線單15香農(nóng)信息論的影響1948年以后，香農(nóng)的信息論在物理學、生物學和社會科學等學術團體中得到迅速而又廣泛的傳播。信息論被普遍引用，這種影響歷時多年經(jīng)久不衰。香農(nóng)的（以熵的公式所測度的）信息概念對于傳播學學者來說有著直接的用處?；蛟S這就是為什么他的理論通常被稱為“信息”理論、而不是“傳播”理論的原因，后者是香農(nóng)用來表示其理論的術語。

香農(nóng)的信息概念的普遍性受到了贊揚：通過以定義清晰、但又完全抽象的術語來對待信息，而且適用于所有種類、所有領域的信息。香農(nóng)信息論的影響1948年以后，香農(nóng)的信息論在16信息論對傳播學的影響1.香農(nóng)的單向傳播行為的模式有助于奠定傳播學的學術領域。2.香農(nóng)信息論的第三個要素，也就是在他信息的定義和測度、以及他的傳播模式之后，是他關于信道能力的命題。香農(nóng)的信息概念化工作為傳播學學者廣泛采用，他的傳播模式及其修正液引起了非常普遍的關注。3.信息概念及其測定4香農(nóng)的理論對于正在崛起的傳播學領域產(chǎn)生了巨大的影響。如同克里彭多爾夫所說：“從歷史的眼光來說，信息論是傳播研究發(fā)展