第一章引論信息信息科學(xué)與信息論課件

第一章引論1感謝你的觀看2019-8-17第一章引論1感謝你的觀看2019-8-17課程概況目的：了解學(xué)習(xí)信息論的作用、方法與意義，對(duì)信息論的研究方法和成果有廣泛的基本認(rèn)識(shí)，學(xué)會(huì)應(yīng)用，為進(jìn)一步研究打下基礎(chǔ)特點(diǎn)：以信息理論為中心，區(qū)別與“信源編碼”、“信道編碼”以概念和物理意義為主結(jié)合通信系統(tǒng)實(shí)際應(yīng)用2感謝你的觀看2019-8-17課程概況目的：2感謝你的觀看2019-8-17參考書目Cover,ElementsofInformationTheoryMcElice,TheTheoryofInformation&Coding

Proakis,DigitalCommunication

，差錯(cuò)控制編碼，第二版3感謝你的觀看2019-8-17參考書目Cover,ElementsofInforma其它有關(guān)事項(xiàng)講課:（概念、方法）自學(xué):（數(shù)學(xué)推導(dǎo)、定理證明）考試：基本概念，基本計(jì)算。微課：分組進(jìn)行微課制作，上傳至網(wǎng)絡(luò)，評(píng)分聯(lián)系方式：歡迎提出各種問題、意見和建議4感謝你的觀看2019-8-17其它有關(guān)事項(xiàng)講課:（概念、方法）4感謝你的觀看2019-8-第一章引論1.1通信系統(tǒng)模型1.2信息論研究的中心問題及發(fā)展5感謝你的觀看2019-8-17第一章引論1.1通信系統(tǒng)模型5感謝你的觀看2019-81.1通信系統(tǒng)模型6感謝你的觀看2019-8-171.1通信系統(tǒng)模型6感謝你的觀看2019-8-17通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源7感謝你的觀看2019-8-17通信系統(tǒng)模型信源編碼器信道譯碼器信宿干擾源7感謝你的觀看20通信系統(tǒng)模型進(jìn)一步細(xì)分信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器8感謝你的觀看2019-8-17通信系統(tǒng)模型進(jìn)一步細(xì)分信源信源信道調(diào)制器信干擾源解調(diào)器信道信各部件功能信源產(chǎn)生消息的源，消息可以是文字，語(yǔ)言，圖像?？梢噪x散，可以連續(xù)。隨機(jī)發(fā)生。研究的主要問題是消息的統(tǒng)計(jì)特性和產(chǎn)生信息的速率編碼器信源編碼器：對(duì)信源輸出進(jìn)行變換，求得有效性信道編碼器：對(duì)信源編碼輸出變換，提高抗干擾性調(diào)制器：將信道編碼輸出變成適合信道傳輸?shù)姆绞?感謝你的觀看2019-8-17各部件功能信源9感謝你的觀看2019-8-17各部件功能信道信號(hào)從發(fā)端傳到接收端的介質(zhì)干擾源系統(tǒng)各部分引入的干擾，包括衰落，多徑，碼間干擾，非線性失真，加性噪聲，主要是統(tǒng)計(jì)特性信道的中心問題是研究信道的統(tǒng)計(jì)特性和傳信能力，即信道容量10感謝你的觀看2019-8-17各部件功能信道10感謝你的觀看2019-8-17各部件功能譯碼器編碼器的逆變換中心問題是研究各種可實(shí)現(xiàn)的解調(diào)和譯碼方法信宿信息的接收者11感謝你的觀看2019-8-17各部件功能譯碼器11感謝你的觀看2019-8-17信息、信息科學(xué)與信息論什么是信息？Inform—information“某人被通知或告知的內(nèi)容、情報(bào)、消息”－－牛津英文字典廣義的信息———信息的形式、內(nèi)容－－最廣泛意義

技術(shù)術(shù)語(yǔ)的信息－－表達(dá)信息所用的形式或載體－－具體但無(wú)確切定義統(tǒng)計(jì)信息－－信息表達(dá)形式中統(tǒng)計(jì)方面的性質(zhì)－－明確定義的科學(xué)名詞－－與內(nèi)容無(wú)關(guān)、獨(dú)立于形式12感謝你的觀看2019-8-17信息、信息科學(xué)與信息論什么是信息？Inform—inform信息、信息科學(xué)與信息論IT---計(jì)算機(jī)所涉及的各種各樣的技術(shù)－－優(yōu)點(diǎn)：籠統(tǒng)、不明確適應(yīng)－種類繁多、不斷發(fā)展統(tǒng)一的、全面的、高層次的什么是信息技術(shù)？13感謝你的觀看2019-8-17信息、信息科學(xué)與信息論IT---什么是信息技術(shù)？13感謝你信息、信息科學(xué)與信息論出現(xiàn)于圖書館學(xué)－－研究圖書文獻(xiàn)的檢索計(jì)算機(jī)出現(xiàn)后－－新的含義不同國(guó)家－－含義不盡相同發(fā)展和長(zhǎng)遠(yuǎn)的觀點(diǎn)－－能與信息技術(shù)相對(duì)應(yīng)的基礎(chǔ)科學(xué)什么是信息科學(xué)？14感謝你的觀看2019-8-17信息、信息科學(xué)與信息論出現(xiàn)于圖書館學(xué)－－研究圖書文獻(xiàn)的檢索什信息、信息科學(xué)與信息論信息論－統(tǒng)計(jì)信息理論四十年代末期C.E.Shannon，以客觀概率信息為研究對(duì)象，從通信的信息傳輸問題中總結(jié)和開拓出來(lái)的理論。統(tǒng)計(jì)信息理論局限性－－不能解決一些問題如：人工智能中啟發(fā)式搜索和學(xué)習(xí)發(fā)展的觀點(diǎn)－－信息科學(xué)所不可缺少的理論基石什么是信息理論？15感謝你的觀看2019-8-17信息、信息科學(xué)與信息論信息論－統(tǒng)計(jì)信息理論什么是信息理論？1信息、信息科學(xué)與信息論在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息。信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。消息：是信息的載體，相對(duì)具體的概念，如語(yǔ)言，文字，數(shù)字，圖像信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次?？梢远康拿枋觥Ｐ畔?、物質(zhì)和能量是構(gòu)成一切系統(tǒng)的三大要素。三個(gè)層次中，信號(hào)最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。通信中的信息含義？16感謝你的觀看2019-8-17信息、信息科學(xué)與信息論在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)1.2信息論研究的中心問題和發(fā)展17感謝你的觀看2019-8-171.2信息論研究的中心問題和發(fā)展17感謝你的觀看2019-Shannon信息論的基本任務(wù)1948年shannon發(fā)表了“通信的數(shù)學(xué)理論”奠定了信息論理論基礎(chǔ)基本任務(wù)是設(shè)計(jì)有效而可靠的通信系統(tǒng)可靠是要使信源發(fā)出的消息經(jīng)過傳輸后，盡可能準(zhǔn)確地、不失真地再現(xiàn)在接收端有效是用盡可能短的時(shí)間和盡可能少的設(shè)備來(lái)傳輸一定量的消息18感謝你的觀看2019-8-17Shannon信息論的基本任務(wù)1948年shannon發(fā)表了信息論的研究?jī)?nèi)容狹義信息論（經(jīng)典信息論）研究信息測(cè)度，信道容量以及信源和信道編碼理論一般信息論研究信息傳輸和處理問題，除經(jīng)典信息論外還包括噪聲理論，信號(hào)濾波和預(yù)測(cè)，統(tǒng)計(jì)檢測(cè)和估值理論，調(diào)制理論，信息處理理論和保密理論廣義信息論除上述內(nèi)容外，還包括自然和社會(huì)領(lǐng)域有關(guān)信息的內(nèi)容，如模式識(shí)別，計(jì)算機(jī)翻譯，心理學(xué)，遺傳學(xué)，神經(jīng)生理學(xué)19感謝你的觀看2019-8-17信息論的研究?jī)?nèi)容狹義信息論（經(jīng)典信息論）19感謝你的觀看20信息論的研究?jī)?nèi)容統(tǒng)計(jì)信息論—Shannon信息論—本課程的主要內(nèi)容主要研究通信系統(tǒng)的數(shù)學(xué)描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學(xué)上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學(xué)信息論。研究?jī)?nèi)容：1)

信源的描述，信息的定量度量、分析與計(jì)算。2)

信道的描述，信道傳輸?shù)亩慷攘?、分析與計(jì)算。3）信源、信道與通信系統(tǒng)之間的統(tǒng)計(jì)匹配，以及通信系統(tǒng)的優(yōu)化。

——Shannon的三個(gè)編碼定理。信息論誕生五十年來(lái)，至今，仍然是指導(dǎo)通信技術(shù)發(fā)展的理論基礎(chǔ)，是創(chuàng)新新通信體制的源泉。20感謝你的觀看2019-8-17信息論的研究?jī)?nèi)容統(tǒng)計(jì)信息論—Shannon信息論—本課程的主信息論的研究?jī)?nèi)容工程信息論以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設(shè)計(jì)原則，它以構(gòu)造性為主體，以工程上技術(shù)問題為主。研究?jī)?nèi)容主要包括：信源編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；信道編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；最佳調(diào)制與解調(diào)理論與實(shí)現(xiàn)；最佳檢測(cè)、估值與最佳接收理論與實(shí)現(xiàn)；檢測(cè)、估值、濾波理論最佳信息處理理論、方法與算法；均衡、模式識(shí)別、人工智能、隨機(jī)控制……21感謝你的觀看2019-8-17信息論的研究?jī)?nèi)容工程信息論21感謝你的觀看2019-8-17狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無(wú)失真編碼等長(zhǎng)編碼定理Shannon1948McMillan1953變長(zhǎng)編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術(shù)碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網(wǎng)絡(luò)信息理論糾錯(cuò)碼編碼調(diào)制理論網(wǎng)絡(luò)最佳碼22感謝你的觀看2019-8-17狹義信息論體系結(jié)構(gòu)Shannon信息論壓縮理論有失真編碼無(wú)失信息論發(fā)展簡(jiǎn)史電磁理論和電子學(xué)理論對(duì)通信理論技術(shù)發(fā)展起重要的促進(jìn)作用1820－1830年，法拉第發(fā)現(xiàn)電磁感應(yīng)莫爾斯1832－1835建立電報(bào)系統(tǒng)。1876年Bell發(fā)明電話1864麥克斯韋預(yù)言電磁波存在，1888年赫茲驗(yàn)證該理論1895年馬可尼發(fā)明了無(wú)線電通信微波電子管導(dǎo)致微波通信系統(tǒng)，微波雷達(dá)系統(tǒng)激光技術(shù)使通信進(jìn)入光通信時(shí)代23感謝你的觀看2019-8-17信息論發(fā)展簡(jiǎn)史電磁理論和電子學(xué)理論對(duì)通信理論技術(shù)發(fā)展起重要的信息論發(fā)展簡(jiǎn)史1832年莫爾斯電碼對(duì)shannon編碼理論的啟發(fā)1885年凱爾文研究了一條電纜的極限傳信速率1922年卡遜對(duì)調(diào)幅信號(hào)的頻譜結(jié)構(gòu)進(jìn)行研究1924年奈奎斯特證明了信號(hào)傳輸速率和帶寬成正比1928年Hartley提出信息量定義為可能消息量的對(duì)數(shù)1939年Dudley發(fā)明聲碼器1940維納將隨機(jī)過程和數(shù)理統(tǒng)計(jì)引入通信與控制系統(tǒng)24感謝你的觀看2019-8-17信息論發(fā)展簡(jiǎn)史1832年莫爾斯電碼對(duì)shannon編碼理論的信息論發(fā)展簡(jiǎn)史Claude.E.Shannon的兩篇論文–Shannon信息論

1948年----信息時(shí)代的里程碑!“AMathematicalTheoryinCommunication”–Shannon第一、二定理

1959年“Codingtheoremsforadiscretesourcewithafidelitycriterion”.–Shannon第三定理25感謝你的觀看2019-8-17信息論發(fā)展簡(jiǎn)史Claude.E.Shannon的兩篇論文信息論發(fā)展簡(jiǎn)史1952年Fano證明了Fano不等式，給出了shannon信道編碼逆定理的證明1957，Wolfowitz，1961Fano，1968Gallager給出信道編碼定理的簡(jiǎn)介證明并描述了碼率，碼長(zhǎng)和錯(cuò)誤概率的關(guān)系，1972年Arimoto和Blahut發(fā)明了信道容量的迭代算法1956McMillan證明了Kraft不等式。1952年Fano碼，Huffman碼。1976Rissanen算術(shù)編碼，1977，78Ziv和Lempel的LZ算法26感謝你的觀看2019-8-17信息論發(fā)展簡(jiǎn)史1952年Fano證明了Fano不等式，給出了信息論發(fā)展簡(jiǎn)史1950年漢明碼，1960年卷積碼的概率譯碼，Viterbi譯碼，1982年Ungerboeck編碼調(diào)制技術(shù)，1993年Turbo編譯碼技術(shù)1959年，Shannon提出率失真函數(shù)和率失真信源編碼定理1961年，Shannon的“雙路通信信道”開拓了網(wǎng)絡(luò)信息論的研究，目前是非?；钴S的研究領(lǐng)域。27感謝你的觀看2019-8-17信息論發(fā)展簡(jiǎn)史1950年漢明碼，1960年卷積碼的概率譯碼，信源編碼1948年以后，信源編碼

Huffman,FanoCode(1950);

波形編碼：PCM,DM,DPCM;

語(yǔ)音參量編碼;

圖象編碼：DCT,幀間預(yù)測(cè)插值,運(yùn)動(dòng)補(bǔ)償

數(shù)據(jù)壓縮編碼

語(yǔ)音編碼標(biāo)準(zhǔn)

圖象編碼標(biāo)準(zhǔn)28感謝你的觀看2019-8-17信源編碼1948年以后，信源編碼28感謝你的觀看2019-8信息論發(fā)展簡(jiǎn)史與現(xiàn)狀－－

信息論方法的應(yīng)用及其取得的成果語(yǔ)音信號(hào)壓縮：64Kbps----100bps----(極限）降低信息傳輸所需的功率29感謝你的觀看2019-8-17信息論發(fā)展簡(jiǎn)史與現(xiàn)狀－－

信息論方法的應(yīng)用及其取得的成果語(yǔ)音ClaudeE.Shannon著名信息論和編碼學(xué)者

Dr.RichardBlahut在

Shannon塑像的落成典禮上這樣評(píng)價(jià)Shannon：

在