信息論與編碼 課件 第一章

信息論與編碼課件第一章第一頁(yè)，共十七頁(yè)，編輯于2023年，星期六課程概況目的：了解學(xué)習(xí)信息論的作用、方法與意義，對(duì)信息論的研究方法和成果有廣泛的基本認(rèn)識(shí)，學(xué)會(huì)應(yīng)用，為進(jìn)一步研究打下基礎(chǔ)特點(diǎn)：以信息理論為中心，區(qū)別與“信源編碼”、“信道編碼”以概念和物理意義為主，數(shù)學(xué)推導(dǎo)盡量放到課外結(jié)合通信系統(tǒng)實(shí)際應(yīng)用第二頁(yè)，共十七頁(yè)，編輯于2023年，星期六第一章：信息論與信息論方法概述信息、信息科學(xué)與信息論信息論研究的對(duì)象、目的和內(nèi)容信息論發(fā)展簡(jiǎn)史與現(xiàn)狀信息論的形成與發(fā)展信息論方法的應(yīng)用及其取得的成果第三頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息、信息科學(xué)與信息論

Inform—information“某人被通知或告知的內(nèi)容、情報(bào)、消息”－－牛津英文字典廣義的信息———信息的形式、內(nèi)容－－最廣泛意義

技術(shù)術(shù)語(yǔ)的信息－－表達(dá)信息所用的形式或載體－－具體但無(wú)確切定義統(tǒng)計(jì)信息－－信息表達(dá)形式中統(tǒng)計(jì)方面的性質(zhì)－－明確定義的科學(xué)名詞－－與內(nèi)容無(wú)關(guān)、獨(dú)立于形式什么是信息？第四頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息、信息科學(xué)與信息論

IT---計(jì)算機(jī)所涉及的各種各樣的技術(shù)－－優(yōu)點(diǎn)：籠統(tǒng)、不明確適應(yīng)－種類繁多、不斷發(fā)展統(tǒng)一的、全面的、高層次的什么是信息技術(shù)？第五頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息、信息科學(xué)與信息論

出現(xiàn)于圖書(shū)館學(xué)－－研究圖書(shū)文獻(xiàn)的檢索計(jì)算機(jī)出現(xiàn)后－－新的含義不同國(guó)家－－含義不盡相同發(fā)展和長(zhǎng)遠(yuǎn)的觀點(diǎn)－－能與信息技術(shù)相對(duì)應(yīng)的基礎(chǔ)科學(xué)什么是信息科學(xué)？第六頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息、信息科學(xué)與信息論

信息論－統(tǒng)計(jì)信息理論四十年代末期C.E.Shannon，以客觀概率信息為研究對(duì)象，從通信的信息傳輸問(wèn)題中總結(jié)和開(kāi)拓出來(lái)的理論。統(tǒng)計(jì)信息理論局限性－－不能解決一些問(wèn)題如：人工智能中啟發(fā)式搜索和學(xué)習(xí)發(fā)展的觀點(diǎn)－－信息科學(xué)所不可缺少的理論基石什么是信息理論？第七頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息、信息科學(xué)與信息論

在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息。信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。消息：(或稱為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類型：1)

離散(數(shù)字)消息，是一組未知量，可用隨機(jī)序列來(lái)描述：U=(U1…Ul…UL)2)

連續(xù)(模擬)消息，也是未知量，它可用隨機(jī)過(guò)程來(lái)描述：U(t,ω)信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次。三個(gè)層次中，信號(hào)最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。通信中的信息含義？第八頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息、信息科學(xué)與信息論

關(guān)系：信息---可以認(rèn)為是具體的物理信號(hào)、數(shù)學(xué)描述的消息的內(nèi)涵，即信號(hào)具體載荷的內(nèi)容、消息描述的含義。信號(hào)--則是抽象信息在物理層表達(dá)的外延；消息--則是抽象信息在數(shù)學(xué)層表達(dá)的外延。同一信息，可以采用不同的信號(hào)形式(比如文字、語(yǔ)言、圖象等)來(lái)載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來(lái)定量描述；同一信號(hào)形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無(wú)與有、斷與通、低與高(電平)等等。

通信中的信息含義？第九頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象、目的和內(nèi)容信息論的研究范疇

廣義信息論工程信息論統(tǒng)計(jì)信息論第十頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象、目的和內(nèi)容統(tǒng)計(jì)信息論對(duì)象—信息傳輸系統(tǒng)統(tǒng)一的通信系統(tǒng)模型第十一頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象、目的和內(nèi)容

統(tǒng)計(jì)信息論—Shannon信息論（本課程的主要內(nèi)容）主要研究通信系統(tǒng)的數(shù)學(xué)描述與定量分析，研究系統(tǒng)的最優(yōu)狀態(tài)與優(yōu)化理論，即研究通信系統(tǒng)理論上的潛在能力與數(shù)學(xué)上的極限情況。它是以存在性研究為主體，又稱它為數(shù)學(xué)信息論。研究?jī)?nèi)容：1)

信源的描述，信息的定量度量、分析與計(jì)算。2)

信道的描述，信道傳輸?shù)亩慷攘俊⒎治雠c計(jì)算。3）信源、信道與通信系統(tǒng)之間的統(tǒng)計(jì)匹配，以及通信系統(tǒng)的優(yōu)化。

——Shannon的三個(gè)編碼定理。信息論誕生五十年來(lái)，至今，仍然是指導(dǎo)通信技術(shù)發(fā)展的理論基礎(chǔ)，是創(chuàng)新新通信體制的源泉。第十二頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象、目的和內(nèi)容系統(tǒng)優(yōu)化的實(shí)質(zhì)就是要研究系統(tǒng)在不同優(yōu)化指標(biāo)下，兩類參量（主、客觀）之間的統(tǒng)計(jì)匹配與匹配的條件。

優(yōu)化的目標(biāo)：系統(tǒng)傳輸最有效：對(duì)無(wú)失真信源、對(duì)限失真信源系統(tǒng)傳輸最可靠；系統(tǒng)傳輸最安全；有以上三個(gè)指標(biāo)、四個(gè)方面所討論的系統(tǒng)優(yōu)化就構(gòu)成了最著名的C.E.Shannon三個(gè)編碼定理與一個(gè)密碼學(xué)基本定理。第十三頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象、目的和內(nèi)容工程信息論以工程為背景，主要研究通信系統(tǒng)中各部分的最佳工作規(guī)律，與最佳設(shè)計(jì)原則，它以構(gòu)造性為主體，以工程上技術(shù)問(wèn)題為主。研究?jī)?nèi)容主要包括：信源編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；信道編、譯碼理論及其設(shè)計(jì)構(gòu)造方法；最佳調(diào)制與解調(diào)理論與實(shí)現(xiàn)；最佳檢測(cè)、估值與最佳接收理論與實(shí)現(xiàn)；檢測(cè)、估值、濾波理論最佳信息處理理論、方法與算法；均衡、模式識(shí)別、人工智能、隨機(jī)控制……第十四頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息論研究的對(duì)象、目的和內(nèi)容目的找到信息傳輸過(guò)程的共同規(guī)律提高信息傳輸?shù)目煽啃浴⒂行?、安全性可靠性：信源發(fā)出－－信道－－準(zhǔn)確、不失真地再現(xiàn)于信宿有效性：盡可能短的時(shí)間、盡可能少的資源實(shí)現(xiàn)傳送安全性：隱蔽、保護(hù)傳送到消息達(dá)到信息傳輸系統(tǒng)最優(yōu)化第十五頁(yè)，共十七頁(yè)，編輯于2023年，星期六信息論發(fā)展簡(jiǎn)史與現(xiàn)狀－－信息論的形成與發(fā)展

通信技術(shù)的理論基礎(chǔ)交通物資運(yùn)輸電網(wǎng)能量（電力）運(yùn)輸通信？？？信息的表現(xiàn)形式通信關(guān)心簡(jiǎn)單、基礎(chǔ)的廣義信息信宿不能準(zhǔn)確再現(xiàn)信源時(shí)：第十六頁(yè)，共十七頁(yè)，編