信息論第一章課件

第Ⅰ章緒論

信息論是通信的數(shù)學(xué)基礎(chǔ)，它是隨著通信技術(shù)的發(fā)展而形成和發(fā)展起來的一門新興學(xué)科。

人類社會(huì)的生存和發(fā)展，一時(shí)一刻都離不開接收信息、傳遞信息、處理信息和利用信息。

信息論即香農(nóng)信息論，也稱經(jīng)典信息論，是研究通信系統(tǒng)極限性能的理論。什么是信息論香農(nóng)信息論的發(fā)展歷程信息的概念信息論的研究內(nèi)容本章主要內(nèi)容§1.1什么是信息論

信息論的概念

信息的傳輸和傳播的5次變革信息論的重要性本節(jié)內(nèi)容：

物質(zhì)客觀世界三大基本要素能量信息

信息時(shí)代社會(huì)的發(fā)展離不開物質(zhì)(材料)、能量（能源）和信息資源。

1948年，美國工程師和數(shù)學(xué)家香農(nóng)(ClaudeEdwoodShannon,1916-2001)發(fā)表了《通信的數(shù)學(xué)理論》（AMathematicalTheoryofCommunication，BSTJ，1948）標(biāo)志著信息論的產(chǎn)生。信息論這門學(xué)科的特點(diǎn)理論基礎(chǔ)數(shù)學(xué)工具研究的內(nèi)容

通信的基本問題：在一點(diǎn)精確地或近似地恢復(fù)另一點(diǎn)所選擇的消息。

通信系統(tǒng)三項(xiàng)性能指標(biāo)：

傳輸?shù)挠行詡鬏數(shù)目煽啃詡鬏數(shù)陌踩?/p>

有效性

對(duì)于離散信源，信源符號(hào)平均碼長度應(yīng)盡量短；信息傳輸應(yīng)盡量快，即高的傳信率；信息傳送應(yīng)該有高的頻譜利用率

。

可靠性傳輸差錯(cuò)要盡量少，對(duì)數(shù)字傳輸就是要求低的誤碼率。

安全性傳輸?shù)男畔⒉荒苄孤督o未授權(quán)人。

三項(xiàng)指標(biāo)所對(duì)應(yīng)的三項(xiàng)基本技術(shù)：

數(shù)據(jù)壓縮數(shù)據(jù)糾錯(cuò)數(shù)據(jù)加密香農(nóng)信息論解決了前兩項(xiàng)技術(shù)的理論問題：

(1)提高有效性可通過信源編碼來實(shí)現(xiàn)，即信源壓縮編碼，并給出了壓縮編碼的極限；

(2)提高可靠性通過信道編碼來實(shí)現(xiàn)，并給出實(shí)現(xiàn)可靠傳輸?shù)男畔鬏斔俾实臉O限。

所以說，香農(nóng)揭示了數(shù)據(jù)壓縮和傳輸?shù)幕径?。香農(nóng)建立了通信中的三項(xiàng)基本技術(shù)的理論基礎(chǔ),信息論是前兩項(xiàng)技術(shù)的理論基礎(chǔ)。

1.2香農(nóng)信息論的發(fā)展歷程

1948年香農(nóng)在《貝爾系統(tǒng)技術(shù)雜志》（BellSystemTechnicalJournal）上連載發(fā)表了著名的論文《通訊的數(shù)學(xué)原理》（AMathematicalTheoryofCommunication）

1949年，香農(nóng)又在該雜志上發(fā)表了另一影響深遠(yuǎn)的論文《噪聲下的通信》（CommunicationinthePresenceofNoise）

這兩篇論文中，香農(nóng)闡明了通信的基本問題，給出了通信系統(tǒng)的模型，提出了信息的數(shù)學(xué)表達(dá)式，并解決了信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等一系列問題。

這兩篇論文成為信息論的奠基性著作。1.2香農(nóng)信息論的發(fā)展歷程

1956年，香農(nóng)發(fā)表了《噪聲信道的零差錯(cuò)容量》（TheZero-ErrorCapacityofaNoisyChannal）

）

1959年，香農(nóng)發(fā)表了《保真度準(zhǔn)則下的離散信源編碼定理》（CodingTheoremforaDiscreteSourcewithaFidelityCriterion）

1961年，香農(nóng)發(fā)表了《雙路通信信道》（Two-WayCommunicationChannels）

1.3信息的基本概念

由于信息已成為許多專家學(xué)者爭相研究的對(duì)象，而且他們從不同的角度和側(cè)面研究和定義信息。據(jù)說到目前為止已有上百種信息的定義或說法。例如:

“信息是物質(zhì)與能量在時(shí)間與空間分布的不均勻性”“信息是事物之間的差異”

“信息是收信者事先不知道的東西”等等。

如前所述，由于當(dāng)前還沒有一個(gè)公認(rèn)的關(guān)于信息的定義，但這并不影響我們對(duì)信息的基本特征的認(rèn)識(shí)。信息有許多與物質(zhì)、能量相同的特征，例如信息可以產(chǎn)生、消失、攜帶、處理和量度。信息也有與物質(zhì)、能量不同的特征，例如，信息可以共享，可以無限制地復(fù)制等。1949年，Weaver在《通信的數(shù)學(xué)》中解釋香農(nóng)的工作時(shí)，把通信問題分成三個(gè)層次：第一層：通信符號(hào)如何精確傳輸？（技術(shù)問題）第二層：傳輸?shù)姆?hào)如何精確攜帶所需要的含義？（語義問題）第三層：所接收的含義如何以所需要的方式有效地影響行為？（效用問題）（舉例天氣情況）信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和所表達(dá)的事物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。以這種定義為基礎(chǔ)，信息分成三個(gè)基本層次，即語法信息，語義信息，語用信息，分別反映事物運(yùn)動(dòng)狀態(tài)及其變化方式的外在形式、內(nèi)在含義和效用價(jià)值。（舉例情報(bào)部門）

可見，香農(nóng)在研究信息理論時(shí)，排除了語義信息與語用信息的因素，先從語法信息入手，解決當(dāng)時(shí)最重要的通信工程一類的信息傳遞問題。

香農(nóng)信息論是由概率統(tǒng)計(jì)的角度來研究事物運(yùn)動(dòng)各種可能出現(xiàn)的狀態(tài)及狀態(tài)間的關(guān)系，因此是概率性的語法信息。（例如中英文信源）

信號(hào)通信信息三個(gè)層次消息信息消息是信息的攜帶者，信息包含于消息之中。信號(hào)是消息的載體，消息是信號(hào)的具體內(nèi)容。香農(nóng)信息的概念為什么要進(jìn)行通信自信息的定義信息熵的定義§1.4信息論研究的內(nèi)容

通信系統(tǒng)模型

香農(nóng)信息論的主要內(nèi)容

本節(jié)內(nèi)容：

通信系統(tǒng)是從空間的一點(diǎn)到另一點(diǎn)傳送信息的，例如，電話、電報(bào)、電視、無線通信、光通信等。存儲(chǔ)系統(tǒng)是從時(shí)間的一點(diǎn)到另一點(diǎn)傳送信息的。例如，磁盤或光盤驅(qū)動(dòng)器、磁帶記錄器、視頻播放器等

存儲(chǔ)系統(tǒng)在某種意義上也可看成從現(xiàn)在向?qū)戆l(fā)送信息的通信系統(tǒng)。

圖1-1通信系統(tǒng)模型

信道信源譯碼器編碼器信宿噪聲信號(hào)信號(hào)加噪聲消息消息1.信源(informationsource)

信源是信息的來源，其功能是直接產(chǎn)生可能包含信息的消息

按輸出符號(hào)的取值分類：

離散信源連續(xù)信源：連續(xù)信源又分為：

離散時(shí)間連續(xù)信源；波形信源或模擬信源。自信息、信息熵、互信息等等核心問題：信源的消息中所包含的信息量以及信息如何量度

按輸出符號(hào)之間的依賴關(guān)系分類

無記憶信源

信源輸出符號(hào)的概率與以前輸出的符號(hào)無關(guān)

有記憶信源

信源輸出符號(hào)的概率與以前輸出的符號(hào)有關(guān)2.編碼器(Encoder)

編碼器的功能：將消息變成適合于信道傳輸?shù)男盘?hào)

信源編碼器(sourceencoder)

信道編碼器(channelencoder)

調(diào)制器(modulator)

信道編碼器

信源編碼器調(diào)制器符號(hào)符號(hào)信號(hào)消息

圖1.2.2編碼器的組成

各部分的主要功能信源編碼器的功能是將信源消息變成符號(hào)，目的是提高傳輸有效性，也就是壓縮每個(gè)信源符號(hào)傳輸所需代碼的數(shù)目（對(duì)二進(jìn)制代碼稱比特?cái)?shù)）。

信道編碼器給信源編碼符號(hào)增加冗余符號(hào)，目的是提高傳輸可靠性。圖1.2.3增加冗余符號(hào)提高傳輸可靠性（圖中，有陰影的點(diǎn)表示碼字）

調(diào)制器功能是，將編碼器的輸出符號(hào)變成適合信道傳輸?shù)男盘?hào)，目的是，提高傳輸效率（使遠(yuǎn)距離傳輸成為可能）。信道編碼符號(hào)不能直接通過信道輸出，要將編碼器的輸出符號(hào)變成適合信道傳輸?shù)男盘?hào)，例如，0、1符號(hào)變成兩個(gè)電平，為遠(yuǎn)距離傳輸，還需載波調(diào)制，例如，ASK，F(xiàn)SK，PSK等。

3.信道信道是信號(hào)從編碼器傳輸?shù)阶g碼器的中間媒介。信道可以分為狹義信道和廣義信道。狹義信道是某些物理通信信道，也可以是物理的存儲(chǔ)介質(zhì)。例如有線、無線、光纖、磁盤、光盤等。廣義信道是一種邏輯信道，它和信息所通過的介質(zhì)無關(guān)，只反映信源與信宿的連接關(guān)系。信息論中只研究廣義信道。

信道還分為無噪聲信道和有噪聲信道。信道還分為離散信道、離散時(shí)間連續(xù)信道和波形信道（或模擬信道信道也可有無記憶信道和有記憶的區(qū)分，離散信道和離散時(shí)間連續(xù)信道可以是無記憶的，也可以是有記憶的；而波形信道是通常有記憶的。

4.譯碼器(decoder)

譯碼器實(shí)現(xiàn)的功能即從信號(hào)中恢復(fù)消息。

包括:解調(diào)器

信道譯碼器

信源譯碼器信道譯碼器解調(diào)器信源譯碼器符號(hào)符號(hào)消息信號(hào)

圖1.2.3譯碼器的組成

解調(diào)器功能是，將信道輸出信號(hào)恢復(fù)成符號(hào)；

信道譯碼器的功能是，去掉解調(diào)器輸出符號(hào)中的冗余符號(hào)；

信源譯碼器的功能是，將信道譯碼器輸出符號(hào)變成消息?？傊?，功能與發(fā)信機(jī)中的對(duì)應(yīng)部分功能相反，目的相同。在模擬通信系統(tǒng)中僅包含解調(diào)器。5.信宿(Destination)

信宿的功能是接收信息，包括人或設(shè)備。當(dāng)前人們對(duì)信宿的研究也取得某些成果。例如，利用人的視覺殘留效應(yīng)可以對(duì)圖像采用不連續(xù)傳輸?shù)姆绞竭_(dá)到連續(xù)的視覺效果，從而進(jìn)一步壓縮碼率。利用人聽覺的掩蔽效應(yīng)可以壓縮在大幅度頻率分量附近的信號(hào)而不影響聽覺效果。總之，對(duì)信宿的研究和壓縮編碼結(jié)合可以在不影響視聽效果的條件下，顯著壓縮碼率。

香農(nóng)信息論的內(nèi)容可用一句話概括為：“一個(gè)概念，三個(gè)定理”，就是信息熵的概念和三個(gè)編碼定理。

1．關(guān)于信源信息的度量

如前所述，香農(nóng)將信源限制為具有某一先驗(yàn)概率的隨機(jī)過程，對(duì)信息進(jìn)行量度是信息論的首要問題。香農(nóng)定義了信息熵作為信源所含信息的量度，是信息論中最重要的概念。

2.無失真信源編碼定理（香農(nóng)第一定理）

無失真信源編碼定理，也稱香農(nóng)第一定理，是信源壓縮編碼的理論基礎(chǔ)，其內(nèi)容是:如果信源編碼碼率（編碼后傳送信源符號(hào)所需比特?cái)?shù)）不小于信源的熵，就存在無失真編碼，反之，不存在無失真編碼。可以簡述為：其中，R為信源編碼碼率，H為信源的熵。

R≥H〈=〉存在無失真信源編碼（舉例說明）3.關(guān)于信道容量與信息的可靠傳輸

有噪信道編碼定理（香農(nóng)第二定理）是信道編碼的理論基礎(chǔ)，其內(nèi)容是：如果信息傳輸速率小于信道容量，則總可找到一種編碼方式使得當(dāng)編碼序列足夠長時(shí)傳輸差錯(cuò)任意小，反之不存在使差錯(cuò)任意小的編碼。可以簡述為：

其中，R為信息傳輸速率，也稱信道編碼碼率，C為信道容量。

R≤C〈=〉存在譯碼差錯(cuò)任意小的編碼4．信息率失真理論（數(shù)據(jù)壓縮的理論基礎(chǔ)）

為實(shí)現(xiàn)限失真?zhèn)鬏數(shù)挠行?，我們總是希望在滿足一定的失真要求條件下，使編碼器的碼率最小，這是一個(gè)最優(yōu)有損數(shù)據(jù)壓縮編碼的理論問題，其理論基礎(chǔ)就是信息率失真理論，核心是限失真信源編碼定理。

限失真信源編碼定理（