信息論與編碼課件

信息論與編碼課件第1頁，課件共44頁，創(chuàng)作于2023年2月就狹義而言，在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息。信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。什么是信息？第2頁，課件共44頁，創(chuàng)作于2023年2月消息：(或稱為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類型：離散(數(shù)字)消息，一組未知量，可用隨機(jī)序列來描述：X=(X1…Xi…Xn)連續(xù)(模擬)消息，未知量，它可用隨機(jī)過程來描述：X(t)

信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次。

第3頁，課件共44頁，創(chuàng)作于2023年2月信息、消息和信號(hào)是既有區(qū)別又有聯(lián)系的三個(gè)不同的概念。

消息中包含信息，是信息的載體。信號(hào)攜帶著消息，它是消息的運(yùn)載工具。信息可認(rèn)為是由具體的物理信號(hào)、數(shù)學(xué)描述的消息的內(nèi)涵，即信號(hào)具體載荷的內(nèi)容、消息描述的含義。而信號(hào)則是抽象信息在物理層表達(dá)的外延；消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。信息、消息和信號(hào)第4頁，課件共44頁，創(chuàng)作于2023年2月同一信息，可以采用不同的信號(hào)形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述。同一信號(hào)形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高(電平)等等。第5頁，課件共44頁，創(chuàng)作于2023年2月1.1信源特性與分類通信的根本問題是將輸出的信源在接收端盡可能精確地復(fù)現(xiàn)出來，所以需要討論如何描述信源的輸出，即如何計(jì)算信源產(chǎn)生的信息量。第6頁，課件共44頁，創(chuàng)作于2023年2月信源的概念信源－信息的發(fā)源地，如人，生物，機(jī)器等等。由于信息是十分抽象的東西，所以要通過信息載荷者，即消息來研究信源，這樣信源的具體輸出稱作消息。消息的形式可以是離散消息（如漢字、符號(hào)、字母）或連續(xù)消息（如圖像、語音）。信源消息中的信息是一個(gè)時(shí)變的不可預(yù)知的函數(shù)，因此，描述信源消息或?qū)π旁唇?，隨機(jī)過程是一個(gè)有效的工具，隨機(jī)過程的特性依賴于信源的特性。第7頁，課件共44頁，創(chuàng)作于2023年2月離散信源和連續(xù)信源連續(xù)信源：如果信源輸出的隨機(jī)變量取值于某一連續(xù)區(qū)間，為連續(xù)信號(hào)，消息的個(gè)數(shù)是無窮值，就叫做連續(xù)信源。比如人發(fā)出的語音信號(hào)X(t)、模擬的電信號(hào)等等。信源的輸出被抽象為一個(gè)隨機(jī)變量序列（隨機(jī)過程）離散信源：如果信源輸出的隨機(jī)變量取值于某一離散符號(hào)集合，消息在時(shí)間和幅值上均是離散的，就叫做離散信源。比如平面圖像X(x,y)和電報(bào)、書信、文稿等等。第8頁，課件共44頁，創(chuàng)作于2023年2月單符號(hào)離散信源的數(shù)學(xué)模型

u2,…,ui,…,p(u2),…,p(ui),…,

其中p(ui)滿足：注意：大寫U代表隨機(jī)變量，指的是整體。帶下標(biāo)的小寫ui代表隨機(jī)事件的某一結(jié)果或某個(gè)元素。第9頁，課件共44頁，創(chuàng)作于2023年2月離散序列信源 實(shí)際信源不可能僅發(fā)送單個(gè)符號(hào)，而是發(fā)送一組符號(hào)，即一個(gè)隨機(jī)序列，如電報(bào)、數(shù)字語音、數(shù)字圖像等。 離散序列信源U＝為第l時(shí)刻的隨機(jī)變量U的一個(gè)樣本u可表示為u＝(u)＝第10頁，課件共44頁，創(chuàng)作于2023年2月離散無記憶信源(u)＝（當(dāng)滿足無記憶條件時(shí)）（當(dāng)進(jìn)一步滿足平穩(wěn)性時(shí)）第11頁，課件共44頁，創(chuàng)作于2023年2月離散有記憶信源很多實(shí)際信源是符合有限記憶模型的，數(shù)學(xué)上常采用馬氏鏈來描述。若將離散序列信源發(fā)出的隨機(jī)序列消息看作一階馬氏鏈，則消息序列中任一時(shí)刻的消息僅與其前面的一個(gè)消息有關(guān)，而與更前面的消息沒有直接關(guān)系。(u)（對(duì)于馬氏鏈）（對(duì)于齊次馬氏鏈）（對(duì)于齊次遍歷馬氏鏈）第12頁，課件共44頁，創(chuàng)作于2023年2月常用的概率論的基本概念和性質(zhì)1（1）（2）（3）

無條件概率、條件概率、聯(lián)合概率滿足的一些性質(zhì)和關(guān)系：第13頁，課件共44頁，創(chuàng)作于2023年2月常用的概率論的基本概念和性質(zhì)2

無條件概率、條件概率、聯(lián)合概率滿足的一些性質(zhì)和關(guān)系：（4）（5）（6）第14頁，課件共44頁，創(chuàng)作于2023年2月1.2離散信源的信息熵1.2.1信息熵和信息量的基本概念1.2.2熵的數(shù)學(xué)性質(zhì)第15頁，課件共44頁，創(chuàng)作于2023年2月概率與信息量在事件發(fā)生前有不確定性在事件發(fā)生時(shí)有驚訝度在事件發(fā)生后有信息量當(dāng)一個(gè)概率很低的隨機(jī)事件發(fā)生，我們就會(huì)感到非常驚訝，并得到很大的信息量。如：9.11事件，美國紐約世貿(mào)大廈被炸表第16頁，課件共44頁，創(chuàng)作于2023年2月自信息量從信息源獲取信息的過程就是其不確定性縮減的過程。隨機(jī)事件包含的信息與其不確定性緊密相關(guān)。在統(tǒng)計(jì)分析中，使用概率作為衡量不確定性的一種指標(biāo)。可以推論出：隨機(jī)事件包含信息的度量應(yīng)是其概率的函數(shù)。表第17頁，課件共44頁，創(chuàng)作于2023年2月自信息量定義定義：任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對(duì)數(shù)的負(fù)值。自信息量的單位取決于對(duì)數(shù)選取的底。單位：比特bit、奈特nat、笛特Det

。當(dāng)對(duì)數(shù)的底取2時(shí)，單位為比特bit

當(dāng)以自然數(shù)e為底時(shí)，單位為奈特nat（理論推導(dǎo)常用）當(dāng)以10為底時(shí)，單位為笛特Det（工程計(jì)算常用）表第18頁，課件共44頁，創(chuàng)作于2023年2月對(duì)數(shù)及常用公式

y=log10xx=10ylog(xy)=logx+logyy=logbxx=bylog(x/y)=logx-logylog(xp)=plogxlog(1)=0log(1/x)=-logx表Example:log327log5125log10100log232第19頁，課件共44頁，創(chuàng)作于2023年2月自信息量的性質(zhì)值得注意的是：

pi是一個(gè)隨機(jī)量，而I(pi)是pi的函數(shù)，所以自信息量也是一個(gè)隨機(jī)變量，它沒有確定的值。第20頁，課件共44頁，創(chuàng)作于2023年2月聯(lián)合自信息量定義：兩個(gè)消息ui、vj對(duì)應(yīng)概率分別為pi和qj,他們同時(shí)出現(xiàn)的聯(lián)合概率為rij：

當(dāng)ui和vj相互獨(dú)立時(shí)，

說明兩個(gè)隨機(jī)事件相互獨(dú)立時(shí)，同時(shí)發(fā)生得到的自信息量，等于這兩個(gè)隨機(jī)事件各自獨(dú)立發(fā)生得到的自信息量之和。

第21頁，課件共44頁，創(chuàng)作于2023年2月條件自信息量當(dāng)ui和vj不相互獨(dú)立時(shí)，在消息ui（或vj

）已出現(xiàn)的條件下，消息vj（或ui）出現(xiàn)的條件概率為Pji（或Qij），其自信息量定義為：第22頁，課件共44頁，創(chuàng)作于2023年2月自信息量：例題1表例如：設(shè)信源只含有兩個(gè)符號(hào)“正”與“反”，且它們以消息的形式向外發(fā)送時(shí)均以等概率出現(xiàn)，求它們各自的信息量。解：第23頁，課件共44頁，創(chuàng)作于2023年2月例如：某地某月份的氣象資料如下表所列，求相應(yīng)事件的不確定度。這四種氣候的自信息量分別為：xix1(晴)x2(陰)x3(雨)x4(雪)P(xi)0.50.250.1250.125自信息量：例題2I(x1)＝1bit,I(x2)=2bit,I(x3)=3bit,I(x4)=3bit可見不同天氣情況具有不同的自信息量說明自信息量具有隨機(jī)變量的性質(zhì)第24頁，課件共44頁，創(chuàng)作于2023年2月自信息量不能作為信源的信息測(cè)度自信息量I(pi)，i=1,2,…是指某一信源U發(fā)出某一信息符號(hào)ui所含有的信息量。發(fā)出的信息符號(hào)不同，它們所含有的信息量就不同。信源發(fā)出的每個(gè)信息符號(hào)概率相同－狀態(tài)等概率信源發(fā)出的每個(gè)信息符號(hào)概率不相同－各狀態(tài)不等概率信源發(fā)出的信息符號(hào)可用隨機(jī)事件來描述。第25頁，課件共44頁，創(chuàng)作于2023年2月信源的概率空間描述一個(gè)信源可以用一個(gè)概率空間來描述。信源的不確定程度可以用這個(gè)概率空間的可能狀態(tài)數(shù)目及其概率來描述：其中：U是信源的狀態(tài)空間，為一個(gè)離散集，表示了隨機(jī)事件的狀態(tài)數(shù)；p(u)是隨機(jī)事件各種可能狀態(tài)的概率分布，且；各狀態(tài)是相互獨(dú)立的。u2,…,ui,…,p(u2),…,p(ui),…,第26頁，課件共44頁，創(chuàng)作于2023年2月平均自信息量－－信息熵

自信息量是一個(gè)隨機(jī)變量，它反映了發(fā)出某一消息符號(hào)的不確定性。它不能用來作為整個(gè)信源的信息測(cè)度。信源的不確定程度可以用信源概率空間的概率分布來描述。這樣，我們引入平均自信息量，定義：隨機(jī)變量I(pi)的數(shù)學(xué)期望定義為平均自信息量 信源的平均自信息量又稱做是信源的信息熵，簡稱做熵。熵H(U)是其概率分布上p1,p2,…,pn的函數(shù)，稱為熵函數(shù)。 信息熵滿足對(duì)概率的遞減性和可加性。第27頁，課件共44頁，創(chuàng)作于2023年2月平均不確定性信源的平均自信息量表示事件出現(xiàn)的平均不確定性。信息熵與概率分布的關(guān)系？p1=0.25p2=0.25p3=0.25p4=0.25H=2p1=0.5p2=0.25p3=0.125p4=0.125H=1.75第28頁，課件共44頁，創(chuàng)作于2023年2月聯(lián)合熵聯(lián)合熵定義為：第29頁，課件共44頁，創(chuàng)作于2023年2月條件熵

定義：條件自信息量的概率加權(quán)平均值（數(shù)學(xué)期望）定義為條件熵。定義式為：上式已知ui(或vj)

的條件下，vj(或ui)的條件熵。這里要注意條件熵用聯(lián)合概率rij，而不是用條件概率Pji（或Qij）進(jìn)行加權(quán)平均。第30頁，課件共44頁，創(chuàng)作于2023年2月信息熵和信息量信息熵是信源平均不確定性的度量，是從統(tǒng)計(jì)特性上對(duì)信源的描述，可以理解為信源輸出的信息量信息量一般是對(duì)接收者而言的，是指接收者從信源所獲得的信息的度量。如果通信傳輸中沒有干擾，則接收者獲得的信息量就等于信源的信息熵，但兩者概念不同。第31頁，課件共44頁，創(chuàng)作于2023年2月1.2.2信源熵的基本性質(zhì)和定理熵函數(shù)的性質(zhì)：1.對(duì)稱性

當(dāng)概率矢量P＝(p1,p2,…,pn)中的各分量的次序任意變更時(shí)，熵值不變。該性質(zhì)說明信源的熵僅與信源總體的統(tǒng)計(jì)特性有關(guān)。如果統(tǒng)計(jì)特性相同，不管其內(nèi)部結(jié)構(gòu)如何，其信源熵值都相同。例，A,B兩地天氣情況的平均自信息量為:

H(A)=H(B)=1.75bit

=1/2log2+1/4log4+2/8log8晴多云雨冰雹地域A1/21/41/81/8地域B1/21/81/81/4第32頁，課件共44頁，創(chuàng)作于2023年2月熵函數(shù)的性質(zhì)：2.非負(fù)性

非負(fù)性其中，等號(hào)成立的條件是當(dāng)且僅當(dāng)對(duì)某i，pi=1,其余的pk=0(ki)。即，信源U雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)必然出現(xiàn)，而其它符號(hào)都不可能出現(xiàn)，那么，這個(gè)信源是一個(gè)確知信源，其信源熵等于零。第33頁，課件共44頁，創(chuàng)作于2023年2月熵函數(shù)的性質(zhì)：3.確定性

信源U中只要有一個(gè)事件為必然事件，則其余事件為不可能事件。此時(shí)，信源U中每個(gè)事件對(duì)熵的貢獻(xiàn)都為零，因而熵必為零。第34頁，課件共44頁，創(chuàng)作于2023年2月熵函數(shù)的性質(zhì)：4.擴(kuò)展性

證明：所以通過熵函數(shù)的定義可以證明上式成立。含義：若信源U有n個(gè)事件，另一個(gè)信源V有n+1個(gè)事件，但U和V集的差別只是多了一個(gè)概率接近于零的事件，則兩個(gè)集的熵值一樣。換言之，一個(gè)事件的概率與其中其它事件的概率相比很小時(shí)，它對(duì)集合的熵值的貢獻(xiàn)可以忽略不計(jì)。第35頁，課件共44頁，創(chuàng)作于2023年2月熵函數(shù)的性質(zhì)：5.遞推性其中證明：設(shè)p=p1+p2,q=p2/(p1+p2),則p1=p(1-q),p2=pq含義：信源U有n個(gè)事件，可以把其中的任意兩個(gè)事件合并，得到有n－1個(gè)事件的集合的熵；反之亦然第36頁，課件共44頁，創(chuàng)作于2023年2月熵函數(shù)的性質(zhì)：6.可加性

如果有兩個(gè)信源U和V，它們不是相互獨(dú)立的，則聯(lián)合信源的熵等于U的熵加上當(dāng)U已給定時(shí)V的條件概率定義的熵的統(tǒng)計(jì)平均值，即當(dāng)U和V相互統(tǒng)計(jì)獨(dú)立時(shí)，則有第37頁，課件共44頁，創(chuàng)作于2023年2月定理1-2-2：熵函數(shù)的極值性第38頁，課件共44頁，創(chuàng)作于2023年2月定理1-2-2：熵函數(shù)的極值性第39頁，課件共44頁，創(chuàng)作于2023年2月定理1-2-2：熵函數(shù)的極值性

該性質(zhì)表明，在離散情況下，信源U的各事件等概率發(fā)生時(shí)，熵達(dá)到極大值。這個(gè)重要結(jié)論稱為最大熵定理。事件的數(shù)目n越多，信源的熵值就越大（對(duì)數(shù)函數(shù)的單調(diào)上升性）。第40頁，