信息論基礎(chǔ)自信息量

信息論基礎(chǔ)自信息量第1頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月（1）信息是可以識(shí)別的（2）信息的載體是可以轉(zhuǎn)換的（3）信息是可以存貯的（4）信息是可以傳遞的（5）信息是可以加工的（6）信息是可以共享的信息具有以下特征第2頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月1.1自信息

通信系統(tǒng)模型信源的分類(lèi)概率論基礎(chǔ)信息的可度量性自信息熵第3頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月信源：產(chǎn)生消息和消息序列的來(lái)源。通常信源的消息序列是隨機(jī)發(fā)生的，因此要用隨機(jī)變量來(lái)描述。通信系統(tǒng)模型第4頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月編碼器：把消息變換成適合于信道傳輸?shù)男盘?hào)。信源編碼器：將信源的輸出進(jìn)行適當(dāng)?shù)淖儞Q，以提高信息傳輸?shù)挠行?。信道編碼器：對(duì)信源編碼器的輸出進(jìn)行變換，用增加多余度的方法提高信道的抗干擾能力，以提高信息傳輸?shù)目煽啃?。通信系統(tǒng)模型第5頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月調(diào)制器：將信道編碼器輸出的數(shù)字序列變換為振幅、頻率或相位受到調(diào)制控制的形式，以適合在信道中進(jìn)行較長(zhǎng)距離的傳輸。通信系統(tǒng)模型第6頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月解調(diào)器：從載波中提取信號(hào)，是調(diào)制的逆過(guò)程

MODEM通信系統(tǒng)模型第7頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月信道：信號(hào)由發(fā)送端傳輸?shù)浇邮斩说拿浇椤５湫偷膫鬏斝诺烙须娎|、高頻無(wú)線信道光纖通道等；典型的存儲(chǔ)媒介有磁芯、磁盤(pán)、磁帶等。通信系統(tǒng)模型第8頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月干擾源：對(duì)傳輸信道或存儲(chǔ)媒介構(gòu)成干擾的來(lái)源的總稱(chēng)。干擾和噪聲往往具有隨機(jī)性，所以信道的特征也可以用概率空間來(lái)描述；通信系統(tǒng)模型第9頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月信道譯碼器：利用信道編碼時(shí)所提供的多余度，檢查或糾正數(shù)字序列中的錯(cuò)誤。信源譯碼器：把經(jīng)過(guò)信道譯碼器核對(duì)過(guò)的信息序列轉(zhuǎn)換成適合接收者接收的信息形式。通信系統(tǒng)模型第10頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月信宿：消息傳送的對(duì)象

（人或機(jī)器）。通信系統(tǒng)模型第11頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月在通信系統(tǒng)中形式上傳輸?shù)氖窍ⅲ珜?shí)質(zhì)上傳輸?shù)氖切畔?。消息只是表達(dá)信息的工具、載荷信息的客體。顯然，在通信中被利用的(亦即攜帶信息的)實(shí)際客體是不重要的，而重要的是信息。通信的結(jié)果是消除或部分消除不確定性從而獲得信息。通信系統(tǒng)模型第12頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月信源的分類(lèi)按照信源發(fā)出的消息在時(shí)間上和幅度上的分布情況可將信源分成離散信源和連續(xù)信源兩大類(lèi)

{信源離散信源連續(xù)信源第13頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月連續(xù)信源連續(xù)信源是指發(fā)出在時(shí)間和幅度上都是連續(xù)分布的連續(xù)消息（模擬消息）的信源，如語(yǔ)言、圖像、圖形等都是連續(xù)消息。

離散信源離散信源是指發(fā)出在時(shí)間和幅度上都是離散分布的離散消息的信源，如文字、數(shù)字、數(shù)據(jù)等符號(hào)都是離散消息。

信源的分類(lèi)第14頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月{離散無(wú)記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源離散信源信源的分類(lèi)離散無(wú)記憶信源所發(fā)出的各個(gè)符號(hào)是相互獨(dú)立的，發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒(méi)有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。離散有記憶信源所發(fā)出的各個(gè)符號(hào)的概率是有關(guān)聯(lián)的。第15頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月{離散無(wú)記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源離散信源信源的分類(lèi)信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息；信源每次發(fā)出一組含二個(gè)以上符號(hào)的符號(hào)序列代表一個(gè)消息。第16頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月{離散無(wú)記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源離散信源信源的分類(lèi)用信源發(fā)出的一個(gè)符號(hào)序列的整體概率（即聯(lián)合概率）反映有記憶信源的特征某一個(gè)符號(hào)出現(xiàn)的概率只與前面一個(gè)或有限個(gè)符號(hào)有關(guān)，而不依賴(lài)更前面的那些符號(hào)第17頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月?

符號(hào)

的先驗(yàn)概率：

一個(gè)離散信源發(fā)出的各個(gè)符號(hào)消息的集合為

，它們的概率分別為

，

為符號(hào)

的先驗(yàn)概率。

知識(shí)回顧--概率論基礎(chǔ)第18頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月,

顯然有

通常把它們寫(xiě)到一起，稱(chēng)為概率空間：

?

概率空間知識(shí)回顧--概率論基礎(chǔ)第19頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月設(shè)X取值{x1,x2,…,xi,…,xn}，

Y取值{y1,y2,…,yj,…,ym}，則＊聯(lián)合概率p(xiyj)——X取值xi

,Y取值yj同時(shí)成立的概率＊條件概率p(yj/xi)——X取值xi

條件下,Y取值yj的概率＊條件概率p(xi/yj)——Y取值yj條件下,X取值xi的概率知識(shí)回顧--概率論基礎(chǔ)第20頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月[性質(zhì)]知識(shí)回顧--概率論基礎(chǔ)第21頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月1.1自信息

通信系統(tǒng)模型信源的分類(lèi)概率論基礎(chǔ)信息的可度量性自信息熵第22頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月通信系統(tǒng)模型{離散無(wú)記憶信源離散有記憶信源{{發(fā)出單個(gè)符號(hào)的無(wú)記憶信源發(fā)出符號(hào)序列的無(wú)記憶信源發(fā)出符號(hào)序列的有記憶信源發(fā)出符號(hào)序列的馬爾可夫信源離散信源第23頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月,

其中

離散無(wú)記憶信源—數(shù)學(xué)模型集合X中，包含該信源包含的所有可能輸出的消息，集合P中包含對(duì)應(yīng)消息的概率密度，各個(gè)消息的輸出概率總和應(yīng)該為1。第24頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月〉1）中國(guó)女子乒乓球隊(duì)奪取亞運(yùn)會(huì)冠軍。2）中國(guó)男子足球隊(duì)奪取世界杯賽冠軍。信息的可度量性（1）既然不確定性的大小能夠度量，所以信息是可以度量的某一事物狀態(tài)的不確定性的大小，與該事物可能出現(xiàn)的不同狀態(tài)數(shù)目以及各狀態(tài)出現(xiàn)的概率大小有關(guān)第25頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來(lái)測(cè)量（因無(wú)砝碼）。為了在天平上稱(chēng)出哪一枚是假幣，試問(wèn)至少必須稱(chēng)多少次？信息的可度量性（2）第26頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月討論題一般的方法是，在天平的兩端各放一個(gè)硬幣：如果平衡，則都不是假幣；如果不平衡，則有一個(gè)是假幣，再與別的任一硬幣比較。第27頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月將12枚硬幣平分為3堆；在天平的兩端各放一堆：如果平衡，則假幣在剩余一堆；通過(guò)這步操作，可消除一些不確定性，獲得一定的信息量：

存在的不確定性是的函數(shù)：前存在的不確定性是的函數(shù)：后討論題第28頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月信息量的直觀定義：收到某消息獲得的信息量=不確定性減少的量=（收到該消息前關(guān)于某事件的不確定性）-

（收到該消息后關(guān)于某事件的不確定性）

<事件的發(fā)生所提供的信息>討論題第29頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月特殊情況：①發(fā)生概率為1的必然事件，無(wú)不確定性；②發(fā)生概率為0的不可能事件，確定性無(wú)限大③獨(dú)立事件發(fā)生包含的信息量為各事件信息量的和。信息的可度量性（3）某事件發(fā)生所含有的信息量應(yīng)是該事件發(fā)生先驗(yàn)概率的函數(shù)：xi的自信息第30頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月（3）當(dāng)時(shí)（4）當(dāng)時(shí)（5）兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別的信息量之和。(2)應(yīng)是先驗(yàn)概率的單調(diào)遞減函數(shù)，即當(dāng)時(shí)根據(jù)客觀事實(shí)和人們的習(xí)慣概念，應(yīng)滿(mǎn)足以下條件：自信息(1)非負(fù)性：第31頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月根據(jù)上述條件可以從數(shù)學(xué)上證明這種函數(shù)形式是對(duì)數(shù)函數(shù)，即：有兩個(gè)含義：1、當(dāng)事件發(fā)生前，表示該事件發(fā)生的不確定性；2、當(dāng)事件發(fā)生后，標(biāo)是該事件所提供的信息量．自信息第32頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月

自信息量的單位取決于對(duì)數(shù)所取的底，若以2為底，單位為比特，以e為底，單位為奈特，以10為底，單位為哈特,通常取比特為單位。自信息第33頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月例題（1）設(shè)有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來(lái)測(cè)量（因無(wú)砝碼）。為了在天平上稱(chēng)出哪一枚是假幣，試問(wèn)至少必須稱(chēng)多少次？

（用信息論方法證明）第34頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月設(shè)“在12枚同值硬幣中，某一枚為假幣’這事件為a。其出現(xiàn)的概率為設(shè)“假幣重量比真幣重量重，或輕’這事件為b。其出現(xiàn)的概率為

事件a,b的不確定性為

要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量是消除這兩事件的不確定性。這兩事件是統(tǒng)計(jì)獨(dú)立事件．所以所需獲得的信息量

例題（1）--解答第35頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月而在天平上稱(chēng)—次能判斷出三鐘情況：重、輕和相等。這三種情況是等概率的

所以，天平測(cè)一次能獲得的信息量(即消除的不確定性)為則至少必須稱(chēng)的次數(shù)為例題（1）--解答第36頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月如果你在不知道今天是星期幾的情況下問(wèn)你的朋友“明天是星期幾?”則答案中含有多少信息量?如果你在已知今天是星期四的情況下提出同樣的問(wèn)題．則答案中你能獲得多少信息量？(假設(shè)已知星期一至星期日的排序)例題（2）第37頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月設(shè)事件A知道今天是星期幾的悄況下，問(wèn)明天是星期幾的答案；事件B為已知今天是星期四的情況，問(wèn)明天是星期幾的答案。則從而，從事件A中獲得的信息量從事件B中獲得的信息量由此可看出，必然事件出現(xiàn)的概率為1，從中獲得的信息量為零。例題（2）--解答第38頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月設(shè)天氣預(yù)報(bào)有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用來(lái)表示晴天，以來(lái)表示雨天，則我們的信源模型如下：例題（3）第39頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月一個(gè)以等概率出現(xiàn)的二進(jìn)制碼元（0，1）所包含的自信息量為：

I（0）=I（1）=-log2（1/2）=log22=1bit

若是一個(gè)m位的二進(jìn)制數(shù)，因?yàn)樵摂?shù)的每一位可從0,1兩個(gè)數(shù)字中任取一個(gè)，因此有2m個(gè)等概率的可能組合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息來(lái)指明這樣的二進(jìn)制數(shù)。

例題（4）第40頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月某電子廠共能生產(chǎn)四種儀器A,B,C,D、其中，A因技術(shù)落后停產(chǎn)了，B占全部產(chǎn)量的20％，C占30％，D占50％。有兩個(gè)消息“現(xiàn)在完成1臺(tái)儀器B”，和“現(xiàn)在完成1臺(tái)儀器C”，試確定哪一種消息提供的信息量大些?其中有什么規(guī)律?例題（5）第41頁(yè)，課件共48頁(yè)，創(chuàng)作于2023年2月解：因?yàn)橐约跋⑻峁┑男畔⒘颗c其出現(xiàn)概率倒數(shù)的對(duì)數(shù)成正比，所以，即”現(xiàn)在完成一臺(tái)儀器B”提供的信息量大于”現(xiàn)在完成一臺(tái)儀器C”提供的信息量。規(guī)律：

(1)出現(xiàn)概率為零的消息可略去。

(2)概