工程測試與信號分析研究生課件：ch3-信息論基礎(chǔ)知識

1、20:551MEASUREMENTINFORMATION SIGNAL ANALYSIS IN MECHANICAL ENGINEERING 機(jī)械工程測試機(jī)械工程測試信息信息信號分析信號分析 機(jī)械科學(xué)與工程學(xué)院機(jī)械科學(xué)與工程學(xué)院 機(jī)械電子信息工程系機(jī)械電子信息工程系李錫文李錫文 軒建平軒建平 20:552第三章 信息論基礎(chǔ)知識q主要內(nèi)容主要內(nèi)容 一、信息的定義和作用、信息科學(xué)與技術(shù)一、信息的定義和作用、信息科學(xué)與技術(shù) 二、信息論與廣義通信系統(tǒng)二、信息論與廣義通信系統(tǒng) 三、信息的定量描述三、信息的定量描述-信源模型與信息熵信源模型與信息熵 四、連續(xù)信源與最大熵定理四、連續(xù)信源與最大熵定理 五、信

2、息與熵的守恒定律五、信息與熵的守恒定律20:553課件資料下載：郵箱地址： “機(jī)械工程測試機(jī)械工程測試”每個字拼音的第一個字母每個字拼音的第一個字母 密碼：111111注意下載時不要刪除原始文件 20:5543-1 信息與信息技術(shù) 一、信息的定義一、信息的定義 1. 泛說泛說 地質(zhì)工作者說地質(zhì)工作者說: 信息就是資源信息就是資源 企業(yè)家說企業(yè)家說: 信息就是資本信息就是資本 管理工作者說管理工作者說: 信息就是辦法信息就是辦法 軍事指揮家說軍事指揮家說: 信息就是勝利信息就是勝利 . . . 現(xiàn)代漢語辭典：用符號傳遞的報道，報道的內(nèi)容是接收現(xiàn)代漢語辭典：用符號傳遞的報道，報道的內(nèi)容是接收符號者

3、預(yù)先不知道的符號者預(yù)先不知道的 。 日本廣辭菀辭典：信息是對某種事物的預(yù)報。日本廣辭菀辭典：信息是對某種事物的預(yù)報。 20:555信息定義 英語英語 information in 接收消息，接收消息， formation 整整理成章。理成章。 控制論創(chuàng)始人控制論創(chuàng)始人 N.Wiener ：人和外界互相作用過程人和外界互相作用過程中互相交換的內(nèi)容的名稱。中互相交換的內(nèi)容的名稱。 信息論奠基人信息論奠基人 C.E.Shannon：熵的減少熵的減少2. 定義定義q事物運動的狀態(tài)和方式事物運動的狀態(tài)和方式 事物事物 物質(zhì)物質(zhì) 運動運動 廣義的運動廣義的運動 狀態(tài)狀態(tài) 穩(wěn)定穩(wěn)定 方式方式 變化變化20:

4、556信息科學(xué)與信息技術(shù)信息、數(shù)據(jù)、知識信息、數(shù)據(jù)、知識三者的區(qū)別三者的區(qū)別 信息信息 What When Where Who 數(shù)據(jù)數(shù)據(jù) How much How many Which Yes / No 知識知識 How Why二、信息的基本性質(zhì)二、信息的基本性質(zhì) 識別識別 轉(zhuǎn)換轉(zhuǎn)換 存儲存儲 傳輸傳輸三、信息科學(xué)：研究信息現(xiàn)象及其規(guī)律的科學(xué)三、信息科學(xué)：研究信息現(xiàn)象及其規(guī)律的科學(xué) 信息本身的規(guī)律信息本身的規(guī)律 認(rèn)識信息認(rèn)識信息 利用信息的規(guī)律利用信息的規(guī)律 利用信息利用信息四、信息技術(shù)四、信息技術(shù) 擴(kuò)展擴(kuò)展人的信息功能的技術(shù)人的信息功能的技術(shù) 傳感技術(shù)傳感技術(shù) （collection）人的感

5、官的擴(kuò)展人的感官的擴(kuò)展 通信技術(shù)通信技術(shù) （communication）人的神經(jīng)系統(tǒng)的擴(kuò)展人的神經(jīng)系統(tǒng)的擴(kuò)展 計算機(jī)技術(shù)計算機(jī)技術(shù) （computer）人的大腦功能的擴(kuò)展人的大腦功能的擴(kuò)展20:5573-2 信息論與廣義通信系統(tǒng)一、信息論的基本概念一、信息論的基本概念信息論源于通信工程，發(fā)展基于以下問題：信息論源于通信工程，發(fā)展基于以下問題： 信息傳輸?shù)男剩畔鬏數(shù)臏?zhǔn)確性，噪聲干擾，信道信息傳輸?shù)男?，信息傳輸?shù)臏?zhǔn)確性，噪聲干擾，信道頻率特性；頻率特性； 狹義信息：狹義信息：研究信息的測度、信道容量以及信源和信道研究信息的測度、信道容量以及信源和信道編碼理論；編碼理論； 一般信息論：一般信

6、息論：研究通信問題，包括噪聲理論、信號濾波研究通信問題，包括噪聲理論、信號濾波與預(yù)測，信號調(diào)制與處理；與預(yù)測，信號調(diào)制與處理； 廣義信息論：廣義信息論：含其他學(xué)科中有關(guān)信息的問題含其他學(xué)科中有關(guān)信息的問題20:558信息論的基本問題：信源信源 信宿信宿 信道信道 編碼編碼例：無線電通信系統(tǒng)；聲發(fā)射監(jiān)測系統(tǒng)；刀具磨損監(jiān)測系統(tǒng)二、廣義通信系統(tǒng)二、廣義通信系統(tǒng)廣義通信系統(tǒng)編碼器編碼器譯碼器譯碼器無線電通信系統(tǒng)無線電通信系統(tǒng)20:559廣義通信系統(tǒng)聲發(fā)射監(jiān)測系統(tǒng)聲發(fā)射監(jiān)測系統(tǒng)刀具磨損監(jiān)測系統(tǒng)刀具磨損監(jiān)測系統(tǒng)20:5510 3-3 3-3 信息的定量描述信息的定量描述一、信源：信息輸出是隨機(jī)的，常用隨機(jī)

7、變量或隨機(jī)矢量或概率空間描述。離散和連續(xù)信源。二、離散信源模型 離散型概率空間例1：擲硬幣例2：超聲波探傷3-3 信息的定量描述1)()()()(,12121NiiNNxPxPxPxPxxxPX20:55113-3 自信息三三 、自信息、自信息 自信息指信源某一事件自信息指信源某一事件xi發(fā)生時所包含的信息量，是隨機(jī)發(fā)生時所包含的信息量，是隨機(jī)變量；變量； 某事件發(fā)生所含有的信息量是該事件發(fā)生的先驗概率的函某事件發(fā)生所含有的信息量是該事件發(fā)生的先驗概率的函數(shù)，即數(shù)，即 測度單位：測度單位：2為底，比特；為底，比特；e為底，奈特；為底，奈特；10為底，哈特為底，哈特發(fā)生所含有的信息量表示事件發(fā)生

8、的先驗概率；是事件態(tài)；描述信源輸出的可能狀iiiiiiixxIxxPxxPfxI)()(,)()(20:5512I(xi)與P(xi)的關(guān)系qI(xi)與是先驗概率與是先驗概率P(xi)的單調(diào)遞減的單調(diào)遞減函數(shù)；函數(shù)；qP(xi) =1時，時， I(xi)=0，必然事件信息，必然事件信息量為量為0；qP(xi) =1時，時， I(xi)=0，不可能發(fā)生的，不可能發(fā)生的事件發(fā)生了，其信息量無窮大；事件發(fā)生了，其信息量無窮大；q兩個獨立事件的聯(lián)合信息量，應(yīng)等兩個獨立事件的聯(lián)合信息量，應(yīng)等于它們各自信息量之和。于它們各自信息量之和。20:5513四、信息熵：四、信息熵：自信息的數(shù)學(xué)期望，即信源的平均

9、信息量自信息的數(shù)學(xué)期望，即信源的平均信息量 物理意義：物理意義：表征了信源整體的統(tǒng)計特性表征了信源整體的統(tǒng)計特性，是總體，是總體的的平均不確定性平均不確定性的量度；或的量度；或表征了變量的隨機(jī)性表征了變量的隨機(jī)性。 例：例：/)(log)()(log)(1事件bitxPxPxPEXHNiiii信息熵.5 . 05 . 0,)(,01. 099. 0,)(,2121yyyPYxxxPXii./ 15 . 0log5 . 05 . 0log5 . 0)(/08. 001. 0log01. 099. 0log99. 0)(事件，事件bitYHbitXH20:5514信息熵基本性質(zhì)五、信息熵的基本性質(zhì)

10、五、信息熵的基本性質(zhì) P68 對稱性：對稱性：概率空間順序任意互換時，熵函數(shù)的值不變概率空間順序任意互換時，熵函數(shù)的值不變 確定性：確定性：信源的輸出若有一種必然事件，其熵為信源的輸出若有一種必然事件，其熵為0 非負(fù)性：非負(fù)性：H(X)=0 可加性：可加性：統(tǒng)計獨立信源統(tǒng)計獨立信源X和和Y的聯(lián)合信源的熵等于各自熵的聯(lián)合信源的熵等于各自熵的和，熵函數(shù)的形式是唯一的的和，熵函數(shù)的形式是唯一的 極值性：極值性：信源各個狀態(tài)為等概率分布時，熵值最大信源各個狀態(tài)為等概率分布時，熵值最大 最大離散熵定理最大離散熵定理六、信息熵與熱力學(xué)熵六、信息熵與熱力學(xué)熵 熱力學(xué)熵不減熱力學(xué)熵不減 信息學(xué)熵不增信息學(xué)熵不

11、增20:5515一、連續(xù)信源一、連續(xù)信源 連續(xù)信源：連續(xù)信源：信源的輸出狀態(tài)數(shù)是不可數(shù)的無限值，且任一信源的輸出狀態(tài)數(shù)是不可數(shù)的無限值，且任一時刻，取值也是連續(xù)的，可用連續(xù)隨機(jī)變量描述。如機(jī)床時刻，取值也是連續(xù)的，可用連續(xù)隨機(jī)變量描述。如機(jī)床工作狀態(tài)監(jiān)測系統(tǒng)。工作狀態(tài)監(jiān)測系統(tǒng)。 連續(xù)型的概率空間連續(xù)型的概率空間 連續(xù)信源的熵連續(xù)信源的熵Rdxxpxpxh)(log)()(RbadxxpdxxpxpRxpbaxpX1)(1)()()(),()(,或或3-4 連續(xù)信源及最大熵定理xdxxpxpXHnbannloglim)(log)()(lim20:5516二、最大熵定理：約束條件不同，最大相對熵不同二、最大熵定理：約束條件不同，最大相對熵不同 峰值功率受限條件下信源的最大熵：輸出信號的概率密度是峰值功率受限條件下信源的最大熵：輸出信號的概率密度是均勻分布均勻分布 平均功率受限條件下信源的最大熵：信號輸出幅度的概率密平均功率受