第二章 信息的度量 1.ppt

第二章信息的度量 徐娟副教授Email xujuan8575 生物信息教研室106辦公室 信息的概念 信息是信息論中最基本 最重要的概念 它是一個(gè)既存在廣泛又抽象的概念 廣泛性客觀世界充滿信息人類離不開(kāi)信息知識(shí) 書本是有用信息的積累抽象性信息不等同與 消息 信號(hào) 情報(bào) 知識(shí) 和 數(shù)據(jù) 等 小結(jié) 理解信息的概念 信息 事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述 狹義信息論 又稱香農(nóng)信息論 主要通過(guò)數(shù)學(xué)描述與定理分析 研究通信系統(tǒng)從信源到信宿的全過(guò)程信息的度量信道容量信源和信道編碼理論等問(wèn)題 通信系統(tǒng)模型 香農(nóng)將各種通信系統(tǒng)概括成通信系統(tǒng)模型 通信系統(tǒng)中形式上傳輸?shù)氖窍?但實(shí)質(zhì)上傳輸?shù)氖切畔?通信的結(jié)果是消除或部分消除不確定性 從而獲得信息 信源 信源 信息的來(lái)源 是產(chǎn)生消息或消息序列的源泉按照消息的取值集合的離散性和連續(xù)性離散信源 輸出的消息是有限的 可數(shù)的 可以用一維離散型隨機(jī)變量來(lái)描述 如篩子的點(diǎn)數(shù) 堿基種類 氨基酸的種類 選修課成績(jī)連續(xù)信源 信源符號(hào)集的取值是連續(xù)的 可以用一維連續(xù)型隨機(jī)變量來(lái)描述 如 說(shuō)話的內(nèi)容是離散的 說(shuō)話的分貝是連續(xù)的 由于計(jì)算機(jī)是離散的 我們重點(diǎn)討論離散信源某時(shí)刻 信源發(fā)出的消息 事件 具有不確定性 概率知識(shí)回顧 在一定條件下可能出現(xiàn)也可能不出現(xiàn)的現(xiàn)象稱為隨機(jī)現(xiàn)象 隨機(jī)現(xiàn)象揭示了條件和結(jié)果之間的不確定性 其數(shù)量關(guān)系無(wú)法用函數(shù)加以描述 在一次觀察中出現(xiàn)什么結(jié)果具有偶然性 但是通過(guò)大量試驗(yàn) 結(jié)果具有一定的統(tǒng)計(jì)規(guī)律性 擲骰子 隨機(jī)現(xiàn)象是通過(guò)隨機(jī)試驗(yàn)來(lái)研究的 概率知識(shí)回顧 隨機(jī)試驗(yàn) 通常用E表示 對(duì)自然現(xiàn)象的觀察和進(jìn)行一次科學(xué)實(shí)驗(yàn) 在相同條件下可重復(fù)進(jìn)行試驗(yàn)的結(jié)果不止一個(gè) 每次試驗(yàn)總是恰好出現(xiàn)這些可能結(jié)果中的一個(gè) 但在一次試驗(yàn)之前其結(jié)果無(wú)法確知在大量重復(fù)試驗(yàn)或觀察中呈現(xiàn)出某種統(tǒng)計(jì)規(guī)律性的現(xiàn)象例如 重復(fù)摸球試驗(yàn) 擲骰子 參加一次英語(yǔ)考試的試驗(yàn) 概率知識(shí)回顧 基本事件 常用e 來(lái)表示對(duì)一個(gè)試驗(yàn)來(lái)說(shuō) 我們把其最簡(jiǎn)單的不能再分的事件稱為該事件的基本事件樣本空間 用 表示 一個(gè)試驗(yàn)所有基本事件組成的集合 稱為該試驗(yàn)的樣本空間隨機(jī)事件 隨機(jī)試驗(yàn)的每個(gè)可能的結(jié)果是基本事件集的子集 簡(jiǎn)稱事件概率測(cè)度 概率 用P表示 刻畫事件發(fā)生可能性大小的數(shù)量指標(biāo)非負(fù)性 P X 0 完備性 P 1 2 1自信息和互信息 2 1 1自信息 自信息 量 一個(gè)消息xi 事件 本身所包含的信息量 由事件的不確定性決定 記為I xi 某事件xi發(fā)生所提供的信息量I xi 應(yīng)該是該事件發(fā)生的先驗(yàn)概率p xi 的函數(shù) I x f p x 2 當(dāng)p x 1時(shí) I x 0 極限情況下 當(dāng)p x 0時(shí) I x 應(yīng)滿足以下公理化條件 1 I x 是p x 的單調(diào)遞減函數(shù) 若p x1 I x2 3 信息量滿足可加性 對(duì)于兩個(gè)獨(dú)立事件 其信息量等于各自信息量之和 若p x1x2 p x1 p x2 I x1x2 I x1 I x2 2 1 1自信息 某消息xi的自信息 可用該消息出現(xiàn)的概率的對(duì)數(shù)的負(fù)值來(lái)表示 p xi 為消息的先驗(yàn)概率底數(shù)為2時(shí) 常把2省略自信息量的單位 若這里的對(duì)數(shù)底取2 則單位為比特 bit binaryunit P x 1 2時(shí) I x 1bit 即概率為1 2的事件具有1bit信息量由于在計(jì)算機(jī)上是二進(jìn)制 binarydigit 我們一般都采用比特 計(jì)算自信息量的例子 例3 信源消息X A T G C 的概率模型如下 則該信源各消息的自信息量分別為 單位 比特 自信息I xi 的含義 在事件發(fā)生以前 等于事件xi發(fā)生的不確定性的大小 在事件發(fā)生以后 表示事件xi所含有或最大能給收信者提供的信息量 通過(guò)無(wú)噪信道傳輸后 收信者 信宿 對(duì)事件xi消除的不確定性的大小 即獲得的信息量的大小 收到某消息獲得的信息量 不確定性的減少量 例題4 1 假設(shè)英文字母中 a 出現(xiàn)的概率為0 064 c 出現(xiàn)的概率為0 022 分別計(jì)算他們的自信息量 2 假定前后字母出現(xiàn)是互相獨(dú)立的 計(jì)算消息 ac 的自信息 3 假定前后字母出現(xiàn)不是互相獨(dú)立的 當(dāng) a 出現(xiàn)以后 c 出現(xiàn)的概率為0 04 計(jì)算 a 出現(xiàn)以后 c 出現(xiàn)的自信息量 1 英文字母中 a 出現(xiàn)的概率為0 064 c 出現(xiàn)的概率為0 022 分別計(jì)算他們的自信息量 解 1 2 假定前后字母出現(xiàn)是互相獨(dú)立的 計(jì)算消息 ac 的自信息 解 由于前后字母出現(xiàn)是互相獨(dú)立的 ac 出現(xiàn)的概率為0 064 0 022 所以信息量滿足可加性 3 假定前后字母出現(xiàn)不是互相獨(dú)立的 當(dāng) a 出現(xiàn)以后 c 出現(xiàn)的概率為0 04 計(jì)算 a 出現(xiàn)以后 c 出現(xiàn)的自信息量 解 a 出現(xiàn)的條件下 c 出現(xiàn)的頻率變大 它的不確定性變小 消除了一定的不確定性 所提供的信息量就減少 2 1 2互信息 互信息一個(gè)事件所給出關(guān)于另一個(gè)事件的信息定義為互信息 用表示 是已知事件后所消除的關(guān)于事件的不確定性 事件本身的不確定性減去已知事件后對(duì)仍然存在的不確定性 例5某地二月份天氣出現(xiàn)的頻率分別為晴1 2 陰1 4 雨1 8 雪1 8 某一天有人告訴你 今天不是晴天 他這句話作為收到的消息y1 求收到y(tǒng)1后 y1與各種天氣的互信息量 解 把各種天氣記作x1 晴 x2 陰 x3 雨 x4 雪 收到消息y1后各種天氣發(fā)生的概率變成了后驗(yàn)概率 條件概率公式 根據(jù)互信息的定義 可以算出y1與各種天氣之間的互信息 利用通信系統(tǒng)模型理解互信息 設(shè)X為信源發(fā)出的離散消息集合 Y為信宿收到的離散消息集合 信源發(fā)出的消息 經(jīng)過(guò)有噪聲的信道傳遞到信宿 X Y X Y xi xi 無(wú)噪 I xi p xi p xi yj I xi yj xi 表示事件出現(xiàn)前和出現(xiàn)后關(guān)于事件的不確定性被消除的部分 表示事件出現(xiàn)以后信宿獲得的關(guān)于事件的信息量 觀察者站在輸出端 對(duì)yj一無(wú)所知的情況下xi存在的不確定度 收到y(tǒng)j后xi仍然存在的不確定度 損失的信息 小結(jié) 信息量 收到某消息獲得的信息量 不確定性的減少量 收到此消息前關(guān)于某事件發(fā)生的不確定性 收到此消息后關(guān)于某事件發(fā)生的不確定 互信息的其他計(jì)算公式 是已知事件后所消除的關(guān)于事件的不確定性 概率的乘法公式 互信息的其他計(jì)算公式 事件本身的不確定性和事件本身的不確定性加和 減去事件的不確定性 概率乘法公式 通信前 X和Y之間沒(méi)有任何關(guān)系 即X Y統(tǒng)計(jì)獨(dú)立 p xiyj p xi p yj 先驗(yàn)不確定度通信后 p xiyj p xi p yj xi p yj p xi yj 后驗(yàn)不確定度 互信息量的性質(zhì) 一 對(duì)稱性 I x y I y x 其通信意義表示發(fā)出x收到y(tǒng)所能提供給我們的信息量的大小 二 當(dāng)x與y統(tǒng)計(jì)獨(dú)立時(shí) I x y I y x 0 表示這樣一次通信不能為我們提供任何信息 三 互信息可取正值也可取負(fù)值 也可取值0 單位也是比特 上述兩條性質(zhì)與我們實(shí)際情況非常吻合 思考題 例題4 1 英文字母中 a 出現(xiàn)的概率為0 064 c 出現(xiàn)的概率為0 022 分別計(jì)算他們的自信息量 2 假定前后字母出現(xiàn)是互相獨(dú)立的 計(jì)算 ac 的自信息 3 假定前后字母出現(xiàn)不是互相獨(dú)立的 當(dāng) a 出現(xiàn)以后 c 出現(xiàn)的概率為0 04 計(jì)算 a 出現(xiàn)以后 c 出現(xiàn)的自信息量 4 求在 2 和 3 兩種情形下 消息 a 和消息 c 的互信息各為多少 2 2平均自信息 概率知識(shí)回顧 隨機(jī)變量 將樣本空間 隨機(jī)事件 數(shù)量化 即用數(shù)值來(lái)表示隨機(jī)試驗(yàn)的結(jié)果常用大寫的英文字母X Y Z 或希臘字母 來(lái)表示有些隨機(jī)試驗(yàn)的結(jié)果可直接用數(shù)值來(lái)表示 例如 在擲骰子試驗(yàn)中 結(jié)果可用1 2 3 4 5 6來(lái)表示不妨用 表示所有的樣本點(diǎn) 隨機(jī)變量 有些隨機(jī)試驗(yàn)的結(jié)果不是用數(shù)量來(lái)表示 但可數(shù)量化例1 擲硬幣試驗(yàn) 其結(jié)果用漢字 出現(xiàn)正面 和 出現(xiàn)反面 來(lái)表示 例2 基因型的表示 012 可數(shù)量化 用1表示 出現(xiàn)正面 用0表示 出現(xiàn)反面 隨機(jī)變量 設(shè)立隨機(jī)變量的目的 用隨機(jī)變量的取值來(lái)描述隨機(jī)事件和事件發(fā)生的概率其和普通函數(shù)的差別是 不一定定義在實(shí)數(shù)軸上 是定義在樣本空間上概率空間 X P X 一個(gè)隨機(jī)變量的所有可能取值和這些取值對(duì)應(yīng)的概率 例如 在擲骰子試驗(yàn)中 X 1 2 3 4 5 6 樣本空間 P X P X 1 1 6 P X 2 1 6 P X 6 1 6 XP X 123456 P X 1 61 61 61 61 61 6 概率空間 離散信源的數(shù)學(xué)定義 一維離散信源 輸出的消息是有限的 可數(shù)的 且兩兩信息之間互不相容 可以用一維離散型隨機(jī)變量來(lái)描述信源可以用概率空間來(lái)表示假設(shè)隨機(jī)變量X有個(gè)可能的取值 各種取值出現(xiàn)的概率為 它的概率空間表示為同樣滿足概率空間的基本特性 非負(fù)性 完備性 信息熵 自信息是一個(gè)隨機(jī)變量 自信息是指信源發(fā)出的某一消息所含有的信息量 不同的消息 它們所含有的信息量也就不同 平均自信息 信息熵 信源熵 香農(nóng)熵 無(wú)條件熵 熵函數(shù) 熵 可表示整個(gè)信源的 平均 不確定性隨機(jī)變量X的每一個(gè)可能取值的自信息的數(shù)學(xué)期望定義為隨機(jī)變量X的平均自信息量 單位 比特 符號(hào) 奈特 符號(hào) 哈特萊 符號(hào) 信息熵的意義 1 對(duì)于某特定的信源 概率空間給定 其信息熵只有一個(gè) 2 不同的信源因統(tǒng)計(jì)特性不同 其信息熵也不同 例子 比如某地四月和七月天氣的變換程度兩個(gè)或多個(gè)物種 堿基的組成偏向程度 信息熵的意義 3 信源的信息熵是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的 也就是從平均意義上來(lái)表征信源的總體特性的 例1 一個(gè)布袋內(nèi)放100個(gè)球 其中80個(gè)球是紅色的 20個(gè)球是白色的 若隨意取一球 猜測(cè)是什么顏色 求平均摸取一次所能獲得的信息量 例1 一個(gè)布袋內(nèi)放100個(gè)球 其中80個(gè)球是紅色的 20個(gè)球是白色的 若隨意取一球 猜測(cè)是什么顏色 求平均摸取一次所能獲得的信息量 解 該信源對(duì)應(yīng)的概率空間為其中 a1表示摸出的是紅球 a2則表示白球 若取出的是紅球 獲得的信息量是若取出的是白球 獲得的信息量是 例1 若有放回的取球 那么取球n次中 紅球出現(xiàn)的次數(shù)約為 白球出現(xiàn)的次數(shù)約為則摸取n次后總共所獲取的信息量為這樣 平均取球一次所獲