電腦應(yīng)用信息論課程總結(jié).ppt

信息論課程總結(jié) 信息論的基本概念與術(shù)語 信號 消息 數(shù)據(jù) 知識 情報 信息的定義 香農(nóng)信息 信息的主要特征 信息的重要性質(zhì) 信息的分類 信息技術(shù)的基本內(nèi)容 辦英語六級證 思考題 信息是什么 信息的基本特征是什么 信息與信號 消息 數(shù)據(jù) 知識 情報有那些差別 怎樣進(jìn)行信息分類 信息技術(shù)的 四基元 是什么 為什么說數(shù)學(xué)是信息科學(xué)的基礎(chǔ) 信息量 熵和不確定度 自信息量 條件自信息量 聯(lián)合自信息量 互信息量 不確定度 熵 條件熵 聯(lián)合熵 平均互信息 應(yīng)用 如何利用它們的性質(zhì)和相互關(guān)系計(jì)算各種信源 隨機(jī)變量和事件的相應(yīng)信息度量 兩個基本定理 最大熵定理 信息不增原理 幾種研究對象 離散單符號信源 離散無記憶序列信源 離散有記憶序列信源 主要是馬爾可夫信源 連續(xù)信源 需掌握的重點(diǎn) 各種定義 概念的實(shí)際含義 各種信息量和熵的計(jì)算方法 難點(diǎn) 條件熵 聯(lián)合熵和平均互信息量的計(jì)算 序列熵的計(jì)算 馬爾可夫信源熵的計(jì)算 馬爾可夫信源熵的計(jì)算方法 根據(jù)題意畫出狀態(tài)圖 判斷是否是齊次遍歷的馬爾可夫信源 寫出狀態(tài)轉(zhuǎn)移概率矩陣 計(jì)算狀態(tài)穩(wěn)定后的極限概率分布 根據(jù)狀態(tài)轉(zhuǎn)移概率矩陣和極限概率分布 計(jì)算信源的極限熵 信道的信息傳輸率 由于在平均意義上 一個符號流經(jīng)信道的平均信息量為I X Y 所以 信道的信息傳輸率為 R I X Y H X H X Y bit 符號若平均傳輸一個符號的時間為t秒 則信道每秒眾平均傳輸?shù)男畔⒘繛?Rt I X Y tbit s 定義 信道容量CC maxI X Y max H X H X Y max H Y H Y X P Xi P Xi P Xi P Xi 信道最大信息傳輸速率 離散無噪信道 一一對應(yīng)的無噪信道 此時 H X Y 0此時 C maxH X logn 例 二元對稱信道BSC BinarySymmetricChannel BSC的信道容量為 離散信道容量的一般計(jì)算辦法 連續(xù)信道的信道容量 復(fù)習(xí)思考題 隨機(jī)事件的不確定度和它的自信息量之間的關(guān)系及區(qū)別 單符號離散信源的數(shù)學(xué)模型 自信息量 條件自信息量 聯(lián)合自信息量的含義 互信息量的性質(zhì) 含義 分別從輸入端 輸出端和系統(tǒng)總體來理解互信息量的含義 各種熵 信源熵 條件熵 聯(lián)合熵 共熵 等 的含義及其關(guān)系 熵的基本性質(zhì)與定理及其理解 平均互信息量的定義及物理意義 疑義度及噪聲熵 平均互信息量的性質(zhì)及理解 最大離散熵定理 數(shù)據(jù)處理定理及其含義 信源的種類 詳細(xì)分類 離散平穩(wěn)信源的定義 平均符號熵 極限熵的定義 含義與理解 馬爾可夫信源的定義 含義及其極限熵 連續(xù)信源的熵的定義 幾種特殊連續(xù)信源的熵 信道容量的定義與計(jì)算辦法 例 若你在不知道今天是星期幾的情況下 問你的朋友 明天是星期幾 從答案中能獲得多少信息量 如果你在已經(jīng)知道今天是星期四的情況下 提出同樣的問題 能從答案中獲得多少信息量 解 設(shè)事件A為 不知道今天是星期幾的情況下 問 明天是星期幾 的答案 設(shè)事件B為 知道今天是星期四的情況下 問 明天是星期幾 的答案 則 P A 1 7 P B 1I A log27 2 807比特I B log21 0比特 習(xí)題1 從統(tǒng)計(jì)資料知道 男性中紅綠色盲的發(fā)病率為7 女性為0 5 如果你問一個男同志 你是否是紅綠色盲 他的回答可能是 是 可能是 否 問 兩個回答各含有多少信息量 平均每個回答含有多少信息量 如果是女同志 結(jié)果又如何 習(xí)題2 設(shè)有一個信源 它