下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、信息論基礎(chǔ) Information Theory一、課程基本情況課程類別:專業(yè)主干課課程學(xué)分: 3 學(xué)分課程總學(xué)時:48學(xué)時,其中講課:48學(xué)時,實(shí)驗(yàn):0學(xué)時,上機(jī):0學(xué)時,實(shí)習(xí)0學(xué)時,課外0 學(xué)時課程性質(zhì):必修開課學(xué)期:第5學(xué)期先修課程:概率論(最好學(xué)過平穩(wěn)過程和馬爾科夫鏈) 適用專業(yè):信息與計算科學(xué)專業(yè) 教 材:信息論與編碼第二版,傅祖蕓,趙建中編著,電子工業(yè)出版社。注:教學(xué)以講義為主,教材僅供參考。國內(nèi)幾乎所有信息論教材都存在多處解釋不明確或者錯誤,使用和參考這些教材時要注意辨別。開課單位:數(shù)學(xué)與統(tǒng)計學(xué)院 信息與計算科學(xué)系二、課程性質(zhì)、教學(xué)目標(biāo)和任務(wù)香農(nóng)信息論研究信息的統(tǒng)計特性以及通信編
2、碼理論,是數(shù)據(jù)壓縮、糾錯編碼和密碼學(xué)的理論基礎(chǔ)。本課的教學(xué)目標(biāo)和任務(wù)是學(xué)習(xí)香農(nóng)信息論的基礎(chǔ)與核心知識,主要內(nèi)容包括,(1)信息熵,(2)離散信源及其熵率,(3)離散信道及其信息容量,(4)信源編碼理論,(5)信道編碼理論。三、教學(xué)內(nèi)容和要求1. 課程介紹(1學(xué)時)(1)了解本課程的性質(zhì)、主要內(nèi)容和考核方法;國內(nèi)外信息論發(fā)展現(xiàn)狀。(2)理解信息的形式、性質(zhì)與含義;消息與信息的關(guān)系。(3)掌握通信系統(tǒng)的三個核心技術(shù)問題。重點(diǎn):通信系統(tǒng)的三個核心技術(shù)問題。難點(diǎn):信息的含義。2. 預(yù)備知識(3學(xué)時)(1)了解關(guān)于字符串的基本知識,隨機(jī)變量的概念及其統(tǒng)計特性刻畫,對數(shù)定義延拓,了解對數(shù)和不等式、信息不等
3、式和延森不等式在信息論中的重要性。(2)理解基本對數(shù)不等式的證明,對數(shù)和不等式,信息不等式的證明和意義,對數(shù)和不等式與信息不等式的等價關(guān)系,凸函數(shù)與延森不等式的證明。(3)掌握上述四個不等式及其證明。重點(diǎn):信息不等式及其證明,延森不等式及其證明。難點(diǎn):凸函數(shù)概念及其延森不等式的證明。2隨機(jī)事件的自信息(2學(xué)時)(1)了解,在香農(nóng)信息論中,消息是信源產(chǎn)生的隨機(jī)事件;消息的信息量稱為自信息;事件發(fā)生概率越小,事件所含的信息量越大。 (2)理解自信息作為概率函數(shù)的三個公理,以及由此公理如何推出自信息的表達(dá)式。 (3)掌握自信息的計算公式和單位;掌握條件自信息、聯(lián)合自信息和互信息的計算公式,以及相互關(guān)
4、系。重點(diǎn):自信息、條件自信息、聯(lián)合自信息和互信息的含義、計算公式和相互關(guān)系。難點(diǎn):自信息表達(dá)式的推導(dǎo)過程。3. 隨機(jī)變量的信息熵(4學(xué)時)(1)了解隨機(jī)變量的常用定義,補(bǔ)充定義:只要離散型變量的取值服從一定的分布律,則可稱該變量為隨機(jī)變量。了解信息上的非負(fù)性、確定性、對稱性、連續(xù)性。了解離散型隨機(jī)變量的信息熵的三種物理意義(例題說明)。(2)理解信息熵的3種性質(zhì),即嚴(yán)格上凸性、可加性和遞增性。理解離散型隨機(jī)變量的最大熵原理及其意義。 (3)掌握離散型隨機(jī)變量信息熵的3個性質(zhì),嚴(yán)格上凸性、可加性和遞增性。掌握離散型隨機(jī)變量的最大熵原理及其意義。重點(diǎn):信息熵的嚴(yán)格上凸性、可加性、遞增性和離散最大熵
5、原理及其證明。難點(diǎn):嚴(yán)格上凸性的證明。在課時不足情況下,一些證明可以留給學(xué)生自己課后看。研究課題一:(1)搜集整理離散最大熵原理的應(yīng)用。(2)研究有條件限制的離散最大熵原理。4. 隨機(jī)變量的條件熵、聯(lián)合熵、平均互相信息(4課時)(1)了解研究多個隨機(jī)變量之間信息關(guān)系的動機(jī)。 (2)理解兩個隨機(jī)變量之間的統(tǒng)計關(guān)系和信息量關(guān)系。 (3)掌握聯(lián)合熵的鏈法則,兩個隨機(jī)變量之間條件熵、聯(lián)合熵和平均互信息等的計算公式和相互之間的關(guān)系圖。重點(diǎn):聯(lián)合熵的鏈法則,兩個隨機(jī)變量之間條件熵、聯(lián)合熵和平均互信息等的計算公式和相互之間的關(guān)系圖。難點(diǎn):在解應(yīng)用題中設(shè)定合適的隨機(jī)變量;根據(jù)關(guān)系圖,選用合適的計算公式。應(yīng)選擇
6、合適的例題進(jìn)行講解,并布置足夠的習(xí)題作為課后作業(yè)。注:平均互信息的上凸性與下凸性放到后面信道容量處再介紹。習(xí)題課一:講解作業(yè)題、做補(bǔ)充練習(xí)并答疑。課堂測試一:(1)計算隨機(jī)事件的自信息。(2)計算隨機(jī)變量的熵、條件熵和平均互信息。5連續(xù)型隨機(jī)變量的信息熵(2學(xué)時)(1)了解連續(xù)型隨機(jī)變量的定義。 (2)理解連續(xù)型隨機(jī)變量的微分熵的物理意義、與離散熵的關(guān)系、振幅受限時的最大熵和平均功率受限時的最大熵。 (3)掌握連續(xù)型隨機(jī)變量的微分熵的計算公式。重點(diǎn):微分熵的計算公式與物理意義。難點(diǎn):微分熵的物理意義;兩種條件下的最大熵。 注:這一講屬于選修內(nèi)容,課時不足時講義發(fā)給學(xué)生自學(xué)。6.離散信源及其熵率
7、(8學(xué)時)(1)了解在通信系統(tǒng)中,信源與消息的關(guān)系,消息中前后符號的統(tǒng)計關(guān)系,這種統(tǒng)計關(guān)系對于信源的信息傳輸率的影響;了解英語熵率的估計方法。(2)理解離散平穩(wěn)信源的數(shù)學(xué)模型、性質(zhì)及其熵率的定義和物理意義;理解依概率收斂;理解離散無記憶信源的漸近等分割性。(3)掌握一階和二階馬爾科夫信源的數(shù)學(xué)模型、性質(zhì)及其熵率的計算方法;掌握離散無記憶信源的漸近等分割性。重點(diǎn):一階和二階馬爾科夫信源的數(shù)學(xué)模型、性質(zhì)及其熵率的計算方法,離散無記憶信源的漸近等分割性。難點(diǎn):二階馬爾科夫信源的數(shù)學(xué)模型及其熵率的計算方法,離散無記憶信源的漸近等分割性。習(xí)題課二:講解作業(yè)題、做補(bǔ)充練習(xí)并答疑。課堂測試二:(1)DMS的
8、漸近等分割性,(2)計算二階馬爾科夫信源的熵率。7. 無失真信源編碼理論(4學(xué)時)(1)了解關(guān)于編碼和譯碼的基本概念、信源編碼的數(shù)據(jù)壓縮功能。 (2)理解編碼前信息傳輸率、編碼后信息傳輸率的含義,及其與數(shù)據(jù)壓縮的關(guān)系;理解無失真信源編碼的數(shù)據(jù)壓縮原理;理解香農(nóng)第一定理。 (3)掌握平均碼長、碼率、編碼效率等概念的數(shù)學(xué)定義和物理意義;掌握克萊夫特不等式定理和香農(nóng)第一定理的數(shù)學(xué)內(nèi)容、物理意義及其證明。 重點(diǎn):碼率的計算公式,香農(nóng)第一定理的數(shù)學(xué)內(nèi)容及其物理意義。難點(diǎn):應(yīng)用信源的漸近等分割性,解釋數(shù)據(jù)壓縮原理;應(yīng)用香農(nóng)第一定理,解釋數(shù)據(jù)壓縮的極限。研究課題二:無失真信源編碼原理。根據(jù)講義及其它資料,整
9、理出一篇論文,用所學(xué)的信息論知識進(jìn)行解釋。8. 無失真信源編碼方法(6學(xué)時)(1)了解香農(nóng)碼、費(fèi)諾碼的編碼方法及其次優(yōu)性;了解幾種字典碼的編碼和譯碼方法。 (2)理解霍夫曼碼的最優(yōu)性、算術(shù)碼的漸近最優(yōu)性。 (3)掌握霍夫曼碼的編碼方法、算術(shù)碼的編碼和譯碼方法。重點(diǎn):霍夫曼碼的編碼方法、算術(shù)碼的編碼和譯碼方法。難點(diǎn):理解霍夫曼碼的最優(yōu)性、算術(shù)碼的漸近最優(yōu)性。研究課題三:改進(jìn)香農(nóng)編碼,或者發(fā)明新的無損壓縮方法。9. 限失真信源編碼(4學(xué)時)(1)了解連續(xù)型信源的數(shù)據(jù)處理和壓縮方法:取樣、量化、編碼。(2)理解失真度、信息率失真函數(shù)等概念。(3)掌握限失真信源編碼模型及其性能指標(biāo);掌握限失真信源編碼
10、定理的內(nèi)容與意義。重點(diǎn):限失真信源編碼定理的內(nèi)容與意義。難點(diǎn):理解失真度、信息率失真函數(shù)等概念。注:這一講屬于選修內(nèi)容,課時不足時講義發(fā)給學(xué)生自學(xué)。10離散信道及其信息容量(4學(xué)時)(1)了解信道的數(shù)學(xué)模型及分類、離散無記憶擴(kuò)展信道及其信道容量。(2)理解平均互信息的上凸性與下凸性;理解信道容量的數(shù)學(xué)定義和物理意義;理解信道疑異度、噪聲熵、信息傳輸率等概念。(3)掌握對稱信道的信息容量的計算方法。重點(diǎn):信道的信息傳輸率與信道容量的關(guān)系;對稱信道的信息容量的計算方法。難點(diǎn):理解平均互信息的上凸性與下凸性;理解信道容量的數(shù)學(xué)定義和物理意義。11有噪信道編碼(4學(xué)時)(1)了解信道編碼和譯碼的直觀與
11、數(shù)學(xué)模型、目的;了解香農(nóng)第二定理的證明思路。(2) 理解聯(lián)合典型序列的定義和意義;理解幾個譯碼準(zhǔn)則的含義與意義:最小錯誤概率、最大似然、最小距離;理解信道編碼的糾錯原理。(3)掌握香農(nóng)第二定理的數(shù)學(xué)內(nèi)容和物理含義。重點(diǎn):最大似然譯碼準(zhǔn)則,平均譯碼錯誤概率,香農(nóng)第二定理的數(shù)學(xué)內(nèi)容和物理含義。難點(diǎn):理解信道編碼的糾錯原理。研究課題四:信道編碼的糾錯原理。根據(jù)講義及其它資料,整理出一篇論文,用所學(xué)的信息論知識進(jìn)行解釋。12. 習(xí)題課(2學(xué)時)講解全課主要題型及其解法,做練習(xí)并答疑。四、課程考核(1)作業(yè):15 次,課程論文: 2篇;(2)考核方式:一頁開卷考試(3)總評成績計算方式:課堂紀(jì)律10%,平時測試成績20%,期末考試成績70%五、參考書目1. 信息論論基礎(chǔ)理論與應(yīng)用,電子工
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- GB/T 20907-2024城市軌道交通自動售檢票系統(tǒng)技術(shù)條件
- 低空物流科技創(chuàng)新發(fā)展實(shí)施方案
- 城鄉(xiāng)創(chuàng)新創(chuàng)業(yè)項(xiàng)目計劃書(5篇)
- 關(guān)于父母感恩演講稿范文錦集四篇
- 國旗下講話稿(10篇)
- 關(guān)于七夕節(jié)日記(25篇)
- 天英學(xué)校養(yǎng)老護(hù)理員(中級)理論復(fù)習(xí)試題有答案
- 2024-2025學(xué)年上海市閔行區(qū)莘松中學(xué)九年級(上)月考數(shù)學(xué)試卷(9月份)(含解析)
- 中學(xué)護(hù)校隊(duì)工作方案
- 第3章 海洋中的聲傳播理論課件
- 生產(chǎn)計劃達(dá)成率及分析
- (完整PPT)上海英文介紹
- 2024年中國人保財險總公司招聘筆試參考題庫含答案解析
- 《企業(yè)會計準(zhǔn)則第 25 號-保險合同》應(yīng)用指南
- 行政審批制度改革的現(xiàn)狀和發(fā)展
- 凈水設(shè)備采購務(wù)投標(biāo)方案(技術(shù)方案)
- 讀書分享讀書交流會《局外人》課件
- 人教pep四年級上冊unit4My home4 1-4課時單元作業(yè)設(shè)計
- 學(xué)校(幼兒園)每周食品安全排查治理報告(整學(xué)期16篇)
- 4.霜降氣寒礪性格
- 河北省張家口市橋西區(qū)2023-2024學(xué)年九年級上學(xué)期期中數(shù)學(xué)試題
評論
0/150
提交評論