《信息論基礎(chǔ)》教學(xué)大綱

1、信息論基礎(chǔ) Information Theory一、課程基本情況課程類別：專業(yè)主干課課程學(xué)分： 3 學(xué)分課程總學(xué)時：48學(xué)時，其中講課：48學(xué)時，實(shí)驗(yàn)：0學(xué)時，上機(jī)：0學(xué)時，實(shí)習(xí)0學(xué)時，課外0 學(xué)時課程性質(zhì)：必修開課學(xué)期：第5學(xué)期先修課程：概率論（最好學(xué)過平穩(wěn)過程和馬爾科夫鏈） 適用專業(yè)：信息與計算科學(xué)專業(yè) 教 材：信息論與編碼第二版，傅祖蕓，趙建中編著，電子工業(yè)出版社。注：教學(xué)以講義為主，教材僅供參考。國內(nèi)幾乎所有信息論教材都存在多處解釋不明確或者錯誤，使用和參考這些教材時要注意辨別。開課單位：數(shù)學(xué)與統(tǒng)計學(xué)院 信息與計算科學(xué)系二、課程性質(zhì)、教學(xué)目標(biāo)和任務(wù)香農(nóng)信息論研究信息的統(tǒng)計特性以及通信編

2、碼理論，是數(shù)據(jù)壓縮、糾錯編碼和密碼學(xué)的理論基礎(chǔ)。本課的教學(xué)目標(biāo)和任務(wù)是學(xué)習(xí)香農(nóng)信息論的基礎(chǔ)與核心知識，主要內(nèi)容包括，（1）信息熵，（2）離散信源及其熵率，（3）離散信道及其信息容量，（4）信源編碼理論，（5）信道編碼理論。三、教學(xué)內(nèi)容和要求1. 課程介紹（1學(xué)時）（1）了解本課程的性質(zhì)、主要內(nèi)容和考核方法；國內(nèi)外信息論發(fā)展現(xiàn)狀。（2）理解信息的形式、性質(zhì)與含義；消息與信息的關(guān)系。（3）掌握通信系統(tǒng)的三個核心技術(shù)問題。重點(diǎn)：通信系統(tǒng)的三個核心技術(shù)問題。難點(diǎn)：信息的含義。2. 預(yù)備知識（3學(xué)時）（1）了解關(guān)于字符串的基本知識，隨機(jī)變量的概念及其統(tǒng)計特性刻畫，對數(shù)定義延拓，了解對數(shù)和不等式、信息不等

3、式和延森不等式在信息論中的重要性。（2）理解基本對數(shù)不等式的證明，對數(shù)和不等式，信息不等式的證明和意義，對數(shù)和不等式與信息不等式的等價關(guān)系，凸函數(shù)與延森不等式的證明。（3）掌握上述四個不等式及其證明。重點(diǎn)：信息不等式及其證明，延森不等式及其證明。難點(diǎn)：凸函數(shù)概念及其延森不等式的證明。2隨機(jī)事件的自信息（2學(xué)時）（1）了解，在香農(nóng)信息論中，消息是信源產(chǎn)生的隨機(jī)事件；消息的信息量稱為自信息；事件發(fā)生概率越小，事件所含的信息量越大。 （2）理解自信息作為概率函數(shù)的三個公理，以及由此公理如何推出自信息的表達(dá)式。 （3）掌握自信息的計算公式和單位；掌握條件自信息、聯(lián)合自信息和互信息的計算公式，以及相互關(guān)

4、系。重點(diǎn)：自信息、條件自信息、聯(lián)合自信息和互信息的含義、計算公式和相互關(guān)系。難點(diǎn)：自信息表達(dá)式的推導(dǎo)過程。3. 隨機(jī)變量的信息熵（4學(xué)時）（1）了解隨機(jī)變量的常用定義，補(bǔ)充定義：只要離散型變量的取值服從一定的分布律，則可稱該變量為隨機(jī)變量。了解信息上的非負(fù)性、確定性、對稱性、連續(xù)性。了解離散型隨機(jī)變量的信息熵的三種物理意義（例題說明）。（2）理解信息熵的3種性質(zhì)，即嚴(yán)格上凸性、可加性和遞增性。理解離散型隨機(jī)變量的最大熵原理及其意義。 （3）掌握離散型隨機(jī)變量信息熵的3個性質(zhì)，嚴(yán)格上凸性、可加性和遞增性。掌握離散型隨機(jī)變量的最大熵原理及其意義。重點(diǎn)：信息熵的嚴(yán)格上凸性、可加性、遞增性和離散最大熵

5、原理及其證明。難點(diǎn)：嚴(yán)格上凸性的證明。在課時不足情況下，一些證明可以留給學(xué)生自己課后看。研究課題一：（1）搜集整理離散最大熵原理的應(yīng)用。（2）研究有條件限制的離散最大熵原理。4. 隨機(jī)變量的條件熵、聯(lián)合熵、平均互相信息（4課時）（1）了解研究多個隨機(jī)變量之間信息關(guān)系的動機(jī)。 （2）理解兩個隨機(jī)變量之間的統(tǒng)計關(guān)系和信息量關(guān)系。 （3）掌握聯(lián)合熵的鏈法則，兩個隨機(jī)變量之間條件熵、聯(lián)合熵和平均互信息等的計算公式和相互之間的關(guān)系圖。重點(diǎn)：聯(lián)合熵的鏈法則，兩個隨機(jī)變量之間條件熵、聯(lián)合熵和平均互信息等的計算公式和相互之間的關(guān)系圖。難點(diǎn)：在解應(yīng)用題中設(shè)定合適的隨機(jī)變量；根據(jù)關(guān)系圖，選用合適的計算公式。應(yīng)選擇

6、合適的例題進(jìn)行講解，并布置足夠的習(xí)題作為課后作業(yè)。注：平均互信息的上凸性與下凸性放到后面信道容量處再介紹。習(xí)題課一：講解作業(yè)題、做補(bǔ)充練習(xí)并答疑。課堂測試一：（1）計算隨機(jī)事件的自信息。（2）計算隨機(jī)變量的熵、條件熵和平均互信息。5連續(xù)型隨機(jī)變量的信息熵（2學(xué)時）（1）了解連續(xù)型隨機(jī)變量的定義。 （2）理解連續(xù)型隨機(jī)變量的微分熵的物理意義、與離散熵的關(guān)系、振幅受限時的最大熵和平均功率受限時的最大熵。 （3）掌握連續(xù)型隨機(jī)變量的微分熵的計算公式。重點(diǎn)：微分熵的計算公式與物理意義。難點(diǎn)：微分熵的物理意義；兩種條件下的最大熵。 注：這一講屬于選修內(nèi)容，課時不足時講義發(fā)給學(xué)生自學(xué)。6.離散信源及其熵率

7、（8學(xué)時）（1）了解在通信系統(tǒng)中，信源與消息的關(guān)系，消息中前后符號的統(tǒng)計關(guān)系，這種統(tǒng)計關(guān)系對于信源的信息傳輸率的影響；了解英語熵率的估計方法。（2）理解離散平穩(wěn)信源的數(shù)學(xué)模型、性質(zhì)及其熵率的定義和物理意義；理解依概率收斂；理解離散無記憶信源的漸近等分割性。（3）掌握一階和二階馬爾科夫信源的數(shù)學(xué)模型、性質(zhì)及其熵率的計算方法；掌握離散無記憶信源的漸近等分割性。重點(diǎn)：一階和二階馬爾科夫信源的數(shù)學(xué)模型、性質(zhì)及其熵率的計算方法，離散無記憶信源的漸近等分割性。難點(diǎn)：二階馬爾科夫信源的數(shù)學(xué)模型及其熵率的計算方法，離散無記憶信源的漸近等分割性。習(xí)題課二：講解作業(yè)題、做補(bǔ)充練習(xí)并答疑。課堂測試二：（1）DMS的

8、漸近等分割性，（2）計算二階馬爾科夫信源的熵率。7. 無失真信源編碼理論（4學(xué)時）（1）了解關(guān)于編碼和譯碼的基本概念、信源編碼的數(shù)據(jù)壓縮功能。 （2）理解編碼前信息傳輸率、編碼后信息傳輸率的含義，及其與數(shù)據(jù)壓縮的關(guān)系；理解無失真信源編碼的數(shù)據(jù)壓縮原理；理解香農(nóng)第一定理。 （3）掌握平均碼長、碼率、編碼效率等概念的數(shù)學(xué)定義和物理意義；掌握克萊夫特不等式定理和香農(nóng)第一定理的數(shù)學(xué)內(nèi)容、物理意義及其證明。 重點(diǎn)：碼率的計算公式，香農(nóng)第一定理的數(shù)學(xué)內(nèi)容及其物理意義。難點(diǎn)：應(yīng)用信源的漸近等分割性，解釋數(shù)據(jù)壓縮原理；應(yīng)用香農(nóng)第一定理，解釋數(shù)據(jù)壓縮的極限。研究課題二：無失真信源編碼原理。根據(jù)講義及其它資料，整

9、理出一篇論文，用所學(xué)的信息論知識進(jìn)行解釋。8. 無失真信源編碼方法（6學(xué)時）（1）了解香農(nóng)碼、費(fèi)諾碼的編碼方法及其次優(yōu)性；了解幾種字典碼的編碼和譯碼方法。 （2）理解霍夫曼碼的最優(yōu)性、算術(shù)碼的漸近最優(yōu)性。 （3）掌握霍夫曼碼的編碼方法、算術(shù)碼的編碼和譯碼方法。重點(diǎn)：霍夫曼碼的編碼方法、算術(shù)碼的編碼和譯碼方法。難點(diǎn)：理解霍夫曼碼的最優(yōu)性、算術(shù)碼的漸近最優(yōu)性。研究課題三：改進(jìn)香農(nóng)編碼，或者發(fā)明新的無損壓縮方法。9. 限失真信源編碼（4學(xué)時）（1）了解連續(xù)型信源的數(shù)據(jù)處理和壓縮方法：取樣、量化、編碼。（2）理解失真度、信息率失真函數(shù)等概念。（3）掌握限失真信源編碼模型及其性能指標(biāo)；掌握限失真信源編碼

10、定理的內(nèi)容與意義。重點(diǎn)：限失真信源編碼定理的內(nèi)容與意義。難點(diǎn)：理解失真度、信息率失真函數(shù)等概念。注：這一講屬于選修內(nèi)容，課時不足時講義發(fā)給學(xué)生自學(xué)。10離散信道及其信息容量（4學(xué)時）（1）了解信道的數(shù)學(xué)模型及分類、離散無記憶擴(kuò)展信道及其信道容量。（2）理解平均互信息的上凸性與下凸性；理解信道容量的數(shù)學(xué)定義和物理意義；理解信道疑異度、噪聲熵、信息傳輸率等概念。（3）掌握對稱信道的信息容量的計算方法。重點(diǎn)：信道的信息傳輸率與信道容量的關(guān)系；對稱信道的信息容量的計算方法。難點(diǎn)：理解平均互信息的上凸性與下凸性；理解信道容量的數(shù)學(xué)定義和物理意義。11有噪信道編碼（4學(xué)時）（1）了解信道編碼和譯碼的直觀與

11、數(shù)學(xué)模型、目的；了解香農(nóng)第二定理的證明思路。（2） 理解聯(lián)合典型序列的定義和意義；理解幾個譯碼準(zhǔn)則的含義與意義：最小錯誤概率、最大似然、最小距離；理解信道編碼的糾錯原理。（3）掌握香農(nóng)第二定理的數(shù)學(xué)內(nèi)容和物理含義。重點(diǎn)：最大似然譯碼準(zhǔn)則，平均譯碼錯誤概率，香農(nóng)第二定理的數(shù)學(xué)內(nèi)容和物理含義。難點(diǎn)：理解信道編碼的糾錯原理。研究課題四：信道編碼的糾錯原理。根據(jù)講義及其它資料，整理出一篇論文，用所學(xué)的信息論知識進(jìn)行解釋。12. 習(xí)題課（2學(xué)時）講解全課主要題型及其解法，做練習(xí)并答疑。四、課程考核（1）作業(yè)：15 次，課程論文： 2篇；（2）考核方式：一頁開卷考試（3）總評成績計算方式：課堂紀(jì)律10%，平時測試成績20%，期末考試成績70%五、參考書目1. 信息論論基礎(chǔ)理論與應(yīng)用，電子工