《信息論與編碼》課程教學(xué)大綱

PAGE6PAGE《信息論與編碼》課程教學(xué)大綱一、課程基本信息課程代碼：16052603課程名稱：信息論與編碼英文名稱：InformationTheoryandCoding課程類別：專業(yè)課學(xué)時(shí)：48學(xué)分：3適用對(duì)象:信息與計(jì)算科學(xué)考核方式：考試先修課程：數(shù)學(xué)分析、高等代數(shù)、概率論二、課程簡(jiǎn)介《信息論與編碼》是信息科學(xué)類專業(yè)本科生必修的專業(yè)理論課程。通過本課程的學(xué)習(xí)，學(xué)生將了解和掌握信息度量和信道容量的基本概念、信源和信道特性、編碼理論等，為以后深入學(xué)習(xí)信息與通信類課程、為將來從事信息處理方面的實(shí)際工作打下基礎(chǔ)。本課程的主要內(nèi)容包括：信息的度量、信源和信源熵、信道及信道容量、無失真信源編碼、有噪信道編碼等。InformationTheoryandCodingisacompulsoryprofessionaltheorycourseforundergraduatesininformationscience.Throughthiscourse,studentswillunderstandandmasterthebasicconceptsofinformationmeasurementandchannelcapacity,sourceandchannelcharacteristics,codingtheory,etc.,laythefoundationforthefuturein-depthstudyofinformationandcommunicationcourses,forthefuturetoengageininformationprocessingintheactualwork.Themaincontentsofthiscourseinclude:informationmeasurement,sourceandsourceentropy,channelandchannelcapacity,distortion-freesourcecoding,noisychannelcoding,etc。三、課程性質(zhì)與教學(xué)目的本課程是信息與計(jì)算科學(xué)專業(yè)本科生的專業(yè)必修課。通過本課程的教學(xué)，使學(xué)生初步掌握信息論與編碼的基本概念和方法，理論聯(lián)系實(shí)際，為在當(dāng)前信息時(shí)代中進(jìn)一步學(xué)習(xí)各種通信技術(shù)打下基礎(chǔ)；培養(yǎng)學(xué)生嚴(yán)謹(jǐn)求實(shí)的學(xué)風(fēng)；加深對(duì)基礎(chǔ)理論在現(xiàn)代科技中的作用的認(rèn)識(shí)。四、教學(xué)內(nèi)容及要求第一章緒論目的與要求了解信息的概念介紹信息論的研究對(duì)象、目的和內(nèi)容教學(xué)內(nèi)容第一節(jié)信息的概念主要內(nèi)容信息論的創(chuàng)立、消息和信息的區(qū)別、信息的度量、香農(nóng)信息定義、信源熵等的初步概念?；靖拍詈椭R(shí)點(diǎn)信息、自信息、信息熵問題與應(yīng)用（能力要求）通過了解信息論的創(chuàng)立，討論數(shù)學(xué)對(duì)于信息時(shí)代的重要性，現(xiàn)代科技中隱藏的數(shù)學(xué)技術(shù)。第二節(jié)信息論的研究對(duì)象、目的和內(nèi)容主要內(nèi)容介紹通信系統(tǒng)模型以及它的5個(gè)部分、舉幾個(gè)信息論研究的問題、介紹幾個(gè)成功應(yīng)用信息論的案例，使學(xué)生認(rèn)識(shí)到基礎(chǔ)科學(xué)特別是數(shù)學(xué)對(duì)于當(dāng)今信息時(shí)代很重要，激發(fā)學(xué)生學(xué)習(xí)的熱情?；靖拍詈椭R(shí)點(diǎn)通信系統(tǒng)模型、信源、編碼器、信道、譯碼器、新宿、香農(nóng)信息論三大定理問題與應(yīng)用（能力要求）讓學(xué)生收集信息論在通信中成功應(yīng)用的案例。思考與實(shí)踐信號(hào)、消息、信息三者的關(guān)系；隨機(jī)性與信息量的關(guān)系教學(xué)方法與手段課堂講授結(jié)合多媒體教學(xué)第二章信息的度量（一）目的與要求1.理解自信息、互信息、平均自信息、平均互信息的定義2.掌握各種信息度量方式的關(guān)系（二）教學(xué)內(nèi)容第一節(jié)自信息和互信息1.主要內(nèi)容自信息的公理化條件、自信息的數(shù)學(xué)定義和實(shí)際含義、互信息的定義和實(shí)際含義2.基本概念和知識(shí)點(diǎn)自信息量、條件自信息、互信息3.問題與應(yīng)用（能力要求）從公理化條件引出自信息量的定義，讓學(xué)生感受到數(shù)學(xué)看似抽象，但也是有本之木，領(lǐng)略邏輯思維的美第二節(jié)平均自信息1.主要內(nèi)容平均自信息的概念、熵函數(shù)的性質(zhì)、聯(lián)合熵與條件熵2.基本概念和知識(shí)點(diǎn)信息熵的定義、熵函數(shù)的8條性質(zhì)、聯(lián)合熵和條件熵的定義、計(jì)算公式，熵函數(shù)的鏈規(guī)則3.問題與應(yīng)用（能力要求）思考熵的物理含義和信息論中的含義第三節(jié)平均互信息1.主要內(nèi)容平均互信息的概念、性質(zhì)，數(shù)據(jù)處理定理2.基本概念和知識(shí)點(diǎn)平均互信息的定義、計(jì)算公式，平均互信息的5條性質(zhì)，數(shù)據(jù)處理定理的實(shí)際含義3.問題與應(yīng)用（能力要求）從數(shù)據(jù)處理定理我們可以體會(huì)實(shí)踐出真知這個(gè)道理（三）思考與實(shí)踐信息熵、聯(lián)合熵、條件熵的關(guān)系（四）教學(xué)方法與手段課堂講授結(jié)合多媒體教學(xué)第三章信源及信源熵（一）目的與要求1.理解信源的數(shù)學(xué)建模問題2.理解怎樣定量描述信源輸出信息的能力（二）教學(xué)內(nèi)容第一節(jié)信源的分類及其數(shù)學(xué)模型1.主要內(nèi)容信源的幾種分類方式及數(shù)學(xué)描述2.基本概念和知識(shí)點(diǎn)信源分類表3.問題與應(yīng)用（能力要求）無第二節(jié)離散單符號(hào)信源1.主要內(nèi)容離散單符號(hào)信源的數(shù)學(xué)表示、信息熵2.基本概念和知識(shí)點(diǎn)離散單符號(hào)信源的定義、概率空間3.問題與應(yīng)用（能力要求）離散單符號(hào)信源與隨機(jī)變量的關(guān)系第三節(jié)離散多符號(hào)信源1.主要內(nèi)容離散多符號(hào)信源的數(shù)學(xué)表達(dá)，離散平穩(wěn)信源的嚴(yán)格數(shù)學(xué)定義，熵率,離散平穩(wěn)無記憶信源，離散平穩(wěn)有記憶信源，馬爾可夫信源，信源的相關(guān)性和剩余度2.基本概念和知識(shí)點(diǎn)離散多符號(hào)信源的表示，離散平穩(wěn)信源的定義及性質(zhì)，熵率的定義，離散平穩(wěn)無記憶信源的數(shù)學(xué)表達(dá)，熵函數(shù)的鏈規(guī)則，定理3.1，熵率的兩種計(jì)算公式，m階馬爾科夫信源，信源剩余度的計(jì)算3.問題與應(yīng)用（能力要求）通過信源剩余度的概念初步理解信息壓縮的原理（三）思考與實(shí)踐熵率與信息壓縮的關(guān)系（四）教學(xué)方法與手段課堂講授結(jié)合多媒體教學(xué)第四章信道及信道容量（一）目的與要求1.理解信道的數(shù)學(xué)模型2.理解信道容量的定義，并會(huì)計(jì)算簡(jiǎn)單信道的容量（二）教學(xué)內(nèi)容第一節(jié)信道的分類1.主要內(nèi)容信道的數(shù)學(xué)模型和幾種分類方法2.基本概念和知識(shí)點(diǎn)信道模型的三元組、信道的不同分類方式3.問題與應(yīng)用（能力要求）無第二節(jié)離散單符號(hào)信道及其信道容量1.主要內(nèi)容離散單符號(hào)信道的數(shù)學(xué)模型，二元對(duì)稱信道，信道矩陣，輸入輸出分布與信道矩陣的關(guān)系，信道容量的定義，幾種特殊信道的信道容量計(jì)算，離散對(duì)稱信道的信道容量，一般離散信道的信道容量，信道容量定理2.基本概念和知識(shí)點(diǎn)信道矩陣，信道疑義度，信息傳輸率，信道容量，定理4.1，一般離散信道的信道容量計(jì)算思想，定理4.33.問題與應(yīng)用（能力要求）信道容量與輸入分布和信道矩陣的關(guān)系（三）思考與實(shí)踐為什么說信道容量是由信道的統(tǒng)計(jì)特性決定的？（四）教學(xué)方法與手段課堂講授結(jié)合多媒體教學(xué)第五章無失真信源編碼（一）目的與要求1.掌握信源編碼的數(shù)學(xué)模型2.理解各種類型的碼以及判別方法3.掌握定長(zhǎng)信源編碼定理及應(yīng)用4.理解變長(zhǎng)信源編碼的兩個(gè)不等式以及應(yīng)用（二）教學(xué)內(nèi)容第一節(jié)信源編碼的相關(guān)概念1.主要內(nèi)容信源編碼的數(shù)學(xué)模型，N次擴(kuò)展碼2.基本概念和知識(shí)點(diǎn)信源符號(hào)集，碼符號(hào)集，碼，碼長(zhǎng)，擴(kuò)展碼，碼的分類，樹圖，3.問題與應(yīng)用（能力要求）應(yīng)用樹圖構(gòu)造即時(shí)碼第二節(jié)定長(zhǎng)碼及定長(zhǎng)信源編碼定理1.主要內(nèi)容唯一可譯定長(zhǎng)碼存在的必要條件，提高定長(zhǎng)碼傳輸效率的方法，碼符號(hào)長(zhǎng)度的理論下限，給定條件下信源序列長(zhǎng)度的下限2.基本概念和知識(shí)點(diǎn)唯一可譯定長(zhǎng)碼存在的條件，定長(zhǎng)信源編碼定理，信源序列最短長(zhǎng)度的計(jì)算公式3.問題與應(yīng)用（能力要求）要實(shí)現(xiàn)幾乎無失真的定長(zhǎng)編碼，信源序列長(zhǎng)度最小要達(dá)到多少？第三節(jié)變長(zhǎng)碼及變長(zhǎng)信源編碼定理1.主要內(nèi)容即時(shí)碼和唯一可譯碼存在的充要條件，唯一可譯碼的判別準(zhǔn)則2.基本概念和知識(shí)點(diǎn)Kraft不等式和McMillan不等式，唯一可譯碼的判別準(zhǔn)則3.問題與應(yīng)用（能力要求）應(yīng)用兩個(gè)不等式判別是否存在即時(shí)碼和唯一可譯碼（三）思考與實(shí)踐為什么定長(zhǎng)碼的傳輸效率很低？（四）教學(xué)方法與手段課堂講授結(jié)合多媒體教學(xué)五、各教學(xué)環(huán)節(jié)學(xué)時(shí)分配教學(xué)環(huán)節(jié)教學(xué)時(shí)數(shù)課程內(nèi)容講課習(xí)題課討論課實(shí)驗(yàn)實(shí)習(xí)其他教學(xué)環(huán)節(jié)小計(jì)第一章22第二章10212第三章10212第四章8210第五章10212合計(jì)40848六、課程考核（一