信息論與編碼教學(xué)大綱

信息論與編碼教學(xué)大綱課程名稱：信息論與編碼課程編號：176405英文名稱：InformationTheoryandCoding課程性質(zhì)：獨(dú)立設(shè)課課程屬性：專業(yè)限選課應(yīng)開學(xué)期：第6學(xué)期學(xué)時學(xué)分：課程總學(xué)時---48，其中實(shí)驗(yàn)學(xué)時---0。課程總學(xué)分---3學(xué)生類別：本科生適用專業(yè)：自動化、電氣工程及其自動化、電子信息工程、電子信息科學(xué)與技術(shù)、電子科學(xué)與技術(shù)、通信工程、計(jì)算機(jī)等專業(yè)的學(xué)生。先修課程：大學(xué)物理，電路，通信原理等課程。一、教學(xué)目的和要求《信息論基礎(chǔ)》是信息與計(jì)算科學(xué)專業(yè)的一門專業(yè)必修課。香農(nóng)信息論是本課程的核心。通過對本課程的學(xué)習(xí)，要求學(xué)生掌握信息論的基本理論和概念，如熵，互信息熵，自信息量等。掌握信息的在信息論角度的定義，統(tǒng)計(jì)度量，以及離散信源；掌握離散信道有關(guān)信息論理論，掌握信源編碼方法，如香農(nóng)編碼方法，費(fèi)諾編碼方法，Huffman編碼等基本原理和具體實(shí)現(xiàn)方法。為進(jìn)一步學(xué)習(xí)打下堅(jiān)實(shí)基礎(chǔ)。這些內(nèi)容不僅是近代信息處理的基礎(chǔ)，具有深刻而有嚴(yán)格的數(shù)學(xué)描述和證明，而且可以看到數(shù)學(xué)理論在通信技術(shù)和通信工程專業(yè)中的重要作用，也可以看到數(shù)學(xué)理論與這些技術(shù)與工程問題的結(jié)合過程。二、教學(xué)中應(yīng)注意的問題在課堂教學(xué)中，教師應(yīng)精心組織教學(xué)內(nèi)容。在宏觀上，應(yīng)引導(dǎo)學(xué)生對課程內(nèi)容的總體把握，使學(xué)生能夠觸類旁通；在微觀上，應(yīng)啟發(fā)學(xué)生能夠從教學(xué)概念、物理概念及工程概念去分析問題，解決問題。三、教學(xué)內(nèi)容與課時分配(48課時)概論（2課時）課程的教學(xué)內(nèi)容1.1信息的一般概念1.2信息的分類1.3信息論的起源、發(fā)展及研究內(nèi)容重點(diǎn)和難點(diǎn)深刻理解與熟練掌握的重點(diǎn)內(nèi)容有：信息論的形成和發(fā)展，信息的概念，信息、信號、消息、數(shù)據(jù)的關(guān)系與聯(lián)系；通信系統(tǒng)的模型。

要求一般理解與熟練掌握的內(nèi)容有：信息論綜觀，信息的定義。難點(diǎn)：對信息的理解。第二章信源熵（12課時）課程的教學(xué)內(nèi)容2.1單符號離散信源2.1.1單符號離散信源的數(shù)學(xué)模型2.1.2自信息和信源熵2.1.3信源熵的基本性質(zhì)和定理2.1.5平均互信息量2.1.6各種熵之間的關(guān)系2.2多符號離散平穩(wěn)信源2.2.1序列信息的熵2.2.2離散平穩(wěn)信源的數(shù)學(xué)模型2.2.3離散平穩(wěn)信源的信源熵和極限熵2.2.4馬爾可夫信源2.2.5信源冗余度及信息變差2.3連續(xù)信源2.3.1連續(xù)信源的熵2.3.2幾種特殊連續(xù)信源的熵2.3.3連續(xù)熵的性質(zhì)及最大連續(xù)熵定理2.4離散無失真信源編碼定理重點(diǎn)和難點(diǎn)深刻理解與熟練掌握的重點(diǎn)內(nèi)容有：信源的描述和分類，離散信源熵和互信息，連續(xù)信源熵和互信息，離散序列信源的熵。

要求一般理解與熟練掌握的內(nèi)容有：聯(lián)合熵和最大熵定理。定長編碼定理，變長編碼定理。

難點(diǎn)：對各種信源的熵的計(jì)算。定長編碼定理，變長編碼定理的證明。

第三章信道容量（6課時）課程的教學(xué)內(nèi)容3.1信道的數(shù)學(xué)模型和分類3.2單符號離散信道的信道容量3.2.1信道容量的定義3.2.2幾種特殊離散信道的信道容量3.2.3離散信道容量的一般計(jì)算方法3.3多符號離散信道3..3.1多符號離散信道的數(shù)學(xué)模型3.3.2離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量3.4多用戶信道【選講】3.4.1多址接入信道3.4.2廣播信道3.4.3相關(guān)信源的多用戶信道問題3.5連續(xù)信道3.6信道編碼定理重點(diǎn)和難點(diǎn)

深刻理解與熟練掌握的重點(diǎn)內(nèi)容有：信道的數(shù)學(xué)模型，各種離散信道的信道容量的計(jì)算。

要求一般理解與熟練掌握的內(nèi)容有：信道編碼定理。難點(diǎn)：各種離散信道的信道容量的計(jì)算。第四章信息率失真函數(shù)（6課時）課程的教學(xué)內(nèi)容4.1基本概念4.1.1失真函數(shù)與平均失真度4.1.2信息率失真函數(shù)的定義4.1.3信息率失真函數(shù)的性質(zhì)4.2離散信源的信息率失真函數(shù)【選講】4.2.1離散信源信息率失真函數(shù)的參量表達(dá)式4.2.2二元及等概率離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)【選講】4.3.1連續(xù)信源信息率失真函數(shù)的參量表達(dá)式4.3.2高斯信源的信息率失真函數(shù)4.3.3信息率失真函數(shù)與信息價值4.3.4信道容量與信息率失真函數(shù)的比較4.4保真度準(zhǔn)則下的信源編碼定理重點(diǎn)和難點(diǎn)深刻理解與熟練掌握的重點(diǎn)內(nèi)容有：平均失真和信息率失真函數(shù)R(D)的定義域和單調(diào)性等性質(zhì)。要求一般理解與熟練掌握的內(nèi)容有：限失真信源編碼定理

難點(diǎn)：信息率失真函數(shù)R(D)的計(jì)算第五章信源編碼（8課時）課程的教學(xué)內(nèi)容5.1離散信源編碼 5.1.1碼字唯一可譯的條件 5.1.2香農(nóng)編碼 5.1.3費(fèi)諾編碼 5.1.4赫夫曼編碼 5.1.5游程編碼 5.1.6冗余位編碼5.2連續(xù)信源編碼【選講】 5.2.1最佳標(biāo)量量化 5.2.2矢量量化5.3相關(guān)信源編碼【選講】 5.3.1預(yù)測編碼 5.3.2差值編碼5.4變換編碼【選講】 5.4.1子帶編碼 5.4.2小波變換重點(diǎn)和難點(diǎn)理解等長編碼定理、變長編碼定理、碼樹圖、平均碼長、編碼效率、均勻量化和非均勻量化的基本思路，掌握香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼方法。難點(diǎn)：定長編碼定理和變長編碼定理的含義。第六章信道編碼（14課時）課程的教學(xué)內(nèi)容6.1信道編碼的概念 6.1.1信道編碼的作用與分類 6.1.2編碼信道 6.1.3檢錯與糾錯原理 6.1.4檢錯與糾錯方式和能力6.2線性分組碼 6.2.1線性分組碼的矩陣描述 6.2.2線性分組碼的譯碼 6.2.3碼例與碼的重構(gòu)6.3循環(huán)碼 6.3.1循環(huán)碼的定義與描述 6.3.2循環(huán)碼的生成矩陣 6.3.3系統(tǒng)循環(huán)碼 6.3.4多項(xiàng)式運(yùn)算電路 6.3.5循環(huán)碼編碼電路 6.3.6循環(huán)碼的伴隨多項(xiàng)式與檢錯 6.3.7BCH碼與RS碼【選講】6.4卷積碼 6.4.1卷積碼的矩陣描述 6.4.2卷積碼的多項(xiàng)式描述 6.4.3卷積碼的狀態(tài)轉(zhuǎn)移圖與柵格描述 6.4.4維特比(Viterbi)譯碼算法重點(diǎn)和難點(diǎn)三種典型的譯碼規(guī)則、線性分組碼、循環(huán)碼的生成矩陣和編碼電路、卷積碼的四種描述方法和維特比譯碼算法。要求一般理解與熟練掌握的內(nèi)容有：掌握信道編碼的作用和分類、突發(fā)錯誤和隨機(jī)錯誤、奇偶校驗(yàn)碼，重復(fù)消息位編碼，漢明距離及糾檢錯能力，掌握最小錯誤概率譯碼準(zhǔn)則、極大似然譯碼準(zhǔn)則、最小距離譯碼準(zhǔn)則、信道編碼的原則以及抗干擾信道編碼定理、糾錯碼及糾錯能力、線性分組碼、漢明碼、循環(huán)碼的定義和描述、循環(huán)碼的生成矩陣和編碼電路、系統(tǒng)循環(huán)碼、、卷積碼的四種描述方法和維特比譯碼算法。難點(diǎn)：線性分組碼的生成矩陣、循環(huán)碼和卷積碼。四、課程考核辦法1.考核方式：閉卷考試2.成績構(gòu)成：卷面分?jǐn)?shù)占80％，平時考核占20