《信息論與編碼》課程教學(xué)大綱（本科）

1、信息論與編碼(Information Theory and Coding)課程代碼：05410081學(xué) 分：2學(xué) 時：32（其中：課堂教學(xué)學(xué)時：28實驗學(xué)時：0上機學(xué)時：4課程實踐學(xué)時:0 ） 先修課程：概率統(tǒng)計、高等數(shù)學(xué)、線性代數(shù)適用專業(yè)：電子信息工程教 材：信息論（第4版）-基礎(chǔ)理論與應(yīng)用.傅祖蕓.電子工業(yè)出版社.2016年 6月第3次印刷一、課程性質(zhì)與課程目標(biāo)（-）課程性質(zhì)信息論與編碼是電子信息工程專業(yè)的一門重要的專業(yè)基礎(chǔ)理論必修課程，是電子信 息類學(xué)科及相關(guān)專業(yè)的必修課程之一，是應(yīng)用近代概率統(tǒng)計方法研究信息傳輸、交換、存儲 和處理的一門學(xué)科，也是源于通信實踐開展起來的一門新興應(yīng)用科學(xué)，

2、指出了通信工程的一 般性規(guī)律和理論極限，它對實際通信系統(tǒng)的設(shè)計產(chǎn)生了深刻的影響。該課程涉及線性代數(shù)、 數(shù)學(xué)分析、概率統(tǒng)計、隨機過程等先修課程，通過學(xué)習(xí)本課程，學(xué)生系統(tǒng)地了解了信息論基 礎(chǔ)和編碼理論，能夠?qū)π畔⒘窟M行定量的計算，解決通信的有效性和可靠性，學(xué)生還可以用 信息論的方法宏觀地認(rèn)識問題，培養(yǎng)學(xué)生分析問題、解決問題的能力。隨著信息處理技術(shù)的 不斷深入應(yīng)用，信息在科學(xué)技術(shù)上的重要性早已超越了狹義的通信工程的范疇，滲透到自然 科學(xué)與社會科學(xué)的所有領(lǐng)域，與電子技術(shù)、計算機網(wǎng)絡(luò)、信息平安、自動控制、生物醫(yī)學(xué)工 程、遺傳工程、人工智能等學(xué)科密切結(jié)合，受到各領(lǐng)域越來越多的關(guān)注，顯示出它的勃勃生 機和不

3、可估量的開展前景，該門課程的學(xué)習(xí)為后續(xù)專業(yè)課程的學(xué)習(xí)打下了堅實的理論基礎(chǔ)。（二）課程目標(biāo)信息論與編碼課程主要介紹經(jīng)典信息論的內(nèi)容。介紹信息的定義、研究信息的測度、 信道容量及信源和信道編碼理論等問題，簡單介紹信息傳輸和處理的問題，掌握最經(jīng)典的編 碼方法。課程目標(biāo)包括知識目標(biāo)和能力目標(biāo)，具體如下：課程目標(biāo)（知識目標(biāo)）1:掌握信息的香農(nóng)定義、信息論研究的目的及其內(nèi)容。掌握信 源的數(shù)學(xué)建模，信源的分類及信源信息嫡的計算。掌握信源信道的數(shù)學(xué)建模及信道容量的計 算，了解信源和信道的匹配問題。課程目標(biāo)（知識目標(biāo)）2： 了解無失真信源編碼定理、有噪信道編碼定理和限失真信源 編碼定理這香農(nóng)三大定理，了解網(wǎng)絡(luò)信

4、息論和保密系統(tǒng)的基本信息理論。課程目標(biāo)（知識目標(biāo)）3：能夠針對不同的信源選擇不同的編碼方法，能夠找到最正確碼,能夠計算出編碼的理論極限。能夠利用所學(xué)知識提高信息傳輸?shù)挠行院涂煽啃?。課程目標(biāo)（能力目標(biāo)）4：能夠理解并掌握信息論研究的原理和方法，并能應(yīng)用于多交 叉學(xué)科中，解決實際問題，上機過程中多注意培養(yǎng)學(xué)生的實際操作能力。課程目標(biāo)（能力目標(biāo)）5：能夠具有自主學(xué)習(xí)和終身學(xué)習(xí)的意識，有不斷學(xué)習(xí)和適應(yīng)發(fā) 展的能力，能夠深入學(xué)習(xí)工程信息論和信息科學(xué)的相關(guān)內(nèi)容。（三）課程目標(biāo)與專業(yè)畢業(yè)要求指標(biāo)點的對應(yīng)關(guān)系本課程支撐專業(yè)培養(yǎng)計劃中的畢業(yè)要求指標(biāo)點1-5。畢業(yè)要求1-5.掌握信息傳輸、處 理等方向的專業(yè)知識

5、，能夠用于解決復(fù)雜電子信息工程問題的分析、建模和求解。果程目標(biāo) 畢業(yè)要求指課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3課程目標(biāo)4課程目標(biāo)5畢業(yè)要求1-5二、課程的內(nèi)容及教學(xué)要求（-）緒論1.教學(xué)內(nèi)容（1）信息的概念；（2）信息論研究的對象、目的和內(nèi)容；（3）信息論開展簡史與信息科學(xué)；.教學(xué)要求了解信息論研究對象、目的、開展簡史與現(xiàn)狀；了解通信系統(tǒng)的模型以及通信系統(tǒng)各局部的主要組成以及作用;.重難點（1）重點是學(xué)習(xí)本課程的幾個基礎(chǔ)概念；（2）難點是理解信息的概念、概率空間與信息空間的關(guān)系；（二）離散信源及其信息測度.教學(xué)內(nèi)容（1）信源的數(shù)學(xué)模型及分類（2）離散信源的信息增（3）信息焙的基本性質(zhì)及其最大焙離散牖

6、定理（4）離散無記憶的擴展信源定義與燧（5）離散平穩(wěn)信源定義、聯(lián)合牖、條件燧以及極限嫡（6）馬爾可夫信源定義、馬爾可夫信源增，狀態(tài)轉(zhuǎn)移圖（7）信源剩余度與自然語言的熠.教學(xué)要求（1） 了解信源的數(shù)學(xué)模型、離散無記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論;（2）理解信源的相關(guān)性和剩余度的概念；（3）掌握各類信源信息燧的計算并能應(yīng)用于實際中3.重難點（1）重點是研究信源的統(tǒng)計特性和數(shù)學(xué)模型，以及各類離散信源的信息測度一一燧及 其性質(zhì)；（2）理解信息理論的一些基本概念和重要結(jié)論（3）難點是求解離散信源的信息崎并用于實際生活中；（三）離散信道及其信道容量1.教學(xué)內(nèi)容（1）信道的數(shù)學(xué)模型及分類；（2）

7、信道疑義度、互信息和平均互信息及其特性，平均條件互信息；（3）信道容量及其一般計算方法；（4）離散無噪信道及信道容量，對稱離散信道、準(zhǔn)對稱信道的容量計算；（5）離散無記憶擴展信道及其容量；（6）信源與信道的匹配；2.教學(xué)要求（1）了解一般信道容量計算；（2）掌握信道的數(shù)學(xué)模型，離散無記憶信道以及一些特殊信道容量的計算方法；3.重點與難點（1）重點是理解離散信道的統(tǒng)計特性和數(shù)學(xué)模型，無記憶、無反應(yīng)、固定參數(shù)的離散 信道的計算；（2）難點是定量地研究信道傳輸?shù)钠骄バ畔⒓捌湫再|(zhì)，并熟練計算五種特殊信道的 信道容量；（四）無失真信源編碼1.教學(xué)內(nèi)容（1）編碼器的概念、碼的定義，等長碼及等長信源編碼定

8、理，編碼效率；（2）唯一可譯碼定義及其判斷方法，即時碼的樹圖法構(gòu)造、Kraft不等式、緊致碼，變 長信源編碼定理；（3）霍夫曼編碼、費諾碼、游程編碼、算術(shù)碼和其他一些編碼方法；2.教學(xué)要求（1）了解其它一些無失真信源編碼方法；（2）理解無失真信源編碼定理（3）掌握編碼的定義、碼的分類、最正確編碼方法、哈夫曼編碼方法、熟練使用唯一可譯碼的判斷法;3.重點與難點(1)重點是掌握離散信源無失真編碼的要求、方法及理論極限；(2)難點是理解無失真信源編碼定理并加深對嫡的物理意義的理解；(五)有噪信道編碼.教學(xué)內(nèi)容(1)錯誤概率與譯碼規(guī)那么和編碼方法；(2)有噪信道編碼定理；(3)糾錯碼;.教學(xué)要求(1)

9、了解檢錯碼與糾錯碼的方法；(2)理解糾錯碼的分類，分組碼的最小距離與檢、糾錯能力，分組碼的碼率，線性分 組碼的特性，生成矩陣和一致監(jiān)督矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼、卷 積碼及其構(gòu)造方法。；(2)掌握最小錯誤譯碼準(zhǔn)那么，最大似然譯碼準(zhǔn)那么，最小距離譯碼準(zhǔn)那么及其之間相互關(guān) 系，平均譯碼錯誤概率，錯誤概率與譯碼規(guī)那么和編碼方法關(guān)系，信道編碼的編、譯碼基本準(zhǔn) 那么。有噪離散信道的編碼定理，過失控制與信道編譯碼的基本原理，線性分組碼，卷積碼, 網(wǎng)絡(luò)編碼調(diào)制與級聯(lián)碼；.重點與難點(1)重點理解有噪信道編碼定理，掌握信道糾錯編碼的一些最基本得概念和基本的方 法；(2)難點是掌握最小錯誤譯

10、碼準(zhǔn)那么，最大似然譯碼準(zhǔn)那么，最小距離譯碼準(zhǔn)那么及其之間 相互關(guān)系，平均譯碼錯誤概率，錯誤概率與譯碼規(guī)那么和編碼方法關(guān)系，信道編碼的編、譯碼 基本準(zhǔn)那么，；(六)限失真信源編碼.教學(xué)內(nèi)容(1)波形信源和連續(xù)信源的定義和信息測度；(2)連續(xù)信道和波形信道的分類；(3)連續(xù)信道和波形信道的信息容量；(4)失真度與平均失真度，D失真許可試驗信道；(5)信息率失真函數(shù)R (D)的定義，離散信源的R (D)函數(shù)，高斯連續(xù)信源的R (D) 函數(shù)，R (D)的定義域和單調(diào)性等性質(zhì)；(6)失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實用意義.教學(xué)要求（1） 了解連續(xù)信源和波形信源的信息測度，連續(xù)信道和波

11、形信道的分類，連續(xù)信源熠 的變換，連續(xù)信道和波形信道的信道容量的計算方法，了解保真度準(zhǔn)那么下的信源編碼定理;（2）掌握波形信源和連續(xù)信源的信息測度；（3）掌握失真度與平均失真度，信息率失真函數(shù)與特性，R （D）函數(shù)的參數(shù)表述及其 計算；3.重點與難點（1）重點是掌握信息率失真理論的基本內(nèi)容，離散信源的信息率失真函數(shù)的計算；（2）難點是理解差牖的概念和保真度準(zhǔn)那么下的信源編碼定理；（七）密碼學(xué).教學(xué)內(nèi)容（1）保密學(xué)的基本概念；（2）保密系統(tǒng)的數(shù)學(xué)模型；（3）古典密碼體制；.教學(xué)要求了解密碼學(xué)的開展；（2）掌握密碼學(xué)中的基本概念；（3）掌握一些古典密碼體制；（4） 了解現(xiàn)在被廣泛使用的數(shù)據(jù)加密標(biāo)準(zhǔn)

12、DES的設(shè)計思想3.重點與難點（1）重點是掌握保密系統(tǒng)的數(shù)學(xué)模型和一些古典密碼體制；（2）難點是；信息論在保密學(xué)中的應(yīng)用；三、本課程開設(shè)的上機工程編號上機工程名稱學(xué)時類型要求支撐的課程目標(biāo)1無失真信源編碼2驗證性必做課程目標(biāo)52編碼傳輸及誤碼測試2綜合性必做課程目標(biāo)5上機1：無失真信源編碼.上機目的及要求1）通過實驗熟悉編碼基本原理。2）熟悉典型信源編碼的調(diào)制和質(zhì)量要求。3）熟悉語音編碼的實現(xiàn)過程和傳輸。4）熟悉軟件編程。.上機主要內(nèi)容1）編碼調(diào)制的實現(xiàn);2）典型編碼實現(xiàn)，觀察編碼相關(guān)參數(shù)和波形；3）語音編碼傳輸?shù)膶崿F(xiàn)。.重難點語音編碼傳輸。上機2.編碼傳輸及誤碼測試.上機目的及要求1）掌握編

13、碼傳輸?shù)膶崿F(xiàn)和傳輸過程。2）掌握誤碼測試儀器的使用。.上機主要內(nèi)容1）傳輸網(wǎng)絡(luò)的連接；2）編碼的產(chǎn)生和傳輸；3）熟悉誤碼測試儀器的使用方法；4）利用誤碼測試儀進行誤碼的測試。.重難點誤碼測試以及編碼傳輸?shù)挠绊懸蛩亍Ｗⅲ罕菊n程為專業(yè)課，授課對象為大三學(xué)生，實驗類型主耍包括驗證性和綜合性實驗, 均需要提交實驗報告，實驗報告主要包括實驗?zāi)康摹⒁蠛蛢?nèi)容，數(shù)據(jù)的分析以及思考題的 回答。實驗評價內(nèi)容和評分細(xì)那么參見附錄1。四、學(xué)時分配及教學(xué)方法章教學(xué)形式及學(xué)時分配主要教學(xué)方法支撐的課程目 標(biāo)課堂 教學(xué)實驗上機課程 實踐小計第1章緒論22講授、案例、演示、討論課程目標(biāo)1、5第2章離散信源及其信 息測度（波

14、形信源）77講授、演示、案例、 比照、自學(xué)課程目標(biāo)1第3章離散信道及其信道 容量（波形信道）55講授、演示、討論、比照、自學(xué)課程目標(biāo)1第5章無失真信源編碼定 理44講授、自學(xué)課程目標(biāo) 2第6章有噪信道編碼定理44講授、自學(xué)課程目標(biāo) 2第7章保真度準(zhǔn)那么卜的信 源編碼11講授、自學(xué)課程目標(biāo)2第8章 無失真的信源編碼123講授、討論、自學(xué)、 上機課程目標(biāo) 3第9章信道的糾錯編碼123講授、上機、自學(xué)課程目標(biāo)3第10章保密系統(tǒng)的基本 信息理論22講授、自學(xué)課程目標(biāo)3第12章信息論與其他學(xué) 科的關(guān)系和應(yīng)用11講授、自學(xué)4、5合計28432五、課程考核1.課程考核方式包括期末考試、平時作業(yè)及階段測試情況

15、考核（其中包括筆記、大作 業(yè)等）和實驗情況考核?？己诵问娇己艘罂己藱?quán)重備注平時作業(yè) 及階段測 試課后完成近10個習(xí)題，主要考核學(xué)生對每節(jié)課知識點 的復(fù)習(xí)、理解和掌握度，計算全部作業(yè)的平均成績再按 15%計入總成績；可讓學(xué)生查閱資料，了解本課程相關(guān) 技術(shù)開展情況，自主學(xué)習(xí)并完成。15%根據(jù)平時作業(yè)得 分取平均值或結(jié) 合平時測試情況上機完成2個上機，主要訓(xùn)練學(xué)生應(yīng)用所學(xué)知識構(gòu)建實驗系 統(tǒng)，并進行實驗的能力，最后按15%計入課程總成績。15%評分細(xì)那么見附錄1期末考試試卷題型包括填空題、選擇題、判斷改錯題、簡答題、 分析題和計算題6大類，以卷面成績的70%計入課程總 成績。其中考核經(jīng)典信息論原理及

16、應(yīng)用基礎(chǔ)知識及應(yīng)用 能力的題占90%；考核能針對個人或職業(yè)開展的需求， 采用合適的方法，自主學(xué)習(xí)，適應(yīng)開展占比10%。70%期末考試采用閉 卷筆試。六、參考書目及學(xué)習(xí)資料.信息論與編碼（第3版）,曹雪虹.張宗橙.北京:清華大學(xué)出版社,2016.信息論與編碼理論：劍橋大學(xué)真題精解.馬克凱爾伯特 北京:機械工業(yè)出版社,2017.信息論與編碼（第4版）.孫麗華.北京：電子工業(yè)出版社.2016.七、大綱說明.主要采用多媒體教學(xué)手段，主要知識點板書與多媒體相結(jié)合，多種教學(xué)手段綜合運用。.課后共需完成近10道習(xí)題作業(yè)，以評價學(xué)生對所學(xué)內(nèi)容的理解和應(yīng)用情況。建議利用網(wǎng) 絡(luò)教學(xué)平臺自學(xué)相關(guān)內(nèi)容。2017年09月18日附錄1:上機考核方式及評分細(xì)那么本上機以考查為主，考核的內(nèi)容包括上機過程的表現(xiàn)（其中包含分析與解決問題的能 力）、上機報告的質(zhì)量等。分析與解決問題的能力采用提問和現(xiàn)場操作的方式進行。上機成 績中出勤、預(yù)習(xí)占10%,上機過程表現(xiàn)占60%、上機報告及思考題占30%。成績組成考核/評價環(huán)節(jié)分值考核/評價細(xì)那么對應(yīng)的畢業(yè) 要求指標(biāo)點出勤、預(yù) 習(xí)10%出勤狀況， 預(yù)習(xí)評價1