信息論與編碼教學大綱

本文格式為Word版，下載可任意編輯——信息論與編碼教學大綱《信息論與編碼》教學大綱

電子信息工程專業(yè)（本科）

課程編號：（）

課程名稱：信息論與編碼參考學時：52其中試驗或上機學時：0

說明部分

1．課程性質(zhì)

本課程是電子信息類專業(yè)的技術(shù)基礎(chǔ)課2．課程教學的目的及意義

人類社會的生存和發(fā)展無時無刻都離不開信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀――高度信息化時代，信息的重要性更是不言而喻。信息業(yè)的發(fā)展，需要大量從事信息、通信、電子工程類專業(yè)的人才，而《信息論和編碼》課程為電子信息工程學科的基礎(chǔ)課，同時也可作為信息科學其它相關(guān)學科的選修課，把握它，可以指導理論研究和工程應(yīng)用。

本課程重視基本概念、基本理論和基本分析方法的論述，并結(jié)合實例建立數(shù)學模型，給出推演過程，力求物理概念明了、數(shù)學結(jié)構(gòu)嚴謹和完整、逐步深入展開。通過該課程的學習，使學生把握香農(nóng)信息論的三個基本概念，與之相應(yīng)的三個編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養(yǎng)學生能夠適應(yīng)數(shù)字通信、信息處理、信息安全、計算機信息管理等編碼工作的要求。使學生把握信息理論的基本概念和信息分析方法及主要結(jié)論，為今后從事信息領(lǐng)域的科研和工程工作進一步研究打下堅實的理論基礎(chǔ)。3．教學內(nèi)容及教學要求

該課程是電子信息工程、信息安全工程專業(yè)的專業(yè)課。是為了適應(yīng)數(shù)字通信、信息處理和信息安全等方面的專業(yè)需要開設(shè)。該課程著重介紹信息論應(yīng)用概率論、隨機過程和現(xiàn)代數(shù)理統(tǒng)計方法，研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性，實現(xiàn)信息系統(tǒng)的最優(yōu)化。

信息論是現(xiàn)代通信與信息工程的理論基礎(chǔ)，主要內(nèi)容包括：信息的定義和測度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數(shù)據(jù)處理和信息測量理論；信息率失真函數(shù)和數(shù)據(jù)壓縮原理；離散信源無失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學基本要求：

了解通信系統(tǒng)各部分的主要組成以及作用、香農(nóng)的三大編碼定理；

把握各類離散信源和信息熵、信道及其信道容量、信息率失真函數(shù)和數(shù)據(jù)壓縮原理、離常用的無失真信源編碼方法、糾錯碼基本思想及常用的糾錯編碼方法。4.教學重點、難點教學重點：

信息以及失真的測度、信道及信道容量、無失真信源編碼方法以及有噪信道編碼方法。教學難點：

?典型序列以及由此推導出的香農(nóng)三大編碼定理及其逆定理。

1

5.教學方法及教學手段

課堂講學為主，習題講解為輔。6.教學學材及主要參考書

1.傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》，北京：電子工業(yè)出版社，2023年2.姜丹，《信息論與編碼》，合肥，中國科學技術(shù)大學出版社，2023年3.曹雪虹，張宗橙，信息論與編碼，北京，清華大學出版社，2023年7.其它

考核形式：考試（筆試），教學環(huán)境：課堂

本課程應(yīng)開設(shè)在概率論與隨機過程等數(shù)學學科信號與系統(tǒng)之后，是數(shù)字圖像處理的基礎(chǔ)課程。

總學時數(shù)

課程總學時數(shù)：52

其中，課堂講授：46作業(yè)：6

二、正文部分第一章：緒論

一、教學要求

了解信息論研究對象、目的、發(fā)展簡史與現(xiàn)狀；

了解通信系統(tǒng)的模型以及通信系統(tǒng)各部分的主要組成以及作用二、教學內(nèi)容

第一節(jié)信息的概念

知識要點：信息的概念及自信息其次節(jié)信息論研究的對象、目的和內(nèi)容知識要點：信息論研究的對象、目的和內(nèi)容第三節(jié)：信息論發(fā)展簡史知識要點：信息論發(fā)展簡史三、本章學時數(shù)2學時

其次章：離散信源及其測度

一、教學要求

了解信源的相關(guān)性和剩余度的概念，信息的概念，信息，信號，消息，數(shù)據(jù)的關(guān)系與聯(lián)系。

把握信源的數(shù)學模型、離散無記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論。二、教學內(nèi)容

第一節(jié)信源的數(shù)學模型及分類

知識要點：信源的數(shù)學模型，離散無記憶信源及其擴展信源。其次節(jié)信息熵及其基本性質(zhì)

2

知識要點：自信息及信息熵離散無記憶擴展信源熵，熵的基本性質(zhì)及最大離散熵定理。第三節(jié)離散平穩(wěn)信源

知識要點：離散平穩(wěn)信源定義，聯(lián)合熵，條件熵以及極限熵。第四節(jié)馬爾可夫信源

知識要點：馬爾可夫信源定義，馬爾可夫信源熵第四節(jié)信息剩余度

知識要點：信息剩余度以及自然語言熵三、本章學時數(shù)8學時

第三章：離散信道及其信道容量

一、教學要求

了解一般信道容量計算。

把握信道的數(shù)學模型，離散無記憶信道以及一些特別信道容量的計算方法。二、教學內(nèi)容

第一節(jié)信道數(shù)學模型及分類

知識要點：信道數(shù)學模型及不同的分類，信道矩陣。其次節(jié)平均互信息及特點

知識要點：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節(jié)信道容量及一般計算方法

知識要點：離散無噪信道及信道容量，對稱離散信道、準對稱信道的容量計算。第四節(jié)離散無記憶擴展信道及其容量

知識要點：離散無記憶擴展信道及其容量，信源與信道的匹配。三、本章學時數(shù)6學時

第四章：無失真信源編碼

一、教學要求

了解其它一些無失真信源編碼方法。

理解漸近等分割性及?典型序列，算術(shù)編碼方法及具體實現(xiàn)方案；

把握編碼的定義，碼的分類，定長編碼定理，變長編碼定理，最正確編碼方法：香農(nóng)編碼方法，費諾編碼方法，哈夫曼編碼方法。二、教學內(nèi)容

第一節(jié)等長碼及等長信源編碼定理

知識要點：編碼器的概念，碼的定義，等長碼及等長信源編碼定理，?典型序列及其性質(zhì)，編碼效率。

其次節(jié)變長碼及變長信源編碼定理

知識要點：唯一可譯碼定義及其判斷方法，即時碼的樹圖法構(gòu)造，Kraft不等式，緊致碼，變長信源編碼定理。

第三節(jié)編碼方法

3

知識要點：香農(nóng)編碼，費諾編碼，香農(nóng)－費諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術(shù)編碼和其它一些編碼方法。三、本章學時數(shù)10學時

第五章：有噪信道編碼

一、教學要求

了解檢錯碼與糾錯碼的方法。理解漸近等分割性及?典型序列。

把握的重點內(nèi)容有：有噪離散信道的編碼定理，過錯控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網(wǎng)格編碼調(diào)制與級聯(lián)碼簡介。二、教學內(nèi)容

第一節(jié)錯誤概率與譯碼規(guī)則和編碼方法

知識要點：最小錯誤概率譯碼準則，最大似然譯碼準則，最小距離譯碼準則及其之間相互關(guān)系，平均譯碼錯誤概率，錯誤概率與譯碼規(guī)則和編碼方法關(guān)系，信道編碼的編、譯基本準則。

其次節(jié)有噪信道編碼定理

知識要點：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節(jié)糾錯碼

知識要點：糾錯碼分類，分組碼的最小距離與檢、糾錯能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監(jiān)視矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構(gòu)造方法。

三、本章學時數(shù)10學時

第六章：波形信源和波形信道

一、教學要求

了解連續(xù)信源和波形信源的信息測度，連續(xù)信道和波形信道的分類，連續(xù)信源熵的變換，連續(xù)信道和波形信道的信道容量的計算方法。

把握連續(xù)信源和波形信源的信息測度。二、教學內(nèi)容

第一節(jié)連續(xù)信源和波形信源的信息測度

知識要點：連續(xù)信源的差熵、波形信源的差熵和兩種特別信源的差熵。其次節(jié)連續(xù)信道和波形信道的分類

知識要點：按噪聲統(tǒng)計特性分類，按噪聲對信號的作用和功能分類。第三節(jié)連續(xù)信道和波形信道的信息傳輸率

知識要點：單符號連續(xù)信道的平均交互信息，連續(xù)信道的平均交互信息的特性。第四節(jié)連續(xù)信道和波形信道的信道容量

知識要點：單符號高斯加性信道的信道容量，單符號非高斯加性信道的信道容量，多維無記憶高斯加性信道的信道容量。

三、本章學時數(shù)

4

8學時

第七章：限失真信源編碼

一、教學要求

了解保真度準則下的信源編碼定理

把握失真度與平均失真度，信息率失真函數(shù)與特性，R(D)函數(shù)的參數(shù)表述及其計算。二、教學內(nèi)容

第一節(jié)失真度與平均失真度

知識要點：失真度與平均失真度，D失真許可試驗信道。其次節(jié)信息率失真函數(shù)與特性

知識要點：信息率失真函數(shù)R(D)的定義，離散信源的R(D)函數(shù)，高斯連續(xù)信源的R(D)函數(shù)，R(D)的定義域和單調(diào)性等性質(zhì)。第三