《信息論與編碼》教學(xué)大綱

1、信息論與編碼Information Theory and Coding一、課程基本情況課程類(lèi)別：專(zhuān)業(yè)方向課課程學(xué)分： 2學(xué)分課程總學(xué)時(shí)：32學(xué)時(shí)，其中講課：32學(xué)時(shí)課程性質(zhì)：選修開(kāi)課學(xué)期：第4學(xué)期先修課程：高等數(shù)學(xué)，數(shù)理統(tǒng)計(jì)與概率論，信號(hào)與系統(tǒng)，通信原理適用專(zhuān)業(yè)：信息工程教 材：信息論基礎(chǔ)理論與應(yīng)用（面向21世紀(jì)高校電子信息類(lèi)教材），傅祖蕓編著，北京：電子工業(yè)出版社，2003年6月。開(kāi)課單位：電子與信息工程學(xué)院信息工程系二、課程性質(zhì)、教學(xué)目標(biāo)和任務(wù)本課程是電子信息類(lèi)專(zhuān)業(yè)的技術(shù)主干課。本課程注重基本概念、基本理論和基本分析方法的論述，并結(jié)合實(shí)例建立數(shù)學(xué)模型，給出推演過(guò)程，力求物理概念清晰、數(shù)學(xué)結(jié)

2、構(gòu)嚴(yán)謹(jǐn)和完整、逐步深入展開(kāi)。通過(guò)該課程的學(xué)習(xí)，使學(xué)生掌握香農(nóng)信息論的三個(gè)基本概念，與之相應(yīng)的三個(gè)編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養(yǎng)學(xué)生能夠適應(yīng)數(shù)字通信、信息處理、信息安全、計(jì)算機(jī)信息管理等編碼工作的要求。使學(xué)生掌握信息理論的基本概念和信息分析方法及主要結(jié)論，為今后從事信息領(lǐng)域的科研和工程工作進(jìn)一步研究打下堅(jiān)實(shí)的理論基礎(chǔ)。該課程是電子信息工程、信息安全工程專(zhuān)業(yè)的專(zhuān)業(yè)課。是為了適應(yīng)數(shù)字通信、信息處理和信息安全等方面的專(zhuān)業(yè)需要開(kāi)設(shè)。該課程著重介紹信息論應(yīng)用概率論、隨機(jī)過(guò)程和現(xiàn)代數(shù)理統(tǒng)計(jì)方法，研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性，實(shí)現(xiàn)信

3、息系統(tǒng)的最優(yōu)化。信息論是現(xiàn)代通信與信息工程的理論基礎(chǔ)，主要內(nèi)容包括：信息的定義和測(cè)度；各類(lèi)離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數(shù)據(jù)處理和信息測(cè)量理論；信息率失真函數(shù)和數(shù)據(jù)壓縮原理；離散信源無(wú)失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學(xué)基本要求：了解通信系統(tǒng)各部分的主要組成以及作用、香農(nóng)的三大編碼定理；掌握各類(lèi)離散信源和信息熵、信道及其信道容量、信息率失真函數(shù)和數(shù)據(jù)壓縮原理、離常用的無(wú)失真信源編碼方法、糾錯(cuò)碼基本思想及常用的糾錯(cuò)編碼方法。教學(xué)重點(diǎn)：信息以及失真的測(cè)度、信道及信道容量、無(wú)失真信源編碼方法以及有噪信道編碼方法。教學(xué)難點(diǎn)：典型序列以

4、及由此推導(dǎo)出的香農(nóng)三大編碼定理及其逆定理。三、教學(xué)內(nèi)容和要求1、第一章：緒論（2學(xué)時(shí)）（1）了解信息論研究對(duì)象、目的、發(fā)展簡(jiǎn)史與現(xiàn)狀；（2）了解通信系統(tǒng)的模型以及通信系統(tǒng)各部分的主要組成以及作用重點(diǎn)：研究對(duì)象和內(nèi)容2、第二章：離散信源及其測(cè)度（4學(xué)時(shí)）（1）了解信源的相關(guān)性和剩余度的概念，信息的概念，信息，信號(hào)，消息，數(shù)據(jù)的關(guān)系與聯(lián)系。（2）掌握信源的數(shù)學(xué)模型、離散無(wú)記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論。重點(diǎn)：熵的基本性質(zhì)及最大離散熵定理；難點(diǎn)：馬爾可夫信源熵。3、第三章：離散信道及其信道容量（4學(xué)時(shí)）（1）了解一般信道容量計(jì)算。（2）掌握信道的數(shù)學(xué)模型，離散無(wú)記憶信道以及一些特殊信道

5、容量的計(jì)算方法。重點(diǎn)：離散無(wú)噪信道及信道容量，信道的容量計(jì)算。難點(diǎn)：信源與信道的匹配。4、第四章：無(wú)失真信源編碼（4學(xué)時(shí)）（1）了解其它一些無(wú)失真信源編碼方法。（2）理解漸近等分割性及典型序列，算術(shù)編碼方法及具體實(shí)現(xiàn)方案；（3）掌握編碼的定義，碼的分類(lèi)，定長(zhǎng)編碼定理，變長(zhǎng)編碼定理，最佳編碼方法：香農(nóng)編碼方法，費(fèi)諾編碼方法，哈夫曼編碼方法。重點(diǎn)：定長(zhǎng)編碼定理，變長(zhǎng)編碼定理；難點(diǎn)：編碼方法。5、第五章：有噪信道編碼（6學(xué)時(shí)）（1）了解檢錯(cuò)碼與糾錯(cuò)碼的方法。（2）理解漸近等分割性及典型序列。重點(diǎn)：有噪離散信道的編碼定理，差錯(cuò)控制與信道編譯碼的基本原理，線(xiàn)性分組碼，卷積碼，網(wǎng)格編碼調(diào)制與級(jí)聯(lián)碼簡(jiǎn)介。錯(cuò)

6、誤概率與譯碼規(guī)則和編碼方法；難點(diǎn)：有噪信道編碼定理及其逆定理，信源信道編碼定理。6、第六章：波形信源和波形信道（6學(xué)時(shí)）（1）了解連續(xù)信源和波形信源的信息測(cè)度，連續(xù)信道和波形信道的分類(lèi)，連續(xù)信源熵的變換，連續(xù)信道和波形信道的信道容量的計(jì)算方法。（2）掌握連續(xù)信源和波形信源的信息測(cè)度。 重點(diǎn)：連續(xù)信道和波形信道的信道容量的計(jì)算方法。難點(diǎn)：連續(xù)信源和波形信源的信息測(cè)度。7、第七章：限失真信源編碼（6學(xué)時(shí)）（1）了解保真度準(zhǔn)則下的信源編碼定理（2）掌握失真度與平均失真度，信息率失真函數(shù)與特性，R(D)函數(shù)的參數(shù)表述及其計(jì)算。重點(diǎn)：失真度與平均失真度；難點(diǎn)：R(D)函數(shù)的參數(shù)表述及其計(jì)算。四、課程考核1、作業(yè)等：作業(yè)：4次，課程論文：1篇；2、考核方式：閉卷考試3、總評(píng)成績(jī)計(jì)算方式：平時(shí)成績(jī)20%、期末考試成績(jī)80% 五、參考書(shū)目1、信息論與編碼 清華大學(xué)出版社，曹雪虹，2009年