《信息論與編碼理論I》課程教學(xué)大綱

1、信息論與編碼理論I課程教學(xué)大綱一、課程基本信息課程代碼：12130136 課程英文名稱：The Theory of Information and Coding I課程面向?qū)I(yè)：信息與計算科學(xué)專業(yè)課程類型：必修課 先修課程：高等代數(shù)、概率論、信號與系統(tǒng)等學(xué)分：4 總學(xué)時：60(其中理論學(xué)時：50 ； 實驗學(xué)時：10 ) 二、課程性質(zhì)與目的當(dāng)前信息產(chǎn)業(yè)發(fā)展很快，需要大量從事信息類專業(yè)的人才，本課程正是這類專業(yè)的基礎(chǔ)課程。通過對本課程的學(xué)習(xí)，使學(xué)生能掌握有關(guān)信息論的基本理論以及編碼的理論和實現(xiàn)原理。本課程重點討論了信源的熵、熵的性質(zhì)和無失真信源編碼理論、限失真信源編碼理論以及各種常用的信源編碼方法

2、，如香農(nóng)編碼、費(fèi)諾編碼、哈夫曼編碼、游程編碼等，討論了信道編碼理論以及各種常用的信道編碼方法，如線性分組碼、卷積碼、級聯(lián)碼等。本課程為以后開設(shè)的專業(yè)課程打下了堅實的基礎(chǔ)。同時，本課程也是學(xué)生進(jìn)一步學(xué)習(xí)信息處理、糾錯編碼、語音信號處理、數(shù)字圖像處理、模式識別、人工智能及計算機(jī)網(wǎng)絡(luò)通信等專業(yè)課程的必要的先修課。三、課程教學(xué)內(nèi)容與要求第一章緒論1、教學(xué)內(nèi)容與要求要求深刻理解與熟練掌握的重點內(nèi)容有：信息論的形成和發(fā)展，信息的概念，信息，信號，消息，數(shù)據(jù)的關(guān)系與聯(lián)系；通信系統(tǒng)的模型。要求一般理解與熟練掌握的內(nèi)容有：信息論綜觀，信息的定義。2、教學(xué)難點對信息的理解。第二章信源熵1、教學(xué)內(nèi)容與要求要求深刻理

3、解與熟練掌握的重點內(nèi)容有：信源的描述和分類，離散信源熵和互信息，連續(xù)信源熵和互信息，離散序列信源的熵，馬爾可夫信源及其熵，冗余度，編碼的定義，碼的分類方法，如：定長碼和變長碼，即時碼和非即時碼等，定長編碼定理，變長編碼定理。要求一般理解與熟練掌握的內(nèi)容有：聯(lián)合熵和最大熵定理，唯一可譯碼和非唯一可譯碼，奇異碼和非奇異碼。2、教學(xué)難點對各種信源的熵的計算。第三章信道容量1、教學(xué)內(nèi)容與要求要求深刻理解與熟練掌握的重點內(nèi)容有：信道模型和信道容量，信道容量的定義和離散信道容量的計算方法，多符號離散信道，信道編碼定理，要求一般理解與熟練掌握的內(nèi)容有：多用戶信道，連續(xù)信道。2、教學(xué)難點信道容量的計算。第四章

4、信息率失真函數(shù)1、教學(xué)內(nèi)容與要求要求深刻理解與熟練掌握的重點內(nèi)容有：平均失真度和信息率失真函數(shù)，R(D)的定義域和單調(diào)性等性質(zhì)，離散信源的信息率失真函數(shù)，限失真信源編碼定理。要求一般理解與熟練掌握的內(nèi)容有：連續(xù)信源的信息率失真函數(shù)。2、教學(xué)難點信息率失真函數(shù)的定義、性質(zhì)及其表達(dá)式。第五章信源編碼1、教學(xué)內(nèi)容與要求要求深刻理解與熟練掌握的重點內(nèi)容有：最佳編碼方法：香農(nóng)編碼方法，費(fèi)諾編碼方法，哈夫曼編碼方法，游程編碼方法。要求一般理解與熟練掌握的內(nèi)容有：冗余位編碼方法。2、教學(xué)難點各種編碼方法的實現(xiàn)。第六章信道編碼1、教學(xué)內(nèi)容與要求要求深刻理解與熟練掌握的重點內(nèi)容有：信道編碼的概念與分類，差錯控制

5、與信道編譯碼的基本原理，線性分組碼，循環(huán)碼，卷積碼。要求一般理解與熟練掌握的內(nèi)容有：卷積碼的最大似然譯碼-維特比算法。2、教學(xué)難點卷積碼的性能限與距離特點，網(wǎng)格編碼調(diào)制。實驗項目實驗一：用霍夫曼方法對一幅圖像進(jìn)行編碼1、基本要求：學(xué)會使用VC軟件編寫霍夫曼編碼算法的程序2、主要內(nèi)容：用VC對一幅圖像進(jìn)行編碼；對編碼結(jié)果進(jìn)行分析。3、操作要點：安裝VC軟件；編寫程序；調(diào)試程序；解讀計算結(jié)果。4、主要儀器設(shè)備：VC軟件；計算機(jī)。實驗二：用香農(nóng)-費(fèi)諾方法對一幅圖像進(jìn)行編碼1、基本要求：學(xué)會使用VC軟件編寫香農(nóng)-費(fèi)諾編碼算法的程序2、主要內(nèi)容：用VC對一幅圖像進(jìn)行編碼；對編碼結(jié)果進(jìn)行分析。3、操作要點

6、：安裝VC軟件；編寫程序；調(diào)試程序；解讀計算結(jié)果。4、主要儀器設(shè)備：VC軟件；計算機(jī)。實驗三：用算術(shù)編碼方法進(jìn)行編碼1、基本要求：學(xué)會使用VC軟件編寫算術(shù)編碼算法的程序2、主要內(nèi)容：用VC對一串二值序列進(jìn)行編碼；對編碼結(jié)果進(jìn)行分析。3、操作要點：安裝VC軟件；編寫程序；調(diào)試程序；解讀計算結(jié)果。4、主要儀器設(shè)備：VC軟件；計算機(jī)。實驗四：用位平面編碼方法對一幅圖像進(jìn)行編碼1、基本要求：學(xué)會使用VC軟件編寫位平面編碼編碼算法的程序2、主要內(nèi)容：用VC對一幅圖像進(jìn)行編碼；對編碼結(jié)果進(jìn)行分析。3、操作要點：安裝VC軟件；編寫程序；調(diào)試程序；解讀計算結(jié)果。4、主要儀器設(shè)備：VC軟件；計算機(jī)。四、學(xué)時分配

7、學(xué)時分配表序號教學(xué)內(nèi)容學(xué)時課堂講授實驗課習(xí)題課討論課其它1第一章緒論42第二章信源及信源編碼623第三章無失真信源編碼1024第四章限失真信源編碼1425第五章信道編碼164小計5010比例83%17%合計60實驗學(xué)時分配表序號實驗項目（或內(nèi)容）名稱實驗學(xué)時實驗類型每組實驗人數(shù)說明驗證性設(shè)計性綜合性其它1用霍夫曼方法對一幅圖像進(jìn)行編碼21人2用香農(nóng)-費(fèi)諾方法對一幅圖像進(jìn)行編碼21人3用算術(shù)編碼方法進(jìn)行編碼21人4用位平面編碼方法對一幅圖像進(jìn)行編碼41人小計10五、教學(xué)環(huán)節(jié)與教學(xué)要求 本課程的教學(xué)環(huán)節(jié)包括課堂講授，學(xué)生自學(xué)，習(xí)題討論課，習(xí)題，答疑和期未考試。通過上述基本教學(xué)步驟，要求學(xué)生掌握信息論的基本理論和概念，如熵、互信息熵、自信息量等。掌握信息的在信息論角度的定義，統(tǒng)計度量，以及離散信源；掌握離散信道有關(guān)信息論理論，掌握信源編碼方法，如香農(nóng)編碼方法，費(fèi)諾編碼方法，Huffman編碼等基本原理和具體實現(xiàn)方法。理解信道編碼理論以及各種常用的信道編碼方法，如線性分組碼、卷積碼、級聯(lián)碼等，為進(jìn)一步學(xué)習(xí)打下堅實基礎(chǔ)。六、課程考核辦法 作業(yè)、實驗與期中考試：30，期終考試：70七、教材與主要參考書 教材