《信息論與編碼理論》教學(xué)大綱

PAGEPAGE4《信息論與編碼理論》課程簡(jiǎn)介課程編號(hào)：08014018課程名稱：信息論與編碼理論/InformationTheoryAndCodingTheorems學(xué)分:3學(xué)分:48（實(shí)驗(yàn)：上機(jī)：8）適用專業(yè)：信息與計(jì)算科學(xué)建議修讀學(xué)期：第6學(xué)期開課單位：數(shù)理科學(xué)與工程學(xué)院信息與計(jì)算科學(xué)系先修課程：數(shù)學(xué)分析、高等代數(shù)、概率與數(shù)理統(tǒng)計(jì)、離散數(shù)學(xué)。考核方式與成績(jī)?cè)u(píng)定標(biāo)準(zhǔn)：閉卷考試，平時(shí)30%，考試70%教材與主要參考書目：信息論與編碼，傅祖蕓，趙建中編著，電子工業(yè)出版社，2006.4。信息論與編碼，余成波，重慶大學(xué)出版社，2002.7。內(nèi)容概述：本課程是信息與計(jì)算科學(xué)專業(yè)的專業(yè)課程，是數(shù)學(xué)的一個(gè)重要的分支。信息論的基本問(wèn)題是研究有效而可靠地傳遞信息的可能性與方法。本課程的任務(wù)是在48學(xué)時(shí)的時(shí)間內(nèi)講授信息量，無(wú)失真編碼的基本內(nèi)容等內(nèi)容；使學(xué)生基本掌握信息論中的一些基本概念及基本方法：信息量：重點(diǎn)講授熵的定義及性質(zhì)。圍繞熵的定義介紹互信息及相關(guān)定義,介紹信息量的幾個(gè)問(wèn)題。信源編碼理論：闡明信源與編碼理論中的基本概念及編碼規(guī)則。無(wú)失真編碼：主要介紹費(fèi)諾編碼、霍夫曼編碼的基本內(nèi)容。

《信息論與編碼理論》教學(xué)大綱課程編號(hào)：08014018課程名稱：信息論與編碼理論/InformationTheoryAndCodingTheorems學(xué)分:3學(xué)時(shí)：48（實(shí)驗(yàn)：上機(jī)：8課外實(shí)踐：）適用專業(yè)：信息與計(jì)算科學(xué)建議修讀學(xué)期：第6學(xué)期開課單位：數(shù)理科學(xué)與工程學(xué)院信息與計(jì)算科學(xué)系先修課程：數(shù)學(xué)分析、高等代數(shù)、概率與數(shù)理統(tǒng)計(jì)、離散數(shù)學(xué)。一、課程性質(zhì)、目的與任務(wù)

本課程是信息與計(jì)算科學(xué)專業(yè)的專業(yè)課程，是數(shù)學(xué)的一個(gè)重要的分支。信息論的基本問(wèn)題是研究有效而可靠地傳遞信息的可能性與方法。它可分為基礎(chǔ)理論﹑編譯碼技術(shù)。本課程的任務(wù)是在48學(xué)時(shí)的時(shí)間內(nèi)講授信息量，信源編碼理論，信道編碼理論，無(wú)失真編碼的基本內(nèi)容等內(nèi)容；使學(xué)生基本掌握信息論中的一些基本概念及基本方法。二、教學(xué)內(nèi)容、基本要求及學(xué)時(shí)分配本課程總學(xué)時(shí)數(shù)為48學(xué)時(shí)，其中理論教學(xué)為40學(xué)時(shí)，實(shí)驗(yàn)教學(xué)為8學(xué)時(shí)；課程教學(xué)共有6章，具體內(nèi)容及學(xué)時(shí)安排等如下表所示：課程內(nèi)容教學(xué)要求重點(diǎn)（☆）難點(diǎn)（△）學(xué)時(shí)安排實(shí)驗(yàn)學(xué)時(shí)上機(jī)學(xué)時(shí)備注一、緒論2信息論概念、研究對(duì)象、目的和內(nèi)容B二、離散信源及其信息測(cè)度10離散信源的數(shù)學(xué)模型及其分類B☆離散信源的信息熵、聯(lián)合熵、條件熵A☆Δ信息熵的基本性質(zhì)A☆上機(jī)實(shí)驗(yàn)：繪制二進(jìn)制熵函數(shù)曲線B2離散無(wú)記憶的擴(kuò)展信源、離散平穩(wěn)信源A☆Δ馬爾可夫信源、信源剩余度與自然語(yǔ)言的熵AΔ三、離散信道及其信道容量12信道的數(shù)學(xué)模型及分類B平均互信息、平均互信息的特性A☆Δ信道容量及其一般計(jì)算方法A☆Δ離散無(wú)記憶擴(kuò)展信道及其信道容量A☆獨(dú)立并聯(lián)信道及其信道容量AΔ串聯(lián)信道的互信息和數(shù)據(jù)處理定理AΔ四、波形信源和波形信道10波形信源的統(tǒng)計(jì)特性和離散化B補(bǔ)充連續(xù)信源和信源的信息測(cè)度A☆具有最大熵的連續(xù)信源A☆連續(xù)信道和波形信道的信道容量A☆Δ高斯加性波形信道的信道容量A☆Δ五、無(wú)失真信源編碼定理6編碼器、等長(zhǎng)碼B等長(zhǎng)信源編碼定理A☆Δ變長(zhǎng)碼、變長(zhǎng)信源編碼定理A☆Δ六、無(wú)失真的信源編碼8費(fèi)諾編碼；霍夫曼編碼A☆

上機(jī)實(shí)驗(yàn)：Fano編碼軟件實(shí)現(xiàn)1C2上機(jī)實(shí)驗(yàn)：Huffman編碼軟件實(shí)現(xiàn)1C2上機(jī)實(shí)驗(yàn)：Huffman編碼軟件實(shí)現(xiàn)2C2（教學(xué)基本要求：A-熟練掌握；B-掌握；C-了解）三、建議實(shí)驗(yàn)（上機(jī)）項(xiàng)目及學(xué)時(shí)分配參見教學(xué)內(nèi)容、基本要求及學(xué)時(shí)分配四、教學(xué)方法與教學(xué)手段常規(guī)教學(xué)與多媒體教學(xué)相結(jié)合五、考核方式閉卷考試平時(shí)30%，考試70%六、教材與主要參考書目1．教材：信息論與編碼，傅祖蕓，趙建中編著，電子工業(yè)出版社，2006.4。2．參考書：信息論與編碼，余成波，重慶大學(xué)出版社，2002.7。七、大綱編寫的依據(jù)與說(shuō)明本課程大綱是根據(jù)信息