《信息論》教學(xué)大綱

《信息科學(xué)基礎(chǔ)》教學(xué)大綱一、課程名稱《信息科學(xué)基礎(chǔ)》二、課程性質(zhì)信息與計(jì)算科學(xué)專業(yè)必修課。三、課程教學(xué)目的當(dāng)前信息產(chǎn)業(yè)發(fā)展很快，需要大量從事信息、通信、電子工程類專業(yè)的人才，《信息論》正是這類專業(yè)的基礎(chǔ)課程，也是信息與計(jì)算科學(xué)專業(yè)的專業(yè)必修課。本課程是研究信息的度量、發(fā)送、傳遞、交換、接收和存儲的一門科學(xué)，是20世紀(jì)40年代后期從長期通訊實(shí)踐中總結(jié)出來，由Shannon奠基的一門數(shù)學(xué)學(xué)科，它產(chǎn)生于有效而可靠的通信問題中，并獲得了廣泛應(yīng)用。它應(yīng)用近代數(shù)理統(tǒng)計(jì)方法研究信息傳輸、存貯和處理，并在長期通信工程實(shí)踐中不斷發(fā)展。因而它是一門新興科學(xué)，亦稱為通信的數(shù)學(xué)理論。建立在通信理論的數(shù)學(xué)知識基礎(chǔ)之上的信息論在數(shù)據(jù)壓縮、調(diào)制解調(diào)器、廣播、電視、衛(wèi)星通信，計(jì)算機(jī)存儲，因特網(wǎng)通訊，密碼學(xué)等方面有著廣泛的用途。通過本課程的學(xué)習(xí)，要求學(xué)生掌握信息論的基本理論和概念，如熵、互信息熵、自信息量等。掌握信息的統(tǒng)計(jì)度量，以及離散信源，和離散信道有關(guān)信息論理論。要求能夠和日常生活和學(xué)習(xí)結(jié)合起來，做到活學(xué)活用。掌握信息論基本理論，能夠熟練解題。四、課程教學(xué)原則與教學(xué)方法本課程理論性較強(qiáng)，在教學(xué)方法上，采用課堂講授，課后自學(xué)，課堂討論等教學(xué)形式，充分調(diào)動學(xué)生學(xué)習(xí)的主動性和積極性，教學(xué)內(nèi)容重點(diǎn)突出基本知識與基本技能，既傳授知識，又教書育人，注重培養(yǎng)學(xué)生的能力與素質(zhì)。課堂講授：本課程屬基礎(chǔ)理論課程，涉及到較多的數(shù)學(xué)知識，在講述的過程中教師應(yīng)盡量聯(lián)系生產(chǎn)生活實(shí)際，注重物理意義，不要陷入到繁復(fù)的數(shù)學(xué)推導(dǎo)之中。在教學(xué)中要求同學(xué)重點(diǎn)掌握信源、信道的基本概念、基本方法，要著重培養(yǎng)學(xué)生定性分析、定量估算的能力。課后自學(xué)：為了培養(yǎng)學(xué)生整理歸納，綜合分析和自主學(xué)習(xí)的能力，每章都安排一部分內(nèi)容，課上教師只給出自學(xué)提綱，不作詳細(xì)講解，課后學(xué)生自學(xué)。課堂討論：課堂討論的目的是活躍學(xué)習(xí)氣氛，開拓思路，提高學(xué)生的創(chuàng)新能力和團(tuán)隊(duì)協(xié)作精神。教師應(yīng)認(rèn)真組織，安排重點(diǎn)發(fā)言，充分調(diào)動每一名同學(xué)的學(xué)習(xí)積極性，做好總結(jié)。五、課程總學(xué)時66學(xué)時，習(xí)題課占1/4。六、課程教學(xué)內(nèi)容要點(diǎn)課程教學(xué)內(nèi)容要點(diǎn)及建議學(xué)時分配章節(jié)序號教學(xué)內(nèi)容學(xué)時1緒論42信源和信源熵283信道和信道容量184信息率失真函數(shù)16第一章緒論（計(jì)劃學(xué)時4）一、教學(xué)目的隨著科學(xué)技術(shù)的迅速發(fā)展、知識體系的不斷更新，信息已成為現(xiàn)代社會的一項(xiàng)重要資源，本章要求了解信息論的形成和發(fā)展，了解信息，信號，消息的區(qū)別和聯(lián)系；掌握通信系統(tǒng)的模型。二、課程內(nèi)容第一節(jié)信息的一般概念1．了解信息，信號，消息的區(qū)別和聯(lián)系。2.了解信息的性質(zhì)。第二節(jié)信息的分類了解信息的分類準(zhǔn)則和方法，以及分類結(jié)果．第三節(jié)信息論的起源、發(fā)展和研究對象了解信息論的起源、發(fā)展和研究對象。三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段教學(xué)重點(diǎn)：信息，信號，消息的區(qū)別和聯(lián)系；信息的分類。教學(xué)難點(diǎn)：信息的概念。教學(xué)手段：傳統(tǒng)教學(xué)手段，注意講練結(jié)合。第二章信源熵（計(jì)劃學(xué)時28）一、教學(xué)目的1948年香農(nóng)提出兩個重要的概念：互信息與熵，取得了劃時代的重要成果。本章主要討論信源的特點(diǎn)和分類，信息的度量，以及信息熵、條件熵和聯(lián)合熵。通過本章的學(xué)習(xí)，了解單個符號的信息度量、離散符號集的信息度量和連續(xù)信源的信息度量。掌握自信息量和條件信息量、互信息量和條件互信息量；離散集的熵，離散集的平均互信息量，連續(xù)隨機(jī)變量的互信息量和相對熵。掌握熵的概念和性質(zhì),熟練計(jì)算熵、聯(lián)合熵、條件熵、相對熵和互信息，并會用熵求解一些實(shí)際問題。二、課程內(nèi)容第一節(jié)單符號離散信源1.掌握單符號離散信源的數(shù)學(xué)模型。2.理解自信息和信源熵的物理意義，熟練計(jì)算自信息和信源熵。3.理解并掌握信源熵的基本性質(zhì)和定理。4.理解平均互信息量的物理意義，熟練計(jì)算平均互信息量。第二節(jié)多符號離散平穩(wěn)信源1.了解序列信源的熵的物理意義。2.掌握離散平穩(wěn)信源的數(shù)學(xué)模型。3.會計(jì)算離散平穩(wěn)信源的信源熵和極限熵。4.理解馬爾可夫信源的概念，熟練計(jì)算馬爾可夫信源的信源熵。5.了解冗余度、自然語信源及信息變差的概念，會進(jìn)行簡單的計(jì)算。第三節(jié)連續(xù)信源1.理解連續(xù)信源的熵的定義。2.熟練計(jì)算幾種特殊連續(xù)信源的熵。3.掌握連續(xù)熵的性質(zhì)及最大連續(xù)熵定理。三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段教學(xué)重點(diǎn)：連續(xù)熵的性質(zhì)及幾種特殊連續(xù)信源熵的計(jì)算。教學(xué)難點(diǎn)：最大連續(xù)熵定理的條件及證明。教學(xué)手段：傳統(tǒng)教學(xué)手段，注意講練結(jié)合。第三章信道容量（計(jì)劃學(xué)時12）一、教學(xué)目的通過本章的學(xué)習(xí)，了解離散信道信道容量的一般計(jì)算方法，會計(jì)算離散信道的信道容量；理解數(shù)據(jù)處理定理以及信源與信道匹配的意義。二、課程內(nèi)容第一節(jié)信道的數(shù)學(xué)模型和分類1.掌握信道的數(shù)學(xué)模型。2.了解信道的分類方法。第二節(jié)單符號離散信道的信道容量1.理解信道容量的定義。2.熟練計(jì)算幾種特殊離散信道的信道容量。3.了解離散信道容量的一般計(jì)算方法。第三節(jié)多符號離散信道1.掌握多符號離散信道的數(shù)學(xué)模型。2.理解離散無記憶信道和獨(dú)立并聯(lián)信道的信道容量。第四節(jié)多用戶信道1.了解多址接入信道的模型及其信道容量的定義方法。2.了解廣播信道的模型。第五節(jié)連續(xù)信道熟練計(jì)算高斯加性信道信道容量。三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段教學(xué)重點(diǎn)：離散無記憶信道和離散無記憶擴(kuò)展信道，信道容量概念及其計(jì)算。教學(xué)難點(diǎn)：信道容量概念及一般信道信道容量的計(jì)算。教學(xué)手段：傳統(tǒng)教學(xué)手段，注意講練結(jié)合。第四章信息率失真函數(shù)（計(jì)劃學(xué)時12）一、教學(xué)目的通過本章的學(xué)習(xí)，了解率失真函數(shù)的定義，率失真函數(shù)的性質(zhì)，會推導(dǎo)率失真函數(shù)的參數(shù)表達(dá)式。二、課程內(nèi)容第一節(jié)基本概念1.理解失真函數(shù)與平均失真度的概念。2.掌握信息率失真函數(shù)的定義。3.掌握信息率失真函數(shù)的性質(zhì)。第二節(jié)離散信源的信息率失真函數(shù)1.掌握離散信源信息率失真函數(shù)的參量表達(dá)式的推導(dǎo)過程。2.掌握二元及等概率離散信源的信息率失真函數(shù)的計(jì)算方法。第三節(jié)連續(xù)信源的信息率失真函數(shù)1.了解連續(xù)信源信息率失真函數(shù)的參量表達(dá)式。2.掌握高斯信源的信息率失真函數(shù)的計(jì)算方法。3.了解用信息率失真函數(shù)計(jì)算信息價值。4.掌握信道容量與信息率失真函數(shù)的區(qū)別與聯(lián)系。三、重點(diǎn)、難點(diǎn)提示和教學(xué)手段教學(xué)重點(diǎn)：率失真函數(shù)的性質(zhì)及證明，會推導(dǎo)特殊信源信息率失真函數(shù)的表達(dá)式。教學(xué)難點(diǎn)：一般信源信息率失真函數(shù)的參量表達(dá)式的推導(dǎo)。教學(xué)手段：傳統(tǒng)教學(xué)手段，注意講練結(jié)合。七、課程的實(shí)踐教學(xué)環(huán)節(jié)要求每次課堂教學(xué)后留下足夠份量的練習(xí)題、思考題，并嚴(yán)格要求學(xué)生認(rèn)真完成；精心挑選一定數(shù)量的難度適中的思考題，在習(xí)題課上安排學(xué)生講解；指導(dǎo)學(xué)生寫出較好質(zhì)量的學(xué)年論文。八、教材和主要教學(xué)參考資料教材：《信息論與編碼》(第2版)。陳運(yùn)主編，電子工業(yè)出版社。參考書：《信息論—基礎(chǔ)理論與應(yīng)用》傅祖蕓主編，電子工業(yè)出版社?！禘lementsofInformationTheory》ThomasMCoverandJoyA.Thomas,JohnWiley&Sons,清華大學(xué)出版社?！缎畔⒄撆c編碼理論》沈世鎰等編著，科學(xué)出版社?！缎畔⒄撆c編碼》余成波編著，重慶大學(xué)出版社。 《信息論與編碼》姜丹編