第一章緒論-信息論基礎2015

信息論

-基礎理論與應用

肇慶學院數(shù)學與統(tǒng)計學院鄒小林QQ郵箱：120962985@手機移動短號：623504課程計劃1、計劃學時54，全部為講課學時2、每周或每章結束交一次作業(yè)。3、總成績由兩部分組成：

平時成績占30％，考試成績占70％4、計劃講授教材的一至七章(除第四章)教學計劃第1章緒論2學時第2章離散信源及其信息測度10學時第3章離散信道及其信道容量10學時第4章波形信源和波形信道6學時*第5章無失真信源編碼10學時第6章有噪信道編碼8學時第7章保真度準則下的信源編碼8學時打*號內(nèi)容，若時間有限可不講。

課程—重視、努力努力有時候真的無法超越天賦，但努力能讓有天賦的人看得起你。-----------------------------------------------龔偉杰寧波中一學校長的開學致辭——“天將降大任于斯人也，必先卸其QQ，封其微博，刪其微信，去其貼吧，收其電腦，奪其手機，摔其ipad，斷其wifi，剪其網(wǎng)線，使其百無聊賴，然后靜坐、喝茶、思過、鍛煉、讀書、彈琴、練字、明智、開悟、精進，而后必成大器也?！?/p>

課程考核標準總成績=平時考核+期末考試平時考核：占總成績的30%100分=作業(yè)成績加半期考試成績的平均成績-考勤扣分期末考試：占總成績的70%100分=閉卷筆試作業(yè)和考勤的說明根據(jù)做題步驟思路是否清晰，字跡是否工整等評閱作業(yè)全對，評閱分在95-100之間。作業(yè)對3/4以上，評閱分在90-94之間。作業(yè)對2/3以上，評閱分在85-89之間。作業(yè)對1/2以上，評閱分在80-84之間。作業(yè)對1/4以上，評閱分在70-79之間。作業(yè)對1/4以下，評閱分在60-69之間。作業(yè)全錯，評閱分為50分。作業(yè)和考勤的說明缺交作業(yè)的成績記0分。遲交作業(yè)算缺交作業(yè)。如有特殊情況，請及時出示請假條。有請假條，補交作業(yè)只登記，補交的作業(yè)前要有說明理由?？记谌毕淮?，扣6分。如有特殊情況，請及時出示請假條。根據(jù)此標準，請期末學習委員幫忙計算或校對最終平時成績?；卮饐栴}，登記次數(shù)，最后在平時總成績上加分。教學內(nèi)容掌握要求掌握內(nèi)容考試占70%~80%理解內(nèi)容考試占20%~30%了解內(nèi)容考試占0%~10%其他約定不得遲到、早退、缺課，有事請假。上課時請關閉手機。作業(yè)不得用紙片、信紙、筆記本之類，必須使用作業(yè)本，否則視為沒有交作業(yè)。上課之前交作業(yè)。信息論對現(xiàn)代社會有哪些影響?了解信息論對現(xiàn)代社會有哪些影響?了解1、在理論研究方面2、在技術應用方面3、

在社會經(jīng)濟領域4、在個人生活方面5、在思維方式方面

信息論對現(xiàn)代社會的影響1、在理論研究方面

信息與物質(zhì)、能量并列為宇宙中的三個基本要素。了解信息論對現(xiàn)代社會的影響2、在技術應用方面

信息科學與材料科學、能源科學一起成為現(xiàn)代高新技術領域的三大關鍵技術。沒有信息論的指導,就不會有現(xiàn)代的無線電技術,電視接收系統(tǒng),不會有現(xiàn)代的移動通信和衛(wèi)星導航定位系統(tǒng),更不會有“英特網(wǎng)”和“信息高速公路”的出現(xiàn)。了解

當代文明的三大支柱

信息科學、材料科學和能源科學一起被稱為當代文明的“三大支柱”。是科學歷史上三個最重要的基本概念。

沒有物質(zhì)的世界是虛無的世界；沒有能源的世界是死寂的世界；沒有信息的世界是混亂的世界；

了解信息論對現(xiàn)代社會的影響3、

在社會經(jīng)濟領域信息科學的迅速發(fā)展和信息高速公路的出現(xiàn),

有利于國際性的合作和交往,有利于市場經(jīng)濟中資源的有效配置。

信息科學的發(fā)展促進了光纖制造業(yè)、信息傳輸、交換設備生產(chǎn)企業(yè)、計算機軟、硬件生產(chǎn)以及電信等行業(yè)的繁榮。

電子商務的迅速崛起,構成了這個時代的新特征,并在促進經(jīng)濟增長,方便人們生活方面發(fā)揮出了巨大的作用。了解信息論對現(xiàn)代社會的影響4、在個人生活方面

互聯(lián)網(wǎng)使整個世界聯(lián)為一體,人們似乎生活在一個地球村中?；ヂ?lián)網(wǎng)的普及，深刻地改變?nèi)藗兩罘绞?給人們的學習和生活帶來極大的便利,“居家購物”、“居家上班”、“居家上學”和“居家就醫(yī)”等已不再是遙遠的未來。

通過英特網(wǎng)免費享受重點高校甚至國外高校提供的一流的課程和教育。了解信息論對現(xiàn)代社會的影響5、在思維方式方面互聯(lián)網(wǎng)的開通大大加快了人們接受新思想、新信息的速度,促進了不同生活方式和思維模式的溶合,使得那些原來遙不可及的事情變得唾手可得,原來不可思議的新事物變得司空見慣,原來不可接受的生活方式、思維模式和文化傳統(tǒng)變得爭相仿效。了解什么是信息論？信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學、數(shù)據(jù)壓縮等問題的應用數(shù)學學科。信息論的分支：光學信息論、量子信息論、生物信息論、生物信息學等重要分支。了解什么是信息科學？信息科學是研究信息運動規(guī)律和應用方法的科學，是由信息論、控制論、計算機理論、人工智能理論和系統(tǒng)論相互滲透、相互結合而成的一門新興綜合性科學。其支柱為信息論、系統(tǒng)論和控制論。

了解

第1章緒論

第1節(jié)信息的概念第2節(jié)信息論研究的對象、目的和內(nèi)容第3節(jié)信息論的發(fā)展簡史與信息科學1.1信息的概念古時候，對信息傳遞的方法有哪些？

“旗幟”、“狼煙”、“飛鴿傳書”、“書信傳遞”、“信號彈”、“快馬”、“暗號”、“手語”

了解1.1信息的概念現(xiàn)在，對信息傳遞的方法有哪些？

電報、書信、電話、電子郵件、MSN、QQ、短信息、GPRS、電視、手機、廣播、報刊、飛機、火車、輪船、微信、微博、雷達、遙測等

了解1.1信息的概念承載信息的形式有哪些？

文字、符號、數(shù)據(jù)、語言、音符、圖片、活動圖像等

了解1.1信息的概念信息這個詞平時在哪些地方使用？那么什么叫信息？

了解信息的概念之一——通俗概念

信息常常被認為是

“消息”、“信號”、“知識”、“情報”等。這些概念并不準確。如“對敵方情況的報告”

“對于最新情況的報道”等稱為情報。情報學中定義：

情報是人們對于某個特定對象所見、所聞、所理解而產(chǎn)生的知識。

情報是一類特定的信息，不是信息的全體。信息不等于情報理解知識是人們從自然界收集得來的數(shù)據(jù)中，整理、概括、提取得到有價值的、人們所需的信息。如公式E=mc2c2=a2+b2知識只是人類社會中客觀存在的部分信息信息不等于知識理解把客觀物質(zhì)運動和主觀思維活動的狀態(tài)表達出來就成為消息。例如獲得同學結婚消息。例如獲得炒股消息。消息的形式：文字、符號、數(shù)據(jù)、語言、音符、圖片、活動圖像等消息中包含信息，消息是信息的載體。得到了消息，就獲得了信息。信息不等于消息理解平時在哪些場合用到消息？平時見到的信號有哪些？(如電信號，光倍號，聲信號，生物信號等等)。把消息變換成適合信道傳輸?shù)奈锢砹?，這種物理量稱為信號

信號攜帶著消息，它是消息的運載工具。例拍電報一般，需先將漢字變換為莫爾斯碼，再轉(zhuǎn)換成脈沖電信號，然后經(jīng)過調(diào)制變成高頻調(diào)制電信號，才能在信道中傳輸。信息不等于信號理解信息的主要特征信息來源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運動中產(chǎn)生出來，又可以脫離源物質(zhì)而相對獨立地存在；信息來源于精神世界，但又不局限于精神領域；信息與能量息息相關，但又與能量有本質(zhì)的區(qū)別；信息具有知識的本性，但又比知識的內(nèi)涵更廣泛；信息可以被主體獲取和利用。了解

“信息”是當代使用頻率很高的一個概念，也是很難說清楚的一個概念。據(jù)不完全統(tǒng)計，信息的定義有100多種，它們都從不同的側面、不同的層次揭示了信息的某些特征和性質(zhì)，但至今仍沒有統(tǒng)一的、能為各界普遍認同的定義。信息的定義了解信息是由物質(zhì)和能量在時間和空間上的不均勻分布產(chǎn)生的。信息是可以用文字、符號、數(shù)據(jù)、語言、音符、圖片、圖像等人類可感知的消息來表達的。信息是無形的、可共享的、無限的、可度量的。信息是事物運動狀態(tài)或存在方式的不確定性的描述。信息是與物質(zhì)和能量一樣重要的基本概念。信息的定義了解信息：是事物運動狀態(tài)或存在方式的不確定性的描述。什么是不確定性？舉例：電報“母病愈”袋子里摸球A：10紅，10白；B：10紅，20白3.香農(nóng)信息的定義理解收到電報，消除了不確定性。消除多少不確定性，就獲得多少信息量。不確定性就是隨機性，具有不確定性的事件就是隨機事件。隨機事件可以計算事件發(fā)生的概率因此不確定性是可以度量的，于是信息是可以度量的。天氣預報廣東下雪4香農(nóng)信息的度量理解概率理論引用到信息論(1)樣本空間每一個消息是一個元素(2)概率測度每一個消息指定一個概率(3)概率空間先驗概率理解隨機事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負值。事件的概率為，則它的自信息定義為：

代表兩種含義：當事件發(fā)生以前，等于事件發(fā)生的不確定性的大??；當事件發(fā)生以后，表示事件所含有或所能提供的信息量。自信息量(4)自信息掌握(5)互信息

一個事件所給出關于另一個事件的信息定義為互信息，用表示。

互信息是已知事件后所消除的關于事件的不確定性，它等于事件本身的不確定性減去已知事件后對仍然存在的不確定性。

互信息的引出，使信息得到了定量的表示，是信息論發(fā)展的一個重要的里程碑。

掌握設天氣預報有兩種消息，晴天和雨天，出現(xiàn)的概率分別為1/4和3/4，我們分別用來表示晴天，以來表示雨天，則我們的信源模型如下：例題（1）掌握例題（2）設有12枚同值硬幣，其中有一枚為假幣，且只知道假幣的重量與真幣的重量不同，但不知究竟是重還是輕?，F(xiàn)采用天平比較左右兩邊輕重的方法來測量（因無砝碼）。為了在天平上稱出哪一枚是假幣，試問至少必須稱多少次？

（用信息論方法證明）理解設“在12枚同值硬幣中，某一枚為假幣’這事件為a。其出現(xiàn)的概率為設“假幣重量比真幣重量重，或輕’這事件為b。其出現(xiàn)的概率為

事件a,b的不確定性為

要發(fā)現(xiàn)某假幣并知其比真幣重還是輕所需的信息量是消除這兩事件的不確定性。這兩事件是統(tǒng)計獨立事件．所以所需獲得的信息量

例題（2）--解答理解而在天平上稱一次能判斷出三鐘情況：重、輕和相等。這三種情況是等概率的

所以，天平測一次能獲得的信息量(即消除的不確定性)為則至少必須稱的次數(shù)為例題（2）--解答理解1.2.1信息論研究的目的可靠性有效性保密性認證性理解1.2.2信息論研究的內(nèi)容1、狹義信息論（香農(nóng)信息論）信息的測度、信道容量、信源和信道編碼理論2、一般信息論主要研究信息傳輸和處理問題。包括噪聲、濾波與預測、估計、保密等3、