信息論與編碼PPT第一章

1、信息論與編碼董優(yōu)1教材 信息論與編碼,陳 運(yùn),電子工業(yè)出版社信息論基礎(chǔ)理論與應(yīng)用,傅祖蕓,電子工業(yè)出版社糾錯(cuò)碼原理與方法,王新梅,西安電子科技大學(xué)出版社 信息論與編碼,曹雪虹,北京郵電大學(xué)出版社信息論與編碼,傅祖蕓,電子工業(yè)出版社參考教材：2課程概述當(dāng)今的時(shí)代是一個(gè)信息的時(shí)代，信息處理技術(shù)的不斷進(jìn)步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個(gè)通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個(gè)課程可分為基礎(chǔ)理論和編碼理論兩部分組成。3學(xué)習(xí)方法 本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時(shí)主要把注意

2、力集中到概念的理解上，不過(guò)分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。 學(xué)習(xí)時(shí)一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時(shí)注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來(lái)學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。4第一章 緒論 主要內(nèi)容：5第一節(jié) 信息的概念 從哲學(xué)的角度上講，信息是構(gòu)成物質(zhì)世界的三大支柱之一，其他兩個(gè)是物質(zhì)和能量。 可以說(shuō)我們生活在信息的海洋之中，沒(méi)有信息就沒(méi)有世界，當(dāng)然也就沒(méi)有我們?nèi)祟惿鐣?huì)。人類利用信息利用信息的歷史非常悠久，而且隨著人類社會(huì)的發(fā)展而發(fā)展。到了現(xiàn)代，信息的利用已經(jīng)非常重要，以至于我們當(dāng)今生活的社會(huì)被稱作信息社會(huì)。可見(jiàn)信息的重要。 但

3、是有史以來(lái)，人們都沒(méi)有對(duì)信息下過(guò)一個(gè)確切的定義。就像對(duì)于物質(zhì)和能量一樣。6 信息雖無(wú)確切定義，但是卻具有兩個(gè)明顯的特征：廣泛性與抽象性。 廣泛性客觀世界充滿著信息 人類離不開信息 知識(shí)、書本是有用信息的積累 抽象性三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實(shí)體。能量是物質(zhì)運(yùn)動(dòng)的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要?jiǎng)恿?。什么是信息?通俗的說(shuō)，信息就是消息。如：告訴你一個(gè)消息 從不同的角度，有上百種不同的定義； 如： “信息是事物之間的差別。” “信息是接受者事先不知道的東西。”廣義地說(shuō)，信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的事物運(yùn)動(dòng)狀態(tài)和變換方式。 狹義

4、地說(shuō)，信息是用來(lái)消除不確定性的東西。 這是香農(nóng)（Claude Elwood Shannon)給出的定義。 什么是信息？8信息的直觀認(rèn)識(shí)9信息的直觀認(rèn)識(shí)10信息的直觀認(rèn)識(shí)11信息的直觀認(rèn)識(shí)12香農(nóng)信息的度量信息“是來(lái)消除不確定性的東西”；13互信息互信息量： yj對(duì)xi的互信息量定義為后驗(yàn)概率與先驗(yàn) 概率比值的對(duì)數(shù)。先驗(yàn)概率：信源發(fā)出消息xi的概率p(xi )。后驗(yàn)概率：信宿收到y(tǒng)j后推測(cè)信源發(fā)出xi的概率p(xi / yj )。14信息的特性信息是可度量的；信息是無(wú)形的；信息是可共享的；信息是無(wú)限的；15消息是信息載體和具體表現(xiàn)形式（如文字、符號(hào)、圖片、電影等）；消息、信號(hào)和信息之間的關(guān)系16信號(hào)是消息的表現(xiàn)形式；消息是信號(hào)的具體內(nèi)容；信號(hào)是表示消息的物理量（隨時(shí)間、空間變化），適合在信道傳輸?shù)奈锢砹浚缏暡?、光波、電磁波等。消息、信?hào)和信息之間的關(guān)系17信息論研究的對(duì)象18信息論研究的對(duì)象19信源編碼的主要目的20信源編碼的主要目的壓縮！使信號(hào)能夠更加有效地傳輸信息。呵呵，這樣就能過(guò)去啦！21信道編碼的主要目的22調(diào)制的主要目的23調(diào)制的主要目的24通信系統(tǒng)的指標(biāo)通信系統(tǒng)的基本問(wèn)題：在某一點(diǎn)精確或近似地恢復(fù)另一點(diǎn)發(fā)送的信息。25香農(nóng)的主要貢獻(xiàn)26信息論的研究?jī)?nèi)容27信息論的研究?jī)?nèi)容28信息論的研究?jī)?nèi)容29信息論的分支30信息論的發(fā)展31信息