勘察儀器與原理第二章第1~2節(jié)ok

1、第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論勘勘 查查 儀儀 器器 原原 理理教師：教師： 王旭王旭Email：第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論第二章第二章 測(cè)量?jī)x器的基本測(cè)量?jī)x器的基本理論理論第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 由于測(cè)量?jī)x器重要且主要組成部分為數(shù)由于測(cè)量?jī)x器重要且主要組成部分為數(shù)據(jù)采集系統(tǒng)，而數(shù)據(jù)采集技術(shù)是信息科學(xué)的據(jù)采集系統(tǒng)，而數(shù)據(jù)采集技術(shù)是信息科學(xué)的一個(gè)重要組成部分，所以本章第一節(jié)就從信一個(gè)重要組成部分，所以本章第一節(jié)就從信息論基礎(chǔ)知識(shí)學(xué)起。息論基礎(chǔ)知識(shí)學(xué)起。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論第一節(jié)第一節(jié)信息的概念信息的概念

2、 信息的信息的計(jì)量方法計(jì)量方法第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 現(xiàn)代科學(xué)研究表明，物質(zhì)流、能量流、現(xiàn)代科學(xué)研究表明，物質(zhì)流、能量流、信息流是事物之間聯(lián)系的三種載體形式。沒信息流是事物之間聯(lián)系的三種載體形式。沒有物質(zhì)的世界是虛無的世界，沒有能源的世有物質(zhì)的世界是虛無的世界，沒有能源的世界是死寂的世界，沒有信息的世界是混亂的界是死寂的世界，沒有信息的世界是混亂的世界。信息與能源、材料并稱為現(xiàn)代社會(huì)的世界。信息與能源、材料并稱為現(xiàn)代社會(huì)的三大基本資源。隨著人類對(duì)信息的認(rèn)識(shí)和利三大基本資源。隨著人類對(duì)信息的認(rèn)識(shí)和利用日趨深入和廣泛，信息資源的地位與作用用日趨深入和廣泛，信息資源的地位與

3、作用日益凸顯，信息已成為社會(huì)發(fā)展中的一個(gè)主日益凸顯，信息已成為社會(huì)發(fā)展中的一個(gè)主要因素，是客觀世界不可缺的要因素，是客觀世界不可缺的重要資源。重要資源。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論2.1.12.1.1信息的概念信息的概念一、信息的定義：一、信息的定義： 人類從誕生那天起，就生人類從誕生那天起，就生活在信息的海洋之中。原始人的活在信息的海洋之中。原始人的“結(jié)繩記事結(jié)繩記事”、我國(guó)古代的、我國(guó)古代的“烽烽火告警火告警”、語言和文字則是人類、語言和文字則是人類社會(huì)用來表達(dá)和傳遞信息的最根社會(huì)用來表達(dá)和傳遞信息的最根本的工具。近代，電子計(jì)算機(jī)的本的工具。近代，電子計(jì)算機(jī)的迅猛發(fā)展和

4、廣泛應(yīng)用，大大提高迅猛發(fā)展和廣泛應(yīng)用，大大提高了人們處理加工信息，存儲(chǔ)信息了人們處理加工信息，存儲(chǔ)信息及控制管理信息的能力。及控制管理信息的能力。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 在自然界，宇宙中的射電源在自然界，宇宙中的射電源不停地向宇宙空間發(fā)射電波，不停地向宇宙空間發(fā)射電波，這種電波就是射電源存在的信這種電波就是射電源存在的信息；花卉的應(yīng)季榮衰就是寒暑息；花卉的應(yīng)季榮衰就是寒暑交替的信息。人類對(duì)世界的認(rèn)交替的信息。人類對(duì)世界的認(rèn)知和改造過程就是獲取信息、知和改造過程就是獲取信息、加工信息和發(fā)送信息的過程。加工信息和發(fā)送信息的過程。人們通過電視、電話、報(bào)刊等人們通過電視、電話

5、、報(bào)刊等各種媒體，每時(shí)都在獲取、加各種媒體，每時(shí)都在獲取、加工、傳遞和利用著大量的信息，工、傳遞和利用著大量的信息，如通過天氣預(yù)報(bào)獲取氣象信息，如通過天氣預(yù)報(bào)獲取氣象信息，可以合理地安排生產(chǎn)、生活?？梢院侠淼匕才派a(chǎn)、生活。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 在行政工作中，看材料、學(xué)文件是獲取在行政工作中，看材料、學(xué)文件是獲取信息，作決策、批文件是處理信息，作指信息，作決策、批文件是處理信息，作指示是傳遞信息?？梢?，信息來源于客觀世示是傳遞信息?？梢?，信息來源于客觀世界，范圍廣大，具有一定的利用價(jià)值，可界，范圍廣大，具有一定的利用價(jià)值，可以通過載體為人們所獲知，用來指導(dǎo)人類以通過

6、載體為人們所獲知，用來指導(dǎo)人類認(rèn)識(shí)世界、改造世界。在當(dāng)今信息社會(huì)，認(rèn)識(shí)世界、改造世界。在當(dāng)今信息社會(huì)，人們?cè)诟鞣N生產(chǎn)、科研、社會(huì)活動(dòng)中，無人們?cè)诟鞣N生產(chǎn)、科研、社會(huì)活動(dòng)中，無處不涉及到信息的交換和利用。處不涉及到信息的交換和利用。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 對(duì)于信息的含義，人們從不同的角度做出對(duì)于信息的含義，人們從不同的角度做出了多種描述：了多種描述：“信息就是談?wù)摰氖虑?、新聞和信息就是談?wù)摰氖虑?、新聞和知識(shí)知識(shí)”( (牛津辭典牛津辭典) )；“信息，就是在觀察信息，就是在觀察或研究過程中獲得的數(shù)據(jù)、新聞和知或研究過程中獲得的數(shù)據(jù)、新聞和知識(shí)識(shí)”( (韋氏字典韋氏字典)

7、 )；“信息是所觀察事物的信息是所觀察事物的知識(shí)知識(shí)”( (廣辭苑廣辭苑) )；“信息是通信系統(tǒng)傳輸信息是通信系統(tǒng)傳輸和處理的對(duì)象，泛指消息和信號(hào)的具體內(nèi)容和和處理的對(duì)象，泛指消息和信號(hào)的具體內(nèi)容和意義，通常需通過處理和分析來提取意義，通常需通過處理和分析來提取” ” ( (辭辭海海19891989年版年版) )。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 眾說紛紜。那么，到底什么是信息呢？眾說紛紜。那么，到底什么是信息呢？在現(xiàn)代信息理論形成之前，信息一直被看作在現(xiàn)代信息理論形成之前，信息一直被看作是通信的消息的同義詞，沒有賦予它嚴(yán)格的是通信的消息的同義詞，沒有賦予它嚴(yán)格的科學(xué)定義；在日

8、常生活中，信息常常被認(rèn)為科學(xué)定義；在日常生活中，信息常常被認(rèn)為就是就是“消息消息”、“情報(bào)情報(bào)”、“情況情況”等。的等。的確，信息與它們之間有著密切聯(lián)系。在信息確，信息與它們之間有著密切聯(lián)系。在信息論中，信息和消息是緊密相關(guān)聯(lián)的兩個(gè)不同論中，信息和消息是緊密相關(guān)聯(lián)的兩個(gè)不同概念。概念。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 同樣一個(gè)消息，比如一張當(dāng)日?qǐng)?bào)紙，對(duì)同樣一個(gè)消息，比如一張當(dāng)日?qǐng)?bào)紙，對(duì)于不同的人從中可獲得的信息是不一樣的；于不同的人從中可獲得的信息是不一樣的；同樣的天氣預(yù)報(bào)同樣的天氣預(yù)報(bào)“明天有雨明天有雨”，對(duì)于干旱地，對(duì)于干旱地區(qū)和雨量充沛地區(qū)來說其信息量不一樣（對(duì)區(qū)和雨量充

9、沛地區(qū)來說其信息量不一樣（對(duì)充沛地區(qū)要防澇）；一封書信，對(duì)于收信者充沛地區(qū)要防澇）；一封書信，對(duì)于收信者是家書抵萬金，但對(duì)旁人可能是廢紙一張。是家書抵萬金，但對(duì)旁人可能是廢紙一張。所以所以信息不等同于消息信息不等同于消息。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論（消息的定義是這樣的：用文字、符號(hào)、數(shù)據(jù)、（消息的定義是這樣的：用文字、符號(hào)、數(shù)據(jù)、語言、音符、圖片、圖像等能夠被人們感覺器語言、音符、圖片、圖像等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來就成為消息）可見，消息活動(dòng)的狀態(tài)表達(dá)出來就成為消息）可見，消息中中包

10、含信息包含信息，是信息的，是信息的載體載體，得到消息，從而，得到消息，從而獲得信息。同一則信息可用不同的消息形式來獲得信息。同一則信息可用不同的消息形式來載荷，如，球賽進(jìn)展情況可用電視圖像、廣播載荷，如，球賽進(jìn)展情況可用電視圖像、廣播語言、報(bào)紙文字等不同消息來表述，而一則消語言、報(bào)紙文字等不同消息來表述，而一則消息，也可荷載不同的信息，它可能包含非常息，也可荷載不同的信息，它可能包含非常第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論豐富的信息，也可能只包含很少的信息，因豐富的信息，也可能只包含很少的信息，因此，信息與消息既有區(qū)別又有聯(lián)系。此，信息與消息既有區(qū)別又有聯(lián)系。 信息也不等同于情報(bào)信

11、息也不等同于情報(bào)。情報(bào)往往是軍事。情報(bào)往往是軍事學(xué)、文獻(xiàn)學(xué)方面的習(xí)慣用詞，情報(bào)是人們對(duì)學(xué)、文獻(xiàn)學(xué)方面的習(xí)慣用詞，情報(bào)是人們對(duì)于某個(gè)特定對(duì)象所見、所聞、所理解而產(chǎn)生于某個(gè)特定對(duì)象所見、所聞、所理解而產(chǎn)生的知識(shí)，可見情報(bào)的含義要比信息窄得多，的知識(shí)，可見情報(bào)的含義要比信息窄得多，它只是一類特定的信息，不是信息的全體。它只是一類特定的信息，不是信息的全體。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 信息也不等同于知識(shí)信息也不等同于知識(shí)。知識(shí)是以實(shí)踐為。知識(shí)是以實(shí)踐為基礎(chǔ)，通過抽象思維，對(duì)客觀事物規(guī)定性的基礎(chǔ)，通過抽象思維，對(duì)客觀事物規(guī)定性的概括，知識(shí)信息只是人類社會(huì)中客觀存在的概括，知識(shí)信息只

12、是人類社會(huì)中客觀存在的部分信息，所以知識(shí)是信息，但不等于信息部分信息，所以知識(shí)是信息，但不等于信息的全體。的全體。 信息的含義要深刻廣泛很多。信息不只信息的含義要深刻廣泛很多。信息不只是人類所獨(dú)有，一切生物都有它獨(dú)自接收、是人類所獨(dú)有，一切生物都有它獨(dú)自接收、交換信息的方式。所謂禽有禽言，獸有獸語。交換信息的方式。所謂禽有禽言，獸有獸語。因此，信息是一種奇妙的東西，它有別于物因此，信息是一種奇妙的東西，它有別于物質(zhì)和能量。質(zhì)和能量。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 目前，社會(huì)上流行一些提法，信息、材目前，社會(huì)上流行一些提法，信息、材料、能源是現(xiàn)代科學(xué)的三大支柱，信息、物料、能源

13、是現(xiàn)代科學(xué)的三大支柱，信息、物質(zhì)、能量構(gòu)成一切系統(tǒng)的三大要素。質(zhì)、能量構(gòu)成一切系統(tǒng)的三大要素。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 關(guān)于信息的定義，國(guó)內(nèi)外有不下百余關(guān)于信息的定義，國(guó)內(nèi)外有不下百余種流行的說法，它們都是從不同的側(cè)面和種流行的說法，它們都是從不同的側(cè)面和不同的層次來揭示信息的本質(zhì)的。從本質(zhì)不同的層次來揭示信息的本質(zhì)的。從本質(zhì)上說，信息是反映現(xiàn)實(shí)世界的上說，信息是反映現(xiàn)實(shí)世界的運(yùn)動(dòng)、發(fā)展運(yùn)動(dòng)、發(fā)展和變化狀態(tài)及規(guī)律的信號(hào)與消息和變化狀態(tài)及規(guī)律的信號(hào)與消息。所以，。所以，信息的定義給出以下兩種。信息的定義給出以下兩種。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論1、狹

14、義信息論、狹義信息論（由美國(guó)（由美國(guó)數(shù)學(xué)家香農(nóng)數(shù)學(xué)家香農(nóng)創(chuàng)立）創(chuàng)立）是研究在通訊系統(tǒng)中普遍存在著的信息傳是研究在通訊系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)律、以及如何提高各信息傳輸遞的共同規(guī)律、以及如何提高各信息傳輸系統(tǒng)的有效性和可靠性的一門通訊理論。系統(tǒng)的有效性和可靠性的一門通訊理論。 香農(nóng)信息定義：信息是事物運(yùn)動(dòng)狀態(tài)香農(nóng)信息定義：信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述?；虼嬖诜绞降牟淮_定性的描述。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論2、廣義信息論、廣義信息論被理解為運(yùn)用狹義信息論的觀點(diǎn)來研究被理解為運(yùn)用狹義信息論的觀點(diǎn)來研究一切一切問題問題的理論。的理論。廣義信息定義：信息就

15、是事物運(yùn)動(dòng)的狀廣義信息定義：信息就是事物運(yùn)動(dòng)的狀態(tài)和方式。（就是關(guān)于事物運(yùn)動(dòng)的千差態(tài)和方式。（就是關(guān)于事物運(yùn)動(dòng)的千差萬別的狀態(tài)和方式的知識(shí)。）萬別的狀態(tài)和方式的知識(shí)。）第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論下面我們分析一下這兩個(gè)定義：下面我們分析一下這兩個(gè)定義： 香農(nóng)對(duì)信息作出了科學(xué)的定義，并進(jìn)行香農(nóng)對(duì)信息作出了科學(xué)的定義，并進(jìn)行了定性、定量的描述。香農(nóng)把各種通信系統(tǒng)了定性、定量的描述。香農(nóng)把各種通信系統(tǒng)（電報(bào)、電話、廣播、電視、雷達(dá)、遙測(cè)等）（電報(bào)、電話、廣播、電視、雷達(dá)、遙測(cè)等）概括成通信系統(tǒng)模型如圖所示：概括成通信系統(tǒng)模型如圖所示：信源信源編碼器編碼器信道信道解碼器解碼器信宿信

16、宿噪聲噪聲消息消息信號(hào)信號(hào)信號(hào)噪聲信號(hào)噪聲消息消息第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 在通信系統(tǒng)中，形式上傳輸?shù)氖窍?，但在通信系統(tǒng)中，形式上傳輸?shù)氖窍?，但?shí)質(zhì)上傳輸?shù)氖切畔?，消息只是表達(dá)信息的工實(shí)質(zhì)上傳輸?shù)氖切畔ⅲ⒅皇潜磉_(dá)信息的工具，具，信息較抽象，消息較具體信息較抽象，消息較具體。但消息傳遞過。但消息傳遞過程中一個(gè)最基本、最普通的特點(diǎn)是：程中一個(gè)最基本、最普通的特點(diǎn)是：收信者在收信者在收到消息以前是不知道消息的具體內(nèi)容。收到消息以前是不知道消息的具體內(nèi)容。通信通信的結(jié)果是消除或部分消除不確定性，從而獲得的結(jié)果是消除或部分消除不確定性，從而獲得信息。比如在電報(bào)通信中，收?qǐng)?bào)

17、人在收到報(bào)文信息。比如在電報(bào)通信中，收?qǐng)?bào)人在收到報(bào)文前，首先他不知何人會(huì)給他發(fā)電報(bào)，而且也不前，首先他不知何人會(huì)給他發(fā)電報(bào)，而且也不知道將要告訴他什么事情，收信者在看到報(bào)文知道將要告訴他什么事情，收信者在看到報(bào)文第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論前，存在不確定性，只要報(bào)文清楚，在傳遞前，存在不確定性，只要報(bào)文清楚，在傳遞過程中沒有差錯(cuò)，那么他收到報(bào)文后，他原過程中沒有差錯(cuò)，那么他收到報(bào)文后，他原來所有的不確定性都沒有了，他就獲得了所來所有的不確定性都沒有了，他就獲得了所有信息；若在傳遞過程中存在干擾，使報(bào)文有信息；若在傳遞過程中存在干擾，使報(bào)文完全模糊不清，收信者收到后，原先所具

18、有完全模糊不清，收信者收到后，原先所具有的不確定性一點(diǎn)也沒減少，他就沒有獲得信的不確定性一點(diǎn)也沒減少，他就沒有獲得信息；若報(bào)文發(fā)生部分差錯(cuò)，使收信者原先的息；若報(bào)文發(fā)生部分差錯(cuò)，使收信者原先的不確定性減少了一些，但沒有全部消除，他不確定性減少了一些，但沒有全部消除，他就獲得了一部分信息。所以，通信過程是一就獲得了一部分信息。所以，通信過程是一第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論種消除不確定性的過程，不確定性的消除，種消除不確定性的過程，不確定性的消除，就獲得了信息，原先的不確定性消除的越多，就獲得了信息，原先的不確定性消除的越多，獲得的信息就越多。獲得的信息就越多。 香農(nóng)的信息定義

19、和度量是科學(xué)的，是反香農(nóng)的信息定義和度量是科學(xué)的，是反映信息的某些本質(zhì)，但有其映信息的某些本質(zhì)，但有其局限性局限性，存在一，存在一些缺陷，它的適用范圍受到嚴(yán)重的限制。根些缺陷，它的適用范圍受到嚴(yán)重的限制。根據(jù)香農(nóng)的信息定義，同樣一個(gè)消息對(duì)任何收據(jù)香農(nóng)的信息定義，同樣一個(gè)消息對(duì)任何收信者來說，所得信息量都是一樣的，信者來說，所得信息量都是一樣的， （前（前面的例子，家信，對(duì)任何收信者來說所得面的例子，家信，對(duì)任何收信者來說所得第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論信息量是不一樣的）所以，香農(nóng)的信息定義信息量是不一樣的）所以，香農(nóng)的信息定義沒有考慮收信者的沒有考慮收信者的主觀特性和主觀意

20、義，也主觀特性和主觀意義，也撇開了信息的具體含義、具體用途、重要程撇開了信息的具體含義、具體用途、重要程度和引起后果等因素度和引起后果等因素。這就與實(shí)際情況不完。這就與實(shí)際情況不完全一致。當(dāng)?shù)玫酵幌⒑?，?duì)不同的收信全一致。當(dāng)?shù)玫酵幌⒑?，?duì)不同的收信者來說常會(huì)引起不同的感情、不同的關(guān)心程者來說常會(huì)引起不同的感情、不同的關(guān)心程度、不同的價(jià)值，這些都應(yīng)認(rèn)為是獲得了不度、不同的價(jià)值，這些都應(yīng)認(rèn)為是獲得了不同的信息。同的信息。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 如，甲乙兩人同去聽一段音樂，若甲缺乏欣如，甲乙兩人同去聽一段音樂，若甲缺乏欣賞音樂的起碼知識(shí)和必要訓(xùn)練的話，這種信息就不賞

21、音樂的起碼知識(shí)和必要訓(xùn)練的話，這種信息就不能發(fā)生什么作用；若乙是一位訓(xùn)練有素的音樂家，能發(fā)生什么作用；若乙是一位訓(xùn)練有素的音樂家，那么他將從這一段音樂中獲得大量信息。因此，信那么他將從這一段音樂中獲得大量信息。因此，信息有很強(qiáng)的息有很強(qiáng)的主觀性和實(shí)用性主觀性和實(shí)用性。所以香農(nóng)信息定義是。所以香農(nóng)信息定義是狹義信息定義。狹義信息定義。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 再說說廣義信息定義。再說說廣義信息定義?！笆挛锸挛铩笔菑V是廣義的事物，既包括外部世界的物質(zhì)客體，義的事物，既包括外部世界的物質(zhì)客體，也包括主觀世界的精神現(xiàn)象。也包括主觀世界的精神現(xiàn)象?！斑\(yùn)動(dòng)運(yùn)動(dòng)”泛泛指一切意義上的變

22、化，包括物理的、化學(xué)指一切意義上的變化，包括物理的、化學(xué)的、生物的、大腦思維的和社會(huì)的運(yùn)動(dòng)。的、生物的、大腦思維的和社會(huì)的運(yùn)動(dòng)?！盃顟B(tài)狀態(tài)”是事物運(yùn)動(dòng)在空間上所展示的性是事物運(yùn)動(dòng)在空間上所展示的性狀和態(tài)勢(shì)。狀和態(tài)勢(shì)。 “ “方式方式”指事物運(yùn)動(dòng)在時(shí)間上指事物運(yùn)動(dòng)在時(shí)間上所呈現(xiàn)的過程和規(guī)律。所呈現(xiàn)的過程和規(guī)律。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 的確，宇宙萬物，無時(shí)不在運(yùn)動(dòng)，只要的確，宇宙萬物，無時(shí)不在運(yùn)動(dòng)，只要有運(yùn)動(dòng)的事物，就會(huì)產(chǎn)生各種各樣事物運(yùn)動(dòng)有運(yùn)動(dòng)的事物，就會(huì)產(chǎn)生各種各樣事物運(yùn)動(dòng)的狀態(tài)和方式，就會(huì)產(chǎn)生信息，可見，信息的狀態(tài)和方式，就會(huì)產(chǎn)生信息，可見，信息是普遍存在的。顯然，

23、廣義信息定義遠(yuǎn)遠(yuǎn)超是普遍存在的。顯然，廣義信息定義遠(yuǎn)遠(yuǎn)超出了原來通信領(lǐng)域的范疇，但由于人們對(duì)信出了原來通信領(lǐng)域的范疇，但由于人們對(duì)信息的本質(zhì)認(rèn)識(shí)還不夠充分，所以，國(guó)際上尚息的本質(zhì)認(rèn)識(shí)還不夠充分，所以，國(guó)際上尚未形成一個(gè)普遍公認(rèn)的、完整的、確切的信未形成一個(gè)普遍公認(rèn)的、完整的、確切的信息定義。為此，有關(guān)信息的定義和其測(cè)度的息定義。為此，有關(guān)信息的定義和其測(cè)度的研究還在不斷深入，隨著人們對(duì)信息這一研究還在不斷深入，隨著人們對(duì)信息這一第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論概念的不斷深入研究，將會(huì)得出更合理、更概念的不斷深入研究，將會(huì)得出更合理、更確切的信息的定義和測(cè)度，達(dá)到徹底揭示信確切的

24、信息的定義和測(cè)度，達(dá)到徹底揭示信息的本質(zhì)，全面和準(zhǔn)確地把握信息。息的本質(zhì)，全面和準(zhǔn)確地把握信息。 廣義信息論不僅包括狹義信息論，而且廣義信息論不僅包括狹義信息論，而且包括所有與信息有關(guān)的自然和社會(huì)領(lǐng)域，如，包括所有與信息有關(guān)的自然和社會(huì)領(lǐng)域，如，計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)等，計(jì)算機(jī)翻譯、心理學(xué)、遺傳學(xué)、語言學(xué)等，也包括社會(huì)學(xué)中有關(guān)信息的問題。也包括社會(huì)學(xué)中有關(guān)信息的問題。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論二、信息的特征二、信息的特征1、信息與載體的不可分性、信息與載體的不可分性 信息不是物質(zhì)運(yùn)動(dòng)本身，而是物質(zhì)的運(yùn)動(dòng)變化及相互信息不是物質(zhì)運(yùn)動(dòng)本身，而是物質(zhì)的運(yùn)動(dòng)變化及相互作

25、用、相互聯(lián)系的一種特定表現(xiàn)形式，是以物質(zhì)載體為媒作用、相互聯(lián)系的一種特定表現(xiàn)形式，是以物質(zhì)載體為媒介的物質(zhì)運(yùn)動(dòng)狀態(tài)的再現(xiàn)。世界上沒有游離于物質(zhì)載體之介的物質(zhì)運(yùn)動(dòng)狀態(tài)的再現(xiàn)。世界上沒有游離于物質(zhì)載體之外的信息，而載體也不能決定和影響信息所要表達(dá)的內(nèi)容。外的信息，而載體也不能決定和影響信息所要表達(dá)的內(nèi)容。如郵一封信，信息是人的思維通過文字這種載體表達(dá)出來，如郵一封信，信息是人的思維通過文字這種載體表達(dá)出來，再通過信封、郵票、運(yùn)輸工具等傳遞，達(dá)到將思維傳遞給再通過信封、郵票、運(yùn)輸工具等傳遞，達(dá)到將思維傳遞給對(duì)方的目的的信的內(nèi)容?？梢?，信息離開物質(zhì)載體就無法對(duì)方的目的的信的內(nèi)容?？梢?，信息離開物質(zhì)載體

26、就無法傳遞，而信息的內(nèi)容又與物質(zhì)載體無關(guān)。傳遞，而信息的內(nèi)容又與物質(zhì)載體無關(guān)。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論2、信息的客觀性、信息的客觀性 信息不是物質(zhì)，只是物質(zhì)的產(chǎn)物，即先信息不是物質(zhì)，只是物質(zhì)的產(chǎn)物，即先有信息反映的對(duì)象，然后才有信息。無論借有信息反映的對(duì)象，然后才有信息。無論借助于何種載體，信息都不會(huì)改變其所反映對(duì)助于何種載體，信息都不會(huì)改變其所反映對(duì)象的屬性，因此，信息具有客觀性。如氣象象的屬性，因此，信息具有客觀性。如氣象預(yù)報(bào)無論是通過廣播、電視、報(bào)紙，還是通預(yù)報(bào)無論是通過廣播、電視、報(bào)紙，還是通過其他別的載體，反映的都是自然世界的客過其他別的載體，反映的都是自然世

27、界的客觀變化。觀變化。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論3、信息的價(jià)值性、信息的價(jià)值性 信息是一種特殊資源，具有使用價(jià)值。信息是一種特殊資源，具有使用價(jià)值。收集、加工、傳遞信息的目的在于提高活動(dòng)收集、加工、傳遞信息的目的在于提高活動(dòng)效益。信息的價(jià)值性有賴于對(duì)信息進(jìn)行正確效益。信息的價(jià)值性有賴于對(duì)信息進(jìn)行正確的選擇、理解和使用，只有在與某種有目的的選擇、理解和使用，只有在與某種有目的的活動(dòng)相聯(lián)系時(shí)，其價(jià)值才能體現(xiàn)出來。的活動(dòng)相聯(lián)系時(shí)，其價(jià)值才能體現(xiàn)出來。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論4、信息的時(shí)效性信息的時(shí)效性 信息的時(shí)效性是信息的重要特征，是指信息從信息的時(shí)

28、效性是信息的重要特征，是指信息從發(fā)出、接收到進(jìn)入利用的時(shí)間間隔及其效率。發(fā)出、接收到進(jìn)入利用的時(shí)間間隔及其效率。 信息的時(shí)效性與信息的價(jià)值性密不可分。任何信息的時(shí)效性與信息的價(jià)值性密不可分。任何有價(jià)值的信息，都是在一定的條件下起作用的，如有價(jià)值的信息，都是在一定的條件下起作用的，如時(shí)間、地點(diǎn)、事件等，離開一定的條件，信息將會(huì)時(shí)間、地點(diǎn)、事件等，離開一定的條件，信息將會(huì)失去應(yīng)有的價(jià)值。從某種意義上講，信息的價(jià)值取失去應(yīng)有的價(jià)值。從某種意義上講，信息的價(jià)值取決于信息的時(shí)效性，特別是反映客觀事物某種發(fā)展決于信息的時(shí)效性，特別是反映客觀事物某種發(fā)展趨勢(shì)、動(dòng)向的信息，時(shí)效性越強(qiáng)，信息的價(jià)值越大，趨勢(shì)、動(dòng)

29、向的信息，時(shí)效性越強(qiáng)，信息的價(jià)值越大，反之，信息就會(huì)失去作用。因此，信息價(jià)值的大小反之，信息就會(huì)失去作用。因此，信息價(jià)值的大小取決于信息的時(shí)效性。取決于信息的時(shí)效性。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論5、信息的可擴(kuò)充與可壓縮性、信息的可擴(kuò)充與可壓縮性 在一切領(lǐng)域都會(huì)產(chǎn)生信息，隨著時(shí)間的在一切領(lǐng)域都會(huì)產(chǎn)生信息，隨著時(shí)間的推移和事物的運(yùn)動(dòng)、發(fā)展、變化，信息經(jīng)過推移和事物的運(yùn)動(dòng)、發(fā)展、變化，信息經(jīng)過不斷地開發(fā)利用，會(huì)擴(kuò)充、增值，成為取之不斷地開發(fā)利用，會(huì)擴(kuò)充、增值，成為取之不盡、用之不竭的資源。同時(shí)，經(jīng)過加工整不盡、用之不竭的資源。同時(shí)，經(jīng)過加工整理，又可使之精練、濃縮。信息的可壓縮

30、性理，又可使之精練、濃縮。信息的可壓縮性還表現(xiàn)在信息貯存上，貯存的形式多種多樣，還表現(xiàn)在信息貯存上，貯存的形式多種多樣，如人和動(dòng)物的記憶就是其中的一種。另外，如人和動(dòng)物的記憶就是其中的一種。另外，文字、攝影、錄音、錄像、計(jì)算機(jī)存儲(chǔ)器等。文字、攝影、錄音、錄像、計(jì)算機(jī)存儲(chǔ)器等。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論6、信息的可替代性、信息的可替代性 信息的可替代性有兩方面含義：一方面信息的可替代性有兩方面含義：一方面是指信息的物質(zhì)載體形態(tài)是可以相互替代的，是指信息的物質(zhì)載體形態(tài)是可以相互替代的，如語言信息經(jīng)過記錄變成文字信息，就是文如語言信息經(jīng)過記錄變成文字信息，就是文字信息替代了語

31、言信息；另一方面是指信息字信息替代了語言信息；另一方面是指信息的利用可以替代資本、勞動(dòng)力和物質(zhì)資料，的利用可以替代資本、勞動(dòng)力和物質(zhì)資料，這一點(diǎn)在經(jīng)濟(jì)學(xué)上的作用尤其顯著。管理學(xué)這一點(diǎn)在經(jīng)濟(jì)學(xué)上的作用尤其顯著。管理學(xué)認(rèn)為，信息是管理的重要手段和工具，正確認(rèn)為，信息是管理的重要手段和工具，正確運(yùn)用信息是提高管理水平的重要環(huán)節(jié)，利用運(yùn)用信息是提高管理水平的重要環(huán)節(jié)，利用好信息，就可以代替資本和物質(zhì)的投入。好信息，就可以代替資本和物質(zhì)的投入。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論7 、信息的可傳遞性與可擴(kuò)散性、信息的可傳遞性與可擴(kuò)散性 信息的可傳遞性是指信息可以借助一定的物質(zhì)信息的可傳遞性是

32、指信息可以借助一定的物質(zhì)載體傳遞給感受者、接收者的特性。信息可以進(jìn)行載體傳遞給感受者、接收者的特性。信息可以進(jìn)行空間和時(shí)間上的傳輸，傳輸速度越快，效用就越大?？臻g和時(shí)間上的傳輸，傳輸速度越快，效用就越大?？萍嫉陌l(fā)展，使傳播信息的網(wǎng)絡(luò)覆蓋面越來越大，科技的發(fā)展，使傳播信息的網(wǎng)絡(luò)覆蓋面越來越大，從而使信息得以迅速擴(kuò)散開來。信息的可擴(kuò)散性與從而使信息得以迅速擴(kuò)散開來。信息的可擴(kuò)散性與信息傳遞技術(shù)的發(fā)展密切相關(guān)，信息的擴(kuò)散速度與信息傳遞技術(shù)的發(fā)展密切相關(guān)，信息的擴(kuò)散速度與傳遞技術(shù)的發(fā)展成正比，即傳遞技術(shù)發(fā)展得越快，傳遞技術(shù)的發(fā)展成正比，即傳遞技術(shù)發(fā)展得越快，信息擴(kuò)散的速度越快。隨著信息傳播手段和技術(shù)的

33、信息擴(kuò)散的速度越快。隨著信息傳播手段和技術(shù)的提高，信息的擴(kuò)散性已表現(xiàn)得越來越突出。提高，信息的擴(kuò)散性已表現(xiàn)得越來越突出。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 8、信息的無形性與無損耗性、信息的無形性與無損耗性 信息的無形性是指信息看不見，摸不著，不占信息的無形性是指信息看不見，摸不著，不占空間，容易積累。信息量的大小并不取決于存放它空間，容易積累。信息量的大小并不取決于存放它們的物質(zhì)空間的大小，如人的大腦容量無太大差別，們的物質(zhì)空間的大小，如人的大腦容量無太大差別，但記憶、存儲(chǔ)、處理信息量的差別卻是巨大的。信但記憶、存儲(chǔ)、處理信息量的差別卻是巨大的。信息與其他資源相比，更容易積累

34、、加工和處理。只息與其他資源相比，更容易積累、加工和處理。只要用心收集，就可以獲取信息、占有信息、積累信要用心收集，就可以獲取信息、占有信息、積累信息和加工處理信息，而不會(huì)受空間條件過多的制約，息和加工處理信息，而不會(huì)受空間條件過多的制約，如利用現(xiàn)代信息技術(shù)，用幾張光盤即可儲(chǔ)存下一個(gè)如利用現(xiàn)代信息技術(shù)，用幾張光盤即可儲(chǔ)存下一個(gè)大型圖書館。大型圖書館。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 信息的無形性，為掌握信息、積累信息信息的無形性，為掌握信息、積累信息和利用信息提供了較大的便利。和利用信息提供了較大的便利。 信息的無損耗性是指信息不是物質(zhì)實(shí)體，信息的無損耗性是指信息不是物質(zhì)實(shí)體，

35、在使用的過程中沒有物質(zhì)損耗，信息本身的在使用的過程中沒有物質(zhì)損耗，信息本身的損耗充其量只是一種時(shí)間上的損耗。信息是損耗充其量只是一種時(shí)間上的損耗。信息是可以重復(fù)使用的資源，只要其內(nèi)容沒有過時(shí)，可以重復(fù)使用的資源，只要其內(nèi)容沒有過時(shí)，就一直可以利用。某些信息在使用過程中還就一直可以利用。某些信息在使用過程中還會(huì)產(chǎn)生新的補(bǔ)充信息，或發(fā)生會(huì)產(chǎn)生新的補(bǔ)充信息，或發(fā)生“增值增值”現(xiàn)象，現(xiàn)象，甚至有些歷史信息雖然已過時(shí)，但在許多領(lǐng)甚至有些歷史信息雖然已過時(shí)，但在許多領(lǐng)域仍有利用的價(jià)值。域仍有利用的價(jià)值。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論9、信息的可開發(fā)性、信息的可開發(fā)性 雖然信息是一種客觀

36、存在，但它的質(zhì)量雖然信息是一種客觀存在，但它的質(zhì)量高低、適用程度和效用大小則取決于信息資高低、適用程度和效用大小則取決于信息資源的利用度，取決于對(duì)無效信息的過濾、有源的利用度，取決于對(duì)無效信息的過濾、有效信息的獲取以及提煉信息的水平等。經(jīng)過效信息的獲取以及提煉信息的水平等。經(jīng)過篩選、整理、概括、歸納、擴(kuò)充，可以使信篩選、整理、概括、歸納、擴(kuò)充，可以使信息更精練，含量更豐富，價(jià)值更高。息更精練，含量更豐富，價(jià)值更高。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論10、信息的共享性、信息的共享性 信息能夠同時(shí)為多個(gè)使用者所利用，信信息能夠同時(shí)為多個(gè)使用者所利用，信息擴(kuò)散后，信息載體本身所含的信

37、息量并沒息擴(kuò)散后，信息載體本身所含的信息量并沒有減少。這是信息與實(shí)物、能量等的根本區(qū)有減少。這是信息與實(shí)物、能量等的根本區(qū)別。通過傳遞，信息迅速為大多數(shù)人接收、別。通過傳遞，信息迅速為大多數(shù)人接收、掌握和利用，并會(huì)產(chǎn)生出巨大的社會(huì)效應(yīng)。掌握和利用，并會(huì)產(chǎn)生出巨大的社會(huì)效應(yīng)。正因?yàn)樾畔⒌倪@一特性，社會(huì)才為保護(hù)信息正因?yàn)樾畔⒌倪@一特性，社會(huì)才為保護(hù)信息開發(fā)者的合法權(quán)益，補(bǔ)償其在開發(fā)整理某些開發(fā)者的合法權(quán)益，補(bǔ)償其在開發(fā)整理某些信息過程中付出的代價(jià)，制定了專利制度和信息過程中付出的代價(jià)，制定了專利制度和知識(shí)產(chǎn)權(quán)制度。知識(shí)產(chǎn)權(quán)制度。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論三、信息技術(shù)三、信息技

38、術(shù)能夠擴(kuò)展人的信息功能的技術(shù)叫信息技術(shù)能夠擴(kuò)展人的信息功能的技術(shù)叫信息技術(shù)（information technology）。1、感測(cè)技術(shù)（信息獲取技術(shù)）、感測(cè)技術(shù)（信息獲取技術(shù)）：感覺器官功：感覺器官功能的延長(zhǎng)。包括傳感技術(shù)和測(cè)量技術(shù)，它的能的延長(zhǎng)。包括傳感技術(shù)和測(cè)量技術(shù)，它的功能是使人能更好地從外部世界獲取信息，功能是使人能更好地從外部世界獲取信息，包括信息的識(shí)別、檢測(cè)、提取和變換。包括信息的識(shí)別、檢測(cè)、提取和變換。2、通信技術(shù)（信息傳遞技術(shù)）、通信技術(shù)（信息傳遞技術(shù)）：傳導(dǎo)神經(jīng)網(wǎng)：傳導(dǎo)神經(jīng)網(wǎng)絡(luò)功能的延長(zhǎng)。包含信息的傳遞、變換和分絡(luò)功能的延長(zhǎng)。包含信息的傳遞、變換和分配。配。第二章測(cè)量?jī)x器的

39、基本理論第二章測(cè)量?jī)x器的基本理論3、信息處理技術(shù)、信息處理技術(shù)：思維器官功能的延長(zhǎng)。：思維器官功能的延長(zhǎng)。包括信息的存儲(chǔ)、分析、控制和產(chǎn)生新信息。包括信息的存儲(chǔ)、分析、控制和產(chǎn)生新信息。4、控制技術(shù)（信息利用技術(shù)）、控制技術(shù)（信息利用技術(shù)）：效應(yīng)器官：效應(yīng)器官功能的延長(zhǎng)。其作用是根據(jù)輸入的指令（決功能的延長(zhǎng)。其作用是根據(jù)輸入的指令（決策信息）對(duì)外界事物的運(yùn)動(dòng)狀態(tài)實(shí)施干預(yù)，策信息）對(duì)外界事物的運(yùn)動(dòng)狀態(tài)實(shí)施干預(yù)，即信息施效。即信息施效。 5、信息技術(shù)的支撐技術(shù)、信息技術(shù)的支撐技術(shù)：指信息技術(shù)的實(shí)：指信息技術(shù)的實(shí)現(xiàn)手段所涉及的技術(shù)。當(dāng)前，信息技術(shù)的支現(xiàn)手段所涉及的技術(shù)。當(dāng)前，信息技術(shù)的支撐技術(shù)主要是

40、電子技術(shù)，特別是微電子技術(shù)，撐技術(shù)主要是電子技術(shù)，特別是微電子技術(shù)，激光技術(shù)、生物技術(shù)等等。另外還有機(jī)械、激光技術(shù)、生物技術(shù)等等。另外還有機(jī)械、精密機(jī)械等。精密機(jī)械等。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 以上幾個(gè)信息技術(shù)是一整體，其中通信以上幾個(gè)信息技術(shù)是一整體，其中通信技術(shù)與計(jì)算機(jī)技術(shù)是核心，感測(cè)技術(shù)和控制技術(shù)與計(jì)算機(jī)技術(shù)是核心，感測(cè)技術(shù)和控制技術(shù)是核心與外部世界的接口。通過邏輯的技術(shù)是核心與外部世界的接口。通過邏輯的綜合分解可以形成各種各樣的信息技術(shù)應(yīng)用綜合分解可以形成各種各樣的信息技術(shù)應(yīng)用系統(tǒng)。如管理信息系統(tǒng)、自動(dòng)護(hù)理系統(tǒng)、醫(yī)系統(tǒng)。如管理信息系統(tǒng)、自動(dòng)護(hù)理系統(tǒng)、醫(yī)療專家系統(tǒng)

41、、遠(yuǎn)程醫(yī)療會(huì)診系統(tǒng)等等。療專家系統(tǒng)、遠(yuǎn)程醫(yī)療會(huì)診系統(tǒng)等等。| 信息技術(shù)是現(xiàn)代高科技技術(shù)中的代表性信息技術(shù)是現(xiàn)代高科技技術(shù)中的代表性技術(shù)，是人類文明的技術(shù)基礎(chǔ)，也是人類開技術(shù)，是人類文明的技術(shù)基礎(chǔ)，也是人類開發(fā)利用信息資源的主要手段，即信息管理的發(fā)利用信息資源的主要手段，即信息管理的技術(shù)基礎(chǔ)。技術(shù)基礎(chǔ)。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論四、信息論簡(jiǎn)史四、信息論簡(jiǎn)史 20世紀(jì)中葉，信息論、控制論、系統(tǒng)論世紀(jì)中葉，信息論、控制論、系統(tǒng)論等標(biāo)新立異的新理論相繼問世，有力地等標(biāo)新立異的新理論相繼問世，有力地“晃動(dòng)晃動(dòng)”著傳統(tǒng)的科學(xué)框架。著傳統(tǒng)的科學(xué)框架。 信息論產(chǎn)生于信息論產(chǎn)生于20世紀(jì)

42、世紀(jì)40年代末，它的主要年代末，它的主要?jiǎng)?chuàng)立者是美國(guó)的數(shù)學(xué)家香農(nóng)（創(chuàng)立者是美國(guó)的數(shù)學(xué)家香農(nóng)（Shannon）和維）和維納。最初信息論僅局限予通訊領(lǐng)域，是一門應(yīng)納。最初信息論僅局限予通訊領(lǐng)域，是一門應(yīng)用概率論和數(shù)理統(tǒng)計(jì)方法研究信息處理和信息用概率論和數(shù)理統(tǒng)計(jì)方法研究信息處理和信息傳遞的科學(xué)。它的基本內(nèi)容是研究信源、信宿、傳遞的科學(xué)。它的基本內(nèi)容是研究信源、信宿、信道及編碼問題。后來信息論作為控制信道及編碼問題。后來信息論作為控制第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論論的基礎(chǔ)，它研究的是通訊和控制系統(tǒng)中普論的基礎(chǔ)，它研究的是通訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)律，同時(shí)也是遍存在著

43、的信息傳遞的共同規(guī)律，同時(shí)也是研究如何提高信息傳輸系統(tǒng)的有效性和可靠研究如何提高信息傳輸系統(tǒng)的有效性和可靠性的通訊理論。隨著現(xiàn)代科學(xué)發(fā)展的綜合化、性的通訊理論。隨著現(xiàn)代科學(xué)發(fā)展的綜合化、整體化趨勢(shì)，信息概念及其方法遠(yuǎn)遠(yuǎn)超出通整體化趨勢(shì)，信息概念及其方法遠(yuǎn)遠(yuǎn)超出通訊領(lǐng)域，已經(jīng)推廣和應(yīng)用于其他學(xué)科，如生訊領(lǐng)域，已經(jīng)推廣和應(yīng)用于其他學(xué)科，如生物學(xué)、醫(yī)學(xué)、仿生學(xué)、語言學(xué)、管理科學(xué)等，物學(xué)、醫(yī)學(xué)、仿生學(xué)、語言學(xué)、管理科學(xué)等，從而使局限于通訊領(lǐng)域的信息理論發(fā)展成一從而使局限于通訊領(lǐng)域的信息理論發(fā)展成一種廣義信息論種廣義信息論 信息科學(xué)。信息科學(xué)。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論克勞德克勞德

44、香農(nóng)是一位美國(guó)數(shù)學(xué)工程師，作香農(nóng)是一位美國(guó)數(shù)學(xué)工程師，作為信息論的創(chuàng)始人，人們認(rèn)為他是為信息論的創(chuàng)始人，人們認(rèn)為他是20世世紀(jì)最偉大的科學(xué)家之一。他在通信技術(shù)紀(jì)最偉大的科學(xué)家之一。他在通信技術(shù)與工程方面的創(chuàng)造性工作，為計(jì)算機(jī)與與工程方面的創(chuàng)造性工作，為計(jì)算機(jī)與遠(yuǎn)程通信奠定了堅(jiān)實(shí)的理論基礎(chǔ)。人們遠(yuǎn)程通信奠定了堅(jiān)實(shí)的理論基礎(chǔ)。人們尊崇香農(nóng)為信息論及數(shù)字通信時(shí)代的奠尊崇香農(nóng)為信息論及數(shù)字通信時(shí)代的奠基之父。確實(shí)，他對(duì)人類的貢獻(xiàn)超過了基之父。確實(shí)，他對(duì)人類的貢獻(xiàn)超過了一般的諾貝爾獲獎(jiǎng)?wù)??；仡櫼话愕闹Z貝爾獲獎(jiǎng)?wù)??；仡?0世紀(jì)的信世紀(jì)的信息革命風(fēng)暴，經(jīng)他闡明的信息概念、連息革命風(fēng)暴，經(jīng)他闡明的信息概念、連

45、同同“比特比特”這個(gè)單位已經(jīng)深入人心，成這個(gè)單位已經(jīng)深入人心，成為今天日常生活都離不開的詞匯。為今天日常生活都離不開的詞匯。 1948年香農(nóng)在年香農(nóng)在Bell System Technical Journal上發(fā)表了上發(fā)表了A Mathematical Theory of Communication 。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 今天，我們懷念香農(nóng)，要熟悉他的兩今天，我們懷念香農(nóng)，要熟悉他的兩大貢獻(xiàn)：一是信息理論、信息熵的概念；大貢獻(xiàn)：一是信息理論、信息熵的概念；另一是符號(hào)邏輯和開關(guān)理論。我們更應(yīng)該另一是符號(hào)邏輯和開關(guān)理論。我們更應(yīng)該學(xué)習(xí)他好奇心強(qiáng)、重視實(shí)踐、追求完美、

46、學(xué)習(xí)他好奇心強(qiáng)、重視實(shí)踐、追求完美、永不滿足的科學(xué)精神，這是他獲得成功的永不滿足的科學(xué)精神，這是他獲得成功的重要經(jīng)驗(yàn)。重要經(jīng)驗(yàn)。 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論2.1.2信息的計(jì)量方法信息的計(jì)量方法( (信息計(jì)量?jī)?nèi)容很多，如信源、信道、編碼信息計(jì)量?jī)?nèi)容很多，如信源、信道、編碼方式等，本課只簡(jiǎn)要介紹信源的數(shù)學(xué)模型和方式等，本課只簡(jiǎn)要介紹信源的數(shù)學(xué)模型和信息的基本測(cè)度信息的基本測(cè)度) ) 前面學(xué)習(xí)了信息的定義，對(duì)信息有了定前面學(xué)習(xí)了信息的定義，對(duì)信息有了定性的認(rèn)識(shí)，但怎么定量分析信息性的認(rèn)識(shí)，但怎么定量分析信息? ?也就是信也就是信息怎樣計(jì)算和度量息怎樣計(jì)算和度量? ?當(dāng)人們收到

47、一封電報(bào)，當(dāng)人們收到一封電報(bào)，聽了廣播，看了電視，到底得到多少信息量聽了廣播，看了電視，到底得到多少信息量? ?信息是一個(gè)抽象的概念，它能否被量化并且信息是一個(gè)抽象的概念，它能否被量化并且如何量化呢？如何量化呢？第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論信源是信息的來源，但信息是抽象的信源是信息的來源，但信息是抽象的東西，要用它的外在表現(xiàn)形式消息來表東西，要用它的外在表現(xiàn)形式消息來表達(dá)，通過消息來研究信源。受信者在未收到達(dá)，通過消息來研究信源。受信者在未收到消息以前，對(duì)信源發(fā)出什么消息是不確定的，消息以前，對(duì)信源發(fā)出什么消息是不確定的，信息量與不確定性消除的程度有關(guān)，而通信信息量與不確定

48、性消除的程度有關(guān)，而通信過程是一種消除不確定性的過程，不確定性過程是一種消除不確定性的過程，不確定性的消除就獲得了信息，用數(shù)學(xué)的語言來講，的消除就獲得了信息，用數(shù)學(xué)的語言來講，不確定就是隨機(jī)性，不確定就是隨機(jī)性，具有不確定性的事件就具有不確定性的事件就是隨機(jī)事件，因此，可用研究隨機(jī)事件是隨機(jī)事件，因此，可用研究隨機(jī)事件第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論的數(shù)學(xué)工具的數(shù)學(xué)工具-概率論和隨機(jī)過程概率論和隨機(jī)過程來測(cè)度來測(cè)度不確定性的大小。既然不確定性的大小能不確定性的大小。既然不確定性的大小能夠度量，而信息量是不確定性消除的程度，夠度量，而信息量是不確定性消除的程度，消除了多少不確定性

49、，就獲得多少信息量，消除了多少不確定性，就獲得多少信息量，可見，信息是可以測(cè)量的，衡量信息多少可見，信息是可以測(cè)量的，衡量信息多少的物理量稱為信息量。通過研究發(fā)現(xiàn)，信的物理量稱為信息量。通過研究發(fā)現(xiàn)，信息量的大小與消息所描述事件的出現(xiàn)概率息量的大小與消息所描述事件的出現(xiàn)概率有關(guān)，讓我們看看下面的例子：有關(guān)，讓我們看看下面的例子：第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 比如，比如，“明天太陽從東邊出來明天太陽從東邊出來”絕對(duì)沒絕對(duì)沒有有“明天太陽從西邊出來明天太陽從西邊出來”對(duì)信息的接受者對(duì)信息的接受者更有吸引力；同樣，當(dāng)你聽說更有吸引力；同樣，當(dāng)你聽說“明天有雨明天有雨”（西安（西安

50、9 9月份）并不會(huì)感到驚奇，但若有人月份）并不會(huì)感到驚奇，但若有人告訴你告訴你“明天有雪明天有雪”你一定非常吃驚。這說你一定非常吃驚。這說明信息有量值可言，并且信息所包含的事件明信息有量值可言，并且信息所包含的事件越不可發(fā)生，人們就越感興趣，信息量就越越不可發(fā)生，人們就越感興趣，信息量就越大。大。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 顯然，信息量與事件發(fā)生的概率有關(guān)，顯然，信息量與事件發(fā)生的概率有關(guān)，若概率很小，受信者感覺很突然，該消息所若概率很小，受信者感覺很突然，該消息所含信息量就很大；含信息量就很大；若概率很大，受信者事先已有所估計(jì)，則該若概率很大，受信者事先已有所估計(jì)，則該

51、消息信息量就越??；消息信息量就越??；若收信者收到完全確定的消息，則沒有信息若收信者收到完全確定的消息，則沒有信息量。量。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論一、信息的數(shù)學(xué)模型一、信息的數(shù)學(xué)模型 由上面知道，信源發(fā)出什么消息是不確由上面知道，信源發(fā)出什么消息是不確定的，是隨機(jī)的，所以用概率空間來描述信定的，是隨機(jī)的，所以用概率空間來描述信源。源。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論1、離散信源的數(shù)學(xué)模型、離散信源的數(shù)學(xué)模型 信源常常以一個(gè)個(gè)符號(hào)的形式發(fā)出消信源常常以一個(gè)個(gè)符號(hào)的形式發(fā)出消息，而且這些符號(hào)的取值是有限的或可數(shù)息，而且這些符號(hào)的取值是有限的或可數(shù)的，所以，可用

52、離散型隨機(jī)變量來描述這的，所以，可用離散型隨機(jī)變量來描述這些信息，這樣的信源稱為些信息，這樣的信源稱為離散信源離散信源。 在實(shí)際情況中，存在很多這樣的信源：在實(shí)際情況中，存在很多這樣的信源：投擲硬幣、書信文字、計(jì)算機(jī)的代碼、電投擲硬幣、書信文字、計(jì)算機(jī)的代碼、電報(bào)符號(hào)等。報(bào)符號(hào)等。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論)(.)()(.,NNxPxPxPxxxPX2121它的它的數(shù)學(xué)模型就是離散型的概率空間數(shù)學(xué)模型就是離散型的概率空間，也稱，也稱信源空間信源空間11)(iNixPX為信源隨機(jī)變量；為信源隨機(jī)變量；p( xi )為其概率分布。為其概率分布。第二章測(cè)量?jī)x器的基本理論第二章測(cè)

53、量?jī)x器的基本理論2、連續(xù)信源的數(shù)學(xué)模型、連續(xù)信源的數(shù)學(xué)模型有些信源輸出的消息的取值是連續(xù)的，有些信源輸出的消息的取值是連續(xù)的，即可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值，這即可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值，這時(shí)可用連續(xù)隨機(jī)變量來描述這些消息，那么時(shí)可用連續(xù)隨機(jī)變量來描述這些消息，那么這些信源稱為連續(xù)信源，其數(shù)學(xué)模型為連續(xù)這些信源稱為連續(xù)信源，其數(shù)學(xué)模型為連續(xù)型的概率空間，即型的概率空間，即第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論)(),()(,xpbaxpX)( xpR且滿足且滿足badxxp1)(Rdxxp1)(其中，其中，R 或或(a,b)表示連續(xù)隨機(jī)變量表示連續(xù)隨機(jī)變量X的數(shù)集的數(shù)集區(qū)

54、間；而區(qū)間；而p(x)是隨機(jī)變量是隨機(jī)變量x的概率密度函數(shù)。的概率密度函數(shù)。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 其實(shí)連續(xù)信源可以經(jīng)過取樣，其實(shí)連續(xù)信源可以經(jīng)過取樣，量化變?yōu)殡x散信源來處理。量化變?yōu)殡x散信源來處理。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論二、離散信源的測(cè)度二、離散信源的測(cè)度1 1、自信息、自信息( (信息量信息量) )的定義的定義 由前面知道，事件發(fā)生的不確定性與由前面知道，事件發(fā)生的不確定性與事件發(fā)生的概率有關(guān)。事件發(fā)生的概率越事件發(fā)生的概率有關(guān)。事件發(fā)生的概率越小，不確定性就越大，這樣的事件一旦發(fā)小，不確定性就越大，這樣的事件一旦發(fā)生，所獲的信息量就越大

55、。因此，某事件生，所獲的信息量就越大。因此，某事件發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的發(fā)生所含有的信息量應(yīng)該是該事件發(fā)生的概率的函數(shù)：概率的函數(shù)：)()(iixPfxI第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論函數(shù)函數(shù)I(xi )應(yīng)滿足以下條件：應(yīng)滿足以下條件： P(xi )越大，越大， I(xi )越??；越??；當(dāng)當(dāng)P(xi ) 1時(shí)，時(shí)， I(xi ) 0，必然事件信息量，必然事件信息量為零為零;當(dāng)當(dāng)P(xi )0時(shí)，時(shí)， I(xi ) ，不可能發(fā)生的事，不可能發(fā)生的事件發(fā)生了，其信息量為無窮大件發(fā)生了，其信息量為無窮大;兩個(gè)獨(dú)立事件的聯(lián)合信息量，應(yīng)等于它們各兩個(gè)獨(dú)立事件的聯(lián)合信息量，

56、應(yīng)等于它們各自信息量之和。自信息量之和。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論根據(jù)上述條件，從數(shù)學(xué)上證明：根據(jù)上述條件，從數(shù)學(xué)上證明：若一個(gè)若一個(gè)消息消息 xi 出現(xiàn)的概率為出現(xiàn)的概率為P(xi)，則這，則這一消息所含的信息量為一消息所含的信息量為iiixPxPxIloglog1此為香農(nóng)的信息量公式表述，一個(gè)消息所此為香農(nóng)的信息量公式表述，一個(gè)消息所載載的信息量的信息量 I，等于它所表示的事件發(fā)生，等于它所表示的事件發(fā)生的概率的概率 P 的倒數(shù)的對(duì)數(shù)。的倒數(shù)的對(duì)數(shù)。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論 I(xi )描述了事件描述了事件xi發(fā)生時(shí)的信息量，故也稱發(fā)生時(shí)的信息

57、量，故也稱為為自信息自信息。 I(xi )代表兩種含義：代表兩種含義：1)當(dāng)事件當(dāng)事件xi發(fā)生以前，表示事件發(fā)生以前，表示事件xi發(fā)生的不確發(fā)生的不確定性；定性；2)當(dāng)事件當(dāng)事件xi發(fā)生以后，表示事件發(fā)生以后，表示事件xi所含有所含有(或或所提供所提供)的信息量。的信息量。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論信息量單位信息量單位上式中對(duì)數(shù)以上式中對(duì)數(shù)以2為底時(shí)，單位為為底時(shí)，單位為 bit（比特）（比特）上式中對(duì)數(shù)以上式中對(duì)數(shù)以e為底時(shí)，單位為為底時(shí)，單位為 nit（奈特）（奈特）上式中對(duì)數(shù)以上式中對(duì)數(shù)以10為底時(shí)，單位為為底時(shí)，單位為 Hartley（哈特萊）（哈特萊）一般以一般

58、以2為底，為了書寫方便，省略為底，為了書寫方便，省略2。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論注意：注意：這里的這里的比特比特是指抽象的信息量單位，是指抽象的信息量單位，與計(jì)算機(jī)術(shù)語中與計(jì)算機(jī)術(shù)語中比特比特的含義不同，此的含義不同，此比特為比特為binary unit，計(jì)算機(jī)比特為，計(jì)算機(jī)比特為binary digit( (二元數(shù)字二元數(shù)字) ) ，這兩種定義，這兩種定義之間的關(guān)系是，每個(gè)二元數(shù)字所能提之間的關(guān)系是，每個(gè)二元數(shù)字所能提供的最大平均信息量為供的最大平均信息量為1比特。比特。第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論英文字母出現(xiàn)的概率英文字母出現(xiàn)的概率符號(hào) 概率 符

59、號(hào) 概率 符號(hào) 概率 空格空格 0.2 s 0.052 y, w 0.012 e 0.105 h 0.047 g 0.011 t 0.072 d 0.035 b 0.0105 o 0.0654 i 0.029 v 0.008 a 0.063 c 0.023 k 0.003 n 0.059 f , u 0.0225 x 0.002 l 0.055 m 0.021 j, q, z 0.001 r 0.054 p 0.0175 第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論根據(jù)表中給出的英文字母出現(xiàn)的概率根據(jù)表中給出的英文字母出現(xiàn)的概率, ,求字求字母母e和和q的信息量。的信息量。 解：據(jù)表可知解

60、：據(jù)表可知e和和q的出現(xiàn)概率分別為的出現(xiàn)概率分別為P(e)=0.105， P(q)=0.001，它們的信息量是，它們的信息量是 I(e)= -log2 P(e)= -log20.105=3.24(bit) I(q)= -log2 P(q)= -log20.001=9.97 (bit)第二章測(cè)量?jī)x器的基本理論第二章測(cè)量?jī)x器的基本理論This is a table這條消息的符號(hào)種數(shù)這條消息的符號(hào)種數(shù)m=9, 即即t, h, i, s, a, b, l, e和空格。和空格。各符號(hào)次數(shù)各符號(hào)次數(shù)ni分別如下：分別如下： t出現(xiàn)出現(xiàn)2次，次，i出現(xiàn)出現(xiàn)2次，次，s出現(xiàn)出現(xiàn)2次，空格出現(xiàn)次，空格出現(xiàn)3次，