CH2-1信息科學(xué)2

信息科學(xué)原理 主講：毛光喜,廣東商學(xué)院信息學(xué)院,信息的概念與描述,信息科學(xué)概論,信息的測度,信息獲取識別論,信息處理與再生決策論,信息調(diào)節(jié)控制論,信息傳遞通信論,信息認知智能論,信息組織系統(tǒng)論,信息的應(yīng)用,1. 2. 3. 4. 5. 6. 7. 8. 9. 10.,2.信息的概念與描述,傳統(tǒng)科學(xué)的基本概念是物質(zhì)與能量，信息科學(xué)的基本概念是信息。信息，既是信息科學(xué)的出發(fā)點，也是它的歸宿。具體來說，信息科學(xué)的出發(fā)點是認識信息的本質(zhì)和它的運動規(guī)律；它的歸宿則是利用信息來達到某種具體的目的。對信息的認識越透徹，對信息的利用就會越充分、越合理；對信息的概念把握得越深刻，信息科學(xué)本身的根基就越牢固、越扎實。,2.1信息的定義,信息就是信息，既不是物質(zhì)也不是能量。 信息是事物之間的差異。 信息是集合的變異度。 信息是一種場。 信息是系統(tǒng)的復(fù)雜性。 信息是一種關(guān)系。 信息是事物相互作用的表現(xiàn)形式。 信息是事物聯(lián)系的普遍形式。 信息是物質(zhì)和能量在時間和空間頒不均勻性。 信息是物質(zhì)的普遍屬性。 信息是收信者事先所不知道的報導(dǎo)。 信息是用以消除隨機不定性的東西。,2.1信息的定義,信息是使概率分布發(fā)生變動的東西。 信息是負熵。 信息是有序性的度量。 信息是系統(tǒng)組織程度的度量。 信息是被反映的差異。 信息是被反映的變異度。 信息是被反映的物質(zhì)的屬性。 信息是人與外界相互作用的過程中所交換的內(nèi)容的名稱。 信息是與控制論系統(tǒng)相聯(lián)系的一種功能現(xiàn)象。 信息是作用于人類感覺器官的東西。 信息是選擇的自由度。 信息是通信傳輸?shù)膬?nèi)容。,2.1信息的定義,信息是加工知識的原材料。 信息是控制的指令。 信息就是消息。 信息就是信號。 信息就是數(shù)據(jù)。 信息就是情報。 信息就是知識。 .,2.1.1信息定義的概念,“信息”(Information)和“消息”(Message)消息是信息的外殼，信息則是消息的內(nèi)核。（據(jù)新詞源考證，一千多年前，我國唐代就曾經(jīng)有“夢斷美人沉信息，目穿長路倚樓臺”的詩句，其中“信息”一詞就是音信、消息的意思。同樣，在西方出版的許多文獻著作中，“信息”(Information)和“消息”(Message)兩詞也是互相通用的。）,2.1.1信息定義的概念,“信息就是信號”（電信技術(shù)）信號只是信息的載體，信息是信號所載荷的內(nèi)容。 “信息就是數(shù)據(jù)”（計算機技術(shù)）數(shù)據(jù)，它只是記錄信息的一種形式，而且不是唯一的形式，不能把它等同于信息本身。情報只是一類專門的信息，是信息的一個子集。,2.1.1信息定義的概念,1925年R. A. Fisher給出了“信息”的定義，是從古典統(tǒng)計理論的角度定義的一種信息量。 1928年，哈特萊在貝爾系統(tǒng)電話雜志上發(fā)表了一篇題為“信息傳輸”的論文。在這篇論文中，他把信息理解為選擇通信符號的方式，并用選擇的自由度來計量這種信息的大小。他認為，發(fā)信者所發(fā)出的信息，就是他在通信符號表中選擇符號的具體方式。,2.1.1信息定義的概念,哈特萊的這種理解能夠在一定程度上解釋通信工程中的一些信息問題，但是它也存在著一些嚴重時局限性：首先，他所定義的信息不涉及內(nèi)容和價值，只考慮選擇的方式，其次，也沒有考慮到信源的統(tǒng)計性質(zhì)；第三，把信息理解為選擇的方式，就必須有一個選擇的主體作為限制條件。這些缺點使它的運用范圍受到很大的限制。,2.1.1信息定義的概念,美國數(shù)學(xué)家仙農(nóng)在貝爾系統(tǒng)電話雜志發(fā)表了一篇長文，題為“通信的數(shù)學(xué)理論”（1948）。這篇論文以概率論為工具，深刻闡述了通信工程的一系列基本理論問題，給出了計算信源信息量和信道容量的方法和一般公式，得到了一組表征信息傳遞重要關(guān)系的編碼定理。仙農(nóng)在進行信息的定量計算的時候明確地把信息量定義為隨機不定性程度的減少。這就表明了他對信息的理解：信息是用來減少隨機不定性的東西。隨機不定性系指由于隨機因素所造成的不能肯定的情形，在數(shù)值上可以用概率熵來計量。,2.1.1信息定義的概念,根據(jù)這一思想，法裔美國科學(xué)家布里淵在他的名著科學(xué)與信息論中直接了當?shù)刂赋觯盒畔⒕褪秦撿亍２⑶?，他還創(chuàng)造了Negentropy這一名詞（由Negative和Entropy合成）來表示負熵的概念（Brillouin，1956）。其實，Wiener在1950年出版的控制論與社會一書中就曾經(jīng)指出：“正如熵是無組織程度的度量一樣，消息集合所包含的信息就是組織程度的度量。事實上，完全可以將消息所包含的信息解釋為負熵。”,2.1.1信息定義的概念,缺陷：第一，作為Shannon信息概念的直接基礎(chǔ)，通信的數(shù)學(xué)理論一文曾經(jīng)十分明確地指出：通信的任務(wù)是在收端復(fù)制發(fā)端所發(fā)出的波形，至于它的內(nèi)容含義，因與通信工程無關(guān)，所以可以舍去?？梢姡琒hannon理論中的不定性純粹是波形形式上的不定性，與此相應(yīng)的信息概念也是純粹的形式化的概念（稱為語法信息）。這樣的信息概念排除了信息的含義因素（即語義信息）和價值因素（即語用信息），因此，它的適用范圍受到嚴重的限制。第二，它只考慮了隨機型的不定性，不能解釋與其他型式的不定性（如模糊不定性）有關(guān)的信息問題。第三，這種信息定義只從功能角度上來表述，還是沒有從根本上回答“信息是什么”的問題。,2.1.1信息定義的概念,所以，信息是組織程度的度量，是有序程度的度量和負熵，是用以減少不定性的東西，這些都是Shannon、Wiener、Bri11ouin等人共同的理解。這些認識比僅僅把信息看作消息或通信內(nèi)容要深刻得多。而且，在數(shù)學(xué)上很容易證明，Hartley的信息概念僅是Shannon信息概念的一種特殊情形。,2.1.1信息定義的概念,與Shannon的定義相仿，M. Tribes等人在1971年9月號的科學(xué)的美國人雜志上發(fā)表的“能量與信息”一文中曾經(jīng)指出：“概率是對知識狀態(tài)的一種數(shù)值編碼。某人對一個特定問題的知識狀態(tài)可以用這樣的方法表示，即對這個問題的種種想得出來的答案各分配一定的概率；如果他對這個問題完全了解，他就能夠?qū)λ羞@些可能的答案（除了其中的一個之外）賦予概率零，而剩下的那個則賦予概率1。既然可以把知識狀態(tài)編碼成這樣的概率分布，我們就可以給信息下一個定義：信息，就是使概率分布發(fā)生變動的東西”。,2.1.1信息定義的概念,和上面的定義有關(guān)的一個說法是“信息就是知識”，這個說法當然也是不夠確切的。我們倒是可以反過來說：知識是一種信息，但是不能籠統(tǒng)地斷言：信息就是知識。實際上，知識是由信息加工出來的產(chǎn)物，是一種具有普遍和概括性質(zhì)的高層次的信息，因此它是信息的一個特殊的子集。,2.1.1信息定義的概念,美國數(shù)學(xué)家、控制論的主要奠基人維納在1950年出版的控制論與社會一書中對信息的理解是：“人通過感覺器官感知周圍世界”，“我們支配環(huán)境的命令就是給環(huán)境的一種信息”，因此，“信息就是我們在適應(yīng)外部世界，并把這種適應(yīng)反作用于外部世界的過程中，同外部世界進行交換的內(nèi)容的名稱”?！敖邮招畔⒑褪褂眯畔⒌倪^程，就是我們適應(yīng)外界環(huán)境的偶然性的過程，也是我們在這個環(huán)境中有效地生活的過程”。是把信息理解為廣義通信的內(nèi)容。,2.1.1信息定義的概念,維納把人與外部環(huán)境交換信息的過程者作是一種廣義的通信的過程。這當然是沒有問題的；因為，廣義的通信本來就可以泛指人與人、機器與機器、機器與自然物、人與自然物之間的信息傳遞與交換。不過，這里所理解的信息仍然不夠確切。這是因為：人與環(huán)境之間互相交換的內(nèi)容中不僅有信息，也有物質(zhì)與能量，把它們統(tǒng)統(tǒng)起一個名字信息，豈不是把信息與物質(zhì)及能量混為一談。,2.1.1信息定義的概念,控制論的另一位重要的奠基人，英國生物學(xué)家W.R.Ashby在1956年出版的控制論導(dǎo)引一書中對信息提出了另一種理解。他首先引入了一個“變異度”的概念：任何一個集合，它所包含的元素的數(shù)目以2為底的對數(shù)就稱為這個集合的變異度（在更簡單的情形下，也可以把集合的元素數(shù)目直接定義為它的變異度）。然后，他就把變異度當作信息的概念來使用。,2.1.1信息定義的概念,不難證明，變異度實際上是Shannon熵的特殊情形：設(shè)某集合X有N個元素，每個元素出現(xiàn)的概率都等于lN，那么，這個集合的Shannon熵等于它的變異度。 這些基于變異度的概念后來還發(fā)展出一些新的說法，其中意大利學(xué)者GLongo在1975年出版的信息論：新的趨勢與未決問題一書序言中認為：信息是反映事物的形式、關(guān)系和差別的東西，它包含在事物的差異之中，而不在事物本身。,2.1.1信息定義的概念,“有差異就有信息”的觀點是正確的，但是反過來說“沒有差異就沒有信息”也不夠確切。 與此相聯(lián)系的說法還有：“信息是被反映的差異”，“信息是被反映的變異度”等等。這些說法在“差異”和“變異度”的概念之上又加上了“被反映的”限制，其可用的范圍就更狹窄了。此外，還有把信息理解為“物質(zhì)和能量在時間及空間分布的不均勻性”的，不均勻性也是一種差異的表現(xiàn)。,2.1.1信息定義的概念,總起來說，在現(xiàn)有的各種理解中，Shannon的定義比較深刻，而且這種定義還導(dǎo)出了相應(yīng)的算法。但是正如前面所說，Shannon定義也還存在不少的缺陷。這樣，雖然已經(jīng)有了眾多的關(guān)于信息的定義，然而我們卻不能滿足于現(xiàn)有的理解，還必須進一步去尋求更合理、更科學(xué)和更有用的信息定義，以便更好地研究和解決現(xiàn)實世界已經(jīng)提出的許多新的信息問題。,2.1.2 信息的定義及其體系,由于信息概念的復(fù)雜性，在定義信息的時候必須十分注意定義的條件。根據(jù)不同的條件區(qū)分不同的層次來給出信息的定義。最高的層次是最普遍的層次，也是無條件約束的層次，我們把它叫做“本體論層次”。如果引入一個約束條件，則最高層次的定義就變?yōu)榇胃邔哟蔚亩x，而次高層次的信息定義的適用范圍就比最高層次定義的范圍要窄。所引入的約束條件越多，定義的層次就越低，它所定義的信息的適用范圍也就越窄。,2.1.2 信息的定義及其體系,根據(jù)引入的條件的不同，就可以給出不同層次和不同適用范圍的信息定義，這些不同的信息定義的系列，就構(gòu)成了信息定義的體系。,2.1.2 信息的定義及其體系,若對本體論層次的信息定義引入一個約束條件必須有主體（如人、生物或機器系統(tǒng)），從主體的立場出發(fā)來定義信息，那么，本體論層次的信息定義就轉(zhuǎn)化為認識論層次的信息定義，這個層次的信息定義的適用范圍顯然要比本體論層次的定義范圍窄，因為它必須滿足上述條件。在本體論層次上，信息的存在不以主體存在的條件為轉(zhuǎn)移，即使根本不存在主體，信息也仍然存在。,2.1.2 信息的定義及其體系,因此，在這個層次上我們完全可以說，在地球上出現(xiàn)人類以前，信息就已經(jīng)存在了，只是沒有人去感知和利用而已。但是在認識論層次上則不然，在這個層次上，沒有主體，就沒有認識論意義上的信息。于是這時就必須說：在人類出現(xiàn)之前根本不存在（以人類為觀察主體的）認識層次的信息。,2.1.2 信息的定義及其體系,本體論層次的信息定義：某事物的本體論層次信息，就是該事物運動的狀態(tài)和（狀態(tài)改變的）方式。 本體論層次更具體的信息定義：本體論層次的信息，就是事物運動的狀態(tài)和方式，也就是事物內(nèi)部結(jié)構(gòu)和外部聯(lián)系的狀態(tài)和方式。 要認識一個事物，要描述一個系統(tǒng)，唯一的辦法就是要通過各種可能的途徑來獲得關(guān)于該事物、該系統(tǒng)的信息，即關(guān)于該事物（系統(tǒng)）的內(nèi)部結(jié)構(gòu)和外部聯(lián)系的狀態(tài)和方式，或簡言之，關(guān)于該事物運動的狀態(tài)和方式。,2.1.2 信息的定義及其體系,引入一個最有實際意義的約束條件，即：必須存在人類主體，而且必須站在人類主體的立場上來定義信息。在這個條件的約束下，本體論層次信息定義就轉(zhuǎn)化為認識論層次信息定義。 認識論層次信息定義是：某主體關(guān)于某事物的認識論層次信息，是指該主體所感知的或該主體所表述的相應(yīng)事物的運動狀態(tài)及其變化方式，包括狀態(tài)及其變化方式的形式、含義和效用。 對于正常的人類主體來說，事物的運動狀態(tài)及其變化方式的外在形式、內(nèi)在含義和效用價值這三者之間是相互依存不可分割的。,2.1.2 信息的定義及其體系,我們把這樣同時考慮事物運動及其變化方式的外在形式、內(nèi)在含義和效用價值的認識層次信息稱為“全信息”，而把其中的形式因素的信息部分稱為“語法信息”，把其中的含義因素的信息部分稱為“語義信息”，把其中效用因素的信息部分稱為“語用信息”。換句話說，認識論層次的信息乃是同時涉及語法信息、語義信息和語用信息的全信息。,2.1.2 信息的定義及其體系,實際上，語法信息、語義信息和語用信息都是從語言學(xué)領(lǐng)域引伸過來的術(shù)語。 語法信息只涉及“事物運動的狀態(tài)和狀態(tài)改變的方式”本身，不涉及這些狀態(tài)的含義和效用，因此是最抽象、最基本的層次。這種情形正像語言學(xué)領(lǐng)域的“詞與詞的結(jié)合方式”，不考慮詞的含義與效用。在語言學(xué)里，這種只考慮“詞與詞的結(jié)合方式”的研究被稱為語法學(xué)。,2.1.2 信息的定義及其體系,語義信息系指“事物運動的狀態(tài)和方式的含義”。在語言學(xué)里研究“詞與詞的結(jié)合方式的含義”的學(xué)科稱為語義學(xué)。因此，借用這個術(shù)語，我們把“狀態(tài)與狀態(tài)改變方式的含義”這一層次叫做語義信息。同樣的道理，我們把關(guān)于“狀態(tài)及狀態(tài)改變方式的效用”這個層次稱為語用信息，這是由語用學(xué)借用過來的術(shù)語。,2.1.2 信息的定義及其體系,2.1.2 信息的定義及其體系,Shannon信息論或統(tǒng)計通信理論是基于概率型語法信息的信息理論，本文所定義的信息科學(xué)則是基于“全信息”的信息理論。這是現(xiàn)代信息科學(xué)與傳統(tǒng)信息論之間的一個重要區(qū)別。正是由于引入了全信息的概念和理論，原先各自獨立發(fā)展的識別論、通信論、控制論、決策論、優(yōu)化論和智能論才得以統(tǒng)一在信息科學(xué)的有機體系之中。因此，對于信息科學(xué)來說，全信息是一個十分重要的概念，全信息及其理論是整個信息科學(xué)理論的基石。,2.1.2 信息的定義及其體系,由于引入了主體，引入了認識主體與事物客體之間的關(guān)系，認識論層次信息還衍生出另一組有用的概念，這就是實在信息、先驗信息和實得信息的概念。 具體來說，某個事物的實在信息是事物實際所具有的信息。事物的實在信息是事物本身所固有的一個特征量，它只取決于事物本身的運動狀態(tài)及其變化方式，而與主體的因素無關(guān)。,2.1.2 信息的定義及其體系,某主體關(guān)于某事物的先驗信息，是指該主體在實際觀察該事物之前已經(jīng)具有的關(guān)于該事物的信息。先驗信息既與事物本身的運動狀態(tài)及其變化方式有關(guān)，也與主體的主觀因素有關(guān)。 某主體關(guān)于某事物的實得信息，是指該主體在觀察事物的過程中實際獲得的關(guān)于該事物的信息。實得信息不僅與事物本身的運動狀態(tài)及其變化方式有關(guān)，而且也與主體的觀察能力以及實際的觀察條件有關(guān)。,2.2 信息的特征、性質(zhì)與分類,第一特征：信息來源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運動中產(chǎn)生出來，又可以脫離源物質(zhì)而相對獨立地存在。 第二特征：信息也來源于精神世界，但是又不限于精神的領(lǐng)域。 第三特征：信息與能量息息相關(guān)，但是又與能量有本質(zhì)的區(qū)別。 第四特征：信息具有知識的本性，但它又比知識的內(nèi)涵更廣泛。,2.2 信息的特征、性質(zhì)與分類,第五特征：信息是具體的，并且可以被人（生物、機器等）所感知、提取、識別，可以被傳遞、存儲、變換、處理、顯示、檢索和利用。 第六特征：信息可以被眾多用戶所共享。 第七特征：語法信息在傳送和處理過程中永不增值。 第八特征：在封閉系統(tǒng)中，語法信息的最大可能值不變。,2.2 信息的特征、性質(zhì)與分類,性質(zhì)一 普遍性：信息是普遍存在的。 性質(zhì)二 無限性：在整個宇宙時空中，信息是無限的；即使是在有限的空間（時間有限或無限）中，信息也是無限的。 性質(zhì)三 相對性：對于同一個事物，不同的觀察者所能獲得的信息量可能不同。 性質(zhì)四 轉(zhuǎn)移性：信息可以在時間上或在空間上從一點轉(zhuǎn)移到另一點。,2.2 信息的特征、性質(zhì)與分類,性質(zhì)五 變換性：信息可以是變換的，它可以同不同的載體和不同的方法來載荷。 性質(zhì)六 有序性：信息可以用來消除系統(tǒng)的不定性，增加系統(tǒng)的有序性。 性質(zhì)七 動態(tài)性：信息具有動態(tài)性質(zhì)，一切活的信息都隨時間而變化。因此，信息也是有時效、有“壽命”的。 性質(zhì)八 轉(zhuǎn)化性：從潛在的意義上講，信息是可以轉(zhuǎn)化的。它在一定的條件下，可以轉(zhuǎn)化為物質(zhì)、能量、時間及其他。,2.2 信息的特征、性質(zhì)與分類,信息分類也有許多不同的準則和方法。比如： 從信息的性質(zhì)分類，可以有：語法信息；語義信息、語用信息。 從觀察的過程來分類，可以有：實在信息、先驗信息、實得信息。 從信息的地位來分類，可以有：客觀信息（包括觀察對象的初始信息，經(jīng)過觀察者干預(yù)之后的效果信息、環(huán)境信息等）、主觀信息（包括決策信息、指令信息、控制信息、目標信息等）。 從信息的作用來分類，可以有：有用信息、無用信息、干擾信息。,2.2 信息的特征、性質(zhì)與分類,從信息的邏輯意義來分類，可以有：真實信息、虛假信息、不定信息。 從信息的傳遞方向來分類，可以有：前饋信息、反饋信息。 從信息的生成領(lǐng)域來分類，可以有：宇宙信息、自然信息、社會信息、思維信息等。 從信息的應(yīng)用部門來分類，可以有：工業(yè)信息、農(nóng)業(yè)信息、軍事情息、政治信息、 科技信息、文化信息、經(jīng)濟信息、市場信息、管理信息等。,2.2 信息的特征、性質(zhì)與分類,從信息源的性質(zhì)來分類，可以有：語聲信息、圖像信息、文字信息、數(shù)據(jù)信息、計 算信息等。 從信息的載體性質(zhì)來分類，可以有：電子信息、光學(xué)信息、生物信息等。 從攜帶信息的信號的形式來分類，還可以有：連續(xù)信息、離散信息、半連續(xù)信息等。,2.2 信息的特征、性質(zhì)與分類,2.2 信息的特征、性質(zhì)與分類,按照基本定義，語法信息是事物運動的狀態(tài)和方式的外在形式。根據(jù)事物運動的狀態(tài)和方式在形式上的不同，語法信息還可以作如下的分類：首先，事物運動的狀態(tài)可以是有限狀態(tài)或無限狀態(tài)，與此相對應(yīng)，就有有限狀態(tài)語法信息和無限狀態(tài)語法信息之分；其次，事物運動的狀態(tài)可能是連續(xù)的，也可能是離散的，于是，又可以有連續(xù)狀態(tài)語法信息與離散狀態(tài)語法信息之分；再者，事物運動的狀態(tài)還可能是明晰的，或者是模糊的，這樣又有狀態(tài)明晰的語法信息與狀態(tài)模糊的語法信息之分。,2.2 信息的特征、性質(zhì)與分類,另一方面，按照事物運動的方式（即狀態(tài)改變的方式），可以有隨機型方式、半隨機型方式 以及確定型方式三類，它們分別對應(yīng)于概率型信息、偶發(fā)型信息和確定型信息三種基本的形式。 所謂隨機型的運動方式，就是各狀態(tài)是完全按照概率規(guī)則或統(tǒng)計規(guī)律出現(xiàn)的，于是這類信息又叫做概率型信息或者統(tǒng)計型信息。,2.2 信息的特征、性質(zhì)與分類,所謂半隨機型運動方式，是指這樣一種方式：各個狀態(tài)的出現(xiàn)是不可預(yù)測的，但是由于這類試驗往往只進行一次或若干次，而不能大量重復(fù)，因此不能用概率統(tǒng)計的規(guī)則來描述，對于這類試驗所提供的信息，就稱為偶發(fā)型信息。 確定型的運動方式是指其各種狀態(tài)的出現(xiàn)規(guī)則能用經(jīng)典數(shù)學(xué)公式來描述的方式，這種方式的未知因素通常表現(xiàn)在初始條件和環(huán)境影響（約束條件）方面，與這類運動方式相對應(yīng)的信息，就稱為確定型信息。,2.2 信息的特征、性質(zhì)與分類,由于連續(xù)信息通常都可以實現(xiàn)離散化，因此研究離散型信息是主要的。另外，狀態(tài)無限的情形往往可以通過求極限的方法由狀態(tài)有限的情形來逼近，于是，研究狀態(tài)有限的情形是更為基本的。最基本的語法信息形式就只有六種，即概率信息、偶發(fā)信息、確定型信息、模糊型概率信息、模糊型偶發(fā)信息以及模物型確定信息。由于通常所說的模糊信息是指模糊型確定信息。因而真正最基本的語法信息只有四種，即：離散有限明晰狀態(tài)的概率型信息、離散有限明晰狀態(tài)的偶發(fā)型信息、離散有限明晰狀態(tài)的確定型信息、離散有限模糊狀態(tài)的確定型信息。我們分別把它們叫做概率信息、偶發(fā)信息、確定信息以及模糊信息。,2.2 信息的特征、性質(zhì)與分類,2.3 信息的描述,首先考慮語法信息的描述，包括： 概率信息、偶發(fā)信息、確定型信息和模糊信息的描述。 然后，再考察語義信息和語用信息的描述。 2.3.1概率信息的描述 我們關(guān)心的概率信息是特指離散有限明晰狀態(tài)的概率信息。,2.3 .1 概率信息的描述,符號體系：X表示一個試驗，Xxi，|i=1,，n表示這一試驗的所有可能狀態(tài)的集合，Ppi | il,n表示這些可能狀態(tài)出現(xiàn)的概率的集合，（X，P）xi ,pi | i=1,n表示這一試驗的概率空間。,2.3 .1 概率信息的描述,描述概率信息的基本方法：概率空間（X，P）的各元（xi ,pi），i1,n，正好描述了事物運動的狀態(tài)和方式。其中，xi , il,n，表示了所有可能的運動狀態(tài)；而pi, il,n，則表示了這些可能的運動狀態(tài)是以概率方式出現(xiàn)的：狀態(tài)xi 以概率pi隨機地出現(xiàn)，il,n，于是概率空間就把整個事物運動的狀態(tài)和方式刻劃出來了，它是描述概率信息的基本方法。,2.3 .1 概率信息的描述,先驗概率與后驗概率：假定有一個隨機試驗X，它有n種可能的試驗結(jié)果（運動狀態(tài)）且分別為x1,xn 。在觀察這一試驗之前，觀察者已經(jīng)先驗地知道這些狀態(tài)出現(xiàn)的概率分別是p1,pn 。這些概率稱為先驗概率。但是在觀察試驗的實際結(jié)果之后發(fā)現(xiàn)，這n個可能的狀態(tài)的出現(xiàn)概率卻變成了p*1,p*n。這些概率稱為后驗概率?？梢詫懗鲇^察前后概率空間的變換。 xi ,pi | i=1,nxi ,p*i | i=1,n （2.3.1）,2.3 .1 概率信息的描述,描述概率信息的基本方法： xi ,pi | i=1,nxi ,p*i | i=1,n 箭頭左邊是試驗的先驗概率空間，箭頭右邊是后驗概率空間。先驗概率空間描述了觀察者的先驗信息，后驗概率空間描述了試驗的實在信息，概率空間的變換式（2.3.1）就可以用來描述觀察者的實得信息。在大多數(shù)實際的試驗場合，后驗概率分布p*i | i=1,n是一個0一1型分布：,2.3 .1 概率信息的描述,描述概率信息的基本方法：當觀察者對于X的出現(xiàn)概率沒有任何先驗知識時，就只能假定這n個狀態(tài)出現(xiàn)的概率，即：pi=1/n，i=1,n，我們用符號Po來表示這種均勻型的先驗概率分布。這樣，式（2.3.2）又變?yōu)椋?（X，Po）（X，Ps*） （2.3.2） 在觀察試驗之前，觀察者對試驗結(jié)果一無所知；觀察之后，結(jié)果唯一確定。在這種觀察場合，觀察者獲得了最大的實得信息量。反之，如果有P*Po，則觀察者的實得信息為零。,2.3 .1 概率信息的描述,描述概率信息的基本方法：用概率空間以及概率空間的變換，可以很好地描述隨機型試驗（隨機運動的事物）的信息過程。我們用擲幣的例子來說明這一方法，在這個例子中，Xxi,|i=1,，n，其中x1為“字朝上”狀態(tài)，x2“畫朝上”狀態(tài)。在觀察之前，觀察者無法知道x1和x2究竟何者出現(xiàn)。根據(jù)統(tǒng)計學(xué)知識，它們出現(xiàn)的概率相等，即：pi1/2，i1，2。這時，X的先驗概率空間為,矩陣式為： 現(xiàn)在假定觀察的結(jié)果是x1出現(xiàn)，即后驗概率空間為 觀察者的實得信息可以描述為：,2.3 .1 概率信息的描述,2.3 .1 概率信息的描述,描述概率信息的基本方法：在不理想觀察的場合，概率空間的變換式由式（2.3.1）表示。但是，如果不理想觀察僅僅是由外界干擾引起的，而且，如果干擾的信息也是可描述的，那么，在這種場合的概率空間變換式尚有另外的表示。這種不理想的觀察模型示于圖2.3.1：,2.3 .1 概率信息的描述,描述概率信息的基本方法：圖中（X，P）是觀察者關(guān)于事物（隨機試驗）X的先驗概率空間，（Z，P（Y|X）是干擾的概率空間，（Y，P*（X|Y）是事物的后驗空間。這里，P（Y|X）和P*（X|Y）都是條件概率分布。 在事件B出現(xiàn)的條件下（P(B)0），事件A出現(xiàn)的概率稱為事件B出現(xiàn)的條件下事件A出現(xiàn)的條件概率，記為P(A|B). 它們的物理意義可由圖2.3.2和圖2.3.3得到解釋。,由于存在干擾，觀察者無法精確地觀察x1和x2的情況。因此，他觀察到的狀態(tài)數(shù)不是兩個，而是三個：y1相應(yīng)于x1；y3相應(yīng)于x2；而y2則是一個新狀態(tài)，它表示觀察者不能肯定x1還是x2。而且，觀察者只以一定的概率p(y1|x1)把x1觀察成y1，并以概率p(y2|x1)把x1判斷為y2，以概率p(y3|x1)把x1看成是y3。同樣，他只能以概率p(y3|x2)把x2判斷為y3，并以概率p(y2|x2)和p(y1|x2)把x2判為y2和y1，這就是條件概率分布P(Y|X)的含義，它表達了觀察過程中干擾的有害影響。,2.3 .1 概率信息的描述,描述概率信息的基本方法：先驗概率空間是先驗已知的，我們可以利用后驗概率（貝葉斯）公式 分別求出p*(xi|yj),i=1,2,j=1,2,3的數(shù)值，它的含義是：當觀察者把觀察的結(jié)果判斷為狀態(tài)yj時實際的狀態(tài)為xi的概率。與此相應(yīng)，所有后驗概率的集合就是后驗概率分布P*（X|Y）。可以用如下示意圖2.3.3 表示。,后驗概率在這里是條件概率的形式，它可以用這樣的一個矩陣來表示： 觀察者的實得信息仍可以表示為：,2.3 .2 偶發(fā)信息的描述,偶發(fā)信息是由半隨機試驗提供的，半隨機試驗的可能狀態(tài)也是隨機發(fā)生的，只是它們發(fā)生的規(guī)律不能用概率論來描述，因為這類試驗是偶爾發(fā)生的，而不是大量地重復(fù)發(fā)生的，不存在統(tǒng)計穩(wěn)定性。同隨機試驗一樣，我們只考慮離散有限明晰狀態(tài)的情形。 現(xiàn)在假定有某個隨機試驗X，它有N個可能的狀態(tài)：x1,xN 。作為試驗的結(jié)局，一般總有一個狀態(tài)會實際發(fā)生。但究竟是哪個狀態(tài)發(fā)生呢?在觀察之前，根據(jù)種種資料推斷，觀者認為，x1發(fā)生的可能度為q1，xN發(fā)生的可能度為qN。顯然，與概率的情形類似，應(yīng)有：,2.3 .2 偶發(fā)信息的描述,實際觀察的結(jié)果，各種可能狀態(tài)發(fā)生的可能度卻是q1*，qN*。其中，qno*l，其余qn*0。我們把q1，qn稱為觀察者關(guān)于X的先驗可能度分布；用符號Q表示，而q1*，qn*稱為試驗X的后驗可能度分布，用符號Q*表示。從形式上看，這里的Q和Q*與概率信息中的P和P*十分相似。二者的區(qū)別在于：Q并不是概率，無法用統(tǒng)計的方法求出；Q的數(shù)值，純粹是由觀察者的經(jīng)驗確定的，有很大的主觀性。嚴格說起來，Q是觀察者關(guān)于X的主觀經(jīng)驗性的先驗可能度分布，而且，服從上式的歸一化約束。正是這個緣故，有時也可以把可能度叫做主觀概率、經(jīng)驗概率、形式概率或主觀置信度。,2.3 .2 偶發(fā)信息的描述,無論如何，試驗X的狀態(tài)集合與其可能度分布一起，確實描述了半隨機試驗的運動狀態(tài)和運動方式。因此，可以和概率信息類似，定義（X，Q)和（X，Q*）分別為半隨機試驗的先驗可能度空間和后驗可能度空間，并且用它們來描述偶發(fā)信息。在半隨機試驗X的過程中，觀察者的實得信息可以用下面的可能度空間的變換來描述：,2.3 .2 偶發(fā)信息的描述,舉一個例子來說明偶發(fā)信息及其描述方法。 假定有3名運動員賽跑，我們把它看做一個半隨機型的試驗，記為X。顯然，這一試驗一共有6種可能的結(jié)局（可能的狀態(tài)），若把3名運動員分別記為r1，r2和r3，則這6種可能的狀態(tài)就是： x1：r1r2r3 x2：r1r3r2 x3：r2r1r3 x4：r2r3r1 x5：r3r1r2 x6：r3r2r1,2.3 .2 偶發(fā)信息的描述,這類競賽是半隨機試驗的典型例子，因為x1,x6究竟哪個狀態(tài)能夠?qū)崿F(xiàn)是不能夠用確定型的公式或概率論公式來預(yù)測的；它有隨機性、偶然性，但又不能大量重復(fù)進行試驗，即使可以讓r1，r2和r3同場比賽若干次，但實際上每次比賽的條件（即試驗條件）都不可能一樣：各個運動員的身體狀況、心理狀態(tài)、競技狀態(tài)都在變化。所以，只能建立主觀的或經(jīng)驗的可能度分布，而不可能建立概率分布。如果觀察者關(guān)于X的先驗可能度分布為q1,q6，比賽結(jié)果的后驗可能度分布為q*1,q*6，那么，觀察者的實得信息可以用下面的變換來描述：,2.3 .3 確定信息的描述,所謂確定型信息，是指由確定試驗所提供的信息。而所謂確定型試驗，是指具有確定的試驗機構(gòu)，但初始條件和環(huán)境條件具有動態(tài)或時變性的試驗?？紤]如圖所示的簡單RLC電路試驗的例子：,2.3 .3 確定信息的描述,由電工學(xué)的理論，這個電路的運動狀態(tài)和方式（行為）可以由一個二階微分方程來描述： 只要給出初始條件，就可以唯一地確定未來時刻t的狀態(tài)和方式。這是一個確定型的實驗系統(tǒng)。 設(shè)q是電荷，則： q(0)=0;,2.3 .3 確定信息的描述,二階微分方程變?yōu)椋?若令 則上式可以變換為： 或者,2.3 .3 確定信息的描述,狀態(tài)方程： 矩陣形式： 這個電路的狀態(tài)完全由x1和x2這兩個變量所確定。我們把x1和x2稱為這個試驗系統(tǒng)的狀態(tài)變量，上式則稱為該系統(tǒng)的狀態(tài)方程。我們可以用狀態(tài)方程來描述這類動態(tài)系統(tǒng)的行為。,2.3 .3 確定信息的描述,把上述簡單RLC電路系統(tǒng)推廣到一般的情形，通?？梢杂萌缦滦问降膎階常系數(shù)線性微分方程來描述它們的行為： 式中y(t)是系統(tǒng)的輸出，U(t)是系統(tǒng)輸入。與上面所說的系統(tǒng)的情形類似，可以把式中的n個變量y，稱為該系統(tǒng)的狀態(tài)變量。,2.3 .3 確定信息的描述,這類系統(tǒng)的狀態(tài)就是一組數(shù)。只要給定在某個時刻的這樣一組數(shù)，給定系統(tǒng)的輸入以及描寫這個系統(tǒng)動態(tài)關(guān)系的微分方程，就可以確定這個系統(tǒng)在未來時刻的狀態(tài)和輸出。這就是所謂的確定型信息。很明顯，這種系統(tǒng)能夠提供信息，但是這種信息既不是前面講過的概率信息，也不是偶發(fā)的信息。 若令：,2.3 .3 確定信息的描述,x1(t)，x2(t) ，xn(t)也是這個系統(tǒng)的一組狀態(tài)變量。利用這組狀態(tài)變量，就可以把上式這種高階微分方程變?yōu)橐唤M一價微分方程組： 矩陣形式：,2.3 .3 確定信息的描述,有了狀態(tài)方程只要知道一個系統(tǒng)現(xiàn)時的狀態(tài)變量和輸入情況，就可以預(yù)測它未來的行為。也就是說，現(xiàn)時的狀態(tài)變量包含著有關(guān)未來狀態(tài)的信息，利用狀態(tài)變量和狀態(tài)方程就能充分描述這種信息。 如果已知某個系統(tǒng)或某個試驗的各種狀態(tài)以及狀態(tài)之間的轉(zhuǎn)移方式，那么，用圖論的方法來表示這些狀態(tài)和方式(即信息)是十分直觀和方便的。,2.3 .3 確定信息的描述,所謂圖，就是若干頂點和邊的集合。 用圖來表示信息的時候，頂點就代表狀態(tài)，邊就代表狀態(tài)轉(zhuǎn)移的關(guān)系和方式。在下圖中的各條邊沒有標明方向，這樣的圖叫做無向圖（左下圖）。如果圖中的邊是有方向的(用箭頭表示)，則稱這種因為有向圖。如果圖中各邊還注有數(shù)字，這種圖就做加權(quán)圖?？梢姡瑘D還是一個加權(quán)圖。更確切地說，它是一個加權(quán)有向圖。,2.3 .3 確定信息的描述,下圖是一個有向加權(quán)圖，可以認為是一個描述一年生植物的運動狀態(tài)和運動方式的圖。它描述了這種植物的生活行為：圖中的各個頂點表示該植物的生活狀態(tài)(運動狀態(tài))，各個邊表示這些狀態(tài)的轉(zhuǎn)移方式和轉(zhuǎn)移的途徑；邊上所注的數(shù)字，就是權(quán)，表示從某一狀態(tài)向另一狀態(tài)轉(zhuǎn)移的概率或可能度；邊上所注的箭頭指示狀態(tài)轉(zhuǎn)移的方向。圖中各個頂點的含義是：A種子狀態(tài)；B植物狀態(tài)；C開花狀態(tài)；D已授粉的植物狀態(tài)；E末授粉的植物狀態(tài)； F種子的死亡狀態(tài)。,2.3 .3 確定信息的描述,圖解：種子以概率q生長成為植物(種子死亡的概率是1q)，植物則肯定能夠開花，開了花的植物以概率p授粉成功（不能授粉成功的概率為1p），已授粉的植物（花）性能結(jié)出種子。此后則重復(fù)這個過程。只要環(huán)境條件不發(fā)生明顯的變化，這個圖就能描述這種植物的生活信息。 同時：它又是一個具有隨機因素的狀態(tài)轉(zhuǎn)移圖，如果p=q=1，則頂點E和F就成為孤立頂點，這時，植物的生活運動就成為確定性的運動，狀態(tài)轉(zhuǎn)移的方式和關(guān)系都具有確定性質(zhì)。,2.3 .3 確定信息的描述,矩陣方法：這類信息也可以用矩陣來描述。例如，我們可以用鄰接矩陣來描述圖中頂點連接的情況。也可以用關(guān)聯(lián)矩陣來描述邊和頂點的結(jié)合狀況。,鄰接矩陣,關(guān)聯(lián)矩陣,2.3 .3 確定信息的描述,如果圖變?yōu)橛邢驁D，則關(guān)聯(lián)矩陣還可以表示出連接的方向信息：,有向圖,2.3 .3 確定信息的描述,數(shù)據(jù)表格、公式曲線描述信息方法： 考慮如下一個確定型決策問題：假設(shè)某單位需要購買某種產(chǎn)品45000個，已知該產(chǎn)品有四處供應(yīng)來源，所購買的這些產(chǎn)品要分別送到三個不同的倉庫點，下表列出各個倉庫的容量和各個供應(yīng)點的數(shù)量以及價格、運輸費等數(shù)據(jù)。試確定具體的方案，使所付的費用最少。,2.3 .3 確定信息的描述,根據(jù)表中的信息，運用適當?shù)臄?shù)學(xué)方法（在本例中便是線性規(guī)劃方法），就可以制定一個確定的決策。為了進行數(shù)學(xué)處理，上述用文字和表格給出的信息往往還要濃縮在數(shù)學(xué)公式里，以便進行運算解析?？梢?，數(shù)學(xué)公式也是描述信息的一種方法。在本例中，如果用符號xij來表示從第i供應(yīng)點購買并運到第j號倉庫的產(chǎn)品數(shù)量，i=1，2，3。那么，我們就可以列出下列公式來表示所給出的信息：,2.3 .3 確定信息的描述,約束信息為：,2.3 .3 確定信息的描述,有些確定型信息不便用數(shù)學(xué)公式來描述，就可以用曲線或圖形來描述，甚至用語言來描述。例如，在模式識別的場合，許多模式特征都不好用數(shù)學(xué)表達式來表示，就只好用圖形或語言來的描述。比如用一根垂直線加一個半圓來代表一個英文字母D，用一根垂直線后接兩個半圓弧來表示英文字母B等。這些描述信息（模式特征）的方法，在“文法識別”型的模式識別研究中使用得極其頻繁。,2.3 .4 模糊信息的描述,模糊信息的描述要涉及到集合的概念。不過，這里涉及到的是一類不同的集合模糊集合。所謂模糊集合（簡稱為模糊集），就是由所有元素（有時稱為元）組成的總體，這些元都具合某種（或某些）共同的特性，不過具有這些特性的程度可以不同。例如，“遠大于1的正實數(shù)集”就是一個模糊集，它的元包括大于l的所有正實數(shù)，因為，“10”以上的正實數(shù)當然百分之百地地滿足“遠大于l”這一條件，“5”滿足的程度可能只有百分之五十，而“2”滿足的程度只有百分之幾。但它們都“在一定程度上”具有“遠大于l”這一性質(zhì)。,2.3 .4 模糊信息的描述,上圖曲線叫做模糊集的示性函數(shù)，也叫隸屬度分布曲線。集合的示性函數(shù)的意義是指在所有元之中哪些屬于該集合，哪些不屬于該集合。隸屬度分布曲線的意義是表明各元“屬于”該集合的程度。定義百分之百地屬于該集合的元的隸屬度為l，完全不屬于該集合的元的隸屬度為0，其他則為中間情況。這樣，如圖所示，“遠大于1的正實數(shù)集”就是一個模糊集，它的示性函數(shù)或隸屬度分布曲線是一種具有平滑過渡的曲線。,2.3 .4 模糊信息的描述,對照概率理論中普通集合的情況：普通集的示性函數(shù)或隸屬度分布曲線是具有突變跳躍的曲線，所示的是“大于等于1的正實數(shù)集合”，這當然是一個普通集：所有大于l的正實數(shù)都屬于這個集合，而其他則不屬于這個集合。所以，它的示性函數(shù)或隸屬度曲線是沒有平滑過渡段的直線段。,2.3 .4 模糊信息的描述,模糊集定義可以表述如下：所謂給定了域U上的一個模糊子集X是指：對于任意uU，都指定了一個數(shù)fx(u)0，1，這個數(shù)叫做u對于X的隸屬度。 在1965年L.AZadeh的論文“模糊集理論”發(fā)表之前，數(shù)學(xué)只知道有普通集。如上所說，普通集的特征是“非此即彼、非彼即此”，非常絕對。模糊集理論揭示了事物性質(zhì)的漸