不確定性知識的表示與推理

1、第 8 章 不確定性知識的表示與推理 第 8 章 不確定性知識的表示與推理 8.1 不確定性處理概述不確定性處理概述 8.2 幾種經(jīng)典的不確定性推理模型幾種經(jīng)典的不確定性推理模型 8.3 基于貝葉斯網(wǎng)絡的概率推理基于貝葉斯網(wǎng)絡的概率推理 8.4 基于模糊集合與模糊邏輯的模糊推理基于模糊集合與模糊邏輯的模糊推理 習題八習題八 第 8 章 不確定性知識的表示與推理 8.1 不確定性處理概述不確定性處理概述 8.1.1 不確定性及其類型不確定性及其類型 1. (1. (狹義狹義) )不確定性不確定性 不確定性(uncertainty)就是一個命題(亦即所表示的事件)的真實性不能完全肯定, 而只能對其

2、為真的可能性給出某種估計。 例如: 如果烏云密布并且電閃雷鳴, 則很可能要下暴雨。 如果頭痛發(fā)燒, 則大概是患了感冒。 就是兩個含有不確定性的命題。 當然, 它們描述的是人們的經(jīng)驗性知識。 第 8 章 不確定性知識的表示與推理 2. 2. 不確切性不確切性( (模糊性模糊性) ) 不確切性(imprecision)就是一個命題中所出現(xiàn)的某些言詞其涵義不夠確切, 從概念角度講, 也就是其代表的概念的內(nèi)涵沒有硬性的標準或條件, 其外延沒有硬性的邊界, 即邊界是軟的或者說是不明確的。 例如, 小王是個高個子。 張三和李四是好朋友。 如果向左轉(zhuǎn), 則身體就向左稍傾。 第 8 章 不確定性知識的表示與推

3、理 這幾個命題中就含有不確切性, 因為其中的言詞“高”、 “好朋友”、“稍傾”等的涵義都是不確切的。我們無妨稱這種涵義不確切的言詞所代表的概念為軟概念(soft concept)。 (注: 在模糊集合(fuzzy set)的概念出現(xiàn)以后, 有些文獻中(包括本書的第一、 二版)將這里的不確切性稱為模糊性(fuzziness), 將含義不確切的言詞所代表的概念稱為模糊概念, 但筆者認為將這種概念稱為軟概念似乎更為合理和貼切。 ) 第 8 章 不確定性知識的表示與推理 3. 3. 不完全性不完全性 不完全性就是對某事物來說, 關于它的信息或知識還不全面、不完整、不充分。例如,在破案的過程中, 警方所

4、掌握的關于罪犯的有關信息, 往往就是不完全的。但就是在這種情況下, 辦案人員仍能通過分析、 推理等手段而最終破案。 第 8 章 不確定性知識的表示與推理 4. 4. 不一致性不一致性 不一致性就是在推理過程中發(fā)生了前后不相容的結(jié)論; 或者隨著時間的推移或者范圍的擴大, 原來一些成立的命題變得不成立、 不適合了。例如, 牛頓定律對于宏觀世界是正確的, 但對于微觀世界和宇觀世界卻是不適合的。 第 8 章 不確定性知識的表示與推理 8.1.2 8.1.2 不確定性知識的表示及推理不確定性知識的表示及推理 對于不確定性知識, 其表示的關鍵是如何描述不確定性。 一般的做法是把不確定性用量化的方法加以描述

5、, 而其余部分的表示模式與前面介紹的(確定性)知識基本相同。對于不同的不確定性, 人們提出了不同的描述方法和推理方法。下面我們主要介紹(狹義)不確定性和不確切性知識的表示與推理方法,對于不完全性和不一致性知識的表示, 簡介幾種非標準邏輯。 第 8 章 不確定性知識的表示與推理 我們只討論不確定性產(chǎn)生式規(guī)則的表示。對于這種不確定性, 一般采用概率或信度來刻劃。一個命題的信度是指該命題為真的可信程度, 例如, (這場球賽甲隊取勝, 0.9) 這里的0.9就是命題“這場球賽甲隊取勝”的信度。它表示“這場球賽甲隊取勝”這個命題為真(即該命題所描述的事件發(fā)生)的可能性程度是0.9。 第 8 章 不確定性

6、知識的表示與推理 一般地, 我們將不確定性產(chǎn)生式規(guī)則表示為 A(B, C(B|A) (8-1) 其中C(B|A)表示規(guī)則的結(jié)論B在前提A為真的情況下為真的信度。 例如, 對上節(jié)中給出的兩個不確定性命題, 若采用(8-1)式, 則可表示為 如果烏云密布并且電閃雷鳴, 則天要下暴雨(0.95)。如果頭痛發(fā)燒, 則患了感冒(0.8)。 這里的0.95和0.8就是對應規(guī)則結(jié)論的信度。它們代替了原命題中的“很可能”和“大概”, 可視為規(guī)則前提與結(jié)論之間的一種關系強度。 第 8 章 不確定性知識的表示與推理 信度一般是基于概率的一種度量,或者就直接以概率作為信度。例如, 在著名的專家系統(tǒng)MYCIN中的信度

7、就是基于概率而定義的(詳見8.2.1確定性理論), 而在貝葉斯網(wǎng)絡中就是直接以概率作為信度的。對于上面的(8-1)式, 要直接以概率作為信度則只需取C(B|A)=P(B|A)(P(B|A)為A真時B真的條件概率)即可。 第 8 章 不確定性知識的表示與推理 基于不確定性知識的推理一般稱為不確定性推理。 由于不確定性推理是基于不確定性知識的推理, 因此其結(jié)果仍然是不確定性的。 但對于不確定性知識, 我們是用信度即量化不確定性的方法表示的(實際是把它變成確定性的了), 所以, 不確定性推理的結(jié)果仍然應含有信度。 這就是說, 在進行不確定性推理時, 除了要進行符號推演操作外, 還要進行信度計算, 因

8、此不確定性推理的一般模式可簡單地表示為不確定性推理符號推演信度計算 第 8 章 不確定性知識的表示與推理 可以看出,不確定性推理與通常的確定性推理相比, 區(qū)別在于多了個信度計算過程。然而, 正是因為含有信度及其計算, 所以不確定性推理與通常的確定性推理就存在顯著差別。 (1) 不確定性推理中規(guī)則的前件要與證據(jù)事實匹配成功, 不但要求兩者的符號模式能夠匹配(合一), 而且要求證據(jù)事實所含的信度必須達“標”, 即必須達到一定的限度。這個限度一般稱為“閾值”。 (2) 不確定性推理中一個規(guī)則的觸發(fā),不僅要求其前提能匹配成功,而且前提條件的總信度還必須至少達到閾值。 第 8 章 不確定性知識的表示與推

9、理 (3) 不確定性推理中所推得的結(jié)論是否有效, 也取決于其信度是否達到閾值。 (4) 不確定性推理還要求有一套關于信度的計算方法, 包括“與”關系的信度計算、“或”關系的信度計算、“非”關系的信度計算和推理結(jié)果信度的計算等等。 這些計算也就是在推理過程中要反復進行的計算。 總之, 不確定性推理要涉及信度、閾值以及信度的各種計算和傳播方法的定義和選取。 所有這些就構(gòu)成了所謂的不確定性推理模型。 第 8 章 不確定性知識的表示與推理 8.1.3 8.1.3 不確切性知識的表示及推理不確切性知識的表示及推理關于不確切性知識, 現(xiàn)在一般用模糊集合與模糊邏輯的理論和方法來處理。這種方法一般是用模糊集合

10、給相關的概念或者說語言值(主要是軟概念或者軟語言值)建模。然而, 我們發(fā)現(xiàn), 對于有些問題也可用程度化的方法來處理。本節(jié)就先簡單介紹這種程度化方法, 而將模糊集合與模糊邏輯安排在8.4一節(jié)專門介紹。 所謂程度就是一個命題中所描述事物的特征(包括屬性、 狀態(tài)或關系等)的強度。程度化方法就是給相關語言特征值(簡稱語言值)附一個稱為程度的參數(shù), 以確切刻畫對象的特征。例如, 我們用刻畫一個人“胖”的程度。 (胖胖, 0.9) 第 8 章 不確定性知識的表示與推理 我們把這種附有程度的語言值稱為程度語言值。 其一般形式為 (LV, d) 其中, LV為語言值, d為程度, 即 (, )可以看出, 程度

11、語言值實際是通常語言值的細化, 其中的一項是對對象所具有的屬性值的精確刻畫。 至于程度如何取值, 可因具體屬性和屬性值而定。例如可先確定一個標準對象, 規(guī)定其具有相關屬性值的程度為1, 然后再以此標準來確定其他對象所具有該屬性值的程度。這樣, 一般來說, 程度的取值范圍就是實數(shù)區(qū)間,(0,1)。 第 8 章 不確定性知識的表示與推理 1. 1. 程度元組程度元組一般形式如下: (, , (, )例例8.18.1 我們用程度元組將命題“這個蘋果比較甜”表示為(這個蘋果, 味道, (甜, 0.95)其中的0.95就代替“比較”而刻畫了蘋果“甜”的程度。 第 8 章 不確定性知識的表示與推理 2.

12、2. 程度謂詞程度謂詞謂詞也就是語言值。按照前面程度語言值的做法, 我們給謂詞也附以程度, 即細化為程度謂詞, 以精確刻畫相應個體對象的特征。 根據(jù)謂詞的形式特點, 我們將程度謂詞書寫為 Pd 或 dP 其中, P表示謂詞, d表示程度; Pd為下標表示法, dP為乘法表示法。 第 8 章 不確定性知識的表示與推理 例例8.28.2 采用程度謂詞, 則(1) 命題“雪是白的”可表示為white1.0(雪) 或 1.0white(雪)(2) 命題“張三和李四是好朋友”可表示為friends1.15(張三, 李四) 或 1.15 friends(張三, 李四) 第 8 章 不確定性知識的表示與推理

13、 3. 3. 程度框架程度框架含有程度語言值的框架稱為程度框架。 例例8.38.3 下面是一個描述大棗的程度框架。 框架名: 類屬: (, 0.8) 形狀: (圓, 0.7) 顏色: (紅, 1.0) 味道: (甘, 1.1) 用途: 范圍: (食用, 藥用) 缺省: 食用 第 8 章 不確定性知識的表示與推理 4. 4. 程度語義網(wǎng)程度語義網(wǎng)含有程度語言值的語義網(wǎng)稱為程度語義網(wǎng)。 例例8.4 圖8-1所示是一個描述狗的程度語義網(wǎng)。 圖 8-1 程度語義網(wǎng)示例 第 8 章 不確定性知識的表示與推理 5. 5. 程度規(guī)則程度規(guī)則含有程度語言值的規(guī)則稱為程度規(guī)則。 其一般形式為 (Oi, Fi,

14、(LVi, xi) (O, F, (LV, D(x1, x2, xn) ni 1(8-2) 其中，Oi, O表示對象，F(xiàn)i, F表示特征，LVi, LV表示語言特征值，x, D(x1, x2, xn )表示程度，D(x1, x2, xn )為x1, x2, xn 的函數(shù)。我們稱其為規(guī)則的程度函數(shù)。 第 8 章 不確定性知識的表示與推理 例例8.58.5 設有規(guī)則: 如果某人鼻塞、 頭疼并且發(fā)高燒,則該人患了重感冒。 我們用程度規(guī)則描述如下: (某人, 癥狀, (鼻塞,x)(某人,癥狀,(頭疼, y)(患者, 癥狀, (發(fā)燒,z)(該人, 患病, (感冒, 1.2(0.3x+0.2y+0.5z)

15、程度規(guī)則的關鍵是程度函數(shù)。 一個基本的方法就是采用機器學習(如神經(jīng)網(wǎng)絡學習)。 這需要事先給出一些含有具體程度值的實例規(guī)則, 學習作為樣本。 第 8 章 不確定性知識的表示與推理 由上述程度化知識表示方法可以看出, 基于這種知識表示的推理, 同一般的確切推理相比,多了一個程度計算的手續(xù)。 就是說, 推理時, 除了要進行符號推演操作外, 還要進行程度計算。 我們稱這種附有程度計算的推理為程度推理。程度推理的一般模式為 程度推理符號推演程度計算程度推理符號推演程度計算 這一模式類似于前面的信度推理模式。所以,程度推理也應該有程度閾值,從而在推理過程中, 規(guī)則的前件要與證據(jù)事實匹配成功, 不但要求兩

16、者的符號模式能夠匹配(合一), 而且要求證據(jù)事實所含的程度必須達到閾值; 所推得的結(jié)論是否有效, 也取決于其程度是否達到閾值。 第 8 章 不確定性知識的表示與推理 需要指出的是, 程度語言值中的程度也可以轉(zhuǎn)化為命題的真度。 例如, 我們可以把命題“小明個子比較高”用程度元組表示為 (小明, 身高, (高, 0.9)這里的0.9是小明高的程度。 但也可以表示為 (小明, 身高, 高), 真實性, (真, 0.9) 這里的0.9是命題“小明個子高”的真實程度, 即真度。 這樣, 我們就把小明的個子高的程度, 轉(zhuǎn)化為命題“小明個子高”的真度, 而且二者在數(shù)值上是相等的。 第 8 章 不確定性知識的

17、表示與推理 8.1.48.1.4多值邏輯多值邏輯 我們知道,人們通常所使用的邏輯是二值邏輯。即對一個命題來說, 它必須是非真即假,反之亦然。但現(xiàn)實中一句話的真假卻并非一定如此, 而可能是半真半假, 或不真不假,或者真假一時還不能確定等等。這樣, 僅靠二值邏輯有些事情就無法處理,有些推理就無法進行。于是, 人們就提出了三值邏輯、 四值邏輯、多值邏輯乃至無窮值邏輯。例如, 模糊邏輯就是一種無窮值邏輯。下面我們介紹一種三值邏輯, 稱為Kleene三值邏輯。 第 8 章 不確定性知識的表示與推理 在這種三值邏輯中, 命題的真值, 除了“真”、 “假”外, 還可以是“不能判定”。 其邏輯運算定義如下：

18、T F UTFUT F UF F FU F U T F UT FUT T TT F UT T UP P T FUT T U 其中的第三個真值U的語義為“不可判定”,即不知道。顯然, 遵循這種邏輯,就可在證據(jù)不完全不充分的情況下進行推理。 第 8 章 不確定性知識的表示與推理 8.1.58.1.5非單調(diào)邏輯非單調(diào)邏輯 所謂“單調(diào)”,是指一個邏輯系統(tǒng)中的定理隨著推理的進行而總是遞增的。那么,非單調(diào)就是邏輯系統(tǒng)中的定理隨著推理的進行而并非總是遞增的, 就是說也可能有時要減少。傳統(tǒng)的邏輯系統(tǒng)都是單調(diào)邏輯。但事實上,現(xiàn)實世界卻是非單調(diào)的。例如,人們在對某事物的信息和知識不足的情況下,往往是先按假設或默認

19、的情況進行處理, 但后來發(fā)現(xiàn)得到了錯誤的或者矛盾的結(jié)果, 則就又要撤消原來的假設以及由此得到的一切結(jié)論。這種例子不論在日常生活中還是在科學研究中都是屢見不鮮的。這就說明,人工智能系統(tǒng)中就必須引入非單調(diào)邏輯。 第 8 章 不確定性知識的表示與推理 在非單調(diào)邏輯中, 若由某假設出發(fā)進行的推理中一旦出現(xiàn)不一致, 即出現(xiàn)與假設矛盾的命題, 那么允許撤消原來的假設及由它推出的全部結(jié)論。基于非單調(diào)邏輯的推理稱為非單調(diào)邏輯推理, 或非單調(diào)推理。 非單調(diào)推理至少在以下場合適用： (1) 在問題求解之前, 因信息缺乏先作一些臨時假設, 而在問題求解過程中根據(jù)實際情況再對假設進行修正。 第 8 章 不確定性知識的

20、表示與推理 (2) 非完全知識庫。隨著知識的不斷獲取, 知識數(shù)目漸增,則可能出現(xiàn)非單調(diào)現(xiàn)象。例如, 設初始知識庫有規(guī)則： x(bird(x)fly(x)即“所有的鳥都能飛”。 后來得到了事實： bird(ostrich)即“駝鳥是一種鳥”。如果再將這條知識加入知識庫則就出現(xiàn)了矛盾, 因為駝鳥不會飛。這就需要對原來的知識進行修改。 第 8 章 不確定性知識的表示與推理 (3) 動態(tài)變化的知識庫。常見的非單調(diào)推理有缺省推理(reasoning by default )和界限推理。由于篇幅所限, 這兩種推理不再詳細介紹, 有興趣的讀者可參閱有關專著。 第 8 章 不確定性知識的表示與推理 8.1.6

21、8.1.6時序邏輯時序邏輯 對于時變性, 人們提出了時序邏輯。時序邏輯也稱時態(tài)邏輯, 它將時間詞(稱為時態(tài)算子, 如“過去”, “將來”, “有時”, “一直”等)或時間參數(shù)引入邏輯表達式, 使其在不同的時間有不同的真值。從而可描述和解決時變性問題。 時序邏輯在程序規(guī)范(specifications)、程序驗證以及程序語義形式化方面有重要應用, 因而它現(xiàn)已成為計算機和人工智能科學理論的一個重要研究課題。 第 8 章 不確定性知識的表示與推理 8.2幾種經(jīng)典的不確定性推理模型幾種經(jīng)典的不確定性推理模型 8.2.1 8.2.1 確定性理論確定性理論確定性理論是肖特里菲(E.H.Shortliffe

22、)等于1975年提出的一種不精確推理模型,它在專家系統(tǒng)MYCIN中得到了應用。 1. 1. 不確定性度量不確定性度量CF(Certainty Factor), 稱為確定性因子, (一般亦稱可信度), 其定義為 第 8 章 不確定性知識的表示與推理 ()(,)CF HH E ()()1()0()()()P H EP HP HP HP H EP H當P(H|E)P(H)當P(H|E)=P(H) 當P(H|E)0, 表示由于證據(jù)E的出現(xiàn)增加了對H的信任程度。 當MD(H, E)0, 表示由于證據(jù)E的出現(xiàn)增加了對H的不信任程度。由于對同一個證據(jù)E, 它不可能既增加對H的信任程度又增加對H的不信任程度,

23、 因此, MB(H,E)與MD(H,E)是互斥的, 即 當MB(H,E)0時, MD(H, E)0； 當MD(H, E)0時, MB(H, E)0。 第 8 章 不確定性知識的表示與推理 下面是MYCIN中的一條規(guī)則： 如果 細菌的染色斑呈革蘭氏陽性, 且 形狀為球狀,且 生長結(jié)構(gòu)為鏈形, 則 該細菌是鏈球菌(0.7)。 這里的0.7就是規(guī)則結(jié)論的CF值。 最后需說明的是, 一個命題的信度可由有關統(tǒng)計規(guī)律、 概率計算或由專家憑經(jīng)驗主觀給出。 第 8 章 不確定性知識的表示與推理 2. 前提證據(jù)事實總前提證據(jù)事實總CF值計算值計算 CF(E1E2En)minCF(E1)，CF(E2)，CF(En

24、) CF(E1E2En)maxCF(E1)，CF(E2)，CF(En)其中E1，E2，En是與規(guī)則前提各條件匹配的事實。第 8 章 不確定性知識的表示與推理 3.推理結(jié)論推理結(jié)論CF值計算值計算 CF(H)CF(H，E)max0，CF(E) 其中E是與規(guī)則前提對應的各事實，CF(H，E)是規(guī)則中結(jié)論的可信度，即規(guī)則強度。第 8 章 不確定性知識的表示與推理 4. 重復結(jié)論的重復結(jié)論的CF值計算值計算 若同一結(jié)論H分別被不同的兩條規(guī)則推出, 而得到兩個可信度CF(H)1和CF(H)2, 則最終的CF(H)為 CF(H)1CF(H)2CF(H)1CF(H)2 當CF(H)10，且CF(H)20 C

25、F(H)= CF(H)1CF(H)2CF(H)1CF(H)2 當CF(H)10，且CF(H)20 CF(H)1CF(H)2 否則 （8-7）第 8 章 不確定性知識的表示與推理 例例8.6 設有如下一組產(chǎn)生式規(guī)則和證據(jù)事實，試用確定性理論求出由每一個規(guī)則推出的結(jié)論及其可信度。 規(guī)則: if At hen B(0.9) if B and C then D(0.8) if A and C then D(0.7) if B or D then E(0.6)事實: A，CF(A)=0.8;C，CF(C)=0.9 第 8 章 不確定性知識的表示與推理 解解 規(guī)則得:CF(B)0.90.80.72 由規(guī)則

26、得:CF(D)10.8min0.72，0.9)0.80.720.576 由規(guī)則得:CF(D)20.7min0.8，0.9)0.70.80.56 從而 CF(D)CF(D)1CF(D)2CF(D)1CF(D)2 0.5760.560.5760.560.32256 由規(guī)則得:CF(E)0.6max0.72，0.322560.60.720.432第 8 章 不確定性知識的表示與推理 8.2.2 主觀貝葉斯方法主觀貝葉斯方法主觀貝葉斯方法是R.O.Duda等人于1976年提出的一種不確定性推理模型, 并成功地應用于地質(zhì)勘探專家系統(tǒng)PROSPECTOR。主觀貝葉斯方法是以概率統(tǒng)計理論為基礎, 將貝葉斯(

27、Bayesian)公式與專家及用戶的主觀經(jīng)驗相結(jié)合而建立的一種不確定性推理模型。 1. 不確定性度量不確定性度量主觀貝葉斯方法的不確定性度量為概率P(x),另外還有三個輔助度量: LS,LN和O(x),分別稱充分似然性因子、必要似然性因子和幾率函數(shù)。 第 8 章 不確定性知識的表示與推理 在PROSPECTOR中, 規(guī)則一般表示為 if E then (LS, LN) H (P(H ) ) 或者圖示為 )(),(HPHELNLS其中, E為前提(稱為證據(jù)); H為結(jié)論(稱為假設); P(H)為H為真的先驗概率;LS, LN分別為充分似然性因子和必要似然性因子, 其定義為 )|()|(HEPHE

28、PLS(8-8) 第 8 章 不確定性知識的表示與推理 )|()|(HEPHEPLN(8-9) 前者刻畫E為真時對H的影響程度,后者刻畫E為假時對H的影響程度。 另外, 幾率函數(shù)O(x)的定義為 )(1)()(1)()(xPxPxPxPxO(8-10) 它反映了一個命題為真的概率(或假設的似然性(likelihood)與其否定命題為真的概率之比, 其取值范圍為0, +。 第 8 章 不確定性知識的表示與推理 下面我們介紹LS, LN的來歷并討論其取值范圍和意義。由概率論中的貝葉斯公式 )()|()()|(EPHEPHPEHP有 )()|()()|(EPHEPHPEHP兩式相除得 )|()()|

29、()()|()|(HEPHPHEPHPEHPEHP第 8 章 不確定性知識的表示與推理 即 LSHPHPEHPEHP)()()|()|(亦即 O(H|E)= O(H)LS 從而 )()|(HOEHOLS 由此式不難看出： LS1 當且僅當O(H|E)O(H), 說明E以某種程度支持H; LS1 當且僅當O(H|E)1當且僅當O(H| E)O(H), 說明 E以某種程度支持H; LN1當且僅當O(H|E)1, 且LN1; LS1; LSLN1。 第 8 章 不確定性知識的表示與推理 需說明的是,在概率論中, 一個事件的概率是在統(tǒng)計數(shù)據(jù)的基礎上計算出來的, 這通常需要大量的統(tǒng)計工作。為了避免大量的

30、統(tǒng)計工作, 在主觀貝葉斯方法中,一個命題的概率可由領域?qū)＜腋鶕?jù)經(jīng)驗直接給出, 這種概率稱為主觀概率。 推理網(wǎng)絡中每個陳述H的先驗概率P(H)都是由專家直接給出的主觀概率。同時, 推理網(wǎng)絡中每條規(guī)則的LS、LN也需由專家指定。這就是說, 雖然前面已有LS、LN的計算公式, 但實際上領域?qū)＜也⒉灰欢ㄕ姘垂接嬎阋?guī)則的LS、LN, 而往往是憑經(jīng)驗給出。所以, 領域?qū)＜腋鶕?jù)經(jīng)驗所提供的LS、LN通常不滿足這一理論上的限制, 它們常常在承認E支持H(即LS1)的同時卻否認E反對H(即LN1時, LN1。這種主觀概率與理論值不一致的情況稱為主觀概率不一致。 當出現(xiàn)這種情況時,并不是要求專家修改他提供的LS

31、、 LN使之與理論模型一致(這樣做通常比較困難), 而是使似然推理模型符合專家的意愿。 第 8 章 不確定性知識的表示與推理 2. 2. 推理中后驗概率的計算推理中后驗概率的計算推理中后驗概率的計算有以下幾個公式: ) 1)(1)()|(LSHPHPLSEHP(8-11) 這是當證據(jù)E肯定存在即為真時,求假設H的后驗概率的計算公式。其中的LS和P(H)由專家主觀給出。 ) 1)(1)()|(LNHPHPLNEHP(8-12) 這是當證據(jù)E肯定不存在即為假時,求假設H的后驗概率的計算公式。其中的LN和P(H)由專家主觀給出。 第 8 章 不確定性知識的表示與推理 由上面介紹的LS, LN的來歷,

32、 有 LSHPHPEHPEHP)()()|()|(由此式即可推得公式(8-11)。 類似地也可得到公式(8-12)。 1)|()()()|()(1)()|()()()|(0)|()()|()()|()|(SEPEPEPSEPEPHPEHPHPEPSEPSEPEPEHPHPEHPSHP當當(8-13) 第 8 章 不確定性知識的表示與推理 這是當證據(jù)E自身也不確定時, 求假設H的后驗概率的計算公式。其中的S為與E有關的觀察,即能夠影響E的事件。公式(8-13)是一個線性插值函數(shù), 其中P(H|E),P(H|E), P(E), P(H)為公式中的已知值(前兩個由公式(8-11)、(8-12)計算而

33、得, 后兩個由專家直接給出); P(E|S)為公式中的變量(其值由用戶給出或由前一個規(guī)則SE求得)。這個插值函數(shù)的幾何解釋如圖8-2所示。 第 8 章 不確定性知識的表示與推理 圖 8-2 線性插值函數(shù)的幾何解釋 第 8 章 不確定性知識的表示與推理 由公式(8-13)和圖8-2可以看出, 當證據(jù)E自身也不確定時, 假設H的后驗概率是通過已知的,P(H|E), P(E),P(H)和用戶給出的概率P(E|S)或前一個規(guī)則SE的中間結(jié)果而計算的。這也就是把原來的后驗概率P(H|E)用后驗概率P(H|S)來代替了。 這相當于把S對E的影響沿規(guī)則的弧傳給了H。 第 8 章 不確定性知識的表示與推理 公

34、式(8-13)是這樣得來的: 起初, Duda等人證明了在某種合理的假定下, P(H|S)是P(E|S)的線性函數(shù), 并且滿足: P(H|E) 當P(H| S)=1時；P(H|S)= 當P(H| S)=0時； P(H) 當P(H|S)= P(E)時 )|(EHP但由于P(E), P(H)都是專家給出的主觀概率, 它們常常是不一致的, 因此當P(E|S)P(E)時, 按線性函數(shù)計算出的理論值P(H|S)Pc( H ) 通 常 并 不 是 專 家 給 出 的 先 驗 概 率 P ( H ) 。 當P(E)P(E|S)P(H), 但按線性函數(shù)計算卻是P(H|S) P(E1)=0.5 所以應采用公式

35、)()|()(1)()|()()|(EPSEPEPHPEHPHPSHP第 8 章 不確定性知識的表示與推理 即 )()|()(1)()|()()|(1111111111EPSEPEPHPEHPHPSHP其中P(H1 )、P(E1)已知，還需要計算E1肯定存在的情況下的P(H1| E1)，我們直接采用前面例1的結(jié)果，于是有 9822. 05 . 099. 05 . 016 . 099. 06 . 0)|()|(1111SHPEHP第 8 章 不確定性知識的表示與推理 例例8.10 設有規(guī)則 R1: if E1 then (200, 0.02) H R2: if E2 then (300, 1)

36、H 已知證據(jù)E1和E2必然發(fā)生，并且P(H)=0.04，求H的后驗概率P(H| E1 E2)。 解 由P(H)=0.04，有 O(H)=0.04/(1-0.04) 0.04 由R1有 O(H|E1)=LS1O(H)=2000.04=8 第 8 章 不確定性知識的表示與推理 由R2有 O(H|E2)=LS2O(H)=3000.04=12 于是 240004. 004. 01204. 08)()()|()()|()|(2121HOHOEHOHOEHOEEHO從而 5583999. 0240012400)|(21EEHP第 8 章 不確定性知識的表示與推理 8.2.3 證證 據(jù)理論據(jù)理論 1. 1.

37、 基本概念基本概念1) 識別框架 識別框架就是所考察判斷的事物或?qū)ο蟮募?記為。 例如下面的集合都是識別框架： 1晴天，多云，刮風，下雨 2感冒，支氣管炎，鼻炎 3紅，黃，藍 480，90，100第 8 章 不確定性知識的表示與推理 識別框架的子集就構(gòu)成求解問題的各種解答。 這些子集也都可以表示為命題。證據(jù)理論就是通過定義在這些子集上的幾種信度函數(shù), 來計算識別框架中諸子集為真的可信度。 例如, 在醫(yī)療診斷中, 病人的所有可能的疾病集合構(gòu)成識別框架, 證據(jù)理論就從該病人的種種癥狀出發(fā), 計算病人患某類疾病(含多種病癥并發(fā))的可信程度。 第 8 章 不確定性知識的表示與推理 2) 基本概率分配

38、函數(shù)基本概率分配函數(shù) 定義4給定識別框架，A2，稱m(A)：20，1是2上的一個基本概率分配函數(shù)(Function of Basic Probability Assignment)，若它滿足(1) m()0;(2)( )1Am A第 8 章 不確定性知識的表示與推理 例例8.11 設a，b，c，其基本概率分配函數(shù)為 m(a)0.4 m(a，b)0 m(a，c)0.4 m(a，b，c)0.2 m(b)0 m(b，c)0 m(c)0可以看出，基本概率分配函數(shù)之值并非概率。如 m(a)m(b)m(c)0.41第 8 章 不確定性知識的表示與推理 3.信任函數(shù)信任函數(shù)定義定義2 給定識別框架，2A 1

39、( )( )BABeAm B稱為2上的信任函數(shù)(Function of Belief)。 信任函數(shù)表示對A為真的信任程度。所以，它就是證據(jù)理論的信度函數(shù)。信任函數(shù)也稱為下限函數(shù)。第 8 章 不確定性知識的表示與推理 可以證明，信任函數(shù)有如下性質(zhì)： (1)Bel()0，Bel()1，且對于2中的任意元素A，有0Bel(A)1。 ( 2 ) 信 任 函 數(shù) 為 遞 增 函 數(shù) 。 即 若 ， 則Bel(A1)Bel(A2)。 (3)Bel(A)Bel(A)1 (A為A的補集) 例8.12 由例8.11可知 Bel(a，b)m(a)m(b)m(a，b)0.4000.412AA 第 8 章 不確定性知

40、識的表示與推理 4）似真函數(shù)）似真函數(shù) 定義定義3 Pl(A)1Bel(A)（A2，A為A的補集）稱為A的似真函數(shù)(Plausible function)，函數(shù)值稱為似真度。 似真函數(shù)又稱為上限函數(shù)，它表示對A非假的信任程度。例例8.13 由例由例8.11、例、例8.12可知可知 Pl(a，b)1-Bel(a，b)1-(c)1-01第 8 章 不確定性知識的表示與推理 5) 信任區(qū)間定義定義4 4設Bel(A)和Pl(A)分別表示A的信任度和似真度, 稱二元組 Bel(A), Pl(A) 為A的一個信任區(qū)間。 第 8 章 不確定性知識的表示與推理 信任區(qū)間刻劃了對A所持信任程度的上下限。 如：

41、 (1)1, 1表示A為真(Bel(A)Pl(A)1)。 (2)0, 0表示A為假(Bel(A)Pl(A)0)。 (3)0, 1表示對A完全無知。因為Bel(A)0, 說明對A不信任; 而Bel(A) 1-Pl(A)0, 說明對A也不信任。 (4)1/2, 1/2表示A是否為真是完全不確定的。 (5)0.25, 0.85表示對A為真信任的程度為0.25;由Bel(A)=1-0.85=0.15表示對A也有一定程度的信任。 由上面的討論, Pl(A)-Bel(A)表示對A不知道的程度, 即既非對A 信任又非不信任的那部分。 第 8 章 不確定性知識的表示與推理 似真函數(shù)Pl具有下述性質(zhì)： (1)

42、Pl(A); (2) Pl(A)Pl(A)1; (3) Pl(A)Bel(A)。 這里, 性質(zhì)(1)指出似真函數(shù)也可以由基本概率分配函數(shù)構(gòu)造, 性質(zhì)(2)指出A 的似真度與A的似真度之和不小于1, 性質(zhì)(3)指出A的似真度一定不小于A的信任度。 BABm)(第 8 章 不確定性知識的表示與推理 6）Dempster 組合規(guī)則 1) 基本的組合規(guī)則。設m1(A)和m2(A)（A2）是識別框架基于不同證據(jù)的兩個基本概率分配函數(shù)，則將二者可按下面的 Dempster組合規(guī)則合并：12( )( )( )B C Am Am B m C該表達式一般稱為m1與m2的正交和，并記為mm1+m2。不難證明，組合

43、后的m(A)滿足( )1Am A第 8 章 不確定性知識的表示與推理 例例8.14 設識別框架a，b，c，若基于兩組不同證據(jù)而導出的基本概率分配函數(shù)分別為： m1(a)0.4 m1(a，c)0.4 m1(a，b，c)0.2 m2(a)0.6 m2(a，b，c)0.4第 8 章 不確定性知識的表示與推理 將m1和m2合并m1(a)m2(a)m1(a)m2(a，b，c)m1(a，c)m2(a) m1(a，b，c)m2(a)0.76 m(a，c)m1(a，c)m2(a，b，c)0.16 m(a，b，c)m1(a，b，c)m2(a，b，c)0.08)()()(21CmBmamaCB第 8 章 不確定性

44、知識的表示與推理 2) 含沖突修正的組合規(guī)則 上述組合規(guī)則在某些情況下會有問題?？疾靸蓚€不同的基本概率分配函數(shù)m1和m2，若存在集合B、C，BC，且m1(A)0，m2(B)0，這時使用 Dempster組合規(guī)則將導出1212()()()( )( )0BCmm B m Cm B m C 這與概率分配函數(shù)的定義沖突。這時，需將Dempster 組合規(guī)則進行如下修正：120( )( )( ),B C AAm AKm B m CA 第 8 章 不確定性知識的表示與推理 其中K為規(guī)范數(shù)，且1121)()(1CBCmBmK 規(guī)范數(shù)K的引入，實際上是把空集所丟棄的正交和按比例地補到非空集上，使m(A)仍然滿

45、足( )1Am A如果所有交集均為空集，則出現(xiàn)K，顯然，Dempster組合規(guī)則在這種情況下將失去意義。第 8 章 不確定性知識的表示與推理 2. 基于證據(jù)理論的不確定性推理基于證據(jù)理論的不確定性推理基于證據(jù)理論的不確定性推理，大體可分為以下步驟： (1)建立問題的識別框架； (2)給冪集2定義基本概率分配函數(shù)； (3)計算所關心的子集A2（即的子集）的信任函數(shù)值Bel(A)、似真函數(shù)值Pl(A)； (4)由Bel(A)、Pl(A)得出結(jié)論。第 8 章 不確定性知識的表示與推理 例例8.15 設有規(guī)則設有規(guī)則: (1)如果流鼻涕則感冒但非過敏性鼻炎(0.9)或過敏性鼻炎但非感冒(0.1) (2

46、)如果眼發(fā)炎則感冒但非過敏性鼻炎(0.8)或過敏性鼻炎但非感冒(0.05)括號中的數(shù)字表示規(guī)則前提對結(jié)論的支持程度。又有事實:小王流鼻涕(0.9)小王眼發(fā)炎(0.4)括號中的數(shù)字表示事實的可信程度。第 8 章 不確定性知識的表示與推理 我們用證據(jù)理論求解這一醫(yī)療診斷問題。 首先, 取識別框架 h1，h2，h3其中，h1表示“感冒但非過敏性鼻炎”，h2表示“過敏性鼻炎但非感冒”，h3表示“同時得了兩種病”。第 8 章 不確定性知識的表示與推理 再取下面的基本概率分配函數(shù): m1(h1)規(guī)則前提事實可信度規(guī)則結(jié)論可信度0.90.90.81m1(h2)0.90.10.09m1(h1，h2，h3)1-

47、 m1(h1)- m1(h2)1-0.81-0.090.1 m1(A)0 (A為的其他子集) m2(h1)0.40.80.32m2(h2)0.40.050.02m2(h1，h，h3)1-m2(h1)-m2(h2)1-0.32-0.020.66 m2(A)0 (A為的其他子集)第 8 章 不確定性知識的表示與推理 將兩個概率分配函數(shù)合并 K1/1-m1(h1)m2(h2)m1(h2)m2(h1)1/1-0.810.02+0.090.32 1/1-0.045 1/0.955 1.05 m(h1)Km1(h1)m2(h1)m1(h1)m2(h1，h2，h3 m1(h1，h2，h3)m2(h1) 1.

48、050.82580.87第 8 章 不確定性知識的表示與推理 m(h2)Km1(h2)m2(h2)m1(h2)m2(h1，h2，h3m1(h1，h2，h3)m2(h2) 1.050.06320.066m(h1，h2，h3)1-m(h1)-m(h2) 1-0.87-0.0660.064 由信任函數(shù)求信任度 Bel(h1)m(h1)0.87 Bel(h2)m(h2)0.066第 8 章 不確定性知識的表示與推理 由似真函數(shù)求似真度Pl(h1)1-Bel(h1)1-Bel(h2，h3) 1-m(h2m(h3) 1-0.06600.934Pl(h2)1-Bel(h2)1-Bel(h1，h3)1-m(h

49、1)m(h3)1-0.8700.13第 8 章 不確定性知識的表示與推理 于是，最后得到： “感冒但非過敏性鼻炎”為真的信任度為0.87，非假的信任度為0.934； “過敏性鼻炎但非感冒”為真的信任度為0.066，非假的信任度為0.13。 所以，看來該患者是感冒了。 證據(jù)理論是被推崇的處理隨機性不確定性的好方法，受到人工智能特別是專家系統(tǒng)領域的廣泛重視，并且已為許多專家系統(tǒng)所采用。第 8 章 不確定性知識的表示與推理 8.3 基于貝葉斯網(wǎng)絡的概率推理基于貝葉斯網(wǎng)絡的概率推理 8.3.1 8.3.1 什么是貝葉斯網(wǎng)絡什么是貝葉斯網(wǎng)絡貝葉斯網(wǎng)絡是一種以隨機變量為節(jié)點, 以條件概率為節(jié)點間關系強度的

50、有向無環(huán)圖(Directed Acyclic Graph, DAG)。 具體來講就是, 貝葉斯網(wǎng)絡的拓撲結(jié)構(gòu)為一個不含回路的有向圖, 圖中的節(jié)點表示隨機變量, 有向邊描述了相關節(jié)點或變量之間的某種依賴關系, 而且每個節(jié)點附一個條件概率表(Condition Probability Table, CPT), 以刻畫相關節(jié)點對該節(jié)點的影響, 條件概率可視為節(jié)點之間的關系強度。 有向邊的發(fā)出端節(jié)點稱為因節(jié)點(或父節(jié)點), 指向端節(jié)點稱為果節(jié)點(或子節(jié)點)。 第 8 章 不確定性知識的表示與推理 例如, 圖8-3就是一個貝葉斯網(wǎng)絡。其中A, B, C, D, E, F為隨機變量; 5條有向邊描述了相關

51、節(jié)點或變量之間的關系; 每個節(jié)點的條件概率表如表1表6所示。 圖 8-3 貝葉斯網(wǎng)絡示意圖 第 8 章 不確定性知識的表示與推理 第 8 章 不確定性知識的表示與推理 貝葉斯網(wǎng)絡中的節(jié)點一般可代表事件、對象、屬性或狀態(tài); 有向邊一般表示節(jié)點間的因果關系。 貝葉斯網(wǎng)絡也稱因果網(wǎng)絡(causal network)、 信念網(wǎng)絡(belief network)、概率網(wǎng)絡(probability network)、 知識圖(knowledge map)等。 它是描述事物之間因果關系或依賴關系的一種直觀圖形。所以, 貝葉斯網(wǎng)絡可作為一種不確定性知識的表示形式和方法。 第 8 章 不確定性知識的表示與推理

52、8.3.2 用貝葉斯網(wǎng)絡表示不確定性知識用貝葉斯網(wǎng)絡表示不確定性知識下面我們舉例說明如何用貝葉斯網(wǎng)絡表示不確定性知識。 醫(yī)學告訴我們: 吸煙可能會患氣管炎; 感冒也會引起氣管發(fā)炎, 并還有發(fā)燒、頭痛等癥狀; 氣管炎又會有咳嗽或氣喘等癥狀。我們把這些知識表示為一個貝葉斯網(wǎng)絡(如圖8 4所示)。 第 8 章 不確定性知識的表示與推理 圖 8-4 用貝葉斯網(wǎng)絡表示醫(yī)學知識 第 8 章 不確定性知識的表示與推理 為了便于敘述, 我們將吸煙、感冒、氣管炎、咳嗽、氣喘分別記為: S, C, T, O, A。并將這幾個變量的條件概率表用下面的概率表達式表示: P(S)=0.4，P(S)=0.6；P(C)=0

53、.8，P(C)=0.2；P(T | S, C)=0.35，P(T | S, C)=0.25，P(T | S, C)=0.011，P(T | S, C)=0.002；P(O | T)=0.85，P(O | T)=0.15；P(A | T)=0.50，P(A | T)=0.10。 第 8 章 不確定性知識的表示與推理 8.3.3 8.3.3 基于貝葉斯網(wǎng)絡的概率推理基于貝葉斯網(wǎng)絡的概率推理根據(jù)貝葉斯網(wǎng)絡的結(jié)構(gòu)特征和語義特征, 對于網(wǎng)絡中的一些已知節(jié)點(稱為證據(jù)變量), 利用這種概率網(wǎng)絡就可以推算出網(wǎng)絡中另外一些節(jié)點(稱為查詢變量)的概率, 即實現(xiàn)概率推理。 具體來講, 基于貝葉斯網(wǎng)絡可以進行因果推

54、理、 診斷推理、 辯解和混合推理。 這幾種概率推理過程將涉及到聯(lián)合概率(即乘法公式)和條件獨立關系等概念。 第 8 章 不確定性知識的表示與推理 聯(lián)合概率聯(lián)合概率：設一個貝葉斯網(wǎng)絡中全體變量的集合為X=x1, x2, , xn, 則這些變量的聯(lián)合概率為 P(x1, x2, xn)= P(x1) P(x2x1) P(x3x1,x2) P(xnx1, x2, xn-1) niiixxxxP1121).|(8-21) 條件獨立條件獨立: 貝葉斯網(wǎng)絡中任一節(jié)點與它的非祖先節(jié)點和非后代節(jié)點都是條件獨立的。 下面我們就以圖8-4所示的貝葉斯網(wǎng)絡為例, 介紹因果推理和診斷推理的一般方法。 第 8 章 不確定

55、性知識的表示與推理 1. 1. 因果推理因果推理因果推理就是由原因到結(jié)果的推理, 即已知網(wǎng)絡中的祖先節(jié)點而計算后代節(jié)點的條件概率。 這種推理是一種自上而下的推理。 以圖8-4所示的貝葉斯網(wǎng)絡為例, 假設已知某人吸煙(S), 計算他患氣管炎(T)的概率P(T|S)。首先, 由于T還有另一個因節(jié)點感冒(C), 因此我們可以對概率P(T|S)進行擴展, 得 P(T | S) = P(T, C | S) + P(T, C | S) (8-22) 這是兩個聯(lián)合概率的和。意思是因吸煙而得氣管炎的概率P(T|S)等于因吸煙而得氣管炎且患感冒的概率P(T, C|S)與因吸煙而得氣管炎且未患感冒的概率P(T,

56、C|S)之和。 第 8 章 不確定性知識的表示與推理 接著，對(8-22)式中的第一項P(T, C | S)作如下變形： P(T, C | S)= P(T, C, S)/ P(S) (對P(T, C | S)逆向使用概率的乘法公式) = P(T | C, S)P(C, S)/ P(S) (對P(T, C, S)使用乘法公式) = P(T | C, S)P(C | S) (對P(C, S)/ P(S)使用乘法公式) = P(T | C, S)P(C) (因為C與S條件獨立) 同理可得(8-22)式中的第二項 P(T, C | S)= P(T | C, S)P(C) 于是 P(T | S) = P

57、(T | C, S)P(C)+ P(T | C, S)P(C) (8-23) 第 8 章 不確定性知識的表示與推理 可以看出, 這個等式右端的概率值在圖8-4中的CPT中已給出, 即都為已知。 現(xiàn)在, 將這些概率值代入(8-23)式右端便得 P(T | S) =0.350.8+0.0110.2=0.2822 即吸煙可引起氣管炎的概率為0.2822。 第 8 章 不確定性知識的表示與推理 由這個例子我們給出因果推理的一個種思路和方法: (1) 首先, 對于所求的詢問節(jié)點的條件概率,用所給證據(jù)節(jié)點和詢問節(jié)點的所有因節(jié)點的聯(lián)合概率進行重新表達。(2) 然后, 對所得表達式進行適當變形, 直到其中的所

58、有概率值都可以從問題貝葉斯網(wǎng)絡的CPT中得到。(3) 最后, 將相關概率值代入概率表達式進行計算即得所求詢問節(jié)點的條件概率。 第 8 章 不確定性知識的表示與推理 2. 診斷推理診斷推理診斷推理就是由結(jié)果到原因的推理, 即已知網(wǎng)絡中的后代節(jié)點而計算祖先節(jié)點的條件概率。這種推理是一種自下而上的推理。 診斷推理的一般思路和方法是,先利用貝葉斯公式將診斷推理問題轉(zhuǎn)化為因果推理問題; 再用因果推理的結(jié)果, 導出診斷推理的結(jié)果。 我們?nèi)砸詧D8-4所示的貝葉斯網(wǎng)絡為例, 介紹診斷推理。 假設已知某人患了氣管炎(T), 計算他吸煙(S)的后驗概率P(S|T)。 第 8 章 不確定性知識的表示與推理 由貝葉斯

59、公式, 有 )()()|()|(TPSPSTPTSP由上面的因果推理知, P(T | S) = P(T, C | S) + P(T, C | S)=P(T | C, S)P(C)+ P(T | C, S)P(C) =0.350.8+0.0110.2 （諸概率由圖8-4的條件概率表得） =0.2822 又 P(S)=0.6 （由圖8-4的條件概率表） 第 8 章 不確定性知識的表示與推理 從而 )(32169. 0)(6 . 02822. 0)()()|()|(TPTPTPSPSTPTSP同理, 由因果推理方法有 P(T | S) = P(T, C | S) + P(T, C | S) = P(

60、T | C, S)P(C)+ P(T | C, S)P(C) =0.250.8+0.0020.2 （諸概率由圖8-4的條件概率表得） =0.2004 第 8 章 不確定性知識的表示與推理 從而 )(8016. 0)(4 . 02004. 0)()()|()|(TPTPTPSPSTPTSP因為 P(S|T)+P(S|T)=1 所以 1)(8016. 0)(32169. 0TPTP解之得 P(T) =0.970 82 第 8 章 不確定性知識的表示與推理 于是 2409174. 082970. 06 . 02822. 0)()()|()|(TPSPSTPSTP即該人的氣管炎是由吸煙導致的概率為0.