第5章不確定性推理方法概率基礎ppt課件

1、第3章作業(yè)的部分問題看清括號，看清聯(lián)結(jié)詞的優(yōu)先順序求謂詞公式的字句集的步驟P100）消 移到量詞之后擴大量詞轄域 xP(X) xQ(X) = x(P(X) Q(X)將轄域內(nèi)變?yōu)楹唵魏先∈揭雜kolem函數(shù)，消去量詞得到子句集 ( x)P(x) ( y)P(y) P(f(x, y) ( y)Q(x, y) P(y) xP(x) yP(y) P(f(x, y) yQ(x, y) P(y) xP(X) xQ(X) = x(P(X) Q(X) xP(X) xQ(X) = x(P(X) Q(X)換名要等到不得不換的時候再進行。4, 5步之間不可用“=”結(jié)合P100倒數(shù)第3行）。 第3章作業(yè)的部分問題續(xù)

2、）只能置換變量，不可置換常量、函數(shù)求合一的步驟見P104 - P105例：P(g(f(v), g(u) 和 P(x, x)歸結(jié)法步驟：聲明謂詞的含義； 寫出謂詞公式別忘了量詞）， 按結(jié)論的否定寫出謂詞公式； 將各公式的子句集求出； 歸結(jié)，得到；說明按歸結(jié)原理，原題得證 。注：參與歸結(jié)的都是子句，不可出現(xiàn)包含的句子。注：第3章作業(yè)的部分參考答案已放在 1=g(f(v)/xP(g(f(v) , g(f(v) 2=g(f(v)/x, f(v)/uu/f(v) 5 不確定性推理方法不確定性推理方法 背景背景 推理基于知識，而知識庫包含大量模糊、推理基于知識，而知識庫包含大量

3、模糊、隨機、不可靠的知識。隨機、不可靠的知識。 必須采用非精確推理必須采用非精確推理(即不確定性推理即不確定性推理)。 AI的核心研究課題。的核心研究課題。不確定性推理的發(fā)展史不確定性推理的發(fā)展史 概率論是不確定性推理的理論基礎之一。概率論是不確定性推理的理論基礎之一。 80年代，貝葉斯網(wǎng)絡成功應用于專家系統(tǒng)。年代，貝葉斯網(wǎng)絡成功應用于專家系統(tǒng)。 75年，年，Shortliff等提出了確定性推理方法等提出了確定性推理方法(醫(yī)醫(yī)療診斷系統(tǒng)療診斷系統(tǒng)MYCIN)。 76年，年，DURA等提出了主觀貝葉斯方法等提出了主觀貝葉斯方法(地礦勘地礦勘探系統(tǒng)探系統(tǒng)PROSPECTOR)。 76年，年，Dem

4、pster和和Shafer提出了證據(jù)理論提出了證據(jù)理論(D-S理論理論, 又稱廣義概率論又稱廣義概率論)。 83年，年， Zadeh等提出了模糊邏輯。等提出了模糊邏輯。不確定性推理中的術語解釋不確定性推理中的術語解釋規(guī)則規(guī)則前件前件后件后件( (產(chǎn)生式系統(tǒng)中產(chǎn)生式系統(tǒng)中) )規(guī)則規(guī)則證據(jù)證據(jù)結(jié)論結(jié)論( (不確定性推理中不確定性推理中) )規(guī)則規(guī)則新證據(jù)新證據(jù)結(jié)論結(jié)論5.1.1 不確定性的普遍存在不確定性的普遍存在 證據(jù)有不確定性，如證據(jù)有不確定性，如 事實描述有歧義、事實描述有歧義、 不精確、不精確、 不肯定。不肯定。 證據(jù)可以是證據(jù)可以是 初始證據(jù)初始證據(jù) 新證據(jù)新證據(jù)5.1.1 不確定性的

5、普遍存在不確定性的普遍存在(續(xù)續(xù))規(guī)則是啟發(fā)類規(guī)則是啟發(fā)類(Heuristic)知識，描述由知識，描述由已有知識可推得哪些新知識。已有知識可推得哪些新知識。規(guī)則有不確定性。規(guī)則有不確定性。規(guī)則自身規(guī)則自身證據(jù)組合證據(jù)組合結(jié)論結(jié)論A1A2ANDBAB5.1.1 不確定性的普遍存在不確定性的普遍存在(續(xù)續(xù)) 推理過程的不確定性推理過程的不確定性 知識不確定性的動態(tài)積累和傳播的過程。知識不確定性的動態(tài)積累和傳播的過程。5.1.2 基本問題基本問題(1) 不確定性如何表示？不確定性如何表示？ 定量定量(數(shù)值數(shù)值)表示表示 例：例：P(A)是是A發(fā)生的概率，用作證據(jù)發(fā)生的概率，用作證據(jù)A的的不確定性度量

6、。不確定性度量。 定性定性(非數(shù)值非數(shù)值)表示表示 例：例：A很可能很可能(或可能、不太可能、一定或可能、不太可能、一定)發(fā)生。發(fā)生。5.1.2 基本問題基本問題(2) 不確定程度該如何計算？不確定程度該如何計算？ 已知已知P(A)和和P(B, A)，怎樣求，怎樣求P(B)？ 已知已知P(B1, A) 和和P(B2, A)，怎樣求，怎樣求P(A)？ 已知已知P(A1)和和P(A2)，怎樣求，怎樣求P(A1A2)和和P(A1A2)？ 各規(guī)則和初始證據(jù)的不確定性度一般由各規(guī)則和初始證據(jù)的不確定性度一般由專家給出。專家給出。5.1.2 基本問題基本問題(3) 不確定性度量代表什么含義？不確定性度量代

7、表什么含義？ P(B, A)可理解為可理解為A真對真對B真的影響程度。真的影響程度。P(A)可理解為可理解為A為真的程度。為真的程度。5.1.3 推理方法的分類推理方法的分類 形式化方法形式化方法 邏輯法邏輯法 采用多值邏輯和非單調(diào)邏輯處理不確定性。采用多值邏輯和非單調(diào)邏輯處理不確定性。 新計算法新計算法 采用擴展的概率方法，表示不確定性。采用擴展的概率方法，表示不確定性。 如：證據(jù)理論如：證據(jù)理論(D-S法法)、確定性方法、確定性方法(CF法法)、模糊、模糊邏輯法邏輯法5.1.3 推理方法的分類推理方法的分類(續(xù)續(xù)) 新概率法新概率法 根據(jù)傳統(tǒng)概率論，采用新方法描述不確定根據(jù)傳統(tǒng)概率論，采用

8、新方法描述不確定性。性。 如：主觀內(nèi)葉斯方法、貝葉斯網(wǎng)絡方法。如：主觀內(nèi)葉斯方法、貝葉斯網(wǎng)絡方法。 非形式化方法非形式化方法 即啟發(fā)性方法，對不確定性沒有給出明確即啟發(fā)性方法，對不確定性沒有給出明確定義。定義。5.2 概率論基礎概率論基礎 概率可表示隨機現(xiàn)象發(fā)生的可能性。概率可表示隨機現(xiàn)象發(fā)生的可能性。 不確定性現(xiàn)象不同于隨機現(xiàn)象，但用概不確定性現(xiàn)象不同于隨機現(xiàn)象，但用概率思考不確定性，效果不錯。率思考不確定性，效果不錯。 “新計算法和新計算法和“新概率法都是以概新概率法都是以概率論為基礎的。率論為基礎的。5.2.1 隨機事件隨機事件 樣本空間樣本空間() 隨機實驗可能結(jié)果的集合。隨機實驗可能

9、結(jié)果的集合。 樣本點樣本點() 一個可能出現(xiàn)的結(jié)果。一個可能出現(xiàn)的結(jié)果。 隨機事件隨機事件(A、B、) 一些樣本點的集合。一些樣本點的集合。CAB5.2.1 隨機事件隨機事件 事件間的關系事件間的關系 包含包含 等價等價 A = B 互斥互斥 對立對立 A = BBA ABABABA B事件間的關系運算事件間的關系運算 由已知事件，導出新事件。由已知事件，導出新事件。 交交 并并 .| .21211nniniAAAAAAA .| .21211nniniAAAAAAA 事件間的關系運算事件間的關系運算(續(xù)續(xù)) 差差 A發(fā)生而發(fā)生而B不發(fā)生不發(fā)生 求余求余 A =A BACBAC 或或|BAC 且

10、且ABAA事件關系運算的性質(zhì)事件關系運算的性質(zhì) 交換律交換律 結(jié)合律結(jié)合律 分配律分配律 摩根律摩根律BAABABBA )()( )()(BCACABCBACBA )()()()()(CBCACABBCACCBA iniiniiniiniAAAA 1111 運行符的優(yōu)先順序運行符的優(yōu)先順序 余 交 差 并高高低低5.2.2 事件的概率事件的概率有有和和A，P(A)稱作事件稱作事件A發(fā)生的概率，發(fā)生的概率，當滿足當滿足:0P(A)1P()=1, P()=0AB=,則則P(A B)=P(A)+P(B)完備事件族完備事件族 An | n = 1, 2, 稱為完備事件族稱為完備事件族,當當 對于任意對

11、于任意i, j 1且且ij，AiAj =，且且 。 A1A1A2A2Ann A3A3A4A4完備事件族完備事件族(續(xù)續(xù))An | n = 1, 2, 為完備事件族為完備事件族,那那么么 對于任意對于任意B , nnBAPBP)()( nnAP1)(B Ai 基本事件族基本事件族An | n = 1, 2, 稱為基本事件稱為基本事件族族,當當An | n = 1, 2, 是完備事件族；是完備事件族；且對于任意且對于任意B，有，有BAn=An或或, 這里，這里，n = 1, 2, 。A1A1A2A2A3A3A4A4B B基本事件族基本事件族(續(xù)續(xù))An | n = 1, 2, 為基本事件族,當 B

12、AnnAPBP)()(B Ai nnAP1)(統(tǒng)計概率統(tǒng)計概率(古典概率古典概率)若在同一條件下，事件若在同一條件下，事件A出現(xiàn)頻率為出現(xiàn)頻率為m/n, 則則m/n稱為稱為A的統(tǒng)計概率。的統(tǒng)計概率。統(tǒng)計概率的性質(zhì)統(tǒng)計概率的性質(zhì)0P(A)1P()=1, P()=0對于任意對于任意A, P(A) = 1P(A) An | n = 1, 2, ,n中兩兩不相容，中兩兩不相容，則對于任意則對于任意A和和B，有，有)()()()(ABPBPAPBAP kiiikiAPAP11)()(條件概率條件概率 在事件在事件A 發(fā)生情況下發(fā)生情況下B 發(fā)生的條件概率發(fā)生的條件概率 邊緣概率邊緣概率 A與與B的聯(lián)合概

13、率乘法公式）的聯(lián)合概率乘法公式）)()()|(APABPABP )(AP)()|()(APABPABP 條件概率條件概率(續(xù)續(xù))如果是統(tǒng)計概率，那么如果是統(tǒng)計概率，那么AABAABNNNNNNAPABPABP )()()|(C、D發(fā)生下發(fā)生下A、B發(fā)生的概率發(fā)生的概率)()()|(ABPCDABPCDABP ),(),(),|,(BAPBADCPDCBAP 另一種寫法：另一種寫法：條件概率的性質(zhì)條件概率的性質(zhì)0P(B|A)1P(|A)=1, P(|A)=0若若B1,B2不相容，則不相容，則P(B1+B2|A)=P(B1|A)+P(B2|A)另一種寫法：另一種寫法： P(B1B2|A)=P(B1

14、|A)+P(B2|A)條件概率的性質(zhì)條件概率的性質(zhì)(續(xù)續(xù))乘法公式乘法公式(聯(lián)合概率聯(lián)合概率) P(A1A2An) =P(A1)P(A2|A1)P(An|A1A2An-1)例：例：P(ABCD)=P(A|BCD)P(B|CD)P(C|D)P(D)條件概率的性質(zhì)條件概率的性質(zhì)(續(xù)續(xù))Ai | i = 1, 2, ,n是完備事件集，且P(Ai)0，則有全概率公式：例：A + B + C = , 對于任意D，有P(D) = P(A)P(D|A) + P(B)P(D|B) + P(C)P(D|C) = P(AD) + P(BD) + P(CD) = P(AD BD CD) = P(D) iiiAAPA

15、PAP)|()()(事件的獨立性事件的獨立性若若P(AB)=P(A)P(B)，則，則A與與B相互獨立。相互獨立。性質(zhì)：性質(zhì)：P(A)=0或或1，則，則A與任何事件獨立。與任何事件獨立。若若A，B獨立，且獨立，且P(B)0,則則P(A|B)=P(A)。若若A，B獨立，那么獨立，那么A與與B，A與與B，A與與 B都相互獨立。都相互獨立。Ai | i = 1, 2, ,n中事件相互獨立，則中事件相互獨立，則其中任何一組事件之間相互獨立。其中任何一組事件之間相互獨立。5.2.3 貝葉斯定理貝葉斯定理(公式公式) Bi | i = 1, 2, ,n是一個完備事件集，是一個完備事件集，P(A)0, P(B

16、i)0,那么那么 P(Bi)稱為先驗概率，稱為先驗概率，P(Bi|A)稱為稱為后驗概率，后驗概率，B1,B2, ,Bn為互不相容的為互不相容的原因，原因，A為結(jié)果。為結(jié)果。 iiikkkBAPBPBAPBPABP)|()()|()()|(5.2.4 信任幾率信任幾率 概率基于重復的隨機實驗，而實際中事件不可概率基于重復的隨機實驗，而實際中事件不可重復。重復。 A代表出紅斑，代表出紅斑，B代表出麻疹，代表出麻疹， P(B|A)理解為理解為“A成立時成立時B的可信度的可信度”。 A=T，P(B|A)=1,則則B=T。 A=T，P(B|A)=0，則，則B=F。 A=T，0P(B|A)1，則不能確定，則不能確定B的值。的值。 P(B|A)表示了存在證據(jù)表示了存在證據(jù)A時時B的似然性或可信的似然性或可信度）。度）。信任幾率信