人工智能-第5章-不確定性推理課件

不確定性推理方法非經(jīng)典邏輯和非經(jīng)典推理與經(jīng)典邏輯和經(jīng)典推理的區(qū)別推理方法上，經(jīng)典邏輯采用演繹邏輯推理，非經(jīng)典邏輯采用歸納邏輯推理。轄域取值上，經(jīng)典邏輯都是二值邏輯，而非經(jīng)典邏輯都是多值邏輯。運(yùn)算法則上，非經(jīng)典邏輯背棄了經(jīng)典邏輯的一些重要特性。邏輯算符上，非經(jīng)典邏輯具有更多的邏輯算法。經(jīng)典邏輯是單調(diào)的，引用非單調(diào)邏輯進(jìn)行非單調(diào)推理是非經(jīng)典邏輯與經(jīng)典邏輯的又一重要區(qū)別。內(nèi)容簡介5.1概述5.2概率論基礎(chǔ)5.3貝葉斯網(wǎng)絡(luò)5.4主觀貝葉斯方法5.5確定性方法5.6證據(jù)理論（D-Stheory）5.1概述人類的知識(shí)和思維行為中，確定性只是相對(duì)的，不確定性才是絕對(duì)的。智能主要反映在求解不確定性問題的能力上。推理是人類的思維過程，是從已知實(shí)事出發(fā)，通過運(yùn)用相關(guān)的知識(shí)逐步推出某個(gè)結(jié)論的過程。不確定性推理是指建立在不確定性知識(shí)和證據(jù)的基礎(chǔ)上的推理，是從不確定性的初始證據(jù)出發(fā)，通過運(yùn)用不確定性的知識(shí)，最終推出具有一定程度的不確定性但卻是合理或者近乎合理的結(jié)論的推理過程。5.1.1不確定性不確定性推理方法產(chǎn)生的原因很多原因?qū)е峦唤Y(jié)果；推理所需信息不完備；背景知識(shí)不足；信息描述模糊；信息中含有噪聲；推理能力不足；解題方案不唯一等。不確定性的性質(zhì)隨機(jī)性；模糊性；不完全性；時(shí)變性不確定性的存在不確定推理中，規(guī)則前件（證據(jù)）、后件（結(jié)論）以及規(guī)則本身在某種程度上都是不確定的。證據(jù)的不確定性、規(guī)則的不確定性、推理的不確定性5.1.1不確定性證據(jù)規(guī)則推理證據(jù)是智能系統(tǒng)的基本信息，是推理的依據(jù)。歧義性、不完全性、不精確性、模糊性、可信性、隨機(jī)性、不一致性通常來源于專家處理問題的經(jīng)驗(yàn)，存在著不確定性因素。證據(jù)組合、規(guī)則自身、規(guī)則結(jié)論規(guī)則之間的沖突影響、不確定的參數(shù)、優(yōu)先策略由于知識(shí)不確定性的動(dòng)態(tài)積累和傳播過程所造成的。推理過程要通過某種不確定的度量，尋找盡可能符合客觀世界的計(jì)算，最終得到結(jié)論的不確定性度量。5.1.2不確定性推理的基本問題

基于規(guī)則的專家系統(tǒng)中，不確定性表現(xiàn)在證據(jù)、規(guī)則和推理3個(gè)方面，需要對(duì)專家系統(tǒng)中的事實(shí)（證據(jù)）和知識(shí)（規(guī)則）給出不確定性描述，并在此基礎(chǔ)上建立不確定性的傳遞計(jì)算方法。

因此，要實(shí)現(xiàn)對(duì)不確定性知識(shí)的處理，必須解決不確定知識(shí)的表示問題，不確定信息的計(jì)算問題，以及不確定表示和計(jì)算的語義解釋問題。表示問題指用什么方法描述不確定性，這是解決不確定性推理關(guān)鍵的一步。通常有數(shù)值表示和非數(shù)值的語義表示方法。知識(shí)的不確定性表示(A→B)：P(B,A)證據(jù)的不確定性表示(A)：P(A)計(jì)算問題指不確定性的傳播和更新，即獲得新的信息的過程。不確定性的傳遞問題：已知規(guī)則A→B，P(A)和P(B,A)，如何計(jì)算結(jié)論P(yáng)(B)結(jié)論不確定性的合成：用不同的知識(shí)進(jìn)行推理得相同結(jié)論，但可信度度量不同，如P1(A)和P2(A)，如何計(jì)算最終的P(A)組合證據(jù)的不確定性算法：已知證據(jù)A1和A2的可信度度量P(A1)、P(A2)，求證據(jù)析取和合取的可信度度量P(A1∧A2)和P(A1∨A2)初始命題的不確定性度量一般由領(lǐng)域內(nèi)的專家從經(jīng)驗(yàn)得出。語義問題指如何解釋上述表示和計(jì)算的含義。對(duì)于規(guī)則P(B,A)：A(T)→B(T)，P(B,A)=?A(T)→B(F)，P(B,A)=?B獨(dú)立于A，P(B,A)=?對(duì)于證據(jù)P(A)：A為T，P(A)=?A為F，P(A)=?5.1.3不確定性推理方法的分類形式化邏輯法：多值邏輯、非單調(diào)邏輯新計(jì)算法：證據(jù)理論、確定性方法、模糊方法新概率法：主觀Bayes方法、Bayes網(wǎng)絡(luò)方法非形式化在控制策略一級(jí)處理不確定性，其特點(diǎn)是通過識(shí)別領(lǐng)域中引起不確定性的某些特征及相應(yīng)的控制策略來限制或減少不確定性對(duì)系統(tǒng)產(chǎn)生的影響。分為工程法、控制法、并行確定性法在推理一級(jí)上擴(kuò)展確定性推理，其特點(diǎn)是把不確定的證據(jù)和不確定的知識(shí)分別與某種度量標(biāo)準(zhǔn)對(duì)應(yīng)起來，并且給出更新結(jié)論不確定性的算法。內(nèi)容簡介5.1概述5.2概率論基礎(chǔ)5.3貝葉斯網(wǎng)絡(luò)5.4主觀貝葉斯方法5.5確定性方法5.6證據(jù)理論（D-Stheory）5.2.1隨機(jī)事件隨機(jī)事件的定義樣本空間的定義一個(gè)隨機(jī)實(shí)驗(yàn)的全部可能出現(xiàn)的結(jié)果的集合，通常記作Ω，Ω中的點(diǎn)稱為樣本點(diǎn)，通常記作ω。隨機(jī)實(shí)驗(yàn)的定義一個(gè)可觀察結(jié)果的人工或自然的過程，其產(chǎn)生的結(jié)果可能不止一個(gè)，且不能事先確定會(huì)產(chǎn)生什么結(jié)果。一個(gè)隨機(jī)實(shí)驗(yàn)的一些可能結(jié)果的集合，是樣本控件的一個(gè)子集，常用大寫字母A，B，C，…表示。簡稱為事件。事件常用一句話描述，當(dāng)實(shí)驗(yàn)結(jié)果屬于某事件所對(duì)應(yīng)的子集時(shí)，稱該事件發(fā)生。例如將一枚硬幣連擲兩次，觀察硬幣落地后是花面向上還是字面向上。分析這是一個(gè)隨機(jī)實(shí)驗(yàn)，用H記花面向上，W記字面向上，則共有4個(gè)可能出現(xiàn)的結(jié)果：樣本點(diǎn)ω1=HHω2=HWω3=WHω4=WW樣本空間Ω=｛ω1ω2ω3ω4｝事件A=“花面字面各出現(xiàn)一次”=｛ω2,ω3｝B=“第一次出現(xiàn)花面”=｛ω1,ω2｝C=“至少出現(xiàn)一次花面”=｛ω1,ω2,ω3｝D=“至多出現(xiàn)一次花面”=｛ω2,ω3,ω4｝兩個(gè)事件A與B可能有以下幾種特殊關(guān)系包含：若事件B發(fā)生則事件A也發(fā)生，稱“A包含B”，或“B含于A”，記作A?B或B?A等價(jià)：若A?B且B?A，即A與B同時(shí)發(fā)生或同時(shí)不發(fā)生，則稱A與B等價(jià)，記作A=B互斥：若A與B不能同時(shí)發(fā)生，則稱A與B互斥，記作AB=φ對(duì)立：若A與B互斥，且必有一個(gè)發(fā)生，則稱A與B對(duì)立，記作A=~B或B=~A，又稱A為B的余事件，或B為A的余事件事件間的關(guān)系任意兩個(gè)事件不一定會(huì)是上述幾種關(guān)系中的一種。事件間的運(yùn)算設(shè)A，B，A1，A2，…An為一些事件，它們有下述的運(yùn)算交：記C=“A與B同時(shí)發(fā)生”，稱為事件A與B的交，C={ω|ω∈A且ω∈B}，記作C=A∩B或C=AB。類似地用∩Ai=A1A2…An表示事件“n個(gè)事件A1,A2,…An同時(shí)發(fā)生”。并：記C=“A與B中至少有一個(gè)發(fā)生”，稱為事件A與B的并，C={ω|ω∈A或ω∈B}，記作C=A∪B。類似地用∪Ai=A1∪A2∪…∪An表示事件“n個(gè)事件A1,A2,…An中至少有一個(gè)發(fā)生”。差：記C=“A發(fā)生而B不發(fā)生”，稱為事件A與B的差，C={ω|ω∈A但ωB}，記作C=A\B或C=A-B。求余：~A=Ω\A事件運(yùn)算的性質(zhì)交換率：

結(jié)合律：分配律：摩根率：事件計(jì)算的優(yōu)先順序?yàn)椋呵笥?，交，差和并?/p>

A∪B=B∪A(A∪B)∪C=A∪(B∪C)(A∪B)C=(AC)∪(BC)(AB)∪C=(A∪C)(B∪C)5.2.2事件的概率設(shè)Ω為一個(gè)隨機(jī)實(shí)驗(yàn)的樣本空間，對(duì)Ω上的任意事件A，規(guī)定一個(gè)實(shí)數(shù)與之對(duì)應(yīng)，記為P(A)，滿足以下三條基本性質(zhì)，稱為事件A發(fā)生的概率：0≤P(A)≤1

P(Ω)=1，P(φ)=0若二事件AB互斥，即AB=φ,則

P(A∪B)=P(A)+P(B)以上三條基本規(guī)定是符合常識(shí)的。

例如設(shè)一個(gè)隨機(jī)實(shí)驗(yàn)兩個(gè)可能，記為ω0,ω1，則所有可能的事件只有4個(gè)：Ω={ω0,ω1},{ω0},{ω1},空集φ概率的性質(zhì)定義：設(shè){An,n=1,2,…}為一組有限或可列無窮多個(gè)事件，兩兩不相交，且，則稱事件族{An,n=1,2,…}為樣本空間Ω的一個(gè)完備事件族又若對(duì)任意事件B有BAn=An或φ,n=1,2,…，則稱{An,n=1,2,…}為基本事件族完備事件族與基本事件族有如下的性質(zhì)：

定理：若{An,n=1,2,…}為一完備事件族，則且對(duì)于一事件B有又若{An,n=1,2,…}為一基本事件族，則事件A出現(xiàn)的概率描述為：n是進(jìn)行試驗(yàn)的總次數(shù)，m是試驗(yàn)中事件A發(fā)生的次數(shù)。事件A的統(tǒng)計(jì)概率如果事件A出現(xiàn)的頻率fn(A)總是在區(qū)間[0,1]上的一個(gè)確定常數(shù)p附近擺動(dòng)，并且穩(wěn)定于p，則稱p為事件A的統(tǒng)計(jì)概率。統(tǒng)計(jì)概率的性質(zhì)對(duì)任意事件A，有0≤P(A)≤1

必然事件Ω的概率P(Ω)=1，不可能事件φ的概率P(φ)=0對(duì)任意事件A，有P(~A)=1-P(A)設(shè)事件A1，A2，…An（k≤n）是兩兩互不相容的事件，即有，，則設(shè)A，B是兩事件，則

P(A∪B)=P(A)+P(B)-P(A∩B)條件概率定義：設(shè)A，B為事件且P(A)>0，稱

為事件A已發(fā)生的條件下，事件B的條件概率，P(A)在概率推理中稱為邊緣概率。簡稱P(B|A)為給定A時(shí)B發(fā)生的概率。P(AB)稱為A與B的聯(lián)合概率。有聯(lián)合概率公式：

P(AB)=P(B|A)P(A)事件B的條件概率設(shè)B與A是某個(gè)隨機(jī)實(shí)驗(yàn)中的兩個(gè)事件，如果在事件A發(fā)生的條件下，考慮事件B發(fā)生的概率，就稱它為事件B的條件概率。條件概率例子袋子中有白球2個(gè)黑球3個(gè)，從中依次取出2個(gè)，求取出兩個(gè)都是白球的概率條件概率的性質(zhì)0≤P(B|A)≤1P(Ω|A)=1，P(φ|A)=0若B1B2=φ，則P(Bi+Bj|A)=P(Bi|A)+P(Bj|A)乘法公式：P(AB)=P(A)P(B|A)

全概率公式：設(shè)A1，A2，…An互不相交，，且P(Ai)>0,i=1,2,…,n，則對(duì)于任意事件A有P(A)=∑iP(Ai)P(A|Ai)全概率例子某商場出售的燈泡來自甲、乙、丙三個(gè)工廠，甲廠產(chǎn)品占80%，合格率為90%，乙廠產(chǎn)品占10%，合格率為95%，丙廠產(chǎn)品占10%，合格率為80%。某顧客購買了一燈泡，求它是合格品的概率。聯(lián)合概率可按條件概率鏈表達(dá)一個(gè)聯(lián)合概率其一般規(guī)則形式為：事件的獨(dú)立性設(shè)A，B為兩個(gè)事件，滿足P(AB)=P(A)P(B)，則稱事件A與事件B是相互獨(dú)立的，簡稱A與B獨(dú)立。事件獨(dú)立的性質(zhì)若P(A)=0或1，則A與任一事件獨(dú)立若A與B獨(dú)立，且P(B)>0，則P(A|B)=P(A)若A與B獨(dú)立，則A與~B，~A與B，~A與~B都是相互獨(dú)立的事件對(duì)N個(gè)事件相互獨(dú)立性設(shè)A1，A2，…An為n個(gè)事件，滿足下述條件：1≤i<j≤n,1≤i<j<k≤n,……

則稱事件A1，A2，…An相互獨(dú)立N個(gè)事件相互獨(dú)立的性質(zhì)5.2.3貝葉斯定理設(shè)A，B1，B2，…，Bn為一些事件，P(A)>0，B1，B2，…，Bn互不相交，P(Bi)>0,i=1,2,…,n，且，則對(duì)于k=1,2,…,n，

貝葉斯公式容易由條件概率的定義，乘法公式和全概率公式得到。在貝葉斯公式中，P(Bi),i=1,2,…,n稱為先驗(yàn)概率，而P(Bi|A)i=1,2,…,n稱為后驗(yàn)概率也是條件概率。5.2.4信任幾率P(B|A)可被解釋為當(dāng)A成立時(shí)B的可信度。概率適用于重復(fù)事件，而似然性適用于表示非重復(fù)事件中信任的程度。在某事件A的前提下，事件發(fā)生B與不發(fā)生~B的概率的相對(duì)比值稱作幾率Ο，其定義為：，為后驗(yàn)幾率事件X的幾率，稱為先驗(yàn)幾率內(nèi)容簡介5.1概述5.2概率論基礎(chǔ)5.3貝葉斯網(wǎng)絡(luò)5.4主觀貝葉斯方法5.5確定性方法5.6證據(jù)理論（D-Stheory）5.3.1貝葉斯網(wǎng)絡(luò)基本概念貝葉斯網(wǎng)絡(luò)：一系列變量的聯(lián)合概率分布的圖形表示。一個(gè)表示變量之間的相互依賴關(guān)系的數(shù)據(jù)結(jié)構(gòu)；圖論與概率論的結(jié)合。兩個(gè)部分貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖，這是一個(gè)有向無環(huán)圖（DAG:DirectedAcyclicGraph），其中圖中的每個(gè)節(jié)點(diǎn)代表相應(yīng)的變量。當(dāng)有向弧由節(jié)點(diǎn)A指向節(jié)點(diǎn)B時(shí)，則稱：A是B的父節(jié)點(diǎn)；B是A的子節(jié)點(diǎn)。節(jié)點(diǎn)和節(jié)點(diǎn)之間的條件概率表（ConditionalProbabilityTable,CPT），也就是一系列的概率值，表示了局部條件概率分布。P(node|parents)。目的：由證據(jù)得出原因發(fā)生的概率。

即觀察到P(Y)，求P(X|Y)應(yīng)用專家系統(tǒng)時(shí)，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)（包括變量的選擇及條件獨(dú)立關(guān)系的確定）和局部條件概率均由領(lǐng)域?qū)＜医o定因果關(guān)系網(wǎng)絡(luò)假設(shè)：命題S(smoker)：該患者是一個(gè)吸煙者命題C(coalMiner)：該患者是一個(gè)煤礦礦井工人命題L(lungCancer)：他患了肺癌命題E(emphysema)：他患了肺氣腫由專家給定的假設(shè)可知，命題S對(duì)命題L和命題E有因果影響，而C對(duì)E也有因果影響。命題之間的關(guān)系可以描繪成因果關(guān)系網(wǎng)。SCEL貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)就是一個(gè)在弧的連接關(guān)系上加入連接強(qiáng)度的因果關(guān)系網(wǎng)絡(luò)。每個(gè)節(jié)點(diǎn)與它的父節(jié)點(diǎn)B1,B2,B3,…,Bn有條件概率P(A|B1B2B3…Bn)當(dāng)結(jié)點(diǎn)沒有父節(jié)點(diǎn)時(shí)，稱其為頂點(diǎn)。必須指定頂點(diǎn)的先驗(yàn)概率。所有指定的概率和無環(huán)圖構(gòu)成一個(gè)貝葉斯網(wǎng)絡(luò)，概率數(shù)據(jù)集稱為CPT表。貝葉斯網(wǎng)絡(luò)圖例BADEFCG無環(huán)圖和指定概率值P(A),P(C),P(B|AC),

P(E|B),P(B|D),P(F|E),P(G|DEF)BADCEGF貝葉斯網(wǎng)絡(luò)兩個(gè)要素：貝葉斯的結(jié)構(gòu)條件概率表CPT非貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)是一個(gè)有向無環(huán)圖貝葉斯網(wǎng)絡(luò)的構(gòu)造確定為建立網(wǎng)絡(luò)模型有關(guān)的變量及其解釋建立一個(gè)表示條件獨(dú)立斷言的有向無環(huán)圖指派局部概率分布p(xi|pai)以上各步可能交叉并反復(fù)進(jìn)行。貝葉斯網(wǎng)絡(luò)實(shí)例CPT表為：P(S)=.04P(C)=0.3(E|S,C)=0.9P(E|S,~C)=0.3P(E|~S,C)=0.5貝葉斯網(wǎng)絡(luò)實(shí)例圖P(E|~S,~C)=0.1。

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9條件獨(dú)立屬性貝葉斯網(wǎng)絡(luò)中每個(gè)頂點(diǎn)對(duì)應(yīng)一個(gè)隨機(jī)變量Bayes表達(dá)了分布的一系列有條件獨(dú)立屬性：即在給定了父親結(jié)點(diǎn)（雙親結(jié)點(diǎn)）的狀態(tài)后，每個(gè)變量與它在圖中的非繼承結(jié)點(diǎn)在概率上是獨(dú)立的。條件獨(dú)立定義假設(shè)對(duì)于結(jié)點(diǎn)xi，其父結(jié)點(diǎn)集Pai，每個(gè)變量xi的條件概率P(x|Pai)，則結(jié)點(diǎn)集合X={x1,X2,…,Xn}的聯(lián)合概率分布可按如下公式計(jì)算：條件獨(dú)立：有結(jié)點(diǎn)A、B、C，如果P(A|BC)=P(A|B)稱A與C是在B的條件下獨(dú)立的。上圖例中的聯(lián)合概率密度為由圖可知：E與L在S條件下獨(dú)立，所以P(E|S,C,L)＝P(E|S,C)L與C在S,E條件下獨(dú)立，所以P(L|S,C)=P(L|S)C與S在E條件下獨(dú)立，所以P(C|S)=P(C)以上三條等式的正確性，可以從貝葉斯網(wǎng)的條件獨(dú)立屬性：(每個(gè)變量與它在圖中的非繼承節(jié)點(diǎn)在概率上是獨(dú)立的推出)。簡化后的聯(lián)合概率密度為，

顯然，簡化后的公式比原始的數(shù)學(xué)公式更加簡單明了，計(jì)算復(fù)雜度低很多。如果原貝葉斯網(wǎng)中的條件獨(dú)立語義數(shù)量較多，這種減少更加明顯。D分離對(duì)于X,Y,E:X與Y在給定E的條件下獨(dú)立P(X|Y,E)=P(X|E)P(Y|X,E)=P(Y|E)多個(gè)變量組：d分離（d-separate）P(X1,X2,…,Xn|Y1,Y2,…,Ym,E1,E2,…,Ep)=P(X1,X2,…,Xn|E1,E2,…,Ep)如果一組節(jié)點(diǎn)X在給定E的條件下，從Xi到Y(jié)j的每一條通路都被即Ekd分離，則稱X獨(dú)立于另一組節(jié)點(diǎn)Y(節(jié)點(diǎn)組Ed分離X與Y)D分離例子圖中有三個(gè)節(jié)點(diǎn)S，L，EL（結(jié)果）影響S（起因），S影響E（另一個(gè)結(jié)果）。如果給定原因S后，L并不能告訴我們有關(guān)E的更多事情。即對(duì)于S，L和E是相對(duì)獨(dú)立的，那么在計(jì)算S和L的關(guān)系時(shí)就不用過多地考慮E，將會(huì)大大減少計(jì)算復(fù)雜度。稱S能D分離L和E。D分離是一種尋找條件獨(dú)立的有效方法。SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9串行連接串行連接中，事件A通過事件B影響事件C，反之事件C也是通過事件B影響事件A。但是，如果原因證據(jù)B是給定的，A并不能給C更多的東西，或者說，從A那里得到更多的信息。此時(shí)稱，如果B是已知的，那么通道就被阻塞，A和C就是獨(dú)立的了。則稱A和C是被B結(jié)點(diǎn)D分離的。ABC分叉連接如果，父結(jié)點(diǎn)A是已知的，沒有更多的信息能夠通過A影響到所有子結(jié)點(diǎn)。同理，父結(jié)點(diǎn)A是已知時(shí)，子結(jié)點(diǎn)B,…,F是相互獨(dú)立的。稱子節(jié)點(diǎn)B,…,F是被A結(jié)點(diǎn)D分離的。FCBA…匯集連接如果不從父結(jié)點(diǎn)得到推斷，子結(jié)點(diǎn)A就一無所知，那么，父結(jié)點(diǎn)是相互獨(dú)立的，它們之間沒有相互影響。AFCB…

事件e直接影響節(jié)點(diǎn)Z事件e影響節(jié)點(diǎn)Z的后代節(jié)點(diǎn)

AFCB…eAFCB…KHe如果某事件影響了A，那么，各個(gè)父結(jié)點(diǎn)就不是相互獨(dú)立的了。該事件可以直接影響A，也可以通過它的后代結(jié)點(diǎn)影響A。這種現(xiàn)象稱作條件依存。總之，如果子結(jié)點(diǎn)有了變化，或子結(jié)點(diǎn)的后代結(jié)點(diǎn)發(fā)生變化，信息是可以通過匯集連接傳播的。對(duì)于給定的結(jié)點(diǎn)集ε，如果對(duì)貝葉斯網(wǎng)中的結(jié)點(diǎn)Vi和Vj之間的每個(gè)無向路徑（即不考慮DAG圖中弧的方向性的路徑），在路徑上都有某個(gè)結(jié)點(diǎn)Vb，如果有屬性：Vb在ε中，且路徑上的兩條弧都以Vb為尾（分叉連接）Vb在ε中，路徑上的一條弧以Vb為頭，一條以Vb為尾（串行連接）Vb和它的任何后繼都不在ε中，路徑上的兩條弧都以Vb為頭（匯集連接）則稱Vi和Vj

被Vb結(jié)點(diǎn)阻塞。如果Vi和Vj被證據(jù)集合ε中的任意結(jié)點(diǎn)阻塞，則稱Vi和Vj是被ε集合D分離，結(jié)點(diǎn)Vi和Vj條件獨(dú)立于給定的證據(jù)集合ε，可形式化表示為：

或Vb2VjVb3ViVb1證據(jù)集ε條件獨(dú)立：如具有以上三個(gè)屬性之一，就說結(jié)點(diǎn)Vi和Vj條件獨(dú)立于給定的結(jié)點(diǎn)集ε。阻塞：給定證據(jù)集合ε，當(dāng)上述條件中的任何一個(gè)滿足時(shí)，就說Vb阻塞相應(yīng)的那條路徑。D分離：如果Vi和Vj之間所有的路徑被阻塞，就叫證據(jù)集合ε可以D分離Vi和Vj

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.95.3.2貝葉斯網(wǎng)絡(luò)的推理模式設(shè)所有變量的集合為X={X1,X2,…,Xn}，貝葉斯網(wǎng)絡(luò)推斷的根本任務(wù)就是給定證據(jù)變量集合E=e后，計(jì)算查詢變量集Q的概率分布，即P(Q,E=e)P(E=e)P(Q|E=e)=貝葉斯網(wǎng)絡(luò)通常使用因果或診斷規(guī)則與推理因果規(guī)則：XCauseYwithsomeprobability診斷規(guī)則：YisevidenceofXwithsomeprobability因果推理：GivencauseC,determineP(Query|C)診斷推理：GivenevidenceE,determineP(Query|E)因果推理已知父結(jié)點(diǎn)，計(jì)算子結(jié)點(diǎn)的條件概率給定患者是一個(gè)吸煙者(S)，計(jì)算他患肺氣腫(E)的概率P(E|S)。P(E|S)=P(E,C|S)+P(E,~C|S)P(E,C|S)=P(E,C,S)/P(S)=P(E|C,S)P(C,S)/P(S)——Bayes=P(E|C,S)P(C|S)——反向Bayes=P(E|C,S)P(C)——CS條件獨(dú)立同理可得P(E,~C|S)=P(E|~C,S)P(~C)因果推理主要操作按照給定證據(jù)的V和它的所有雙親的聯(lián)合概率，重新表達(dá)給定證據(jù)的詢問結(jié)點(diǎn)的所求條件概率知道所有的概率值可從CPT表中得到，推理完成診斷推理從一個(gè)子結(jié)點(diǎn)計(jì)算父結(jié)點(diǎn)的條件概率不得肺氣腫的不是礦工的概率P(~C|~E)P(~C|~E)=P(~E|~C)P(~C)/P(~E)P(~E|~C)=P(~E,S|~C)+P(~E,~S|~C)內(nèi)容簡介5.1概述5.2概率論基礎(chǔ)5.3貝葉斯網(wǎng)絡(luò)5.4主觀貝葉斯方法5.5確定性方法5.6證據(jù)理論（D-Stheory）5.4主觀貝葉斯方法使用概率來描述專家系統(tǒng)中的不確定性，必須將概率的含義加以拓展。專家系統(tǒng)中，概率一般解釋為專家對(duì)證據(jù)和規(guī)則的主觀信任度，對(duì)概率推理起支撐作用的是貝葉斯理論。一種不確定性推理模型——主觀貝葉斯方法既考慮了事件A的出現(xiàn)對(duì)其結(jié)果B的支持，又考慮了A的不出現(xiàn)對(duì)B的影響。5.4.1規(guī)則(知識(shí))的不確定性在主觀貝葉斯方法中，用下列產(chǎn)生式規(guī)則表示知識(shí)：IFATHEN(LS,LN)B式中（LS,LN）表示該知識(shí)的靜態(tài)強(qiáng)度，成LS為式子成立的充分性因子，LN為式子成立的必要性因子，它們分別衡量證據(jù)(前提)A對(duì)結(jié)論B的支持程度和~A對(duì)B的支持程度。LS和LN取值范圍為[0,+∞)，其具體數(shù)值由領(lǐng)域?qū)＜覜Q定。主觀貝葉斯方法的不精確推理過程就是根據(jù)前提A的概率P(A)，利用規(guī)則的LS和LN，把結(jié)論B的先驗(yàn)概率P(B)更新為后驗(yàn)概率P(B|A)的過程。先驗(yàn)幾率Ο(X)=P(X)P(~X)后驗(yàn)幾率Ο(B|A)=P(B|A)P(~B|A)LS=P(A|B)P(A|~B)LN=P(~A|B)P(~A|~B)LS表示A為真時(shí)，對(duì)B為真的影響程度，表示規(guī)則A→B成立的充分性LN表示A為假時(shí)，對(duì)B為真的影響程度，表示規(guī)則A→B的必要性實(shí)際應(yīng)用中概率值不可能求出，所以采用的都是專家給定的LS、LN值O(B|A)=LS*O(B)O(B|~A)=LN*O(B)以上兩式就是修改的貝葉斯公式。由這兩式可知：當(dāng)A為真時(shí)，可利用LS將B的先驗(yàn)幾率O(B)更新為其后驗(yàn)幾率O(B|A)；當(dāng)A為假時(shí)，可利用LN將B的先驗(yàn)幾率更新為其后驗(yàn)幾率O(B|~A)。LSLS=O(B|A)O(B)=P(B|A)P(~B|A)P(B)P(~B)LS越大，O(B|A)就越大，P(B|A)也越大，說明A對(duì)B的支持越強(qiáng)；當(dāng)LS→∞時(shí)，O(B|A)→∞,P(B|A)→1，說明A的存在導(dǎo)致B為真，因此說A對(duì)B是充分的，稱LS為充分性因子。=1A對(duì)B沒影響>1A支持B<1A不支持BLN同理，LN反映了~A的出現(xiàn)對(duì)B的支持程度。當(dāng)LN=0時(shí)，將使O(B|~A)=0，說明A的不存在導(dǎo)致B為假，因此說A對(duì)B是必要的，且稱LN為必要性因子。LN=O(B|~A)O(B)=P(B|~A)P(~B|~A)P(B)P(~B)=1~A對(duì)B沒影響>1~A支持B<1~A不支持BLS、LN的取值可以有如下幾個(gè)范圍：LS>1,且LN<1LS<1,且LN>1LS=LN=1這些情況并非總能在現(xiàn)實(shí)世界中存在。LS>1且LN=1的情形并不少見。LS因子表明當(dāng)證據(jù)存在時(shí)，先驗(yàn)幾率的變化有多大，LN因子表明當(dāng)證據(jù)不存在時(shí)，先驗(yàn)幾率的變化有多大。LS、LN的取值與證據(jù)間的關(guān)系取值影響LS0A為真時(shí)B為假，或者說~A對(duì)B是必然的0<LS<<1A為真時(shí)對(duì)B是不利的（即A不支持B，導(dǎo)致B為真的可能性下降）1A為真時(shí)對(duì)B無影響1<<LSA為真時(shí)對(duì)B是有利的∞A為真時(shí)對(duì)B是邏輯充分的，或者說A為真時(shí)必有B為真LN0A為假時(shí)B為假，或者說A對(duì)B是必然的0<LN<<1A為假時(shí)對(duì)B是不利的1A為假時(shí)對(duì)B無影響1<<LNA為假時(shí)對(duì)B是有利的∞A為假時(shí)對(duì)B是邏輯例子如果有石英硫礦帶，那么必有鉀礦帶。對(duì)于這條規(guī)則，LS=300,LN=0.2這意味著觀測到石英硫礦帶非常有用，而若不能觀測到硫礦帶則沒有什么意義。如果LN<<1，那么，缺乏硫礦帶將強(qiáng)烈表明假設(shè)是錯(cuò)誤的。5.4.2證據(jù)的不確定性證據(jù)的不確定性度量用幾率函數(shù)描述

Ο(A)=P(A)1-P(A)=0，當(dāng)A假∞，當(dāng)A真(0,∞)，一般情況5.4.3推理計(jì)算1、A必出現(xiàn)，P(A)=1O(B|A)=LSXO(B)O(B|~A)=LNXO(B)求得使用規(guī)則A→B后，O(B)的更新值O(B|A)和O(B|~A)2、A不確定，即P(A)≠1時(shí)A是系統(tǒng)中的任意一個(gè)證據(jù)，是系統(tǒng)的初始條件或推理過程中出現(xiàn)的中間結(jié)果。設(shè)A’代表與A有關(guān)的所有證據(jù)（即A的前項(xiàng)）例如，用戶告知只有60%的把握說明證據(jù)是真的，這就表示初始證據(jù)為真的程度為0.6，即P(A|A’)=0.6?，F(xiàn)在要在0<P(A|A’)<1的情況下確定B的后驗(yàn)概率P(B|A)對(duì)于規(guī)則A→B來說，要用杜達(dá)等人1976年證明了的公式來計(jì)算P(B|A’)=P(B|A)P(A|A’)+P(B|~A)P(~A|A’)（1）當(dāng)P(A|A’)=1時(shí)，P(~A|A’)=0，此時(shí)證據(jù)A必然出現(xiàn)

P(B|A’)=LSXP(B)(LS-1)XP(B)+1

P(B|A)=（2）當(dāng)P(A|A’)=0時(shí)，P(~A|A’)=1，此時(shí)證據(jù)A必然不出現(xiàn)

P(B|A’)=LNXP(B)(LN-1)XP(B)+1

P(B|~A)=（3）P(A|A’)=P(A)，表示A與A’無關(guān)，利用全概率公式，得P(B|A’)=P(B|A)P(A|A’)+P(B|~A)P(~A|A’)=P(B|A)P(A)+P(B|~A)P(~A)=P(B)（4）P(A|A’)為其他值時(shí)，通過分段線性插值可的計(jì)算P(B|A’)的公式P(B|A’)=

P(B|~A)+P(B)-P(B|~A)P(A)

P(A|A’)

0≤P(A|A’)≤P(A)

P(B)+P(B|A)-P(B)1-P(A)

[P(A|A’)-P(A)]

P(A)≤P(A|A’)線性插值圖證據(jù)的合成證據(jù)A’下，有證據(jù)A1和A2存在證據(jù)組合實(shí)際情況中往往是多個(gè)原因引起一個(gè)結(jié)果例5.1已知：P(A)=1,P(B1)=0.04,P(B2)=0.02 R1:A→B1LS=20LN=1 R2:B1→B2LS=300LN=0.001計(jì)算：P(B2|A)。分析：當(dāng)使用規(guī)則R2時(shí)，證據(jù)B1并不是確定的發(fā)生了，即P(B1)≠1，因此要采用插值方法。解：先依照A必然發(fā)生，由定義和R1得：

O(B1)=P(B1)/(1-P(B1)=0.04/(1-0.04)=0.0417 O(B1|A)=LS*O(B1)=0.83 P(B1|A)=O(B1|A)/(1+O(B1|A)=0.83/(1+0.83)=0.454計(jì)算：O(B2)=P(B2)/(1-P(B2)=0.02P(B2|B1)=LS*O(B2)/(1+LS*O(B2))=300*0.02/(300*0.02+1)=0.857最后進(jìn)行插值：P(B1|A)>P(B1),P(B2)=0.02，P(B1)=0.04（已知）, P(B2|A)=0.02+(0.857-0.02)(0.454-0.04)/(1-0.04)=0.38例5.2已知：證據(jù)A1，A2必然發(fā)生，且P（B1）＝0.03

規(guī)則如下：R1：A1→B1LS=20LN=1;R2：A2→B1LS=300 LN=1求B1的更新值。解： （1）依R1，P1（B）＝0.03 O（B1）＝0.03/(1-0.03)=0.030927 O(B1|A1)=LS×O(B1)=20×0.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382

使用規(guī)則R1后，B1的概率從0.03上升到0.382

（2）依R2：O(B1|A1A2)=300×O(B1|A1)=185.565 P(B1|A1A2)=185.565/(1+185.565)=0.99464

使用規(guī)則R2后，B1的概率從0.382上升到0.99464例5.3已知：證據(jù)A必然發(fā)生，且有P(B1)=0.03，P(B2)=0.01，規(guī)則如下：R1:A→B1LS=20LN=1 R2:B1→B2LS=300LN=0.001求B2的更新值。解：(1)依R1可得：

LSXP(B1)(LS-1)XP(B1)+1

P(B1|A)=20X0.03(20-1)X0.03+1==0.3822(2)依R2可得：LSXP(B2)(LS-1)XP(B2)+1

P(B2|B1)=300X0.01(300-1)X0.01+1==0.75188(3)由于P(B1|A)=0.3822>P(B1)=0.03所以

P(B2)+P(B2|B1)-P(B2)1-P(B1)

[P(B1|A)-P(B1)]P(B2|A)==0.01+0.752-0.011-0.03

(0.382-0.03)=0.279主觀貝葉斯方法的優(yōu)點(diǎn)主觀貝葉斯方法的計(jì)算公式大多是在概率論的基礎(chǔ)上推導(dǎo)出來的，具有比較堅(jiān)實(shí)的理論基礎(chǔ)。規(guī)則的LS和LN是由領(lǐng)域?qū)＜腋鶕?jù)實(shí)踐經(jīng)驗(yàn)給出的，避免了大量的數(shù)據(jù)統(tǒng)計(jì)工作。此外，它既用LS指出了證據(jù)A對(duì)結(jié)論B的支持程度，又用LN指出了A對(duì)B的必要性程度，比較全面地反映了證據(jù)與理論間的因果關(guān)系，符合現(xiàn)實(shí)世界中某些領(lǐng)域的實(shí)際情況，使推出的結(jié)論具有比較準(zhǔn)確的確定性。主觀貝葉斯方法不僅給出了在證據(jù)確定情況下有B的先驗(yàn)概率更新為后驗(yàn)概率的方法，而且還給出了在證據(jù)不確定情況下更新先驗(yàn)概率為后驗(yàn)概率的方法。由其推理過程還可以看出，它確實(shí)實(shí)現(xiàn)了不確定性的逐級(jí)傳遞。因此可以說主觀貝葉斯方法是一種比較實(shí)用而又靈活的不確定性推理方法，它已成功地應(yīng)用在專家系統(tǒng)中。主觀貝葉斯方法的缺點(diǎn)要求領(lǐng)域?qū)＜以诮o出規(guī)則的同時(shí)，給出B的先驗(yàn)概率P(B)，這是比較困難的貝葉斯定理中關(guān)于事件間獨(dú)立性的要求使主觀貝葉斯方法的應(yīng)用收到一定的限制內(nèi)容簡介5.1概述5.2概率論基礎(chǔ)5.3貝葉斯網(wǎng)絡(luò)5.4主觀貝葉斯方法5.5確定性方法5.6證據(jù)理論（D-Stheory）5.5.1規(guī)則不確定性度量知識(shí)用產(chǎn)生式規(guī)則表示，知識(shí)的不確定性則是以可信度CF(B,A)表示，其一般形式為IfAthenB(CF(B,A))A是知識(shí)的前提條件，或稱為證據(jù)B是結(jié)論CF(B,A)是該條知識(shí)的可信度，稱為可信度因子CF(B,A)的取值范圍CF(B,A)的取值范圍是[-1,1]，它指出當(dāng)前提條件A所對(duì)應(yīng)的證據(jù)為真時(shí)，它對(duì)結(jié)論B的支持程度。CF(B,A)>0，則表示該證據(jù)增加了結(jié)論為真的程度，且CF(B,A)的值越大，結(jié)論B越真若CF(B,A)=1，則表示該證據(jù)使結(jié)論為真若CF(B,A)<0，則表示該證據(jù)增加了結(jié)論為假的程度，且CF(B,A)的值越小，結(jié)論B越假CF(B,A)=-1，表示該證據(jù)使結(jié)論為假CF(B,A)=0，表示證據(jù)A和結(jié)論B沒有關(guān)系實(shí)際應(yīng)用中，CF(B,A)的值由專家確定，并不是計(jì)算得到的?？尚哦菴F(B,A)的定義CF(B,A)=MB(B,A)-MD(B,A)MB(B,A)為信任增長度，表示因證據(jù)A的出現(xiàn)而增加對(duì)假設(shè)B為真的信任增加程度，即MB(B,A)>0時(shí)，有P(B|A)>P(B)MD(B,A)為不信任增長度，表示因證據(jù)A的出現(xiàn)對(duì)假設(shè)B為假的信任增加的程度，即當(dāng)MD(B,A)>0時(shí)，有P(B|A)<P(B)MB、MD取值范圍：0≤MB(B,A)≤10≤MD(B,A)≤1MB、MD、CF的性質(zhì)MB、MD的互斥性MB(B,A)>0時(shí)MD(B,A)=0，則CF(B,A)=MB(B,A)MD(B,A)>0時(shí)MB(B,A)=0，則CF(B,A)=-MD(B,A)

若P(B|A)=1，即A為真則B為真時(shí)，則MB(B,A)=1，MD(B,A)=0，CF(B,A)=1若P(B|A)=0，即A為真則B為假時(shí)，則MD(B,A)=1，MB(B,A)=0，CF(B,A)=-1

若P(B|A)=P(B)，即A對(duì)B沒有影響時(shí)，則MD(B,A)=0，MB(B,A)=0，CF(B,A)=0CF(B|A)的計(jì)算公式CF(B|A)=P(B|A)-P(B)P(B|A)-P(B)1-P(B)P(B)P(B|A)>P(B)P(B|A)<P(B)P(B|A)=P(B)0要運(yùn)用此公式計(jì)算CF(B|A)，就要知道P(B)和P(B|A)，實(shí)際應(yīng)用中要想獲知P(B)和P(B|A)的值很難，因此CF(B|A)的值一般由領(lǐng)域?qū)＜抑苯咏o出，而不是計(jì)算出來。5.5.2證據(jù)的不確定性度量證據(jù)A的可信度用CF(A)來表示，規(guī)定：-1≤CF(A)≤1CF(A)的特殊值：CF(A)=1，前提肯定真CF(A)=-1，前提肯定假CF(A)=0，對(duì)前提一無所知CF(A)>0，表示A以CF(A)程度為真CF(A)<0，表示A以CF(A)程度為假初始證據(jù)的CF值由專家根據(jù)經(jīng)驗(yàn)提供，其他證據(jù)的CF通過規(guī)則進(jìn)行推理計(jì)算得到。5.5.3不確定性的傳播與更新組合證據(jù)的不確定性“與”計(jì)算：A1∧A2→B

CF(A1∧A2)=min{CF(A1),CF(A2)}“或”計(jì)算：A1∨A2→BCF(A1∨A2)=max{CF(A1),CF(A2)}“非”計(jì)算：

CF(~A)=-CF(A)不確定性的傳遞算法若已知規(guī)則為IFAthenB(CF(B,A))，且證據(jù)A的可信度為CF(A)，則結(jié)論B的可信度為CF(B)=CF(B,A)Xmax{0,CF(A)}CF(B)=CF(B,A)CF(B,A)CF(A)0CF(A)=1，證據(jù)為真，結(jié)論B的可信度為規(guī)則的可信度CF(A)>0，證據(jù)某種程度為真CF(A)<0，證據(jù)某種程度為假在可信度方法的不精確推理中，并沒有考慮證據(jù)為假對(duì)結(jié)論B所產(chǎn)生的影響。結(jié)論不確定性的合成算法（一）多條知識(shí)支持同一結(jié)論時(shí)，結(jié)論不確定性的合成計(jì)算方法由規(guī)則A1→B可求得CF1(B)，同時(shí)又有規(guī)則A2→B可求得CF2(B)，如何根據(jù)這兩條規(guī)則計(jì)算最終合成后的可信度CF(B)CF1(B)CF2(B)是同時(shí)發(fā)生，即可以是分別從兩條完全獨(dú)立的途徑得到的知識(shí)。分兩步求解第一：分別對(duì)每一條知識(shí)求出CF(B)CF1(B)=max{0,CF(A1)}XCF(B,A1)CF2(B)=max{0,CF(A2)}XCF(B,A2)第二：用下述公式求出A1A2對(duì)B的綜合影響形成的可信度CF(B)CF(B)=CF1(B)+CF2(B)–CF1(B)CF2(B)CF1(B)+CF2(B)+CF1(B)CF2(B)CF1(B)+CF2(B)CF1(B)≥0CF2(B)≥0CF1(B)<0CF2(B)<0CF1(B)與CF2(B)符號(hào)不同該公式不滿足組合交換性在已知結(jié)論原始可信度的情況下，結(jié)論可信度的更新計(jì)算方法已知證據(jù)A的可信度CF(A)，結(jié)論B的原有可信度CF(B)，求A通過規(guī)則A→B，作用到B后，B的可信度的更新值CF(B|A)結(jié)論不確定性的合成算法（二）由于證據(jù)A不是必然發(fā)生，所以必須對(duì)可信度的情況進(jìn)行討論。CF(A)=1時(shí)，A必然發(fā)生，即證據(jù)肯定出現(xiàn)CF(B|A)=CF(B)+CF

(B,A)(1–CF(B))CF(B)+CF(B,A)(1+CF(B))CF(B)+CF(B,A)CF(B)≥0CF(B,A)≥0CF(B)<0CF(B,A)<0其他0<CF(A)≤1時(shí)，A可能發(fā)生CF(B)+CF(A)

CF

(B,A)(1–CF(B))CF(B)+CF(A)

CF(B,A)

(1+CF(B))CF(B)+CF(A)

CF(B,A)

CF(B)≥0CF(A)CF(B,A)

≥0CF(B)<0CF(A)CF(B,A)

<0其他CF(B|A)=CF(A)<0時(shí)，A不可能發(fā)生，規(guī)則A→B不可用，即認(rèn)為不可能發(fā)生的事件對(duì)B沒有影響。例5.4已知R1：A1→B1CF(B1,A1)=0.8R2：A2→B1CF(B1,A2)=0.5R3：B1∧A3→B2CF(B2,B1∧A3)=0.8CF(A1)=CF(A2)=CF(A3)=1CF(B1)=CF(B2)=0計(jì)算CF(B1)、CF(B2)（1）對(duì)知識(shí)R1R2分別計(jì)算CF1(B1)和CF2(B1)CF1(B1)=max{0,CF(A1)}XCF(B1,A1)=0.8CF2(B1)=max{0,CF(A2)}XCF(B1,A2)=0.5（2）利用合成算法計(jì)算B1的綜合可信度CF(B1)=CF1(B1)+CF2(B1)–CF1(B1)CF