第5354節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法課件

第5.3節(jié)貝葉斯網(wǎng)絡(luò)王慶江計(jì)算機(jī)科學(xué)與技術(shù)系qjwang@第5.3節(jié)貝葉斯網(wǎng)絡(luò)王慶江1勘誤P173頁關(guān)于圖5.4的CPT有誤。P175頁倒數(shù)第3行，“對于S、L和E…”應(yīng)為“對于S，L和E…”。P178頁第1行，“具有以上3個(gè)屬性之一”應(yīng)為“同時(shí)具有以上3個(gè)屬性”。P178頁14行，“結(jié)點(diǎn)E阻塞了結(jié)點(diǎn)C和…”應(yīng)為“結(jié)點(diǎn)S阻塞了結(jié)點(diǎn)C和…”。P178頁16行，“而對于給定結(jié)點(diǎn)E、S和L之間…”應(yīng)為“而對于給定結(jié)點(diǎn)E，S和L之間…”。P180頁15行，“P(～S|C)”應(yīng)為“P(～S|～C)”。注：新印刷的可能已糾正。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法勘誤P173頁關(guān)于圖5.4的CPT有誤。注：新印刷的可能已糾2貝葉斯網(wǎng)絡(luò)（BayesianNetwork）有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)；采用概率形式的不確定性表示和推理；20世紀(jì)80年代，成功應(yīng)用于專家系統(tǒng)。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)（BayesianNetwork）2008-2035.3.1貝葉斯網(wǎng)絡(luò)的基本概念有向無環(huán)圖DirectedAcyclicGraph，縮寫DAG；可用于表示因果關(guān)系網(wǎng)。結(jié)點(diǎn)代表證據(jù)或結(jié)論，權(quán)代表證據(jù)或結(jié)論的不確定度；弧代表規(guī)則（即因果關(guān)系），權(quán)代表規(guī)則的不確定度。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法5.3.1貝葉斯網(wǎng)絡(luò)的基本概念有向無環(huán)圖2008-2004ConditionProbabilityTable，縮寫CPT；對于所有父結(jié)點(diǎn)的每種指派，確定子結(jié)點(diǎn)的發(fā)生概率。例：CPT包括P(C|A,B),P(C|A,～B),P(C|～A,B),P(C|～A,～B)P(A),P(B)ABC條件概率表2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法ConditionProbabilityTable，縮寫5貝葉斯網(wǎng)絡(luò)的構(gòu)造方法確定包含哪些結(jié)點(diǎn)；建立反映條件獨(dú)立的有向無環(huán)圖；指派局部概率分布，即CPT。如果CPT包含了足夠的條件概率，可以計(jì)算出任何聯(lián)合概率，則稱此網(wǎng)絡(luò)是可計(jì)算的（即可推理的）。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)的構(gòu)造方法2008-2009學(xué)年第1學(xué)期5.1-56因果關(guān)系網(wǎng)的示例結(jié)點(diǎn)及其解釋S(Smoker)：該患者為吸煙者C(Coalminer)：該患者是煤礦工人L(Lungcancer)：他患了肺癌E(Emphysema)：他患了肺氣腫因果關(guān)系S可能導(dǎo)致L和EC可能導(dǎo)致E

。SCLE因果關(guān)系從哪里得來呢？2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法因果關(guān)系網(wǎng)的示例結(jié)點(diǎn)及其解釋SCLE因果關(guān)系從哪里得來呢？27貝葉斯網(wǎng)絡(luò)是結(jié)點(diǎn)間增加連接強(qiáng)度的因果關(guān)系網(wǎng)。連接強(qiáng)度用條件概率表示；例：P(B|A)為A到B的連接強(qiáng)度；例：P(B|AC)表示A、C對B的聯(lián)合作用。CPT除了包含上述條件概率，還包括頂點(diǎn)（即無父結(jié)點(diǎn)的結(jié)點(diǎn)）的無條件概率（即先驗(yàn)概率）。貝葉斯網(wǎng)絡(luò)=網(wǎng)絡(luò)結(jié)構(gòu)+CPT注：貝葉斯網(wǎng)絡(luò)不允許包含循環(huán)因果關(guān)系！2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)是結(jié)點(diǎn)間增加連接強(qiáng)度的因果關(guān)系網(wǎng)。注：貝葉斯網(wǎng)絡(luò)不8ACEBDGF貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)的完整CPTP(A)、P(C)、P(D)、P(B|ACD)、P(B|～A,C,D)、P(B|A,～C,D)、P(B|A,C,～D)、P(B|～A,～C,D)、P(B|～A,C,～D)、P(B|A,～C,～D)、P(B|～A,～C,～D)、P(E|B)、P(E|～B)、P(F|E)、P(F|～E)、

P(G|DEF)、P(G|～D,E,F)、P(G|D,～E,F)、P(G|D,E,～F)、

P(G|～D,～E,F)、P(G|～D,E,～F)、P(G|D,～E,～F)、P(G|～D,～E,～F)

一般，父結(jié)點(diǎn)發(fā)生或不發(fā)生的所有組合都要給出。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法ACEBDGF貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)的完整CPTP(A)9SCLE網(wǎng)絡(luò)的結(jié)構(gòu)不夠完整的CPTP(S)=0.4P(C)=0.3P(E|S,C)=0.9P(E|S,～C)=0.3P(E|～S,C)=0.5P(E|～S,～C)=0.1P(L|S)=0.6P(L|～S)=0.5剩余的條件概率2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法SCLE網(wǎng)絡(luò)的結(jié)構(gòu)不夠完整的CPTP(S)=0.4P(L|10條件獨(dú)立有結(jié)點(diǎn)A、B和C，若P(A|BC)=P(A|B)，則稱A和C在B條件下獨(dú)立、A在B條件下獨(dú)立于C，或A和C關(guān)于B獨(dú)立。所謂“關(guān)于B”，有時(shí)是給定B的不確定度，有時(shí)是完全不知道B的不確定度。“條件獨(dú)立”是貝葉斯網(wǎng)絡(luò)中隱含的斷言（assertion）、假設(shè)（assumption），貝葉斯網(wǎng)絡(luò)就是一個(gè)表示條件獨(dú)立關(guān)系的圖模型。實(shí)際中，若已知A在B條件下獨(dú)立于C，則P(A|BC)=P(A|B)。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法條件獨(dú)立有結(jié)點(diǎn)A、B和C，若P(A|BC)=P(A|B11事件獨(dú)立與貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立事件獨(dú)立若P(AB)=P(A)P(B)，則A與B相互獨(dú)立。性質(zhì)2：若A與B獨(dú)立，且P(B)>0，則P(A|B)=P(A)?！逷(A|B)=P(AB)/P(B)=P(A)P(B)/P(B)獨(dú)立和互斥不一會(huì)兒事！若AB=Φ，則A與B互斥，有P(A∪B)=P(A)+P(B)P(A)>0，P(B)>0，若AB=Φ，則P(AB)=0，A與B互斥但不相互獨(dú)立；Ω與任何事件獨(dú)立，但Ω與任何事件不互斥。貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立若P(A|BC)=P(A|B)，則A和C關(guān)于B條件獨(dú)立。一個(gè)事件的概率與另一事件的概率沒關(guān)系兩個(gè)事件不可能同時(shí)發(fā)生給定某條件時(shí)，一個(gè)事件的概率與另一個(gè)事件的概率沒關(guān)系2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法事件獨(dú)立與貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立事件獨(dú)立一個(gè)事件的概率與另一12條件獨(dú)立斷言有什么用呢？例：P(S,C,L,E) =P(E|S,C,L)×P(L|S,C)×P(C|S)×P(S) =P(E|S,C)×P(L|S,C)×P(C|S)×P(S) =P(E|S,C)×P(L|S)×P(C|S)×P(S) =P(E|S,C)×P(L|S)×P(C)×P(S)聯(lián)合概率公式不給定E，C獨(dú)立于S給定S，L獨(dú)立于C給定S，E獨(dú)立于LCPT給出這些概率SCLE貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法條件獨(dú)立斷言有什么用呢？例：P(S,C,L,E)聯(lián)合概率公式13貝葉斯網(wǎng)絡(luò)隱含著哪些條件獨(dú)立斷言？串行連接A通過B影響C；C通過B影響A；如果給定B，則A和C互不影響，這時(shí)稱A和C關(guān)于B條件獨(dú)立。注：所謂“影響”與箭頭方向無關(guān)。ACB血糖胃酸餓條件獨(dú)立斷言是合理的2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)隱含著哪些條件獨(dú)立斷言？串行連接注：所謂“影響”與14分叉連接如果給定A，沒有信息可經(jīng)由A傳遞給A的子結(jié)點(diǎn)，即給定A時(shí)，A的子結(jié)點(diǎn)之間相互獨(dú)立，稱子結(jié)點(diǎn)B、C、…、F關(guān)于A條件獨(dú)立。ACBF…2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法分叉連接ACBF…2008-2009學(xué)年第1學(xué)期5.1-5.15匯集連接多個(gè)原因（causes）有一個(gè)共同結(jié)果（effect）。對結(jié)果一無所知時(shí)，原因之間條件獨(dú)立。當(dāng)結(jié)果或其某個(gè)子孫已知，父結(jié)點(diǎn)之間就不再獨(dú)立了。ACBF…eACBF…eHK2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法匯集連接ACBF…eACBF…eHK2008-2009學(xué)年第16匯集連接的解釋A和B有共同的結(jié)果C；在有向圖中，結(jié)點(diǎn)C稱為沖突子（collider）；不給定C時(shí)，A和B之間是相互獨(dú)立的；給定C時(shí)，A和B之間就不再獨(dú)立了。電池沒電油箱空汽車發(fā)動(dòng)不了ABCDavidPapineau于1985年發(fā)現(xiàn)了給定沖突子時(shí)父結(jié)點(diǎn)之間的因果聯(lián)系。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法匯集連接的解釋A和B有共同的結(jié)果C；電池沒電油箱空汽車發(fā)動(dòng)不17摘自http://www.cs.mcgill.ca/~mgendr12/COMP526/docs/lecture3.pdfHead-to-tailTail-to-tailHead-to-headXYZXYZY未知，路徑不阻塞Y已知，路徑被阻塞XZYXZYY未知，路徑不阻塞Y已知，路徑被阻塞Y未知，路徑被阻塞Y已知，路徑不阻塞ZXYZXY2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法摘自http://www.cs.mcgill.ca/~mge18定義：Vi

和Vj被Vb

阻塞ViVb3VjVb1Vb2證據(jù)集ε給定結(jié)點(diǎn)集ε，Vi和Vj的每個(gè)無向路經(jīng)都有結(jié)點(diǎn)Vb，如果

Vb∈ε，且路徑上兩條弧都以Vb為尾；

Vb∈ε，且路徑上一條弧以Vb

為尾，一條以Vb為頭；

Vb及其后繼都不屬于ε，且路徑上兩條弧都以Vb為頭。稱Vi和Vj被Vb阻塞。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法定義：Vi和Vj被Vb阻塞ViVb3VjVb1Vb2證據(jù)19定義：一條路徑的阻塞給定證據(jù)集ε，當(dāng)上述任一條件滿足時(shí)，Vb阻塞相應(yīng)的那條路徑。定義：D分離（Dependenceseparation）給定證據(jù)集ε，如果Vi和Vj之間的所有路徑被阻塞，則結(jié)點(diǎn)集ε可以D分離Vi和Vj。定義：條件獨(dú)立如果證據(jù)集ε可以D分離Vi和Vj，則Vi和Vj條件獨(dú)立于證據(jù)集ε。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法定義：一條路徑的阻塞給定證據(jù)集ε，當(dāng)上述任一條件滿足時(shí)，Vb20當(dāng)Vi和Vj條件獨(dú)立于證據(jù)集ε時(shí)，記為I(Vj,Vi|ε)或I(Vi,Vj|ε)，且有P(Vi|Vj,ε)=P(Vi|ε)和P(Vj

|Vi,ε)=P(Vj|ε)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法當(dāng)Vi和Vj條件獨(dú)立于證據(jù)集ε時(shí)，2008-2009學(xué)年第21D-分離的示例I(L,E|S)或I(L,E|～S)應(yīng)用示例：P(L|E,S)=P(L|S)I(L,C|S)或I(L,C|～S)應(yīng)用示例：P(L|C,～S)=P(L|～S)I(L,C,E|S)I(S,C)、I(～S,C)、I(S,～C)或I(～S,～C)應(yīng)用示例：P(～S|C)=P(～S)SCLE×∵CPT不含P(E)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法D-分離的示例I(L,E|S)或I(L,E|225.3.2貝葉斯網(wǎng)絡(luò)的推理模式因果推理：已知父結(jié)點(diǎn)，計(jì)算子結(jié)點(diǎn)的條件概率例：給定S，計(jì)算P(E|S)。S稱為推理的證據(jù)，E稱為詢問結(jié)點(diǎn)。SCLE已知：P(S)=0.4，P(C)=0.3，P(E|S,C)=0.9，P(E|S,～C)=0.3，P(E|～S,C)=0.5，P(E|～S,

～C)=0.1不完整的CPT2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法5.3.2貝葉斯網(wǎng)絡(luò)的推理模式因果推理：已知父結(jié)點(diǎn)，計(jì)算23例(續(xù))P(E|S)=P(E,C|S)+P(E,~C|S)P(E,C|S)=P(E,C,S)/P(S)=P(E|C,S)×P(C|S)×P(S)/P(S)=P(E|C,S)×P(C|S)=P(E|C,S)×P(C)P(E,~C|S)=P(E|~C,S)×P(~C)P(E|S)=P(E|C,S)×P(C)+P(E|~C,S)×P(~C)=0.48SCLE要點(diǎn)：利用條件概率性質(zhì)3引入所有父結(jié)點(diǎn)，利用條件概率定義將父結(jié)點(diǎn)移到“|”右側(cè)，利用條件獨(dú)立簡化公式，代入CPT中的值求解。條件概率性質(zhì)3>>2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例(續(xù))P(E|S)=P(E,C|S)+P(E,~C24條件概率性質(zhì)3若B1B2=Φ，則P(B1∪B2|A)=P(B1|A)+P(B2|A)證明：P(B1∪B2|A)=P((B1∪B2)A)/P(A) =P(B1A∪B2A)/P(A) ={P(B1A)+P(B2A)}/P(A) =P(B1A)/P(A)+P(B2A)/P(A) =P(B1|A)+P(B2|A)條件概率定義事件運(yùn)算分配率概率定義性質(zhì)3條件概率定義2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法條件概率性質(zhì)3若B1B2=Φ，則P(B1∪B2|A)=P(B25②診斷推理已知一個(gè)子結(jié)點(diǎn)，計(jì)算父結(jié)點(diǎn)的條件概率。例：計(jì)算P(~C|~E)。

SCLE要點(diǎn)：將診斷推理轉(zhuǎn)化為因果推理。已知：P(S)=0.4，P(C)=0.3，P(E|S,C)=0.9，P(E|S,～C)=0.3，P(E|～S,C)=0.5，P(E|～S,～C)=0.12008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法②診斷推理已知一個(gè)子結(jié)點(diǎn)，計(jì)算父結(jié)點(diǎn)的條件概率。SCLE要點(diǎn)26例（續(xù)）P(~C|~E)=P(~E|~C)×P(~C)/P(~E)P(~E|~C)=P(~E,S|~C)+P(~E,~S|~C)

=

P(~E|S,~C)×P(S|~C)+P(~E|~S,~C)×P(~S|~C)=P(~E|S,~C)×P(S)+P(~E|~S,~C)×P(~S)=0.82∴P(~C|~E)=0.82×P(~C)/P(~E)=0.574/P(~E)同理，P(C|~E)=P(~E|C)×P(C)/P(~E)=0.102/P(~E)由P(~C|~E)+P(C|~E)=1，得P(~E)=0.676∴P(~C|~E)=0.849SCLE貝葉斯公式條件概率性質(zhì)32008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例（續(xù)）P(~C|~E)=P(~E|~C)×P(~C)27③辯解推理已知的既有父結(jié)點(diǎn)又有子結(jié)點(diǎn)，詢問其他父結(jié)點(diǎn)。例：計(jì)算P(~C|~E,~S)。SCLE2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法③辯解推理已知的既有父結(jié)點(diǎn)又有子結(jié)點(diǎn)，詢問其他父結(jié)點(diǎn)。SCL28P(~C|~E,~S)=P(~E,~S|~C)×P(~C)/P(~E,~S)=P(~E|~S,~C)×P(~S|~C)×P(~C)/P(~E,~S)=P(~E|~S,~C)×P(~S)×P(~C)/P(~E,~S)=P(~E|~S,~C)×P(~S)×P(~C)/(P(~E|~S)×P(~S))=0.807SCLE要點(diǎn)：先用貝葉斯公式，把要詢問的父結(jié)點(diǎn)移至“|”右側(cè)；再利用條件概率定義將“|”左側(cè)的父結(jié)點(diǎn)移至“|”右側(cè)；條件獨(dú)立隨時(shí)可用于簡化公式。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法P(~C|~E,~S)SCLE要點(diǎn)：先用貝葉斯公式，把要詢29例（摘自/wiki/Bayesian_network）CPT如下：P(R)=0.2P(S|R)=0.01P(S|～R)=0.4P(G|S,R)=0.99P(G|～S,R)=0.8P(G|S,～R)=0.9P(G|～S,～R)=0.0求：P(R|G)SprinklerRainGrasswetSprinkler：灑水車灑水了Rain：下雨了Grasswet：草濕了2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例（摘自/wi30解：P(R|G)=P(G|R)P(R)/P(G)={P(G,S|R)+P(G,～S|R)}P(R)/P(G)={P(G|S,R)P(S|R)+P(G|～S,R)P(～S|R)}P(R)/P(G)={0.99×0.01+0.8×0.99}×0.2/P(G)=0.16038/P(G)P(G)=P(G,S,R)+P(G,～S,R)+P(G,S,～R)+P(G,～S,～R)=P(G|S,R)P(S|R)P(R)+P(G|～S,R)P(～S|R)P(R)+P(G|S,～R)P(S|～R)P(～R)

+P(G|～S,～R)P(～S|～R)P(～R)=0.99*0.01*0.2+0.8*0.99*0.2+0.9*0.4*0.8+0.0=0.44838∴P(R|G)=0.16038/0.44838=0.35769SRG診斷推理貝葉斯公式條件概率性質(zhì)3概率定義性質(zhì)32008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法解：P(R|G)SRG診斷推理貝葉斯公式條件概率性質(zhì)3概率定31方法二：P(R|G)={P(G|S,R)P(S|R)+P(G|～S,R)P(～S|R)}P(R)/P(G)={0.99×0.01+0.8×0.99}×0.2/P(G)=0.16038/P(G)P(～R|G)={P(G|S,～R)P(S|～R)+P(G|～S,～R)P(～S|～R)}P(～R)/P(G)={0.9×0.4+0.0×0.6}×0.8/P(G)=0.288/P(G)由P(R|G)+P(～R|G)=1，得P(G)=0.44838∴P(R|G)=0.16038/0.44838=0.35769SRG2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法方法二：SRG2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)32作業(yè)5.152008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法作業(yè)5.152008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)33第5.4節(jié)主觀貝葉斯方法王慶江計(jì)算機(jī)科學(xué)與技術(shù)系qjwang@第5.4節(jié)主觀貝葉斯方法王慶江34勘誤P182頁15行，LS表達(dá)式中缺少一個(gè)等號(hào)。P188頁第2行，“(300*0.02+1)”應(yīng)為“((300－1)*0.02+1)”。P203頁圖5.15，E1和E2，應(yīng)分別為T1和T2。注：新印刷的可能已糾正。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法勘誤P182頁15行，LS表達(dá)式中缺少一個(gè)等號(hào)。注：新印刷的35主觀貝葉斯方法1976年，R.O.Duda等提出;用于地礦勘測系統(tǒng)PROSPECTOR;仍斷言因果關(guān)系網(wǎng)絡(luò)蘊(yùn)含條件獨(dú)立；引入LS、LN兩個(gè)因子，分別表示規(guī)則成立的充分性和必要性程度。而不是用P(xi|pai)表示連接強(qiáng)度，pai表示xi的父結(jié)點(diǎn)集。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法主觀貝葉斯方法2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)36規(guī)則的不確定性規(guī)則：A→B由貝葉斯定理，A發(fā)生后B發(fā)生的概率為B不發(fā)生的概率為兩式相除得2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法規(guī)則的不確定性規(guī)則：A→B2008-2009學(xué)年第1學(xué)期5.37充分性因子LS∵先驗(yàn)幾率、后驗(yàn)幾率分別定義為由

定義LS，使得LS2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法充分性因子LS∵先驗(yàn)幾率、后驗(yàn)幾率分別定義為LS2008-38LS的含義LS表示A真對B的影響程度。LS=∞時(shí)，P(~B|A)=0，P(B|A)=1。說明A對于B是邏輯充分的，即規(guī)則成立是充分的?！郘S稱作充分似然率因子。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法LS的含義LS表示A真對B的影響程度。2008-2009學(xué)年39LS的含義（續(xù)）LS=1，O(B|A)=O(B)，A對B無影響可推得P(B)=P(B|A)，即B獨(dú)立于A。LS>1，O(B|A)>O(B)，A支持B可推得P(B)<P(B|A)，即A發(fā)生提高了B發(fā)生的概率。LS<1，O(B|A)<O(B)，A不支持B可推得P(B)>P(B|A)，即A發(fā)生降低了B發(fā)生的概率。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法LS的含義（續(xù)）LS=1，O(B|A)=O(B)，A40必要性因子LN規(guī)則：A→B由貝葉斯定理，A不發(fā)生時(shí)B發(fā)生的概率為B不發(fā)生的概率為兩式相除得2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法必要性因子LN規(guī)則：A→B2008-2009學(xué)年第1學(xué)期5.41∵先驗(yàn)幾率、后驗(yàn)幾率分別為且

得必要似然率因子LN2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法∵先驗(yàn)幾率、后驗(yàn)幾率分別為必要似然率因子LN2008-2042LN的含義LN表示A假（即不存在）對B的影響程度。LN=0時(shí)，P(B|~A)=0。說明A對于B是邏輯必要的，即規(guī)則成立的必要性?！郘N稱作必要似然率因子。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法LN的含義LN表示A假（即不存在）對B的影響程度。2008-43LN的含義（續(xù)）LN表示A不存在對B發(fā)生的影響度LN=1，O(B|~A)=O(B)，~A對B無影響可推得P(B)=P(B|~A)，即B獨(dú)立于~A。LN>1，O(B|~A)>O(B)，~A支持B可推得P(B)<P(B|~A)LN<1，O(B|~A)=O(B)，~A不支持B可推得P(B)>P(B|~A)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法LN的含義（續(xù)）LN表示A不存在對B發(fā)生的影響度2008-244LS、LN的關(guān)系LN≥0，LS≥0，且LN和LS彼此不獨(dú)立。證明：∴理論上LS>1,LN<1;LS<1,LN>1;LS=LN=12008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法LS、LN的關(guān)系LN≥0，LS≥0，且LN和LS彼此不獨(dú)立。45LS和LN的取值與證據(jù)的關(guān)系LS0A為真則B為假，即~A對B是必然的0<LS<<1A為真時(shí)對B不利1A為真時(shí)對B無影響1<<LSA為真時(shí)對B有利∞A為真時(shí)對B邏輯充分，即B必然為真LN0A為假則B為假，即A對B是必然的0<LN<<1A為假時(shí)對B不利1A為假時(shí)對B無影響1<<LNA為假時(shí)對B有利∞A為假時(shí)對B邏輯充分，即B必然為真2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法LS和LN的取值與證據(jù)的關(guān)系LS0A為真則B為假，即~A對46專家給出的LS和LN專家對證據(jù)的觀察是重要的，而缺少證據(jù)是不重要的?！郘S>1且LN=1是合理的。這時(shí)，只能說貝葉斯定理是不適合的。LS、LN表明了先驗(yàn)幾率到后驗(yàn)幾率有多大的變化（這正好適合專家意見的表達(dá)）。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法專家給出的LS和LN專家對證據(jù)的觀察是重要的，而缺少證據(jù)是不47指定LS、LN的示例例：“如果有石英礦，則必有鉀礦帶”。LS=300,LN=0.2。

這意味著：發(fā)現(xiàn)石英礦，對判斷發(fā)現(xiàn)鉀礦帶非常有利。而沒有發(fā)現(xiàn)石英礦，并不暗示一定沒有鉀礦帶。如果LN<<1，則沒有發(fā)現(xiàn)石英礦時(shí)，強(qiáng)烈暗示鉀礦帶不存在。例：“如果有玻璃褐鐵礦，則有最佳礦產(chǎn)結(jié)構(gòu)”。這里，LS=1000000，LN=0.01。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法指定LS、LN的示例例：“如果有石英礦，則必有鉀礦帶”。LS485.4.2證據(jù)的不確定性LS和LN可描述規(guī)則成立的充分性和必要性；證據(jù)或中間結(jié)論的不確定度仍用幾率表示；由幾率也可計(jì)算概率。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法5.4.2證據(jù)的不確定性LS和LN可描述規(guī)則成立的充分性49證據(jù)A必然出現(xiàn)或不出現(xiàn)，結(jié)論的后驗(yàn)幾率怎么計(jì)算?根據(jù)規(guī)則的充分性或必然性因子求B的后驗(yàn)幾率；O(B|A)=LS×O(B)O(B|~A)=LN×O(B)還可以進(jìn)一步求得后驗(yàn)概率。

5.4.3主觀貝葉斯的推理計(jì)算AB2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法證據(jù)A必然出現(xiàn)或不出現(xiàn)，結(jié)論的后驗(yàn)幾率怎么計(jì)算?5.4.350P(A)≠1或0找出對A產(chǎn)生影響的肯定發(fā)生或肯定不發(fā)生的所有證據(jù)，組成集合A’。計(jì)算O(B|A’)。②A不確定，怎樣計(jì)算B的后驗(yàn)幾率呢？BAA1A2A‘2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法P(A)≠1或0②A不確定，怎樣計(jì)算B的后驗(yàn)幾率呢？BAA511976年Duda給出的計(jì)算方法P(B|A’)=P(B|A)×P(A|A’)+P(B|~A)×P(~A|A’)怎么解釋呢？合理嗎？給定A時(shí)，B獨(dú)立于A’2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法1976年Duda給出的計(jì)算方法P(B|A’)=P(B|52P(B|A’)=P(B|A)×P(A|A’)+P(B|~A)×P(~A|A’)P(A|A’)=1時(shí)，則P(B|A’)=P(B|A)。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法P(B|A’)=P(B|A)×P(A|A’)+P(B53P(B|A’)=P(B|A)×P(A|A’)+P(B|~A)×P(~A|A’)P(A|A’)=0時(shí)，則P(B|A’)=P(B|～A)。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法P(B|A’)=P(B|A)×P(A|A’)+P(B54P(B|A’)=P(B|A)×P(A|A’)+P(B|~A)×P(~A|A’)P(A|A’)=P(A)時(shí)，則P(B|A’)=P(B)。A’對A無影響，對B也無影響。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法P(B|A’)=P(B|A)×P(A|A’)+P(B55A與A’存在上述特殊關(guān)系時(shí)，P(B|A’)的計(jì)算方法2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法A與A’存在上述特殊關(guān)系時(shí)，P(B|A’)的計(jì)算方法200856A與A’存在其他不確定關(guān)系時(shí)，P(B|A’)該怎樣計(jì)算呢？線性插值P(A)P(A|A’)1P(B|~A)P(B)P(B|A)0P(A|A’)P(B|A’)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法A與A’存在其他不確定關(guān)系時(shí)，P(B|A’)該怎樣計(jì)算呢？線57Duda公式的使用當(dāng)不知道證據(jù)A的不確定度時(shí)，從A向前看，找出B←A←A’中的A’；如果A’的不確定度未知，繼續(xù)向前找。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法Duda公式的使用當(dāng)不知道證據(jù)A的不確定度時(shí)，2008-2058證據(jù)的合成A’A1A2單獨(dú)受A’影響時(shí)，A1和A2的發(fā)生概率。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法證據(jù)的合成A’A1A2單獨(dú)受A’影響時(shí)，A1和A2的發(fā)生概率59證據(jù)組合聰明(A1)而且努力(A2)，則考上大學(xué)(B)。已知O(A1)和O(A2)，可計(jì)算O(B|A1)和O(B|A2)，但怎樣計(jì)算O(B|A1A2)？BA1A2兩個(gè)規(guī)則同時(shí)激活，怎樣計(jì)算結(jié)果的后驗(yàn)幾率2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法證據(jù)組合聰明(A1)而且努力(A2)，則考上大學(xué)(B)。BA60假設(shè)A1和A2相互獨(dú)立，2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法假設(shè)A1和A2相互獨(dú)立，2008-2009學(xué)年第1學(xué)期5.161主觀貝葉斯推理需要知道什么？初始證據(jù)都是必然發(fā)生或必然不發(fā)生的；所有中間結(jié)論或最后結(jié)論的先驗(yàn)概率都是已知的；所有規(guī)則的LS和LN都是已知的。對于發(fā)生的初始證據(jù)，只需知道LS；對于沒發(fā)生的初始證據(jù)，只需知道LN。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法主觀貝葉斯推理需要知道什么？初始證據(jù)都是必然發(fā)生或必然不發(fā)生62例5.1：已知P(A)=1，P(B1)=0.04，P(B2)=0.02，

R1:A→B1，LS1=20,LN1=1；R2:B1→B2，LS2=300,LN2=0.001。計(jì)算P(B2|A)。解：O(B1)=0.04/(1﹣0.04)=0.0417O(B1|A)=LS1

×O(B1)=0.83P(B1|A)=0.83/(1﹢0.83)=0.454

當(dāng)P(B1|A)=1時(shí)，P(B2|A)=LS2×P(B2)/((LS2–1)×P(B2)+1)=300×0.02/(299

×0.02+1)=0.860根據(jù)線性插值法，P(B1|A)>P(B1)時(shí)，有P(B2|A)=0.02+(0.860-0.02)×(0.454-0.04)/(1-0.04)=0.390參見圖5.12的線性插值A(chǔ)B2B1R1R22008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例5.1：已知P(A)=1，P(B1)=0.04，P(B2)63例5.2：已知A1和A2必然發(fā)生，且P(B)=0.03，R1:A1→B，LS1=20，LN1=1，R2:A2→B，LS2=300，LN2=1，計(jì)算B的更新值。解法一：P(B)=0.03O(B)=P(B)/(1–P(B))=0.0309O(B|A1)=LS1

×O(B)=20×0.0309=0.619P(B|A1)=O(B|A1)/(1+O(B|A1))=0.382O(B|A1A2)=LS2

×O(B|A1)=185.565P(B|A1A2)=185.565/(1+185.565)=0.99464B

的概率由0.03更新為0.99464。B1A2A1R1R22008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例5.2：已知A1和A2必然發(fā)生，且P(B)=0.03，R164解法二：P(B)=0.03O(B)=P(B)/(1–P(B))=0.0309O(B|A1A2)=LS1

×LS2

×O(B|A1)=20×300×0.0309=185.4P(B|A1A2)=185.4/(1+185.4)=0.99464B的概率由0.03更新為0.99464。這里內(nèi)在地假設(shè)：A1、A2相互獨(dú)立。例5.2：已知A1和A2必然發(fā)生，且P(B)=0.03，R1:A1→B，LS1=20，LN1=1，R2:A2→B，LS2=300，LN2=1，計(jì)算B的更新值。B1A2A1R1R22008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法解法二：P(B)=0.03這里內(nèi)在地假設(shè)：A1、A2相互65例5.3：已知A必然發(fā)生，且P(B1)=0.03，P(B2)=0.01,R1:A→B1，LS1=20，LN1=1；R2:B1→B2，LS2=300，LN2=0.0001，計(jì)算B2的更新值解：P(B1)=0.03；O(B1)=P(B1)/(1–P(B1))=0.0309O(B1|A)=LS1×O(B1)=20×0.0309=0.619P(B1|A)=O(B1|A)/(1+O(B1|A))=0.382∵P(B1|A)>P(B1)，∴計(jì)算當(dāng)P(B1|A)=1時(shí)的P(B2|B1)。P(B2|B1)=P(B2|A)=300×0.01/((300﹣1)×0.01+1)=0.75188用線性插值法，得P(B2|A)=P(B2)+(P(B2|B1)-P(B2))×(P(B1|A)-P(B1))/(1-P(B1))=0.3AB2B1R1R22008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例5.3：已知A必然發(fā)生，且P(B1)=0.03，P(B2)66主觀貝葉斯方法的特點(diǎn)Duda公式蘊(yùn)涵條件獨(dú)立語義；給定A時(shí)，B獨(dú)立于A’，故P(B|A’,A)=P(B|A)；多因一果時(shí)，假設(shè)證據(jù)相互獨(dú)立。但實(shí)際中，多因一果時(shí)，證據(jù)之間不相互獨(dú)立；由概率可計(jì)算出規(guī)則的LS和LN，但概率往往難以準(zhǔn)確獲得，故一般由專家給出。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法主觀貝葉斯方法的特點(diǎn)Duda公式蘊(yùn)涵條件獨(dú)立語義；2008-67思考題作業(yè)5.9（圖5.15中的E1和E2，應(yīng)分別為T1和T2）2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法思考題5.12008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)68習(xí)題5.9S1、S2、S3都必然發(fā)生；P(F1|S1)=0.7P(F2|S2)=0.6P(T2|S3)=0.02P(F1)=0.2P(F2)=0.4P(T1)=0.1P(T2)=0.03P(H)=0.01求P(H|S1∩S2∩S3)HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S32008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法習(xí)題5.9S1、S2、S3都必然發(fā)生；HT1T2F1F20.69H有直接證據(jù)T1和T2，但不確定發(fā)生；影響T1的確定發(fā)生的證據(jù)的集合A’為{S1,S2}；影響T2的確定發(fā)生的證據(jù)的集合A’’為{S3}；先求O(H|A’)和O(H|A’’)，然后證據(jù)合成，得O(H|A’,A’’)。HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S32008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法H有直接證據(jù)T1和T2，但不確定發(fā)生；HT1T2F1F20.70HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3∵P(F1|S1)=0.7，P(F1)=0.2∴假設(shè)P(F1|S1)=1，計(jì)算根據(jù)插值法，有2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法HT1T2F1F20.010.0(30071HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3∵P(F2|S2)=0.6，P(F2)=0.4∴假設(shè)P(F2|S2)=1，計(jì)算根據(jù)插值法，有2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法HT1T2F1F20.010.0(30072HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3根據(jù)證據(jù)合成（見P187），及O(T1)=P(T1)/(1–P(T1))=0.1/(1–0.1)=0.11112008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法HT1T2F1F20.010.0(30073HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3∵P(T1|S1,S2)>P(T1)∴假設(shè)P(T1|S1,S2)=1，計(jì)算根據(jù)插值法，有2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法HT1T2F1F20.010.0(30074HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3∵P(T2|S3)<P(T2)∴假設(shè)P(T2|S3)=0，計(jì)算根據(jù)插值法，有2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法HT1T2F1F20.010.0(30075HT1T2F1F20.010.0(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3根據(jù)證據(jù)合成（見P187）2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法HT1T2F1F20.010.0(30076第5.3節(jié)貝葉斯網(wǎng)絡(luò)王慶江計(jì)算機(jī)科學(xué)與技術(shù)系qjwang@第5.3節(jié)貝葉斯網(wǎng)絡(luò)王慶江77勘誤P173頁關(guān)于圖5.4的CPT有誤。P175頁倒數(shù)第3行，“對于S、L和E…”應(yīng)為“對于S，L和E…”。P178頁第1行，“具有以上3個(gè)屬性之一”應(yīng)為“同時(shí)具有以上3個(gè)屬性”。P178頁14行，“結(jié)點(diǎn)E阻塞了結(jié)點(diǎn)C和…”應(yīng)為“結(jié)點(diǎn)S阻塞了結(jié)點(diǎn)C和…”。P178頁16行，“而對于給定結(jié)點(diǎn)E、S和L之間…”應(yīng)為“而對于給定結(jié)點(diǎn)E，S和L之間…”。P180頁15行，“P(～S|C)”應(yīng)為“P(～S|～C)”。注：新印刷的可能已糾正。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法勘誤P173頁關(guān)于圖5.4的CPT有誤。注：新印刷的可能已糾78貝葉斯網(wǎng)絡(luò)（BayesianNetwork）有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)；采用概率形式的不確定性表示和推理；20世紀(jì)80年代，成功應(yīng)用于專家系統(tǒng)。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)（BayesianNetwork）2008-20795.3.1貝葉斯網(wǎng)絡(luò)的基本概念有向無環(huán)圖DirectedAcyclicGraph，縮寫DAG；可用于表示因果關(guān)系網(wǎng)。結(jié)點(diǎn)代表證據(jù)或結(jié)論，權(quán)代表證據(jù)或結(jié)論的不確定度；弧代表規(guī)則（即因果關(guān)系），權(quán)代表規(guī)則的不確定度。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法5.3.1貝葉斯網(wǎng)絡(luò)的基本概念有向無環(huán)圖2008-20080ConditionProbabilityTable，縮寫CPT；對于所有父結(jié)點(diǎn)的每種指派，確定子結(jié)點(diǎn)的發(fā)生概率。例：CPT包括P(C|A,B),P(C|A,～B),P(C|～A,B),P(C|～A,～B)P(A),P(B)ABC條件概率表2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法ConditionProbabilityTable，縮寫81貝葉斯網(wǎng)絡(luò)的構(gòu)造方法確定包含哪些結(jié)點(diǎn)；建立反映條件獨(dú)立的有向無環(huán)圖；指派局部概率分布，即CPT。如果CPT包含了足夠的條件概率，可以計(jì)算出任何聯(lián)合概率，則稱此網(wǎng)絡(luò)是可計(jì)算的（即可推理的）。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)的構(gòu)造方法2008-2009學(xué)年第1學(xué)期5.1-582因果關(guān)系網(wǎng)的示例結(jié)點(diǎn)及其解釋S(Smoker)：該患者為吸煙者C(Coalminer)：該患者是煤礦工人L(Lungcancer)：他患了肺癌E(Emphysema)：他患了肺氣腫因果關(guān)系S可能導(dǎo)致L和EC可能導(dǎo)致E

。SCLE因果關(guān)系從哪里得來呢？2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法因果關(guān)系網(wǎng)的示例結(jié)點(diǎn)及其解釋SCLE因果關(guān)系從哪里得來呢？283貝葉斯網(wǎng)絡(luò)是結(jié)點(diǎn)間增加連接強(qiáng)度的因果關(guān)系網(wǎng)。連接強(qiáng)度用條件概率表示；例：P(B|A)為A到B的連接強(qiáng)度；例：P(B|AC)表示A、C對B的聯(lián)合作用。CPT除了包含上述條件概率，還包括頂點(diǎn)（即無父結(jié)點(diǎn)的結(jié)點(diǎn)）的無條件概率（即先驗(yàn)概率）。貝葉斯網(wǎng)絡(luò)=網(wǎng)絡(luò)結(jié)構(gòu)+CPT注：貝葉斯網(wǎng)絡(luò)不允許包含循環(huán)因果關(guān)系！2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)是結(jié)點(diǎn)間增加連接強(qiáng)度的因果關(guān)系網(wǎng)。注：貝葉斯網(wǎng)絡(luò)不84ACEBDGF貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)的完整CPTP(A)、P(C)、P(D)、P(B|ACD)、P(B|～A,C,D)、P(B|A,～C,D)、P(B|A,C,～D)、P(B|～A,～C,D)、P(B|～A,C,～D)、P(B|A,～C,～D)、P(B|～A,～C,～D)、P(E|B)、P(E|～B)、P(F|E)、P(F|～E)、

P(G|DEF)、P(G|～D,E,F)、P(G|D,～E,F)、P(G|D,E,～F)、

P(G|～D,～E,F)、P(G|～D,E,～F)、P(G|D,～E,～F)、P(G|～D,～E,～F)

一般，父結(jié)點(diǎn)發(fā)生或不發(fā)生的所有組合都要給出。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法ACEBDGF貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)的完整CPTP(A)85SCLE網(wǎng)絡(luò)的結(jié)構(gòu)不夠完整的CPTP(S)=0.4P(C)=0.3P(E|S,C)=0.9P(E|S,～C)=0.3P(E|～S,C)=0.5P(E|～S,～C)=0.1P(L|S)=0.6P(L|～S)=0.5剩余的條件概率2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法SCLE網(wǎng)絡(luò)的結(jié)構(gòu)不夠完整的CPTP(S)=0.4P(L|86條件獨(dú)立有結(jié)點(diǎn)A、B和C，若P(A|BC)=P(A|B)，則稱A和C在B條件下獨(dú)立、A在B條件下獨(dú)立于C，或A和C關(guān)于B獨(dú)立。所謂“關(guān)于B”，有時(shí)是給定B的不確定度，有時(shí)是完全不知道B的不確定度。“條件獨(dú)立”是貝葉斯網(wǎng)絡(luò)中隱含的斷言（assertion）、假設(shè)（assumption），貝葉斯網(wǎng)絡(luò)就是一個(gè)表示條件獨(dú)立關(guān)系的圖模型。實(shí)際中，若已知A在B條件下獨(dú)立于C，則P(A|BC)=P(A|B)。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法條件獨(dú)立有結(jié)點(diǎn)A、B和C，若P(A|BC)=P(A|B87事件獨(dú)立與貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立事件獨(dú)立若P(AB)=P(A)P(B)，則A與B相互獨(dú)立。性質(zhì)2：若A與B獨(dú)立，且P(B)>0，則P(A|B)=P(A)。∵P(A|B)=P(AB)/P(B)=P(A)P(B)/P(B)獨(dú)立和互斥不一會(huì)兒事！若AB=Φ，則A與B互斥，有P(A∪B)=P(A)+P(B)P(A)>0，P(B)>0，若AB=Φ，則P(AB)=0，A與B互斥但不相互獨(dú)立；Ω與任何事件獨(dú)立，但Ω與任何事件不互斥。貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立若P(A|BC)=P(A|B)，則A和C關(guān)于B條件獨(dú)立。一個(gè)事件的概率與另一事件的概率沒關(guān)系兩個(gè)事件不可能同時(shí)發(fā)生給定某條件時(shí)，一個(gè)事件的概率與另一個(gè)事件的概率沒關(guān)系2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法事件獨(dú)立與貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立事件獨(dú)立一個(gè)事件的概率與另一88條件獨(dú)立斷言有什么用呢？例：P(S,C,L,E) =P(E|S,C,L)×P(L|S,C)×P(C|S)×P(S) =P(E|S,C)×P(L|S,C)×P(C|S)×P(S) =P(E|S,C)×P(L|S)×P(C|S)×P(S) =P(E|S,C)×P(L|S)×P(C)×P(S)聯(lián)合概率公式不給定E，C獨(dú)立于S給定S，L獨(dú)立于C給定S，E獨(dú)立于LCPT給出這些概率SCLE貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法條件獨(dú)立斷言有什么用呢？例：P(S,C,L,E)聯(lián)合概率公式89貝葉斯網(wǎng)絡(luò)隱含著哪些條件獨(dú)立斷言？串行連接A通過B影響C；C通過B影響A；如果給定B，則A和C互不影響，這時(shí)稱A和C關(guān)于B條件獨(dú)立。注：所謂“影響”與箭頭方向無關(guān)。ACB血糖胃酸餓條件獨(dú)立斷言是合理的2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法貝葉斯網(wǎng)絡(luò)隱含著哪些條件獨(dú)立斷言？串行連接注：所謂“影響”與90分叉連接如果給定A，沒有信息可經(jīng)由A傳遞給A的子結(jié)點(diǎn)，即給定A時(shí)，A的子結(jié)點(diǎn)之間相互獨(dú)立，稱子結(jié)點(diǎn)B、C、…、F關(guān)于A條件獨(dú)立。ACBF…2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法分叉連接ACBF…2008-2009學(xué)年第1學(xué)期5.1-5.91匯集連接多個(gè)原因（causes）有一個(gè)共同結(jié)果（effect）。對結(jié)果一無所知時(shí)，原因之間條件獨(dú)立。當(dāng)結(jié)果或其某個(gè)子孫已知，父結(jié)點(diǎn)之間就不再獨(dú)立了。ACBF…eACBF…eHK2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法匯集連接ACBF…eACBF…eHK2008-2009學(xué)年第92匯集連接的解釋A和B有共同的結(jié)果C；在有向圖中，結(jié)點(diǎn)C稱為沖突子（collider）；不給定C時(shí)，A和B之間是相互獨(dú)立的；給定C時(shí)，A和B之間就不再獨(dú)立了。電池沒電油箱空汽車發(fā)動(dòng)不了ABCDavidPapineau于1985年發(fā)現(xiàn)了給定沖突子時(shí)父結(jié)點(diǎn)之間的因果聯(lián)系。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法匯集連接的解釋A和B有共同的結(jié)果C；電池沒電油箱空汽車發(fā)動(dòng)不93摘自http://www.cs.mcgill.ca/~mgendr12/COMP526/docs/lecture3.pdfHead-to-tailTail-to-tailHead-to-headXYZXYZY未知，路徑不阻塞Y已知，路徑被阻塞XZYXZYY未知，路徑不阻塞Y已知，路徑被阻塞Y未知，路徑被阻塞Y已知，路徑不阻塞ZXYZXY2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法摘自http://www.cs.mcgill.ca/~mge94定義：Vi

和Vj被Vb

阻塞ViVb3VjVb1Vb2證據(jù)集ε給定結(jié)點(diǎn)集ε，Vi和Vj的每個(gè)無向路經(jīng)都有結(jié)點(diǎn)Vb，如果

Vb∈ε，且路徑上兩條弧都以Vb為尾；

Vb∈ε，且路徑上一條弧以Vb

為尾，一條以Vb為頭；

Vb及其后繼都不屬于ε，且路徑上兩條弧都以Vb為頭。稱Vi和Vj被Vb阻塞。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法定義：Vi和Vj被Vb阻塞ViVb3VjVb1Vb2證據(jù)95定義：一條路徑的阻塞給定證據(jù)集ε，當(dāng)上述任一條件滿足時(shí)，Vb阻塞相應(yīng)的那條路徑。定義：D分離（Dependenceseparation）給定證據(jù)集ε，如果Vi和Vj之間的所有路徑被阻塞，則結(jié)點(diǎn)集ε可以D分離Vi和Vj。定義：條件獨(dú)立如果證據(jù)集ε可以D分離Vi和Vj，則Vi和Vj條件獨(dú)立于證據(jù)集ε。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法定義：一條路徑的阻塞給定證據(jù)集ε，當(dāng)上述任一條件滿足時(shí)，Vb96當(dāng)Vi和Vj條件獨(dú)立于證據(jù)集ε時(shí)，記為I(Vj,Vi|ε)或I(Vi,Vj|ε)，且有P(Vi|Vj,ε)=P(Vi|ε)和P(Vj

|Vi,ε)=P(Vj|ε)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法當(dāng)Vi和Vj條件獨(dú)立于證據(jù)集ε時(shí)，2008-2009學(xué)年第97D-分離的示例I(L,E|S)或I(L,E|～S)應(yīng)用示例：P(L|E,S)=P(L|S)I(L,C|S)或I(L,C|～S)應(yīng)用示例：P(L|C,～S)=P(L|～S)I(L,C,E|S)I(S,C)、I(～S,C)、I(S,～C)或I(～S,～C)應(yīng)用示例：P(～S|C)=P(～S)SCLE×∵CPT不含P(E)2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法D-分離的示例I(L,E|S)或I(L,E|985.3.2貝葉斯網(wǎng)絡(luò)的推理模式因果推理：已知父結(jié)點(diǎn)，計(jì)算子結(jié)點(diǎn)的條件概率例：給定S，計(jì)算P(E|S)。S稱為推理的證據(jù)，E稱為詢問結(jié)點(diǎn)。SCLE已知：P(S)=0.4，P(C)=0.3，P(E|S,C)=0.9，P(E|S,～C)=0.3，P(E|～S,C)=0.5，P(E|～S,

～C)=0.1不完整的CPT2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法5.3.2貝葉斯網(wǎng)絡(luò)的推理模式因果推理：已知父結(jié)點(diǎn)，計(jì)算99例(續(xù))P(E|S)=P(E,C|S)+P(E,~C|S)P(E,C|S)=P(E,C,S)/P(S)=P(E|C,S)×P(C|S)×P(S)/P(S)=P(E|C,S)×P(C|S)=P(E|C,S)×P(C)P(E,~C|S)=P(E|~C,S)×P(~C)P(E|S)=P(E|C,S)×P(C)+P(E|~C,S)×P(~C)=0.48SCLE要點(diǎn)：利用條件概率性質(zhì)3引入所有父結(jié)點(diǎn)，利用條件概率定義將父結(jié)點(diǎn)移到“|”右側(cè)，利用條件獨(dú)立簡化公式，代入CPT中的值求解。條件概率性質(zhì)3>>2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例(續(xù))P(E|S)=P(E,C|S)+P(E,~C100條件概率性質(zhì)3若B1B2=Φ，則P(B1∪B2|A)=P(B1|A)+P(B2|A)證明：P(B1∪B2|A)=P((B1∪B2)A)/P(A) =P(B1A∪B2A)/P(A) ={P(B1A)+P(B2A)}/P(A) =P(B1A)/P(A)+P(B2A)/P(A) =P(B1|A)+P(B2|A)條件概率定義事件運(yùn)算分配率概率定義性質(zhì)3條件概率定義2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法條件概率性質(zhì)3若B1B2=Φ，則P(B1∪B2|A)=P(B101②診斷推理已知一個(gè)子結(jié)點(diǎn)，計(jì)算父結(jié)點(diǎn)的條件概率。例：計(jì)算P(~C|~E)。

SCLE要點(diǎn)：將診斷推理轉(zhuǎn)化為因果推理。已知：P(S)=0.4，P(C)=0.3，P(E|S,C)=0.9，P(E|S,～C)=0.3，P(E|～S,C)=0.5，P(E|～S,～C)=0.12008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法②診斷推理已知一個(gè)子結(jié)點(diǎn)，計(jì)算父結(jié)點(diǎn)的條件概率。SCLE要點(diǎn)102例（續(xù)）P(~C|~E)=P(~E|~C)×P(~C)/P(~E)P(~E|~C)=P(~E,S|~C)+P(~E,~S|~C)

=

P(~E|S,~C)×P(S|~C)+P(~E|~S,~C)×P(~S|~C)=P(~E|S,~C)×P(S)+P(~E|~S,~C)×P(~S)=0.82∴P(~C|~E)=0.82×P(~C)/P(~E)=0.574/P(~E)同理，P(C|~E)=P(~E|C)×P(C)/P(~E)=0.102/P(~E)由P(~C|~E)+P(C|~E)=1，得P(~E)=0.676∴P(~C|~E)=0.849SCLE貝葉斯公式條件概率性質(zhì)32008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例（續(xù)）P(~C|~E)=P(~E|~C)×P(~C)103③辯解推理已知的既有父結(jié)點(diǎn)又有子結(jié)點(diǎn)，詢問其他父結(jié)點(diǎn)。例：計(jì)算P(~C|~E,~S)。SCLE2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法③辯解推理已知的既有父結(jié)點(diǎn)又有子結(jié)點(diǎn)，詢問其他父結(jié)點(diǎn)。SCL104P(~C|~E,~S)=P(~E,~S|~C)×P(~C)/P(~E,~S)=P(~E|~S,~C)×P(~S|~C)×P(~C)/P(~E,~S)=P(~E|~S,~C)×P(~S)×P(~C)/P(~E,~S)=P(~E|~S,~C)×P(~S)×P(~C)/(P(~E|~S)×P(~S))=0.807SCLE要點(diǎn)：先用貝葉斯公式，把要詢問的父結(jié)點(diǎn)移至“|”右側(cè)；再利用條件概率定義將“|”左側(cè)的父結(jié)點(diǎn)移至“|”右側(cè)；條件獨(dú)立隨時(shí)可用于簡化公式。2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法P(~C|~E,~S)SCLE要點(diǎn)：先用貝葉斯公式，把要詢105例（摘自/wiki/Bayesian_network）CPT如下：P(R)=0.2P(S|R)=0.01P(S|～R)=0.4P(G|S,R)=0.99P(G|～S,R)=0.8P(G|S,～R)=0.9P(G|～S,～R)=0.0求：P(R|G)SprinklerRainGrasswetSprinkler：灑水車灑水了Rain：下雨了Grasswet：草濕了2008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法例（摘自/wi106解：P(R|G)=P(G|R)P(R)/P(G)={P(G,S|R)+P(G,～S|R)}P(R)/P(G)={P(G|S,R)P(S|R)+P(G|～S,R)P(～S|R)}P(R)/P(G)={0.99×0.01+0.8×0.99}×0.2/P(G)=0.16038/P(G)P(G)=P(G,S,R)+P(G,～S,R)+P(G,S,～R)+P(G,～S,～R)=P(G|S,R)P(S|R)P(R)+P(G|～S,R)P(～S|R)P(R)+P(G|S,～R)P(S|～R)P(～R)

+P(G|～S,～R)P(～S|～R)P(～R)=0.99*0.01*0.2+0.8*0.99*0.2+0.9*0.4*0.8+0.0=0.44838∴P(R|G)=0.16038/0.44838=0.35769SRG診斷推理貝葉斯公式條件概率性質(zhì)3概率定義性質(zhì)32008-2009學(xué)年第1學(xué)期5.1-5.2節(jié)貝葉斯網(wǎng)絡(luò)和主觀貝葉斯方法解：P(R|G)SRG診斷推理貝葉斯公式條件概率性質(zhì)3概率定107方法二：P(R|G)={P(G|S,R)P(S|R)+P(G|～S,R)P(～S|R)}P(R)/P(G)={0.99×0.01+0.8×0.99}×0.2/P(G)=0.16038/P(G)P(～R|G)={P(G|S,～R)P(S|～R)+P(G|～S,～R)P(～S|～R)}P(～R)/P(G)={0.9×0.4+0.0×0.6}×