貝葉斯網(wǎng)絡(luò)簡介

貝葉斯網(wǎng)絡(luò)詹敏貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)(BayesianNetwork)是20世紀(jì)80年代發(fā)展起來的，由JudeaPearl(朱迪亞?佩爾)于1986年提出。貝葉斯網(wǎng)絡(luò)起源于貝葉斯統(tǒng)計分析理論，它是概率論和圖論相結(jié)合的產(chǎn)物。貝葉斯網(wǎng)絡(luò)是一種描述不確定性知識和推理問題的方法。文本分類（如：垃圾郵件的過濾）醫(yī)學(xué)診斷......2貝葉斯網(wǎng)絡(luò)1、引例2、貝葉斯概率基礎(chǔ)3、貝葉斯網(wǎng)絡(luò)概述4、貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練4.1貝葉斯網(wǎng)絡(luò)的預(yù)測4.2貝葉斯網(wǎng)絡(luò)的診斷4.3貝葉斯網(wǎng)絡(luò)的訓(xùn)練5、貝葉斯網(wǎng)絡(luò)的優(yōu)越性31、引例一個有關(guān)概率推理的例子。圖中有六個結(jié)點：參加晚會(Party,PT)宿醉(Hangover,HO)頭疼(Headache,HA)患腦瘤(Braintumor,BT)有酒精味(Smellalcohol,SA)X射線檢查呈陽性(PosXray,PX)PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray41、引例一個有關(guān)概率推理的例子。圖中有五條連線：PTHOHOSAHOHABTHABTPXPartyHangoverBrainTumorHeadacheSmellAlcoholPosXray51、引例參加晚會后，第二天呼吸中有酒精味的可能性有多大？如果頭疼，患腦瘤的概率有多大？如果參加了晚會，并且頭疼，那么患腦瘤的概率有多大？......PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray這些問題都可通過貝葉斯網(wǎng)絡(luò)加以解決。6先驗概率：根據(jù)歷史資料或主觀判斷所確定的各種事件發(fā)生的概率。先驗概率可分為兩類：客觀先驗概率：是指利用過去的歷史資料計算得到的概率(如：在自然語言處理中，從語料庫中統(tǒng)計詞語的出現(xiàn)頻率——客觀先驗概率)；主觀先驗概率：是指在無歷史資料或歷史資料不全的時候，只能憑借人們的主觀經(jīng)驗來判斷取得的概率。2、貝葉斯概率基礎(chǔ)7后驗概率：是指利用貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對先驗概率修正后得到的更符合實際的概率。條件概率：是指當(dāng)條件事件發(fā)生后，該事件發(fā)生的概率。2、貝葉斯概率基礎(chǔ)條件概率的計算可以通過兩個事件各自發(fā)生的概率，以及相反方向的條件概率得到。83、貝葉斯網(wǎng)絡(luò)概述貝葉斯網(wǎng)絡(luò)是描述隨機變量（事件）之間依賴關(guān)系的一種圖形模式，是一種可用來進行推理的模型。貝葉斯網(wǎng)絡(luò)通過有向圖的形式來表示隨機變量間的因果關(guān)系，并通過條件概率將這種因果關(guān)系量化。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray93、貝葉斯網(wǎng)絡(luò)概述一個貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。網(wǎng)絡(luò)結(jié)構(gòu)是一個有向無環(huán)圖，由若干結(jié)點和有向弧組成。103、貝葉斯網(wǎng)絡(luò)概述一個貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。條件概率表：是指網(wǎng)絡(luò)中的每個結(jié)點都有一個條件概率表，用于表示其父結(jié)點對該結(jié)點的影響。當(dāng)網(wǎng)絡(luò)中的某個結(jié)點沒有父結(jié)點時，該結(jié)點的條件概率表就是該結(jié)點的先驗概率。11貝葉斯網(wǎng)絡(luò)的3個重要議題：貝葉斯網(wǎng)絡(luò)預(yù)測：是指已知一定的原因，利用貝葉斯網(wǎng)絡(luò)進行計算，求出由原因?qū)е陆Y(jié)果的概率。貝葉斯網(wǎng)絡(luò)診斷：是指已知發(fā)生了某些結(jié)果，根據(jù)貝葉斯網(wǎng)絡(luò)推理出造成該結(jié)果發(fā)生的原因以及發(fā)生的概率。貝葉斯網(wǎng)絡(luò)學(xué)習(xí)(訓(xùn)練)：是指利用現(xiàn)有數(shù)據(jù)對先驗知識進行修正的過程，每一次學(xué)習(xí)都對貝葉斯網(wǎng)絡(luò)的先驗概率進行調(diào)整，使得新的貝葉斯網(wǎng)絡(luò)更能反映數(shù)據(jù)中所蘊含的知識。3、貝葉斯網(wǎng)絡(luò)概述124、貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練此處將以下圖為例，分別介紹貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray預(yù)測和診斷需要已知網(wǎng)絡(luò)結(jié)構(gòu)和圖中每個結(jié)點的條件概率表。訓(xùn)練需要先建立網(wǎng)絡(luò)結(jié)構(gòu)，再計算每個結(jié)點的條件概率表。134、貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練為了使用貝葉斯網(wǎng)絡(luò)進行預(yù)測和診斷，假設(shè)網(wǎng)絡(luò)已經(jīng)訓(xùn)練好，即：網(wǎng)絡(luò)中的所有先驗概率和條件概率全部已知。圖中Party和BrainTumor兩個結(jié)點是原因結(jié)點，沒有連線以它們?yōu)榻K點。它們的無條件概率如下表所示：該表中給出了這兩個事件發(fā)生的概率：PT發(fā)生的概率是0.2，不發(fā)生的概率是0.8；BT發(fā)生的概率是0.001，不發(fā)生的概率是0.999。

P(PT)P(BT)True0.2000.001False0.8000.999144、貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練另外，網(wǎng)絡(luò)中的條件概率如下所示：P(HO|PT)PT=TruePT=FalseTrue0.7000False0.3001.000P(SA|HO)HO=TrueHO=FalseTrue0.8000.100False0.2000.900P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990154、貝葉斯網(wǎng)絡(luò)的預(yù)測、診斷和訓(xùn)練另外，網(wǎng)絡(luò)中的條件概率如下所示：P(HA|HO,BT)HO=TrueBT=TrueBT=FalseHO=FalseBT=TrueBT=FalseTrue0.9900.7000.9000.020False0.0100.3000.1000.980164.1貝葉斯網(wǎng)絡(luò)的預(yù)測對于貝葉斯網(wǎng)絡(luò)的預(yù)測，可分為以下兩種情況：在已知某些原因結(jié)點的情況下，可以預(yù)測結(jié)果結(jié)點的概率。例：參加晚會情況下，頭疼發(fā)生的概率。在不知任何結(jié)點信息的情況下，可以預(yù)測網(wǎng)絡(luò)中某個結(jié)果結(jié)點發(fā)生的概率。例：即使不知道任何結(jié)點發(fā)生與否的信息，仍然可以計算結(jié)點HA發(fā)生的概率。貝葉斯網(wǎng)絡(luò)的預(yù)測是一個“自頂向下”的過程。174.1貝葉斯網(wǎng)絡(luò)的預(yù)測為了描述方便，對于任何一個結(jié)點Point：P(+Point)表示Point發(fā)生的概率P(-Point)表示Point不發(fā)生的概率18例1：計算結(jié)點HA的概率。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray4.1貝葉斯網(wǎng)絡(luò)的預(yù)測例1：計算結(jié)點HA的概率。【解】根據(jù)全概率公式，可得

P(+HA)=P(+BT,+HO)*P(+HA|+BT,+HO)+P(+BT,-HO)*P(+HA|+BT,-HO)+

P(-BT,+HO)*P(+HA|-BT,+HO)+

P(-BT,-HO)*P(+HA|-BT,-HO)

P(HA|HO,BT)HO=TrueBT=TrueBT=FalseHO=FalseBT=TrueBT=FalseTrue0.9900.7000.9000.020False0.0100.3000.1000.980194.1貝葉斯網(wǎng)絡(luò)的預(yù)測例1：計算結(jié)點HA的概率?！窘狻扛鶕?jù)全概率公式，可得

P(+HA)=P(+BT)P(+HO)*0.99+P(+BT)P(-HO)*0.9+P(-BT)P(+HO)*0.7+P(-BT)P(-HO)*0.02=0.116P(HA|HO,BT)HO=TrueBT=TrueBT=FalseHO=FalseBT=TrueBT=FalseTrue0.9900.7000.9000.020False0.0100.3000.1000.980204.1貝葉斯網(wǎng)絡(luò)的預(yù)測例1：計算結(jié)點HA的概率?！窘狻扛鶕?jù)全概率公式，可得

P(-HA)=1-P(+HA)=0.884【解釋】在沒有任何誘因的情況下，頭疼發(fā)生的概率是0.116，不頭疼的概率是0.884。采用上述方式，可以計算貝葉斯網(wǎng)絡(luò)中所有結(jié)點的概率——這個過程通常發(fā)生在貝葉斯網(wǎng)絡(luò)的訓(xùn)練階段——獲得結(jié)點的概率。214.1貝葉斯網(wǎng)絡(luò)的預(yù)測——預(yù)測算法輸入：給定貝葉斯網(wǎng)絡(luò)B（包括網(wǎng)絡(luò)結(jié)構(gòu)m個結(jié)點以及某些結(jié)點間的連線、原因結(jié)點到中間結(jié)點的條件概率或聯(lián)合條件概率），給定若干個原因結(jié)點發(fā)生與否的事實向量F（或者稱為證據(jù)向量）；給定待預(yù)測的某個結(jié)點t。輸出：結(jié)點t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中；（2）對于B中的每一個沒處理過的結(jié)點n，如果它具有發(fā)生的事實（證據(jù)），則標(biāo)記它為已經(jīng)處理過；否則繼續(xù)下面的步驟；（3）如果它的所有父結(jié)點中有一個沒有處理過，則不處理這個結(jié)點；否則，繼續(xù)下面的步驟；（4）根據(jù)結(jié)點n的所有父結(jié)點的概率以及條件概率或聯(lián)合條件概率計算結(jié)點n的概率分布，并把結(jié)點n標(biāo)記為已處理；（5）重復(fù)步驟（2）~（4）共m次。此時，結(jié)點t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結(jié)束。224.2貝葉斯網(wǎng)絡(luò)的診斷貝葉斯網(wǎng)絡(luò)的診斷與貝葉斯網(wǎng)絡(luò)的預(yù)測正好相反，即：它是在已知結(jié)果結(jié)點發(fā)生的情況下，來推斷條件結(jié)點發(fā)生的概率。貝葉斯網(wǎng)絡(luò)的診斷是一個“自底向上”的過程。234.2貝葉斯網(wǎng)絡(luò)的診斷例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray244.2貝葉斯網(wǎng)絡(luò)的診斷例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率?！窘狻扛鶕?jù)條件概率公式，可得

P(+BT|+PX)=P(+PX|+BT)*P(+BT)/P(+PX)=0.98*0.001/P(+PX)P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990

P(PT)P(BT)True0.2000.001False0.8000.99925由：P(AB)=P(A|B)*P(B)得到P(A|B)=P(AB)/P(B)而：P(AB)=P(B|A)*P(A)所以：P(A|B)=P(AB)/P(B)

=P(B|A)*P(A)/P(B)4.2貝葉斯網(wǎng)絡(luò)的診斷例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率?！窘狻扛鶕?jù)全概率公式，可得

P(+PX)=P(+PX|+BT)*P(+BT)+P(+PX|-BT)*P(-BT)=0.980*0.001+0.010*0.999≈0.011P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990

P(PT)P(BT)True0.2000.001False0.8000.999264.2貝葉斯網(wǎng)絡(luò)的診斷例1：計算已知X光檢查呈陽性的情況下，患腦瘤的概率?！窘狻扛鶕?jù)條件概率公式，可得

P(+BT|+PX)=P(+PX|+BT)*P(+BT)/P(+PX)=0.98*0.001/P(+PX)

=0.98*0.001/0.011

≈0.089【解釋】當(dāng)X光檢查呈陽性的情況下，患腦瘤的概率是0.089（概率是較低的）。274.2貝葉斯網(wǎng)絡(luò)的診斷——診斷算法輸入：給定貝葉斯網(wǎng)絡(luò)B（包括網(wǎng)絡(luò)結(jié)構(gòu)m個結(jié)點以及某些結(jié)點間的連線、原因結(jié)點到中間結(jié)點的條件概率或聯(lián)合條件概率），給定若干個結(jié)果結(jié)點發(fā)生與否的事實向量F（或者稱為證據(jù)向量）；給定待診斷的某個結(jié)點t。輸出：結(jié)點t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中；（2）對于B中的每一個沒處理過的結(jié)點n，如果它具有發(fā)生的事實（證據(jù)），則標(biāo)記它為已經(jīng)處理過；否則繼續(xù)下面的步驟；（3）如果它的所有子結(jié)點中有一個沒有處理過，則不處理這個結(jié)點；否則，繼續(xù)下面的步驟；（4）根據(jù)節(jié)點n所有子結(jié)點的概率以及條件概率或聯(lián)合條件概率，根據(jù)條件概率公式，計算結(jié)點n的概率分布，并把結(jié)點n標(biāo)記為已處理；（5）重復(fù)步驟（2）~（4）共m次。此時，原因結(jié)點t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結(jié)束。284.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的建立：首先，要把實際問題中的事件抽象為網(wǎng)絡(luò)中的結(jié)點每個結(jié)點必須有明確的意義，至少有是、非兩個狀態(tài)或者多個狀態(tài)，并且這些狀態(tài)在概率意義上是完備的和互斥的。294.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的建立：其次，在兩個或多個結(jié)點之間的建立連線?；驹瓌t：有明確因果關(guān)系的結(jié)點之間應(yīng)建立連線，沒有明確因果關(guān)系的結(jié)點之間盡量不要建立連線?？刹捎孟嚓P(guān)性分析方法（如：Pearson相關(guān)系數(shù)）來確定結(jié)點之間是否應(yīng)該有連線。注意：在兩個結(jié)點之間建立連線時，要防止環(huán)的出現(xiàn)，因為貝葉斯網(wǎng)絡(luò)必須是無環(huán)圖。304.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的訓(xùn)練：是指通過歷史數(shù)據(jù)獲得貝葉斯網(wǎng)絡(luò)中各結(jié)點的概率以及結(jié)點之間條件概率的過程。結(jié)點的概率（先驗概率）假設(shè)結(jié)點P有m個狀態(tài)P1,P2,...,Pm，則結(jié)點P在第i個狀態(tài)下的概率P(Pi)為：314.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的訓(xùn)練：是指通過歷史數(shù)據(jù)獲得貝葉斯網(wǎng)絡(luò)中各結(jié)點的概率以及結(jié)點之間條件概率的過程。結(jié)點間的條件概率假設(shè)