貝葉斯網(wǎng)絡(luò)簡(jiǎn)介

貝葉斯網(wǎng)絡(luò)詹敏貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)(BayesianNetwork)是20世紀(jì)80年代發(fā)展起來(lái)的，由JudeaPearl(朱迪亞?佩爾)于1986年提出。貝葉斯網(wǎng)絡(luò)起源于貝葉斯統(tǒng)計(jì)分析理論，它是概率論和圖論相結(jié)合的產(chǎn)物。貝葉斯網(wǎng)絡(luò)是一種描述不確定性知識(shí)和推理問(wèn)題的方法。文本分類（如：垃圾郵件的過(guò)濾）醫(yī)學(xué)診斷......2貝葉斯網(wǎng)絡(luò)1、引例2、貝葉斯概率基礎(chǔ)3、貝葉斯網(wǎng)絡(luò)概述4、貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練4.1貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)4.2貝葉斯網(wǎng)絡(luò)的診斷4.3貝葉斯網(wǎng)絡(luò)的訓(xùn)練5、貝葉斯網(wǎng)絡(luò)的優(yōu)越性31、引例一個(gè)有關(guān)概率推理的例子。圖中有六個(gè)結(jié)點(diǎn)：參加晚會(huì)(Party,PT)宿醉(Hangover,HO)頭疼(Headache,HA)患腦瘤(Braintumor,BT)有酒精味(Smellalcohol,SA)X射線檢查呈陽(yáng)性(PosXray,PX)PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray41、引例一個(gè)有關(guān)概率推理的例子。圖中有五條連線：PTHOHOSAHOHABTHABTPXPartyHangoverBrainTumorHeadacheSmellAlcoholPosXray51、引例參加晚會(huì)后，第二天呼吸中有酒精味的可能性有多大？如果頭疼，患腦瘤的概率有多大？如果參加了晚會(huì)，并且頭疼，那么患腦瘤的概率有多大？......PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray這些問(wèn)題都可通過(guò)貝葉斯網(wǎng)絡(luò)加以解決。6先驗(yàn)概率：根據(jù)歷史資料或主觀判斷所確定的各種事件發(fā)生的概率。先驗(yàn)概率可分為兩類：客觀先驗(yàn)概率：是指利用過(guò)去的歷史資料計(jì)算得到的概率(如：在自然語(yǔ)言處理中，從語(yǔ)料庫(kù)中統(tǒng)計(jì)詞語(yǔ)的出現(xiàn)頻率——客觀先驗(yàn)概率)；主觀先驗(yàn)概率：是指在無(wú)歷史資料或歷史資料不全的時(shí)候，只能憑借人們的主觀經(jīng)驗(yàn)來(lái)判斷取得的概率。2、貝葉斯概率基礎(chǔ)7后驗(yàn)概率：是指利用貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對(duì)先驗(yàn)概率修正后得到的更符合實(shí)際的概率。條件概率：是指當(dāng)條件事件發(fā)生后，該事件發(fā)生的概率。2、貝葉斯概率基礎(chǔ)條件概率的計(jì)算可以通過(guò)兩個(gè)事件各自發(fā)生的概率，以及相反方向的條件概率得到。83、貝葉斯網(wǎng)絡(luò)概述貝葉斯網(wǎng)絡(luò)是描述隨機(jī)變量（事件）之間依賴關(guān)系的一種圖形模式，是一種可用來(lái)進(jìn)行推理的模型。貝葉斯網(wǎng)絡(luò)通過(guò)有向圖的形式來(lái)表示隨機(jī)變量間的因果關(guān)系，并通過(guò)條件概率將這種因果關(guān)系量化。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray93、貝葉斯網(wǎng)絡(luò)概述一個(gè)貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)有向無(wú)環(huán)圖，由若干結(jié)點(diǎn)和有向弧組成。103、貝葉斯網(wǎng)絡(luò)概述一個(gè)貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。條件概率表：是指網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)都有一個(gè)條件概率表，用于表示其父結(jié)點(diǎn)對(duì)該結(jié)點(diǎn)的影響。當(dāng)網(wǎng)絡(luò)中的某個(gè)結(jié)點(diǎn)沒(méi)有父結(jié)點(diǎn)時(shí)，該結(jié)點(diǎn)的條件概率表就是該結(jié)點(diǎn)的先驗(yàn)概率。11貝葉斯網(wǎng)絡(luò)的3個(gè)重要議題：貝葉斯網(wǎng)絡(luò)預(yù)測(cè)：是指已知一定的原因，利用貝葉斯網(wǎng)絡(luò)進(jìn)行計(jì)算，求出由原因?qū)е陆Y(jié)果的概率。貝葉斯網(wǎng)絡(luò)診斷：是指已知發(fā)生了某些結(jié)果，根據(jù)貝葉斯網(wǎng)絡(luò)推理出造成該結(jié)果發(fā)生的原因以及發(fā)生的概率。貝葉斯網(wǎng)絡(luò)學(xué)習(xí)(訓(xùn)練)：是指利用現(xiàn)有數(shù)據(jù)對(duì)先驗(yàn)知識(shí)進(jìn)行修正的過(guò)程，每一次學(xué)習(xí)都對(duì)貝葉斯網(wǎng)絡(luò)的先驗(yàn)概率進(jìn)行調(diào)整，使得新的貝葉斯網(wǎng)絡(luò)更能反映數(shù)據(jù)中所蘊(yùn)含的知識(shí)。3、貝葉斯網(wǎng)絡(luò)概述124、貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練此處將以下圖為例，分別介紹貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray預(yù)測(cè)和診斷需要已知網(wǎng)絡(luò)結(jié)構(gòu)和圖中每個(gè)結(jié)點(diǎn)的條件概率表。訓(xùn)練需要先建立網(wǎng)絡(luò)結(jié)構(gòu)，再計(jì)算每個(gè)結(jié)點(diǎn)的條件概率表。134、貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練為了使用貝葉斯網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)和診斷，假設(shè)網(wǎng)絡(luò)已經(jīng)訓(xùn)練好，即：網(wǎng)絡(luò)中的所有先驗(yàn)概率和條件概率全部已知。圖中Party和BrainTumor兩個(gè)結(jié)點(diǎn)是原因結(jié)點(diǎn)，沒(méi)有連線以它們?yōu)榻K點(diǎn)。它們的無(wú)條件概率如下表所示：該表中給出了這兩個(gè)事件發(fā)生的概率：PT發(fā)生的概率是0.2，不發(fā)生的概率是0.8；BT發(fā)生的概率是0.001，不發(fā)生的概率是0.999。

P(PT)P(BT)True0.2000.001False0.8000.999144、貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練另外，網(wǎng)絡(luò)中的條件概率如下所示：P(HO|PT)PT=TruePT=FalseTrue0.7000False0.3001.000P(SA|HO)HO=TrueHO=FalseTrue0.8000.100False0.2000.900P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990154、貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練另外，網(wǎng)絡(luò)中的條件概率如下所示：P(HA|HO,BT)HO=TrueBT=TrueBT=FalseHO=FalseBT=TrueBT=FalseTrue0.9900.7000.9000.020False0.0100.3000.1000.980164.1貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)對(duì)于貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)，可分為以下兩種情況：在已知某些原因結(jié)點(diǎn)的情況下，可以預(yù)測(cè)結(jié)果結(jié)點(diǎn)的概率。例：參加晚會(huì)情況下，頭疼發(fā)生的概率。在不知任何結(jié)點(diǎn)信息的情況下，可以預(yù)測(cè)網(wǎng)絡(luò)中某個(gè)結(jié)果結(jié)點(diǎn)發(fā)生的概率。例：即使不知道任何結(jié)點(diǎn)發(fā)生與否的信息，仍然可以計(jì)算結(jié)點(diǎn)HA發(fā)生的概率。貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)是一個(gè)“自頂向下”的過(guò)程。174.1貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)為了描述方便，對(duì)于任何一個(gè)結(jié)點(diǎn)Point：P(+Point)表示Point發(fā)生的概率P(-Point)表示Point不發(fā)生的概率18例1：計(jì)算結(jié)點(diǎn)HA的概率。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray4.1貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)例1：計(jì)算結(jié)點(diǎn)HA的概率。【解】根據(jù)全概率公式，可得

P(+HA)=P(+BT,+HO)*P(+HA|+BT,+HO)+P(+BT,-HO)*P(+HA|+BT,-HO)+

P(-BT,+HO)*P(+HA|-BT,+HO)+

P(-BT,-HO)*P(+HA|-BT,-HO)

P(HA|HO,BT)HO=TrueBT=TrueBT=FalseHO=FalseBT=TrueBT=FalseTrue0.9900.7000.9000.020False0.0100.3000.1000.980194.1貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)例1：計(jì)算結(jié)點(diǎn)HA的概率?！窘狻扛鶕?jù)全概率公式，可得

P(+HA)=P(+BT)P(+HO)*0.99+P(+BT)P(-HO)*0.9+P(-BT)P(+HO)*0.7+P(-BT)P(-HO)*0.02=0.116P(HA|HO,BT)HO=TrueBT=TrueBT=FalseHO=FalseBT=TrueBT=FalseTrue0.9900.7000.9000.020False0.0100.3000.1000.980204.1貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)例1：計(jì)算結(jié)點(diǎn)HA的概率?！窘狻扛鶕?jù)全概率公式，可得

P(-HA)=1-P(+HA)=0.884【解釋】在沒(méi)有任何誘因的情況下，頭疼發(fā)生的概率是0.116，不頭疼的概率是0.884。采用上述方式，可以計(jì)算貝葉斯網(wǎng)絡(luò)中所有結(jié)點(diǎn)的概率——這個(gè)過(guò)程通常發(fā)生在貝葉斯網(wǎng)絡(luò)的訓(xùn)練階段——獲得結(jié)點(diǎn)的概率。214.1貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)——預(yù)測(cè)算法輸入：給定貝葉斯網(wǎng)絡(luò)B（包括網(wǎng)絡(luò)結(jié)構(gòu)m個(gè)結(jié)點(diǎn)以及某些結(jié)點(diǎn)間的連線、原因結(jié)點(diǎn)到中間結(jié)點(diǎn)的條件概率或聯(lián)合條件概率），給定若干個(gè)原因結(jié)點(diǎn)發(fā)生與否的事實(shí)向量F（或者稱為證據(jù)向量）；給定待預(yù)測(cè)的某個(gè)結(jié)點(diǎn)t。輸出：結(jié)點(diǎn)t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中；（2）對(duì)于B中的每一個(gè)沒(méi)處理過(guò)的結(jié)點(diǎn)n，如果它具有發(fā)生的事實(shí)（證據(jù)），則標(biāo)記它為已經(jīng)處理過(guò)；否則繼續(xù)下面的步驟；（3）如果它的所有父結(jié)點(diǎn)中有一個(gè)沒(méi)有處理過(guò)，則不處理這個(gè)結(jié)點(diǎn)；否則，繼續(xù)下面的步驟；（4）根據(jù)結(jié)點(diǎn)n的所有父結(jié)點(diǎn)的概率以及條件概率或聯(lián)合條件概率計(jì)算結(jié)點(diǎn)n的概率分布，并把結(jié)點(diǎn)n標(biāo)記為已處理；（5）重復(fù)步驟（2）~（4）共m次。此時(shí)，結(jié)點(diǎn)t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結(jié)束。224.2貝葉斯網(wǎng)絡(luò)的診斷貝葉斯網(wǎng)絡(luò)的診斷與貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)正好相反，即：它是在已知結(jié)果結(jié)點(diǎn)發(fā)生的情況下，來(lái)推斷條件結(jié)點(diǎn)發(fā)生的概率。貝葉斯網(wǎng)絡(luò)的診斷是一個(gè)“自底向上”的過(guò)程。234.2貝葉斯網(wǎng)絡(luò)的診斷例1：計(jì)算已知X光檢查呈陽(yáng)性的情況下，患腦瘤的概率。PartyHangoverBrainTumorHeadacheSmellAlcoholPosXray244.2貝葉斯網(wǎng)絡(luò)的診斷例1：計(jì)算已知X光檢查呈陽(yáng)性的情況下，患腦瘤的概率?！窘狻扛鶕?jù)條件概率公式，可得

P(+BT|+PX)=P(+PX|+BT)*P(+BT)/P(+PX)=0.98*0.001/P(+PX)P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990

P(PT)P(BT)True0.2000.001False0.8000.99925由：P(AB)=P(A|B)*P(B)得到P(A|B)=P(AB)/P(B)而：P(AB)=P(B|A)*P(A)所以：P(A|B)=P(AB)/P(B)

=P(B|A)*P(A)/P(B)4.2貝葉斯網(wǎng)絡(luò)的診斷例1：計(jì)算已知X光檢查呈陽(yáng)性的情況下，患腦瘤的概率。【解】根據(jù)全概率公式，可得

P(+PX)=P(+PX|+BT)*P(+BT)+P(+PX|-BT)*P(-BT)=0.980*0.001+0.010*0.999≈0.011P(PX|BT)BT=TrueBT=FalseTrue0.9800.010False0.0200.990

P(PT)P(BT)True0.2000.001False0.8000.999264.2貝葉斯網(wǎng)絡(luò)的診斷例1：計(jì)算已知X光檢查呈陽(yáng)性的情況下，患腦瘤的概率?！窘狻扛鶕?jù)條件概率公式，可得

P(+BT|+PX)=P(+PX|+BT)*P(+BT)/P(+PX)=0.98*0.001/P(+PX)

=0.98*0.001/0.011

≈0.089【解釋】當(dāng)X光檢查呈陽(yáng)性的情況下，患腦瘤的概率是0.089（概率是較低的）。274.2貝葉斯網(wǎng)絡(luò)的診斷——診斷算法輸入：給定貝葉斯網(wǎng)絡(luò)B（包括網(wǎng)絡(luò)結(jié)構(gòu)m個(gè)結(jié)點(diǎn)以及某些結(jié)點(diǎn)間的連線、原因結(jié)點(diǎn)到中間結(jié)點(diǎn)的條件概率或聯(lián)合條件概率），給定若干個(gè)結(jié)果結(jié)點(diǎn)發(fā)生與否的事實(shí)向量F（或者稱為證據(jù)向量）；給定待診斷的某個(gè)結(jié)點(diǎn)t。輸出：結(jié)點(diǎn)t發(fā)生的概率。（1）把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中；（2）對(duì)于B中的每一個(gè)沒(méi)處理過(guò)的結(jié)點(diǎn)n，如果它具有發(fā)生的事實(shí)（證據(jù)），則標(biāo)記它為已經(jīng)處理過(guò)；否則繼續(xù)下面的步驟；（3）如果它的所有子結(jié)點(diǎn)中有一個(gè)沒(méi)有處理過(guò)，則不處理這個(gè)結(jié)點(diǎn)；否則，繼續(xù)下面的步驟；（4）根據(jù)節(jié)點(diǎn)n所有子結(jié)點(diǎn)的概率以及條件概率或聯(lián)合條件概率，根據(jù)條件概率公式，計(jì)算結(jié)點(diǎn)n的概率分布，并把結(jié)點(diǎn)n標(biāo)記為已處理；（5）重復(fù)步驟（2）~（4）共m次。此時(shí)，原因結(jié)點(diǎn)t的概率分布就是它的發(fā)生/不發(fā)生的概率。算法結(jié)束。284.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的建立：首先，要把實(shí)際問(wèn)題中的事件抽象為網(wǎng)絡(luò)中的結(jié)點(diǎn)每個(gè)結(jié)點(diǎn)必須有明確的意義，至少有是、非兩個(gè)狀態(tài)或者多個(gè)狀態(tài)，并且這些狀態(tài)在概率意義上是完備的和互斥的。294.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的建立：其次，在兩個(gè)或多個(gè)結(jié)點(diǎn)之間的建立連線。基本原則：有明確因果關(guān)系的結(jié)點(diǎn)之間應(yīng)建立連線，沒(méi)有明確因果關(guān)系的結(jié)點(diǎn)之間盡量不要建立連線。可采用相關(guān)性分析方法（如：Pearson相關(guān)系數(shù)）來(lái)確定結(jié)點(diǎn)之間是否應(yīng)該有連線。注意：在兩個(gè)結(jié)點(diǎn)之間建立連線時(shí)，要防止環(huán)的出現(xiàn)，因?yàn)樨惾~斯網(wǎng)絡(luò)必須是無(wú)環(huán)圖。304.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的訓(xùn)練：是指通過(guò)歷史數(shù)據(jù)獲得貝葉斯網(wǎng)絡(luò)中各結(jié)點(diǎn)的概率以及結(jié)點(diǎn)之間條件概率的過(guò)程。結(jié)點(diǎn)的概率（先驗(yàn)概率）假設(shè)結(jié)點(diǎn)P有m個(gè)狀態(tài)P1,P2,...,Pm，則結(jié)點(diǎn)P在第i個(gè)狀態(tài)下的概率P(Pi)為：314.3貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練貝葉斯網(wǎng)絡(luò)的訓(xùn)練：是指通過(guò)歷史數(shù)據(jù)獲得貝葉斯網(wǎng)絡(luò)中各結(jié)點(diǎn)的概率以及結(jié)點(diǎn)之間條件概率的過(guò)程。結(jié)點(diǎn)間的條件概率假設(shè)