貝葉斯信念網(wǎng)絡(luò)課件

1BayesClassifier

貝葉斯分類2023/1/21BayesClassifier

貝葉斯分類2022/1122023/1/2一、何謂貝葉斯分類？數(shù)據(jù)挖掘中以貝葉斯定理為基礎(chǔ)，用于分類的技術(shù)有樸素貝葉斯分類和貝葉斯信念網(wǎng)絡(luò)兩種。樸素貝葉斯分類假定一個屬性值對給定類的影響?yīng)毩⒂谄渌麑傩缘闹?，即在屬性間不存在依賴關(guān)系，也因此稱為“樸素的”。貝葉斯信念網(wǎng)絡(luò)也可以用于分類，它是圖形模型。它優(yōu)于樸素貝葉斯，它能夠處理屬性子集間有依賴關(guān)系的分類。它采用監(jiān)督式的學(xué)習(xí)方式。22022/12/18一、何謂貝葉斯分類？數(shù)據(jù)挖掘中以貝葉斯2二、基本知識32023/1/21、事件概率聯(lián)合概率(jointprobability)

表示A事件和B事件同時發(fā)生的概率，

P(A∩B)。邊際概率(marginalprobability)

在A和B的樣本空間中，只看A或B的概率，稱之邊際概率。條件概率(conditionalprobability)

在發(fā)生A的條件下，發(fā)生B的概率，稱為P(B|A)。二、基本知識32022/12/181、事件概率3贊成(B1)反對(B2)合計男性(A1)40120160女性(A2)103040合計501502004聯(lián)合概率：P(男性，贊成)=P(A1∩B1)=40/200=0.2邊際概率:P(贊成)=P(B1)=P(A1∩B1)+P(A2∩B1)=0.25條件概率:P(贊成|男性)=P(B1|A1)=P(A1∩B1)/P(A1)=0.252023/1/2舉例：贊成(B1)反對(B2)合計男性(A1)40120160女性42、乘法法則(Multiplicativerule)52023/1/23、獨立事件設(shè)事件Ａ和事件Ｂ滿足以下條件：則稱Ａ與Ｂ為『獨立事件』。2、乘法法則(Multiplicativerule)5205三、貝葉斯定理6

表示先驗概率(Priorprobability)。表示后驗概率(Posterioriprobability)，先驗概率是由以往的數(shù)據(jù)分析得到的。根據(jù)樣本數(shù)據(jù)得到更多的信息后，對其重新修正，即是后驗概率。2023/1/2三、貝葉斯定理6表示先驗概率67例：旅客搭乘飛機必須經(jīng)電子儀器檢查是否身上攜帶金屬物品。如果攜帶金屬，儀器會發(fā)出聲音的概率是97%，但身上無金屬物品儀器會發(fā)出聲音的概率是5%。已知一般乘客身上帶有金屬物品的概率是30%，若某旅客經(jīng)過儀器檢查時發(fā)出聲音，請問他身上有金屬物品的概率是多少？

2023/1/2解：設(shè)C1=“有金屬物”，X=“儀器會發(fā)聲”，則7例：旅客搭乘飛機必須經(jīng)電子儀器檢查是否身上攜帶金屬物品。27四、樸素貝葉斯分類的工作過程2023/1/28四、樸素貝葉斯分類的工作過程2022/12/18882023/1/292022/12/18992023/1/2102022/12/1810102023/1/2112022/12/1811112023/1/2122022/12/181212五、樸素貝氏分類的實例辦信用卡意愿：項目性別年齡學(xué)生身分收入辦卡1男>45否高會2女31~45否高會3女20~30是低會4男<20是低不會5女20~30是中不會6女20~30否中會7女31~45否高會8男31~45是中不會9男31~45否中會10女<20是低會132023/1/2類屬性五、樸素貝氏分類的實例辦信用卡意愿：項目性別年齡學(xué)生身分收入1314解：首先根據(jù)訓(xùn)練樣本計算各屬性相對于不同分類結(jié)果的條件概率：P(辦卡)=7/10

P(不辦卡)=3/10P(女性|辦卡)=5/7

P(女性|不辦卡)=1/3P(年齡=31~45|辦卡)=3/7

P(年齡=31~45|不辦卡)=1/3P(學(xué)生=否|辦卡)=5/7

P(學(xué)生=否|不辦卡)=0/3P(收入=中|辦卡)=2/7

P(收入=中|不辦卡)=2/32023/1/2判斷：X=(女性，年齡介于31~45之間，不具學(xué)生身份，收入中等)會不會辦理信用卡。14解：首先根據(jù)訓(xùn)練樣本計算各屬性相對于不同分類結(jié)果的條件概14

其次，再應(yīng)用樸素貝氏分類器進行類別預(yù)測：計算P(辦卡)P(女性|辦卡)P(年齡31~45|辦卡)P(不是學(xué)生|辦卡)P(收入中|辦卡)=15/343≈0.044P(不辦卡)P(女性|不辦卡)P(年齡31~45|不辦卡)P(不是學(xué)生|不辦卡)P(收入中等|不辦卡)=00.044>0152023/1/2其次，再應(yīng)用樸素貝氏分類器進行類別預(yù)測：152022/1215162023/1/2訓(xùn)練樣本中對于(女性，年齡介于31~45之間，不具學(xué)生身份，收入中等)的個人，按照樸素貝葉斯分類會將其分到辦信用卡一類中。辦卡的概率是(0.044)/(0.044+0)=1(正規(guī)化分類的結(jié)果P(會)/(P(會)+P(不會))。162022/12/18訓(xùn)練樣本中對于(女性，年齡介于31~16貝葉斯分類的優(yōu)缺點：優(yōu)點：計算速度最快的演算法；規(guī)則清楚易懂；獨立事件的假設(shè)，大多數(shù)問題上不至于發(fā)生太大偏誤；缺點：僅適用于類別變量；僅能應(yīng)用于分類問題；假設(shè)變量間為獨立互不影響，因此使用時需要謹慎分析變量間的相關(guān)性。2023/1/217貝葉斯分類的優(yōu)缺點：優(yōu)點：2022/12/181717六、貝葉斯信念網(wǎng)絡(luò)樸素貝葉斯分類假定類條件獨立，即給定樣本的類標號，屬性的值相互條件獨立。但在實踐中，變量之間的依賴可能存在。貝葉斯信念網(wǎng)絡(luò)說明聯(lián)合條件概率分布，它允許在變量的子集間定義類條件獨立性。它提供一種因果關(guān)系的圖形。2023/1/218六、貝葉斯信念網(wǎng)絡(luò)樸素貝葉斯分類假定類條件獨立，即給定樣本的18例如，得肺癌受其家族肺癌史的影響，也受是否吸煙的影響。2023/1/219有向無環(huán)圖條件概率圖概率依賴雙親或直接前驅(qū)后繼非后繼獨立節(jié)點：隨機變量例如，得肺癌受其家族肺癌史的影響，也受是否吸煙的影響。20219一個簡單的例子由左圖給出，它對下雨(R)引起草地變濕(W)建模。天下雨的可能性為４０％，并且下雨時草地變濕的可能性為９０％；也許１０％的時間雨下得不長，不足以讓我們真正認為草地被淋濕了。在這個例子中，隨機變量是二元的：真或假。存在２０％的可能性草地變濕而實際上并沒有下雨，例如，使用噴水器時。2023/1/220一個簡單的例子由左圖給出，它對下雨(R)引起草地變濕(W)建202023/1/221可以看到三個值就可以完全指定P(R,W)的聯(lián)合分布。如果P(R)=0.4，則P(~R)=0.6。類似地，

，而

這是一個因果圖，解釋草地變濕的主要原因是下雨。我們可以顛倒因果關(guān)系并且做出診斷。例如，已知草地是濕的，則下過雨的概率可以計算如下：2022/12/1821可以看到三個值就可以完全指定P(R,212023/1/2222022/12/182222現(xiàn)在，假設(shè)我們想把噴水器（Ｓ）作為草地變濕的另一個原因，如下圖所示。

節(jié)點Ｗ有兩個父節(jié)點Ｒ和Ｓ，因此它的概率是這兩個值上的條件概率。我們可以計算噴水器開著草地會濕的概率。這是一個因果（預(yù)測）推理：2023/1/223現(xiàn)在，假設(shè)我們想把噴水器（Ｓ）作為草地變濕的另一個原因，如下232023/1/224=0.12022/12/1824=0.124給定草地是濕的，我們能夠計算噴水器開著的概率。這是一個診斷推理。2023/1/225給定草地是濕的，我們能夠計算噴水器開著的概率。這是一個診斷推25知道草是濕的增加了噴水器開著的可能?，F(xiàn)在讓我們假設(shè)下過雨，我們有：注意，這個值比小。這叫作解釋遠離explainingaway;給定已知下過雨，則噴水器導(dǎo)致濕草地的可能性降低了。已知草地是濕的，下雨和噴水器成為相互依賴的。2023/1/226知道草是濕的增加了噴水器開著的可能?，F(xiàn)在讓我們假設(shè)下過雨，我262023/1/227某水文站內(nèi)裝有一個小型的警報系統(tǒng)，與該警報是否拉響相關(guān)的因素有：洪水到來、地震發(fā)生，同時該系統(tǒng)還肩負著安全警報的功能，當水文站發(fā)生入室盜竊時，警報同樣也會拉響。而洪水的到來與降雨情況有關(guān)，地震的發(fā)生會反映在地震監(jiān)測儀的報告中。同時，入室盜竊也會帶來地震監(jiān)測儀的擾動。在水文站以往的數(shù)據(jù)庫中，關(guān)于以上這些因素都能找到詳細的記錄。那么如何從這些數(shù)據(jù)中挖掘出有用的信息，來幫助工作人員進行決策呢？七、貝葉斯信念網(wǎng)絡(luò)應(yīng)用實例

：警報分析（馬克威分析系統(tǒng)）2022/12/1827某水文站內(nèi)裝有一個小型的警報系統(tǒng)，與272023/1/2281、有向無環(huán)圖2022/12/18281、有向無環(huán)圖282、條件概率表2023/1/229先驗概率2、條件概率表2022/12/1829先驗29條件概率表2023/1/230條件概率表2022/12/1830303、推理（1）當“警報拉響＋降雨→地震、入室盜竊、洪水”：假設(shè)某時刻警報突然拉響了，且此時正在下雨，值班人員要判斷此時發(fā)生地震、盜竊和洪水的概率分別是多少，以便采取相應(yīng)的措施加以應(yīng)對。首先，設(shè)置警報和降雨為已知節(jié)點，觀察值分別為拉響和降雨；并且指定地震、入室盜竊和洪水為目標節(jié)點。然后計算各種情況發(fā)生的后驗概率。2023/1/2313、推理（1）當“警報拉響＋降雨→地震、入室盜竊、洪水”：312023/1/232節(jié)點名稱降雨警報狀態(tài)取值降雨拉響已知變量的狀態(tài)觀察值狀態(tài)取值不發(fā)生發(fā)生概率值×10084.8015.20地震狀態(tài)取值不發(fā)生發(fā)生概率值×10012.0088.0入室盜竊狀態(tài)取值不發(fā)生發(fā)生概率值×10088.8011.2洪水2022/12/1832節(jié)點名稱降雨警報狀態(tài)取值降雨拉響已知32（2）當“警報拉響＋降雨＋地震監(jiān)測儀信號弱→

地震、入室盜竊、洪水”：假設(shè)，同樣在下雨天，警報突然拉響，如果此時值班人員還注意到了地震監(jiān)測儀的狀態(tài)處于弱信號的范圍，那么到底地震、入室盜竊、洪水中哪個發(fā)生呢？解決的辦法是設(shè)定：降雨節(jié)點處于降雨狀態(tài)，警報節(jié)點處于拉響狀態(tài)，地震監(jiān)測儀處于弱狀態(tài)；目標節(jié)點仍舊是地震、入室盜竊和洪水。然后，計算后驗概率。2023/1/233（2）當“警報拉響＋降雨＋地震監(jiān)測儀信號弱→地震、入室盜332023/1/234節(jié)點名稱降雨警報地震監(jiān)測儀狀態(tài)取值降雨拉響弱已知變量的狀態(tài)觀察值狀態(tài)取值不發(fā)生發(fā)生概率值×100100.000.00地震狀態(tài)取值不發(fā)生發(fā)生概率值×1008.3391.67洪水狀態(tài)取值不發(fā)生發(fā)生概率值×10091.678.33入室盜竊2022/12/1834節(jié)點名稱降雨警報地震監(jiān)測儀狀態(tài)取值降34貝葉斯分類的優(yōu)缺點：優(yōu)點：在某些領(lǐng)域的應(yīng)用上，其分類效果優(yōu)于類神經(jīng)網(wǎng)絡(luò)和判定樹。用于大型數(shù)據(jù)庫，可以得出準確高且有效率的分類結(jié)果。缺點：一般而言，貝葉斯分類中的屬性可以出現(xiàn)兩種以上不同的值，而目標值則多半為兩元的相對狀態(tài)，如“是/否”，”好/壞”，”對/錯”，”上/下”，“發(fā)生/不發(fā)生”等。2023/1/235貝葉斯分類的優(yōu)缺點：優(yōu)點：2022/12/1835352023/1/2362022/12/18363637BayesClassifier

貝葉斯分類2023/1/21BayesClassifier

貝葉斯分類2022/137382023/1/2一、何謂貝葉斯分類？數(shù)據(jù)挖掘中以貝葉斯定理為基礎(chǔ)，用于分類的技術(shù)有樸素貝葉斯分類和貝葉斯信念網(wǎng)絡(luò)兩種。樸素貝葉斯分類假定一個屬性值對給定類的影響?yīng)毩⒂谄渌麑傩缘闹?，即在屬性間不存在依賴關(guān)系，也因此稱為“樸素的”。貝葉斯信念網(wǎng)絡(luò)也可以用于分類，它是圖形模型。它優(yōu)于樸素貝葉斯，它能夠處理屬性子集間有依賴關(guān)系的分類。它采用監(jiān)督式的學(xué)習(xí)方式。22022/12/18一、何謂貝葉斯分類？數(shù)據(jù)挖掘中以貝葉斯38二、基本知識392023/1/21、事件概率聯(lián)合概率(jointprobability)

表示A事件和B事件同時發(fā)生的概率，

P(A∩B)。邊際概率(marginalprobability)

在A和B的樣本空間中，只看A或B的概率，稱之邊際概率。條件概率(conditionalprobability)

在發(fā)生A的條件下，發(fā)生B的概率，稱為P(B|A)。二、基本知識32022/12/181、事件概率39贊成(B1)反對(B2)合計男性(A1)40120160女性(A2)103040合計5015020040聯(lián)合概率：P(男性，贊成)=P(A1∩B1)=40/200=0.2邊際概率:P(贊成)=P(B1)=P(A1∩B1)+P(A2∩B1)=0.25條件概率:P(贊成|男性)=P(B1|A1)=P(A1∩B1)/P(A1)=0.252023/1/2舉例：贊成(B1)反對(B2)合計男性(A1)40120160女性402、乘法法則(Multiplicativerule)412023/1/23、獨立事件設(shè)事件Ａ和事件Ｂ滿足以下條件：則稱Ａ與Ｂ為『獨立事件』。2、乘法法則(Multiplicativerule)52041三、貝葉斯定理42

表示先驗概率(Priorprobability)。表示后驗概率(Posterioriprobability)，先驗概率是由以往的數(shù)據(jù)分析得到的。根據(jù)樣本數(shù)據(jù)得到更多的信息后，對其重新修正，即是后驗概率。2023/1/2三、貝葉斯定理6表示先驗概率4243例：旅客搭乘飛機必須經(jīng)電子儀器檢查是否身上攜帶金屬物品。如果攜帶金屬，儀器會發(fā)出聲音的概率是97%，但身上無金屬物品儀器會發(fā)出聲音的概率是5%。已知一般乘客身上帶有金屬物品的概率是30%，若某旅客經(jīng)過儀器檢查時發(fā)出聲音，請問他身上有金屬物品的概率是多少？

2023/1/2解：設(shè)C1=“有金屬物”，X=“儀器會發(fā)聲”，則7例：旅客搭乘飛機必須經(jīng)電子儀器檢查是否身上攜帶金屬物品。243四、樸素貝葉斯分類的工作過程2023/1/244四、樸素貝葉斯分類的工作過程2022/12/188442023/1/2452022/12/189452023/1/2462022/12/1810462023/1/2472022/12/1811472023/1/2482022/12/181248五、樸素貝氏分類的實例辦信用卡意愿：項目性別年齡學(xué)生身分收入辦卡1男>45否高會2女31~45否高會3女20~30是低會4男<20是低不會5女20~30是中不會6女20~30否中會7女31~45否高會8男31~45是中不會9男31~45否中會10女<20是低會492023/1/2類屬性五、樸素貝氏分類的實例辦信用卡意愿：項目性別年齡學(xué)生身分收入4950解：首先根據(jù)訓(xùn)練樣本計算各屬性相對于不同分類結(jié)果的條件概率：P(辦卡)=7/10

P(不辦卡)=3/10P(女性|辦卡)=5/7

P(女性|不辦卡)=1/3P(年齡=31~45|辦卡)=3/7

P(年齡=31~45|不辦卡)=1/3P(學(xué)生=否|辦卡)=5/7

P(學(xué)生=否|不辦卡)=0/3P(收入=中|辦卡)=2/7

P(收入=中|不辦卡)=2/32023/1/2判斷：X=(女性，年齡介于31~45之間，不具學(xué)生身份，收入中等)會不會辦理信用卡。14解：首先根據(jù)訓(xùn)練樣本計算各屬性相對于不同分類結(jié)果的條件概50

其次，再應(yīng)用樸素貝氏分類器進行類別預(yù)測：計算P(辦卡)P(女性|辦卡)P(年齡31~45|辦卡)P(不是學(xué)生|辦卡)P(收入中|辦卡)=15/343≈0.044P(不辦卡)P(女性|不辦卡)P(年齡31~45|不辦卡)P(不是學(xué)生|不辦卡)P(收入中等|不辦卡)=00.044>0512023/1/2其次，再應(yīng)用樸素貝氏分類器進行類別預(yù)測：152022/1251522023/1/2訓(xùn)練樣本中對于(女性，年齡介于31~45之間，不具學(xué)生身份，收入中等)的個人，按照樸素貝葉斯分類會將其分到辦信用卡一類中。辦卡的概率是(0.044)/(0.044+0)=1(正規(guī)化分類的結(jié)果P(會)/(P(會)+P(不會))。162022/12/18訓(xùn)練樣本中對于(女性，年齡介于31~52貝葉斯分類的優(yōu)缺點：優(yōu)點：計算速度最快的演算法；規(guī)則清楚易懂；獨立事件的假設(shè)，大多數(shù)問題上不至于發(fā)生太大偏誤；缺點：僅適用于類別變量；僅能應(yīng)用于分類問題；假設(shè)變量間為獨立互不影響，因此使用時需要謹慎分析變量間的相關(guān)性。2023/1/253貝葉斯分類的優(yōu)缺點：優(yōu)點：2022/12/181753六、貝葉斯信念網(wǎng)絡(luò)樸素貝葉斯分類假定類條件獨立，即給定樣本的類標號，屬性的值相互條件獨立。但在實踐中，變量之間的依賴可能存在。貝葉斯信念網(wǎng)絡(luò)說明聯(lián)合條件概率分布，它允許在變量的子集間定義類條件獨立性。它提供一種因果關(guān)系的圖形。2023/1/254六、貝葉斯信念網(wǎng)絡(luò)樸素貝葉斯分類假定類條件獨立，即給定樣本的54例如，得肺癌受其家族肺癌史的影響，也受是否吸煙的影響。2023/1/255有向無環(huán)圖條件概率圖概率依賴雙親或直接前驅(qū)后繼非后繼獨立節(jié)點：隨機變量例如，得肺癌受其家族肺癌史的影響，也受是否吸煙的影響。20255一個簡單的例子由左圖給出，它對下雨(R)引起草地變濕(W)建模。天下雨的可能性為４０％，并且下雨時草地變濕的可能性為９０％；也許１０％的時間雨下得不長，不足以讓我們真正認為草地被淋濕了。在這個例子中，隨機變量是二元的：真或假。存在２０％的可能性草地變濕而實際上并沒有下雨，例如，使用噴水器時。2023/1/256一個簡單的例子由左圖給出，它對下雨(R)引起草地變濕(W)建562023/1/257可以看到三個值就可以完全指定P(R,W)的聯(lián)合分布。如果P(R)=0.4，則P(~R)=0.6。類似地，

，而

這是一個因果圖，解釋草地變濕的主要原因是下雨。我們可以顛倒因果關(guān)系并且做出診斷。例如，已知草地是濕的，則下過雨的概率可以計算如下：2022/12/1821可以看到三個值就可以完全指定P(R,572023/1/2582022/12/182258現(xiàn)在，假設(shè)我們想把噴水器（Ｓ）作為草地變濕的另一個原因，如下圖所示。

節(jié)點Ｗ有兩個父節(jié)點Ｒ和Ｓ，因此它的概率是這兩個值上的條件概率。我們可以計算噴水器開著草地會濕的概率。這是一個因果（預(yù)測）推理：2023/1/259現(xiàn)在，假設(shè)我們想把噴水器（Ｓ）作為草地變濕的另一個原因，如下592023/1/260=0.12022/12/1824=0.160給定草地是濕的，我們能夠計算噴水器開著的概率。這是一個診斷推理。2023/1/261給定草地是濕的，我們能夠計算噴水器開著的概率。這是一個診斷推61知道草是濕的增加了噴水器開著的可能?，F(xiàn)在讓我們假設(shè)下過雨，我們有：注意，這個值比小。這叫作解釋遠離explainingaway;給定已知下過雨，則噴水器導(dǎo)致濕草地的可能性降低了。已知草地是濕的，下雨和噴水器成為相互依賴的。2023/1/262知道草是濕的增加了噴水器開著的可能?，F(xiàn)在讓我們假設(shè)下過雨，我622023/1/263某水文站內(nèi)裝有一個小型的警報系統(tǒng)，與該警報是否拉響相關(guān)的因素有：洪水到來、地震發(fā)生，同時該系統(tǒng)還肩負著安全警報的功能，當水文站發(fā)生入室盜竊時，警報同樣也會拉響。而洪水的到來與降雨情況有關(guān)，地震的發(fā)生會反映在地震監(jiān)測儀的報告中。同時，入室盜竊也會帶來地震監(jiān)測儀的擾動。在水文站以往的數(shù)據(jù)庫中，關(guān)于以上這些因素都能找到詳細的記錄。那么如何從這些數(shù)據(jù)中挖掘出有用的信息，來幫助工作人員進行決策呢？七、貝葉斯信念網(wǎng)絡(luò)應(yīng)用實例

：警報分析（馬克威分析系統(tǒng)）2022/12/1827某水文站內(nèi)裝有一個小型的警報系統(tǒng)，與632023/1/2641、有向無環(huán)圖2022/12/18281、有向無環(huán)圖642、條件概率表202