教學(xué)第7章-貝葉斯網(wǎng)絡(luò)課件

第7章貝葉斯網(wǎng)絡(luò)教師：郭榮熙數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘1ppt課件第7章貝葉斯網(wǎng)絡(luò)教師：郭榮熙數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘1ppt課件貝葉斯網(wǎng)絡(luò)是20世紀(jì)80年代發(fā)展起來(lái)的，最早由JudeaPearl于1986年提出，多用于專(zhuān)家系統(tǒng)，成為表示不確定性知識(shí)和推理問(wèn)題的流行方法。貝葉斯網(wǎng)絡(luò)最早起源于貝葉斯統(tǒng)計(jì)分析，它是概率理論和圖論相結(jié)合的產(chǎn)物。本章通過(guò)引例討論貝葉斯網(wǎng)絡(luò)需要解決的問(wèn)題；介紹貝葉斯概率基礎(chǔ)；對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行概述；講解貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法；講述SQLServer2005中貝葉斯網(wǎng)絡(luò)的應(yīng)用方法。2ppt課件貝葉斯網(wǎng)絡(luò)是20世紀(jì)80年代發(fā)展起來(lái)的，最早由JudeaP第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)63ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.1引例先看一個(gè)關(guān)于概率推理的例子。圖7．1中有6個(gè)結(jié)點(diǎn)：參加晚會(huì)(party，PT)、宿醉(hangover，HO)、患腦瘤(braintumor，BT)、頭疼(headache，HA)、有酒精味(smellalcohol，SA)和X射線(xiàn)檢查呈陽(yáng)性(posxray，PX)?？梢园褕D7．1想象成為這樣一個(gè)場(chǎng)景：一個(gè)中學(xué)生回家后，其父母猜測(cè)她參加了晚會(huì)，并且喝了酒；第二天這個(gè)學(xué)生感到頭疼，她的父母帶她到醫(yī)院做頭部的X光檢查……圖7.1基于結(jié)點(diǎn)間概率關(guān)系的推理4ppt課件7.1引例先看一個(gè)關(guān)于概率推理的例子。圖7．1中有6個(gè)結(jié)點(diǎn)：7.1引例通過(guò)長(zhǎng)期的觀(guān)察，或者從別人那里了解，這個(gè)中學(xué)生的父母知道他們的女兒參加晚會(huì)的概率。通過(guò)長(zhǎng)時(shí)間的數(shù)據(jù)積累，他們也知道他們的女兒參加晚會(huì)后宿醉的概率。因此，結(jié)點(diǎn)party和結(jié)點(diǎn)hangover之間有一條連線(xiàn)。同樣，有明顯的因果關(guān)系或相關(guān)關(guān)系的結(jié)點(diǎn)之間都有一條連線(xiàn)，并且連線(xiàn)從原因結(jié)點(diǎn)出發(fā)，指向結(jié)果結(jié)點(diǎn)。針對(duì)圖7．1所示的網(wǎng)絡(luò)，有許多問(wèn)題需要解決。例如:1)如果父母已知他們的女兒參加了晚會(huì)，那么第二天一早，她呼出的氣體中有酒精味的概率有多大?也就是說(shuō)，當(dāng)party發(fā)生時(shí)，smellalcohol發(fā)生的概率有多大?2)如果他們的女兒頭疼，那么她患腦瘤的概率有多大?這時(shí)，如果他們又知道昨晚她參加了晚會(huì)，那么綜合這些情況，她患腦瘤的可能性有多大?5ppt課件7.1引例通過(guò)長(zhǎng)期的觀(guān)察，或者從別人那里了解，這個(gè)中學(xué)生的父7.1引例這兩個(gè)例子一個(gè)是從原因推理結(jié)果的，另外一個(gè)是從結(jié)果推導(dǎo)原因。還有一個(gè)是綜合的問(wèn)題。[還有許多從結(jié)果反推原因的例子。例如，如果父母早晨聞到他們的女兒呼出的氣體中有酒精味，那么她昨晚參加晚會(huì)的概率有多大?等等。]為了系統(tǒng)地解決上面的各類(lèi)問(wèn)題，需要先掌握一定的概率基礎(chǔ)知識(shí)。6ppt課件7.1引例這兩個(gè)例子一個(gè)是從原因推理結(jié)果的，另外一個(gè)是從結(jié)果第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)67ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.2貝葉斯概率基礎(chǔ)貝葉斯概率是貝葉斯網(wǎng)絡(luò)運(yùn)行的理論基礎(chǔ)。就貝葉斯概率而言，其原理和應(yīng)用都比較簡(jiǎn)單。但貝葉斯概率理論經(jīng)歷了長(zhǎng)時(shí)間的波折才被逐漸認(rèn)可，直到20世紀(jì)60年代，貝葉斯概率理論才被廣泛接受并大量應(yīng)用。下面將從基本的條件概率公式和全概率公式入手介紹貝葉斯概率。7.2.1先驗(yàn)概率、后驗(yàn)概率和條件概率7.2.2條件概率公式7.2.3全概率公式7.2.4貝葉斯公式8ppt課件7.2貝葉斯概率基礎(chǔ)貝葉斯概率是貝葉斯網(wǎng)絡(luò)運(yùn)行的理論基礎(chǔ)。就下面介紹貝葉斯概率中用到的有關(guān)概率論的基本概念。7.2.1先驗(yàn)概率、后驗(yàn)概率和條件概率

(1)先驗(yàn)概率。先驗(yàn)概率是指根據(jù)歷史的資料或主觀(guān)判斷所確定的各種事件發(fā)生的概率，該概率沒(méi)有經(jīng)過(guò)實(shí)驗(yàn)證實(shí)，屬于檢驗(yàn)前的概率。

(2)后驗(yàn)概率。后驗(yàn)概率一般是指通過(guò)貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對(duì)先驗(yàn)概率修正后得到的更符合實(shí)際的概率。

(3)條件概率。當(dāng)條件確定時(shí)，某事件發(fā)生的條件概率就是該事件的條件概率。9ppt課件下面介紹貝葉斯概率中用到的有關(guān)概率論的基本概念。7.2.1先7.2.2條件概率公式若(Ω，F(xiàn)，P)是一個(gè)概率空間，B∈F，若P(B)>O，則對(duì)于任意的A∈F，稱(chēng)

為已知事件B發(fā)生的條件下，事件A發(fā)生的條件概率。由

P(AB)=P(BA)=P(A︱B)P(B)=P(B︱A)P(A)(7—2)

可以得到

例如，已知任何時(shí)刻陰天的概率為0．3，記為P(A)=0．3，下雨的概率為0．2，記為P(B)=0．2。陰天之后3小時(shí)之內(nèi)下雨的概率為0．6，記為條件概率P(B︱A)=0．6。那么在下雨的條件下，3小時(shí)前是陰天的概率是多少呢?根據(jù)條件概率公式，得:

即如果下雨，3小時(shí)前是陰天的概率為0．9。ABAB10ppt課件7.2.2條件概率公式若(Ω，F(xiàn)，P)是一個(gè)概率空間，B7.2.3全概率公式例如，1號(hào)箱中有2個(gè)白球和4個(gè)紅球，2號(hào)箱中有5個(gè)白球和3個(gè)紅球，現(xiàn)隨機(jī)地從1號(hào)箱中取出一球放人2號(hào)箱，然后從2號(hào)箱隨機(jī)取出一球，問(wèn)從2號(hào)箱取出紅球的概率是多少?【解】令A(yù)表示事件“最后從2號(hào)箱中取出的是紅球”；令B表示從1號(hào)箱中取出的是紅球。則

由式(7—5)

：設(shè)A，B是兩個(gè)事件，那么A可以表示為:顯然，如果P(B)>0，則:11ppt課件7.2.3全概率公式例如，1號(hào)箱中有2個(gè)白球和4個(gè)紅球，2號(hào)7.2.3全概率公式

上例采用的方法是概率論中常用的方法，為了求復(fù)雜事件的概率，往往可以把它分解成若干個(gè)互不相容的簡(jiǎn)單事件，然后利用條件概率和乘法公式，求出這些簡(jiǎn)單事件的概率，最后利用概率可加性，得到最終結(jié)果，這一方法的一般化就是所謂的全概率公式。設(shè)Ω為試驗(yàn)E的樣本空間，A為E的事件，B1，B2，…，Bn為E的一組事件，若滿(mǎn)足以下兩個(gè)條件：

則稱(chēng)B1，B2，…，Bn為樣本空間Ω的一個(gè)分割。若B1，B2，…，Bn為樣本空間的一個(gè)分割，那么，對(duì)每一次試驗(yàn)，事件B1，B2，…，Bn必有一個(gè)且僅有一個(gè)發(fā)生。

12ppt課件7.2.3全概率公式上例采用的方法是概率論中常用的方7.2.3全概率公式

例如，設(shè)實(shí)驗(yàn)E為“擲一顆骰子觀(guān)察其點(diǎn)數(shù)”。它的樣本空間Ω={1，2，3，4，5，6)。Ω的一組事件B1={l，2}，B2={3，4)，B3={5，6}是樣本空間Ω的一個(gè)分割。而事件組B1={1，2，3)，B2={3，4)，B3={5，6)不是樣本空間Ω的一個(gè)分割，因?yàn)锽1B2={3}≠?。設(shè)實(shí)驗(yàn)E為樣本空間，A為E的事件，B1，B2，…，Bn為Ω的一個(gè)分割，且P(Bi)>0，i=1，2，…，n,則式(7—6)被稱(chēng)為全概率公式。13ppt課件7.2.3全概率公式例如，設(shè)實(shí)驗(yàn)E為“擲一顆骰子觀(guān)察7.2.3全概率公式

【例】甲、乙、丙三人向同一飛機(jī)射擊。設(shè)甲、乙、丙射中的概率分別為0．4，0．5和0．7。又設(shè)若只有一人射中，飛機(jī)墜落的概率為0．2；若有兩人射中，飛機(jī)墜落的概率為0．6；若有三人射中，飛機(jī)必墜落。求飛機(jī)墜落的概率。

【解】記A={飛機(jī)墜落)，Bi={共i個(gè)人射中飛機(jī))，i=1，2，3。Bi分別為：

B1=(甲射中，乙丙未射中)+(乙射中，甲丙未射中)+(丙射中，甲乙未射中)B2=(甲未射中，乙丙射中)+(乙未射中，甲丙射中)+(丙未射中，甲乙射中)B3=(甲乙丙均射中)

可以計(jì)算i個(gè)人射中飛機(jī)的概率

P(B1)=0．4×0．5×0．3+0．6×0．5×0．3+0．6×0．5×0．7=0．36P(B2)=0．6×0．5×0．7+0．4×0．5×0．7+0．4×0．5×0．3=0．41P(B3)=0．4×0．5×0．7=0．14

再由題設(shè)，P(A|B1)=0．2，P(A|B2)=O．6，P(A|B3)=1。利用全概率公式14ppt課件7.2.3全概率公式【例】甲、乙、丙三人向同一飛7.2.4貝葉斯公式

設(shè)實(shí)驗(yàn)E為樣本空間，A為E的事件，B1，B2，…，Bn為Ω的一個(gè)分割，且P(Bi)>0，i=1，2，…，n，則由：式(7～7)被稱(chēng)為貝葉斯公式。例如，某電子設(shè)備廠(chǎng)所用的元件是由三家元件廠(chǎng)提供的，根據(jù)以往的記錄，這三個(gè)廠(chǎng)家的次品率分別為0．02，0．01，0．03，提供元件的份額分別為0．15，0．8，0．05，設(shè)這三個(gè)廠(chǎng)家的產(chǎn)品在倉(cāng)庫(kù)是均勻混合的，且無(wú)區(qū)別的標(biāo)志。．問(wèn)題1：在倉(cāng)庫(kù)中隨機(jī)地取一個(gè)元件，求它是次品的概率。問(wèn)題2：在倉(cāng)庫(kù)中隨機(jī)地取一個(gè)元件，若已知它是次品，為分析此次品出自何廠(chǎng)，需求出此元件由三個(gè)廠(chǎng)家分別生產(chǎn)的概率是多少?有：（7-7）15ppt課件7.2.4貝葉斯公式設(shè)實(shí)驗(yàn)E為樣本空間，A為E的事件7.2.4貝葉斯公式=0．15×0．02+0．80×0．01+0．05×0．03=0．0125

對(duì)于問(wèn)題2，由貝葉斯公式：

【解】設(shè)A取到的元件是次品，Bi標(biāo)識(shí)取到的元件是由第i個(gè)廠(chǎng)家生產(chǎn)的，則

P(B1)=0．15，P(B2)=0．8，P(B3)=0．05

對(duì)于問(wèn)題1，由全概率公式：

以上結(jié)果表明，這個(gè)次品來(lái)自第2家工廠(chǎng)的可能性最大，來(lái)自第1家工廠(chǎng)的概率次之，來(lái)自第3家工廠(chǎng)的概率最小。16ppt課件7.2.4貝葉斯公式=0．15×0．02+0．80×0．0第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)617ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.3貝葉斯網(wǎng)絡(luò)概述6.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)6.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性6.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)議題貝葉斯網(wǎng)絡(luò)是一種圖形模型(概率理論和圖論相結(jié)合的產(chǎn)物)，又被稱(chēng)為貝葉斯信念網(wǎng)絡(luò)、因果網(wǎng)絡(luò)，是描述隨機(jī)變量(事件)之間依賴(lài)關(guān)系的一種圖形模式。是一種將因果知識(shí)和概率知識(shí)相結(jié)合的信息表示框架，使得不確定性推理在邏輯上變得更為清晰．理解性更強(qiáng)。已經(jīng)成為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)和決策支持系統(tǒng)的有效方法。從大量數(shù)據(jù)中構(gòu)造貝葉斯網(wǎng)絡(luò)模型，進(jìn)行不確定性知識(shí)的發(fā)現(xiàn)。18ppt課件7.3貝葉斯網(wǎng)絡(luò)概述6.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)貝葉斯7.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)有向無(wú)環(huán)圖．由結(jié)點(diǎn)和有向弧段組成。每個(gè)結(jié)點(diǎn)代表一個(gè)事件或者隨機(jī)變量，變量值可以是離散的或連續(xù)的，結(jié)點(diǎn)的取值是完備互斥的。表示起因的假設(shè)和表示結(jié)果的數(shù)據(jù)均用結(jié)點(diǎn)表示。例如，圖7.1描述的網(wǎng)絡(luò)符合貝葉斯網(wǎng)絡(luò)的條件，是一個(gè)典型的貝葉斯網(wǎng)絡(luò)。19ppt課件7.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件7.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性貝葉斯網(wǎng)絡(luò)的優(yōu)勢(shì)主要體現(xiàn)在以下方面。

(1)貝葉斯網(wǎng)絡(luò)推理是利用其表達(dá)的條件獨(dú)立性，根據(jù)已有信息快速計(jì)算待求概率值的過(guò)程。應(yīng)用貝葉斯網(wǎng)絡(luò)的概率推理算法，對(duì)已有的信息要求低，可以進(jìn)行信息不完全、不確定情況下的推理。

(2)具有良好的可理解性和邏輯性，這是神經(jīng)元網(wǎng)絡(luò)無(wú)法比擬的，神經(jīng)元網(wǎng)絡(luò)從輸入層輸入影響因素信息，經(jīng)隱含層處理后傳人輸出層，是黑匣子似的預(yù)測(cè)和評(píng)估，而貝葉斯網(wǎng)絡(luò)是白匣子。

(3)專(zhuān)家知識(shí)和試驗(yàn)數(shù)據(jù)的有效結(jié)合相輔相成，忽略次要聯(lián)系而突出主要矛盾，可以有效避免過(guò)學(xué)習(xí)。

(4)貝葉斯網(wǎng)絡(luò)以概率推理為基礎(chǔ)，推理結(jié)果說(shuō)服力強(qiáng)，而且相對(duì)貝葉斯方法來(lái)說(shuō)，貝葉斯網(wǎng)絡(luò)對(duì)先驗(yàn)概率的要求大大降低。貝葉斯網(wǎng)絡(luò)通過(guò)實(shí)踐積累可以隨時(shí)進(jìn)行學(xué)習(xí)來(lái)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，提高預(yù)測(cè)診斷能力，并且基于網(wǎng)絡(luò)的概率推理算法，貝葉斯網(wǎng)絡(luò)接受了新信息后立即更新網(wǎng)絡(luò)中的概率信息。20ppt課件7.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性貝葉斯網(wǎng)絡(luò)的優(yōu)勢(shì)主要體現(xiàn)在以下7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題貝葉斯網(wǎng)絡(luò)的主要功能是進(jìn)行預(yù)測(cè)和診斷，在貝葉斯網(wǎng)絡(luò)工作之前，需要對(duì)歷史數(shù)據(jù)進(jìn)行訓(xùn)練。所以，預(yù)測(cè)、診斷和訓(xùn)練構(gòu)成了貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題。

1．貝葉斯網(wǎng)絡(luò)預(yù)測(cè)貝葉斯網(wǎng)絡(luò)是一種概率推理技術(shù)，使用概率理論來(lái)處理在描述不同知識(shí)成分之間的條件而產(chǎn)生的不確定性。貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)是指從起因推測(cè)一個(gè)結(jié)果的推理，也稱(chēng)為由頂向下的推理。目的是由原因推導(dǎo)出結(jié)果。已知一定的原因(證據(jù))，利用貝葉斯網(wǎng)絡(luò)的推理計(jì)算，求出由原因?qū)е碌慕Y(jié)果發(fā)生的概率。

2．貝葉斯網(wǎng)絡(luò)診斷貝葉斯網(wǎng)絡(luò)的診斷是指從結(jié)果推測(cè)一個(gè)起因的推理，也稱(chēng)為由底至上的推理。目的是在已知結(jié)果時(shí)，找出產(chǎn)生該結(jié)果的原因。已知發(fā)生了某些結(jié)果，根據(jù)貝葉斯網(wǎng)絡(luò)推理計(jì)算造成該結(jié)果發(fā)生的原因和發(fā)生的概率。該診斷作用多用于病理診斷、故障診斷中，目的是找到疾病發(fā)生、故障發(fā)生的原因。21ppt課件7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題貝葉斯網(wǎng)絡(luò)的主要功7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題3．貝葉斯網(wǎng)絡(luò)學(xué)習(xí)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)是指由先驗(yàn)的貝葉斯網(wǎng)絡(luò)得到后驗(yàn)的貝葉斯網(wǎng)絡(luò)的過(guò)程。先驗(yàn)貝葉斯網(wǎng)絡(luò)是根據(jù)用戶(hù)的先驗(yàn)知識(shí)構(gòu)造的貝葉斯網(wǎng)絡(luò)，后驗(yàn)貝葉斯網(wǎng)絡(luò)是把先驗(yàn)貝葉斯網(wǎng)絡(luò)和數(shù)據(jù)相結(jié)合而得到的貝葉斯網(wǎng)絡(luò)。貝葉斯網(wǎng)絡(luò)學(xué)習(xí)的實(shí)質(zhì)是用現(xiàn)有數(shù)據(jù)對(duì)先驗(yàn)知識(shí)的修正。貝葉斯網(wǎng)絡(luò)能夠持續(xù)學(xué)習(xí)．上次學(xué)習(xí)得到的后驗(yàn)貝葉斯網(wǎng)絡(luò)變成下一次學(xué)習(xí)的先驗(yàn)貝葉斯網(wǎng)絡(luò)，每一次學(xué)習(xí)前用戶(hù)都可以對(duì)先驗(yàn)貝葉斯網(wǎng)絡(luò)進(jìn)行調(diào)整，使得新的貝葉斯網(wǎng)絡(luò)更能體現(xiàn)數(shù)據(jù)中蘊(yùn)涵的知識(shí)。貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)關(guān)系如圖7．2所示。

圖7.2貝葉斯網(wǎng)絡(luò)持續(xù)學(xué)習(xí)22ppt課件7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題3．貝葉斯網(wǎng)絡(luò)學(xué)習(xí)圖7.27.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題

貝葉斯網(wǎng)絡(luò)模型是由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率分布表(ConditionalProbabilityTable，CPT)組成的，因此，必須通過(guò)給出貝葉斯網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)及每個(gè)結(jié)點(diǎn)上的CPT表來(lái)描述一個(gè)貝葉斯網(wǎng)絡(luò)。相應(yīng)地，基于貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)包括結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)兩個(gè)內(nèi)容。結(jié)構(gòu)學(xué)習(xí)，即利用訓(xùn)練樣本集，盡可能結(jié)合先驗(yàn)知識(shí)，確定最合適的貝葉斯網(wǎng)絡(luò)模型結(jié)構(gòu)。參數(shù)學(xué)習(xí)是在給定結(jié)構(gòu)下，確定貝葉斯網(wǎng)絡(luò)模型的參數(shù)，即每個(gè)結(jié)點(diǎn)上的CPT表。按照學(xué)習(xí)的目的以及訓(xùn)練樣本集是否完整，可以把學(xué)習(xí)方法歸為以下幾類(lèi)，如表7.1所示。表7.1貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法分類(lèi)表23ppt課件7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題

貝葉斯網(wǎng)絡(luò)模第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)624ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.4貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法7.4.1概率和條件概率數(shù)據(jù)7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法7.4.3貝葉斯網(wǎng)絡(luò)的診斷算法7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測(cè)和診斷的綜合算法7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法本節(jié)將從圖7.1所示的簡(jiǎn)單貝葉斯網(wǎng)絡(luò)的例子人手，分別介紹貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法。假定網(wǎng)絡(luò)中的概率和條件概率都已經(jīng)知道，也就是說(shuō)網(wǎng)絡(luò)已經(jīng)訓(xùn)練完畢。這些數(shù)據(jù)給出如下。25ppt課件7.4貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法7.4.1概率和條件7.4.1概率和條件概率數(shù)據(jù)圖7.1中的Party和BrainTumor兩個(gè)結(jié)點(diǎn)是原因結(jié)點(diǎn)，沒(méi)有連線(xiàn)以它們作為終點(diǎn)。首先給出這兩個(gè)結(jié)點(diǎn)的無(wú)條件概率，如表7.2所示。

表7.2中的第二列是關(guān)于Party(參加晚會(huì))的概率：參加晚會(huì)的概率是0．2，不參加晚會(huì)的概率是0．8。第三列是關(guān)于患腦瘤的概率：患腦瘤的概率是0．001，不患腦瘤的概率是0.999。下面還將給出幾組條件概率，分別是：PT（參加舞會(huì)）已知的情況下HO(宿醉）的條件概率，如表7．3所示；HO（宿醉）已知的情況下SA（酒味）的條件概率，如表7．4所示；BT（腦瘤）已知的情況下PX（陽(yáng)性）的概率，如表7.5所示。表7．2結(jié)點(diǎn)PT、BT的無(wú)條件概率分布26ppt課件7.4.1概率和條件概率數(shù)據(jù)圖7.1中的Party和Brai7.4.1概率和條件概率數(shù)據(jù)

上面三個(gè)表的結(jié)構(gòu)相似，給出的都是條件概率。表7．3中第2列的意思是：當(dāng)參加晚會(huì)后，宿醉的概率是0.7；不宿醉的概率是0.3。第3列的意思是：當(dāng)不參加晚會(huì)時(shí)，不會(huì)發(fā)生宿醉的情況。對(duì)表7.4和表7.5的解釋類(lèi)似。表7．3已知結(jié)點(diǎn)PT時(shí)HO的條件概率27ppt課件7.4.1概率和條件概率數(shù)據(jù)上面三個(gè)表的結(jié)構(gòu)相似，給出7.4.1概率和條件概率數(shù)據(jù)

最后給出的是一個(gè)聯(lián)合條件概率：已知HO和BT時(shí)HA的概率，如表7．6所示。表7．6已知HO和BT時(shí)HA的概率當(dāng)沒(méi)有宿醉但患有腦瘤的情況下，頭疼的概率是0.9，不頭疼的概率是0.01。B當(dāng)宿醉發(fā)生和有腦瘤的情況下，頭疼的概率是0.99，不頭疼的概率是0.01。當(dāng)宿醉發(fā)生但沒(méi)有腦瘤的情況下，頭疼的概率是0.7，不頭疼的概率是0.3。表7．6中數(shù)據(jù)的意義是：28ppt課件7.4.1概率和條件概率數(shù)據(jù)最后給出的是一個(gè)聯(lián)合條件概7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法

貝葉斯網(wǎng)絡(luò)的功能之一就是在已知某些條件結(jié)點(diǎn)的情況下，預(yù)測(cè)結(jié)果結(jié)點(diǎn)的概率。當(dāng)然，貝葉斯網(wǎng)絡(luò)也可以在不知任何結(jié)點(diǎn)信息的情況下計(jì)算某個(gè)結(jié)果結(jié)點(diǎn)的發(fā)生概率。例如，在圖7．1中，如果不知道任何結(jié)點(diǎn)發(fā)生與否的信息，仍然可以估算結(jié)點(diǎn)HA的概率。為了方便，約定：對(duì)于一個(gè)結(jié)點(diǎn)Point，P(+Point)表示Point發(fā)生的概率，P(-Point)表示不發(fā)生的概率?！纠?．1】下面計(jì)算結(jié)點(diǎn)HA的概率。根據(jù)全概率公式，有P(+HA)=P(+BT)P(+H0)×0．99+P(+BT)P(-H0)×0．9+P(-BT)P(+H0)×0．7+P(-BT)P(-H0)×0．02=0.001*0.14*0.99+0.001*0.86*0.9+0.999*0.14*0.7+0.999*0.86*0.02=0．116(0.1159974)

P(-HA)=1-P(+HA)=O．884

也就是說(shuō)，在沒(méi)有任何結(jié)點(diǎn)信息(稱(chēng)為證據(jù))的情況下，頭疼的概率是0．116，不頭疼的概率是0．884。用同樣的方式，可以計(jì)算所有結(jié)點(diǎn)的概率，這樣可以使得圖7．1所示的網(wǎng)絡(luò)進(jìn)一步完善。事實(shí)上，完善結(jié)點(diǎn)概率也是預(yù)測(cè)貝葉斯網(wǎng)絡(luò)預(yù)測(cè)的一種情況，即在不知結(jié)點(diǎn)明確信息(證據(jù))情況下的預(yù)測(cè)。下面進(jìn)行一個(gè)原因結(jié)點(diǎn)明確情況下的預(yù)測(cè)。29ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法貝葉斯網(wǎng)絡(luò)的功能之一就是7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．2】計(jì)算已知參加晚會(huì)的情況下，第二天早晨呼吸有酒精味的概率。首先，由表7.3可以看出，當(dāng)PT發(fā)生時(shí)，HO發(fā)生的概率是0.7。也就是說(shuō)，當(dāng)參加晚會(huì)后，宿醉發(fā)生的概率是0.7，不發(fā)生的概率是O.3。由全概率公式

P(+SA)=P(+H0)P(+SA︱+H0)+P(-H0)P(+SA︱-H0)=O．7×O．8+0．3×0．1=O．59

30ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．2】計(jì)算已知參加晚會(huì)7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．3】計(jì)算已知參加晚會(huì)的情況下，頭疼發(fā)生的概率。由表7．3可知，當(dāng)PT發(fā)生時(shí)，HO發(fā)生的概率是0．7，不發(fā)生的概率是0．3；由表7．2可以看出，BT發(fā)生的概率是0．001，不發(fā)生的概率是0．999。已知HO和BT后，根據(jù)全概率公式，得到

P(+HA)=P(+H0)P(+BT)P(+HA︱+H0+BT)+P(+H0)P(-BT)×0．7+P(-HO)P(+BT)×0．9+P(-HO)P(-BT)×0．02=0.7*0.001*0.99+0.7*0.999*0.7+0.3*0.001*0.9+0.3*0.999*0.02=0．496467P(-HA)=1-P(+HA)=0．503533

也就是說(shuō)，如果知道已經(jīng)參加了晚會(huì)，而沒(méi)有其他方面的任何證據(jù)，則這個(gè)人頭疼的概率是0．496，不頭疼的概率是0．504。表7．3表7．6B31ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．3】計(jì)算已知參加晚會(huì)7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法可以比較分析例7．1和例7．3的結(jié)果：由于參加晚會(huì)，頭疼發(fā)生的概率大大增加了。結(jié)合上面給出的三個(gè)例子，下面給出貝葉斯網(wǎng)絡(luò)預(yù)測(cè)算法的步驟描述。如下所示。

輸入：給定貝葉斯網(wǎng)絡(luò)B(包括網(wǎng)絡(luò)結(jié)構(gòu)m個(gè)結(jié)點(diǎn)以及某些結(jié)點(diǎn)間的連線(xiàn)、原因結(jié)點(diǎn)到中間結(jié)點(diǎn)的條件概率或聯(lián)合條件概率)，給定若干個(gè)原因結(jié)點(diǎn)發(fā)生與否的事實(shí)向量F(或者稱(chēng)為證據(jù)向量)，給定待預(yù)測(cè)的某個(gè)結(jié)點(diǎn)t。輸出：結(jié)點(diǎn)t發(fā)生的概率。(1)把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中。(2)對(duì)于B中的每一個(gè)沒(méi)處理過(guò)的結(jié)點(diǎn)n，如果它具有發(fā)生的事實(shí)(證據(jù))，則標(biāo)記它為已經(jīng)處理過(guò)；否則繼續(xù)下面的步驟。(3)如果它的所有父結(jié)點(diǎn)中有一個(gè)沒(méi)有處理過(guò)，則不處理這個(gè)結(jié)點(diǎn)；否則，繼續(xù)下面的步驟。(4)根據(jù)結(jié)點(diǎn)n的所有父結(jié)點(diǎn)的概率以及條件概率或聯(lián)合條件概率計(jì)算結(jié)點(diǎn)n的概率分布，并把結(jié)點(diǎn)n標(biāo)記為已處理。(5)重復(fù)步驟(2)～(4)，共m次。此時(shí)，結(jié)點(diǎn)f的概率分布就是它的發(fā)生／不發(fā)生的概率。算法結(jié)束。需要注意的是，第(5)步的作用是使得每個(gè)結(jié)點(diǎn)都有被計(jì)算概率分布的機(jī)會(huì)。32ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法可以比較分析例7．1和例7．7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法根據(jù)條件概率公式

P(+BT︱+PX)=P(+PX︱+BT)×P(+BT)／P(+PX)=0．98×0．001／0．011=0.08909P(-BT︱+PX)=l-P(+BT︱+PX)=0.91l

也就是說(shuō)，當(dāng)X光檢查呈陽(yáng)性的情況下，患腦瘤的概率是0.089，不患腦瘤的概率是0.911。

本部分將做相反方向的工作：在已知結(jié)果結(jié)點(diǎn)發(fā)生與否的情況下推斷條件結(jié)點(diǎn)發(fā)生的概率?！纠?．4】計(jì)算已知X光檢查呈陽(yáng)性的情況下，患腦瘤的概率。由：P(AB)=P(A|B)*p(B)得到：P(A|B)=P(AB)/P(B)而：P(AB)=P(B|A)*P(A)所以：P(A|B)=P(AB)/P(B)=P(B|A)*P(A)/P(B)

上面的例子比較簡(jiǎn)單，可以直接用條件概率公式計(jì)算獲得。下面再看一個(gè)比較復(fù)雜的例子。先驗(yàn)概率33ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法根據(jù)條件概率公式本部分將做相反7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法【例7.5】計(jì)算已知頭疼的情況下，患腦瘤的概率。首先，根據(jù)表7．6給出的聯(lián)合條件分布計(jì)算已知BT情況下HA的邊緣條件概率。為此，要首先計(jì)算結(jié)點(diǎn)HO的概率分布。根據(jù)表7.3和全概率公式P(+HO)=P(+HO︱+PT)×P(+PT)+P(+HO︱-PT)×P(-PT)=0．7×0．2+0=0．14

上面的計(jì)算表明，沒(méi)有任何證據(jù)的情況下，宿醉發(fā)生的概率是0．14，不發(fā)生的概率是0．86。通過(guò)宿醉的發(fā)生概率，可以計(jì)算已知BT情況下HA的邊緣條件概率.34ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法【例7.5】計(jì)算已知頭疼的情況7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法最后，根據(jù)表7．7提供的條件概率，利用條件概率公式，可得

P(+BT︱+HA)=P(+HA︱+BT)×P(+BT)／P(+HA)=0．9126×0．001／0．116=0．007867P(+HA︱+BT)=P(+HO)×P(+HA|+BT，+HO)+P(-HO)×P(+HA|+BT，-HO)=0．14×0．99+0．86×0．9=0．9126P(-HA︱+BT)=1-P(+HA︱+BT)=0．087

上面的計(jì)算得到了已知患腦瘤的情況下頭疼的概率是0．913，不頭疼的概率是0．087。這個(gè)條件概率是一個(gè)邊緣分布，它是從聯(lián)合條件概率分布(H0，BT→HA)去掉一個(gè)條件HO得到的。我們把這個(gè)邊緣分布的內(nèi)容整理在表7．7中。B表7．6表7．7已知BT情況下HA的(邊緣)條件概率全概率公式35ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法最后，根據(jù)表7．7提供的條件概7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法

例7.4和例7.5分別從簡(jiǎn)單和復(fù)雜兩種情況進(jìn)行了貝葉斯網(wǎng)絡(luò)的診斷示例。下面的部分將介紹同時(shí)具有預(yù)測(cè)功能和診斷功能的算法。根據(jù)上面的兩個(gè)例子，可以總結(jié)出貝葉斯網(wǎng)絡(luò)診斷算法的一般步驟，如下所示。輸入：給定貝葉斯網(wǎng)絡(luò)B,給定若干個(gè)結(jié)果結(jié)點(diǎn)發(fā)生與否的事實(shí)向量F(或者稱(chēng)為證據(jù)向量)，給定待診斷的某個(gè)結(jié)點(diǎn)t。輸出：結(jié)點(diǎn)t發(fā)生的概率。(1)把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中。(2)對(duì)于B中的每一個(gè)沒(méi)處理過(guò)的結(jié)點(diǎn)n，如果它具有發(fā)生的事實(shí)(證據(jù))，則標(biāo)記它為已經(jīng)處理過(guò)；否則繼續(xù)下面的步驟。(3)如果它的所有子結(jié)點(diǎn)中有一個(gè)沒(méi)有處理過(guò)，則不處理這個(gè)結(jié)點(diǎn)；否則，繼續(xù)下面的步驟。(4)根據(jù)結(jié)點(diǎn)n的所有子結(jié)點(diǎn)的概率以及條件概率或聯(lián)合條件概率計(jì)算結(jié)點(diǎn)n的概率分布，并把結(jié)點(diǎn)n標(biāo)記為已處理。(5)重復(fù)步驟(2)～(4)共m次。此時(shí)，原因結(jié)點(diǎn)t的概率分布就是它的發(fā)生／不發(fā)生的概率。算法結(jié)束。需要注意的是，第(5)步的作用是使得每個(gè)結(jié)點(diǎn)都有被計(jì)算概率分布的機(jī)會(huì)。36ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法例7.4和例7.5分別從簡(jiǎn)單7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測(cè)和診斷的綜合算法【例7.6】計(jì)算已知參加晚會(huì)并且第二天早上呼吸有酒精味的情況下，宿醉的發(fā)生概率。由于已知參加了晚會(huì)(+PT)，那么根據(jù)表7.3，宿醉發(fā)生的概率是0.7，不發(fā)生的概率是0.3。根據(jù)全概率公式

P(+SA)=P(+SA︱+HO)×P(+HO)+P(+SA︱-HO)×P(-HO)=0．8×0．7+0．1×0．3=0．59

這個(gè)結(jié)果就是已知參加晚會(huì)的情況下，有酒精味的發(fā)生概率。再利用條件概率公式，可得

P(+H0︱+SA)=P(+SA︱+HO)×P(+HO)／P(+SA)=0．8×0．7／0．59=0．94915

這是最終的結(jié)果，也就是說(shuō)，當(dāng)參加晚會(huì)并且第二天早晨有酒精味的情況下，宿醉發(fā)生的概率是0．949。從上面的計(jì)算過(guò)程可以總結(jié)出解決這類(lèi)綜合問(wèn)題的一般思路。首先，要把原因結(jié)點(diǎn)的證據(jù)(此例中是+PT)進(jìn)行擴(kuò)散，得到中間結(jié)點(diǎn)(HO)或結(jié)果結(jié)點(diǎn)(SA)的概率分布。最后根據(jù)條件概率公式計(jì)算中間結(jié)點(diǎn)的概率分布。利用貝葉斯網(wǎng)絡(luò)進(jìn)行單純的預(yù)測(cè)或進(jìn)行單純的診斷的情況是比較少的，一般情況下，需要綜合使用預(yù)測(cè)和診斷的功能。37ppt課件7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測(cè)和診斷的綜合算法【例7.6】計(jì)算已知7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測(cè)和診斷的綜合算法

這是解決預(yù)測(cè)和診斷綜合問(wèn)題的一般思路，下面將給出一個(gè)更復(fù)雜的綜合問(wèn)題的例子。

【例7．7】計(jì)算在已知有酒精味、頭疼的情況下，患腦瘤的概率。首先，由條件概率公式可以計(jì)算在有酒精味的情況下宿醉的發(fā)生概率

P(+H0︱+SA)=P(+SA︱+HO)×P(+HO)／P(+SA)=0．5656

然后，由全概率公式可以計(jì)算患腦瘤的情況下頭疼的發(fā)生概率(當(dāng)然，這時(shí)宿醉的概率已經(jīng)是0．5656，它參與了下面的運(yùn)算)P(+HA︱+BT)=P(+HA︱+BT，+HO)×P(+HO)+P(+HA︱+BT，一HO)×P(一HO)=0．99×P(+HO)+0．9×P(一HO)=0．9509

最后，再由條件概率公式可以計(jì)算患腦瘤的概率

P(+BT︱+HA)=P(+HA︱+BT)×P(+BT)／P(+HA)=0．9509×0．001／0．4052=0．002347

可以比較例7．7和例7．5的計(jì)算結(jié)果，例7．7中計(jì)算得到的患腦瘤的概率要相對(duì)小一些。同樣患有頭疼，兩個(gè)例子中患腦瘤的概率是不一樣的。這是因?yàn)?，?．7中的結(jié)果結(jié)點(diǎn)“有酒精味”發(fā)生，這意味著頭疼的原因有更大的可能是因?yàn)樗拮?，而不是患腦瘤。除了上面的7個(gè)例子外，讀者可以試著解決圖7．1所示貝葉斯網(wǎng)絡(luò)中更復(fù)雜的例子，或者解決本章后面的習(xí)題。38ppt課件7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測(cè)和診斷的綜合算法這是解決預(yù)測(cè)7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法建立一個(gè)貝葉斯網(wǎng)絡(luò)的步驟：第一步：首先要把實(shí)際問(wèn)題的事件抽象為結(jié)點(diǎn)。這些結(jié)點(diǎn)必須有明確的意義，至少有是、非兩個(gè)狀態(tài)。或者有多個(gè)狀態(tài)，并且這些狀態(tài)在概率意義上是完備和互斥的。也就是說(shuō)，所有狀態(tài)在某一時(shí)刻只能發(fā)生一個(gè)，并且這些狀態(tài)的概率之和為1。第二步：建立兩個(gè)或多個(gè)結(jié)點(diǎn)之間的連線(xiàn)。有明確的因果關(guān)系或相關(guān)關(guān)系的結(jié)點(diǎn)之間可以建立連線(xiàn)，那些沒(méi)有明確聯(lián)系的結(jié)點(diǎn)之間最好不要建立連線(xiàn)，以防止網(wǎng)絡(luò)過(guò)于復(fù)雜而不能把握問(wèn)題的實(shí)質(zhì)。確定兩個(gè)結(jié)點(diǎn)之間是否有連線(xiàn)，除了通過(guò)經(jīng)驗(yàn)判斷之外，還可以用數(shù)據(jù)相關(guān)分析的方法，請(qǐng)讀者查閱相關(guān)的文獻(xiàn)。要建立兩個(gè)結(jié)點(diǎn)之間的連線(xiàn)，必須防止環(huán)的出現(xiàn)。貝葉斯網(wǎng)絡(luò)必須是有向無(wú)環(huán)圖。在圖7．1中，如果建立結(jié)點(diǎn)SmellAlcohol到結(jié)點(diǎn)Party之間的連線(xiàn)，那么就形成了一個(gè)環(huán)PT→HO→SA→PT，也就不構(gòu)成貝葉斯網(wǎng)絡(luò)了。39ppt課件7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法建立一個(gè)貝葉斯網(wǎng)絡(luò)的步驟7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法根據(jù)表7．8給出的數(shù)據(jù)，可以用統(tǒng)計(jì)的方式得到任意結(jié)點(diǎn)的概率分布。假設(shè)結(jié)點(diǎn)P有m個(gè)狀態(tài)P1，P2，…，Pm，則有

第三步：計(jì)算結(jié)點(diǎn)的概率分布。結(jié)點(diǎn)的概率分布和結(jié)點(diǎn)間的條件概率分布可以通過(guò)專(zhuān)家經(jīng)驗(yàn)填入；但使用更多的方法是通過(guò)歷史數(shù)據(jù)訓(xùn)練得到。貝葉斯網(wǎng)絡(luò)的訓(xùn)練方式比較簡(jiǎn)單。作為示例，下面給出圖7．1所示的6個(gè)結(jié)點(diǎn)發(fā)生的歷史數(shù)據(jù)，如表7.8所示。表7．8貝葉斯網(wǎng)絡(luò)中的歷史數(shù)據(jù)40ppt課件7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法根據(jù)表7．8給出的數(shù)據(jù)，如果結(jié)點(diǎn)P、Q、R各有兩個(gè)狀態(tài)，那么類(lèi)似式(7—10)形式的公式共有8個(gè)，共同構(gòu)成了結(jié)點(diǎn)P、Q到結(jié)點(diǎn)R的聯(lián)合條件概率分布。例如，+H0和+BT共發(fā)生了2次，而+HO、+BT和+HA共發(fā)生了1次，因此

P(+HA︱+HO，+BT)=1／2=0．5

例如，對(duì)于結(jié)點(diǎn)PT，有P(+PT)=7／10=O．7；P(一PT)=3／10=0．3。如果PS表示結(jié)點(diǎn)P的一個(gè)狀態(tài)，QS表示結(jié)點(diǎn)Q的一個(gè)狀態(tài)，則PS發(fā)生時(shí)QS發(fā)生的概率為例如，+PT共發(fā)生了7次，+PT和+HO共同發(fā)生了4次，因此有P(+HO︱+PT)=4／7=0．571。同樣的方式也可以計(jì)算P(QS︱-PS)。同理，可以計(jì)算多個(gè)結(jié)點(diǎn)間的聯(lián)合條件分布。假設(shè)PS表示結(jié)點(diǎn)P的一個(gè)狀態(tài)，QS表示結(jié)點(diǎn)Q的一個(gè)狀態(tài)，RS表示結(jié)點(diǎn)R的一個(gè)狀態(tài)。那么PS和QS發(fā)生時(shí)RS的概率為7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法41ppt課件如果結(jié)點(diǎn)P、Q、R各有兩個(gè)狀態(tài)，那么類(lèi)似式(7—10)形式的7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法如果某個(gè)結(jié)點(diǎn)是結(jié)果結(jié)點(diǎn)或中間結(jié)點(diǎn)，那么得到這個(gè)結(jié)點(diǎn)的概率分布的方式有如下兩種。

(1)直接從表7．8所示的數(shù)據(jù)中通過(guò)統(tǒng)計(jì)獲得。

(2)先從表格數(shù)據(jù)中通過(guò)統(tǒng)計(jì)獲得原因結(jié)果的概率分布，再?gòu)谋砀駭?shù)據(jù)中通過(guò)統(tǒng)計(jì)獲得條件概率分布或聯(lián)合條件概率分布，最后用全概率公式計(jì)算中間結(jié)點(diǎn)或結(jié)果結(jié)點(diǎn)的概率分布。可以驗(yàn)證，這兩種方式獲得的概率分布是一致的。

42ppt課件7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法如果某個(gè)結(jié)點(diǎn)是結(jié)果結(jié)點(diǎn)或第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)643ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.5SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用44ppt課件7.5SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用44p第7章貝葉斯網(wǎng)絡(luò)教師：郭榮熙數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘45ppt課件第7章貝葉斯網(wǎng)絡(luò)教師：郭榮熙數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘1ppt課件貝葉斯網(wǎng)絡(luò)是20世紀(jì)80年代發(fā)展起來(lái)的，最早由JudeaPearl于1986年提出，多用于專(zhuān)家系統(tǒng)，成為表示不確定性知識(shí)和推理問(wèn)題的流行方法。貝葉斯網(wǎng)絡(luò)最早起源于貝葉斯統(tǒng)計(jì)分析，它是概率理論和圖論相結(jié)合的產(chǎn)物。本章通過(guò)引例討論貝葉斯網(wǎng)絡(luò)需要解決的問(wèn)題；介紹貝葉斯概率基礎(chǔ)；對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行概述；講解貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法；講述SQLServer2005中貝葉斯網(wǎng)絡(luò)的應(yīng)用方法。46ppt課件貝葉斯網(wǎng)絡(luò)是20世紀(jì)80年代發(fā)展起來(lái)的，最早由JudeaP第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)647ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.1引例先看一個(gè)關(guān)于概率推理的例子。圖7．1中有6個(gè)結(jié)點(diǎn)：參加晚會(huì)(party，PT)、宿醉(hangover，HO)、患腦瘤(braintumor，BT)、頭疼(headache，HA)、有酒精味(smellalcohol，SA)和X射線(xiàn)檢查呈陽(yáng)性(posxray，PX)?？梢园褕D7．1想象成為這樣一個(gè)場(chǎng)景：一個(gè)中學(xué)生回家后，其父母猜測(cè)她參加了晚會(huì)，并且喝了酒；第二天這個(gè)學(xué)生感到頭疼，她的父母帶她到醫(yī)院做頭部的X光檢查……圖7.1基于結(jié)點(diǎn)間概率關(guān)系的推理48ppt課件7.1引例先看一個(gè)關(guān)于概率推理的例子。圖7．1中有6個(gè)結(jié)點(diǎn)：7.1引例通過(guò)長(zhǎng)期的觀(guān)察，或者從別人那里了解，這個(gè)中學(xué)生的父母知道他們的女兒參加晚會(huì)的概率。通過(guò)長(zhǎng)時(shí)間的數(shù)據(jù)積累，他們也知道他們的女兒參加晚會(huì)后宿醉的概率。因此，結(jié)點(diǎn)party和結(jié)點(diǎn)hangover之間有一條連線(xiàn)。同樣，有明顯的因果關(guān)系或相關(guān)關(guān)系的結(jié)點(diǎn)之間都有一條連線(xiàn)，并且連線(xiàn)從原因結(jié)點(diǎn)出發(fā)，指向結(jié)果結(jié)點(diǎn)。針對(duì)圖7．1所示的網(wǎng)絡(luò)，有許多問(wèn)題需要解決。例如:1)如果父母已知他們的女兒參加了晚會(huì)，那么第二天一早，她呼出的氣體中有酒精味的概率有多大?也就是說(shuō)，當(dāng)party發(fā)生時(shí)，smellalcohol發(fā)生的概率有多大?2)如果他們的女兒頭疼，那么她患腦瘤的概率有多大?這時(shí)，如果他們又知道昨晚她參加了晚會(huì)，那么綜合這些情況，她患腦瘤的可能性有多大?49ppt課件7.1引例通過(guò)長(zhǎng)期的觀(guān)察，或者從別人那里了解，這個(gè)中學(xué)生的父7.1引例這兩個(gè)例子一個(gè)是從原因推理結(jié)果的，另外一個(gè)是從結(jié)果推導(dǎo)原因。還有一個(gè)是綜合的問(wèn)題。[還有許多從結(jié)果反推原因的例子。例如，如果父母早晨聞到他們的女兒呼出的氣體中有酒精味，那么她昨晚參加晚會(huì)的概率有多大?等等。]為了系統(tǒng)地解決上面的各類(lèi)問(wèn)題，需要先掌握一定的概率基礎(chǔ)知識(shí)。50ppt課件7.1引例這兩個(gè)例子一個(gè)是從原因推理結(jié)果的，另外一個(gè)是從結(jié)果第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)651ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.2貝葉斯概率基礎(chǔ)貝葉斯概率是貝葉斯網(wǎng)絡(luò)運(yùn)行的理論基礎(chǔ)。就貝葉斯概率而言，其原理和應(yīng)用都比較簡(jiǎn)單。但貝葉斯概率理論經(jīng)歷了長(zhǎng)時(shí)間的波折才被逐漸認(rèn)可，直到20世紀(jì)60年代，貝葉斯概率理論才被廣泛接受并大量應(yīng)用。下面將從基本的條件概率公式和全概率公式入手介紹貝葉斯概率。7.2.1先驗(yàn)概率、后驗(yàn)概率和條件概率7.2.2條件概率公式7.2.3全概率公式7.2.4貝葉斯公式52ppt課件7.2貝葉斯概率基礎(chǔ)貝葉斯概率是貝葉斯網(wǎng)絡(luò)運(yùn)行的理論基礎(chǔ)。就下面介紹貝葉斯概率中用到的有關(guān)概率論的基本概念。7.2.1先驗(yàn)概率、后驗(yàn)概率和條件概率

(1)先驗(yàn)概率。先驗(yàn)概率是指根據(jù)歷史的資料或主觀(guān)判斷所確定的各種事件發(fā)生的概率，該概率沒(méi)有經(jīng)過(guò)實(shí)驗(yàn)證實(shí)，屬于檢驗(yàn)前的概率。

(2)后驗(yàn)概率。后驗(yàn)概率一般是指通過(guò)貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對(duì)先驗(yàn)概率修正后得到的更符合實(shí)際的概率。

(3)條件概率。當(dāng)條件確定時(shí)，某事件發(fā)生的條件概率就是該事件的條件概率。53ppt課件下面介紹貝葉斯概率中用到的有關(guān)概率論的基本概念。7.2.1先7.2.2條件概率公式若(Ω，F(xiàn)，P)是一個(gè)概率空間，B∈F，若P(B)>O，則對(duì)于任意的A∈F，稱(chēng)

為已知事件B發(fā)生的條件下，事件A發(fā)生的條件概率。由

P(AB)=P(BA)=P(A︱B)P(B)=P(B︱A)P(A)(7—2)

可以得到

例如，已知任何時(shí)刻陰天的概率為0．3，記為P(A)=0．3，下雨的概率為0．2，記為P(B)=0．2。陰天之后3小時(shí)之內(nèi)下雨的概率為0．6，記為條件概率P(B︱A)=0．6。那么在下雨的條件下，3小時(shí)前是陰天的概率是多少呢?根據(jù)條件概率公式，得:

即如果下雨，3小時(shí)前是陰天的概率為0．9。ABAB54ppt課件7.2.2條件概率公式若(Ω，F(xiàn)，P)是一個(gè)概率空間，B7.2.3全概率公式例如，1號(hào)箱中有2個(gè)白球和4個(gè)紅球，2號(hào)箱中有5個(gè)白球和3個(gè)紅球，現(xiàn)隨機(jī)地從1號(hào)箱中取出一球放人2號(hào)箱，然后從2號(hào)箱隨機(jī)取出一球，問(wèn)從2號(hào)箱取出紅球的概率是多少?【解】令A(yù)表示事件“最后從2號(hào)箱中取出的是紅球”；令B表示從1號(hào)箱中取出的是紅球。則

由式(7—5)

：設(shè)A，B是兩個(gè)事件，那么A可以表示為:顯然，如果P(B)>0，則:55ppt課件7.2.3全概率公式例如，1號(hào)箱中有2個(gè)白球和4個(gè)紅球，2號(hào)7.2.3全概率公式

上例采用的方法是概率論中常用的方法，為了求復(fù)雜事件的概率，往往可以把它分解成若干個(gè)互不相容的簡(jiǎn)單事件，然后利用條件概率和乘法公式，求出這些簡(jiǎn)單事件的概率，最后利用概率可加性，得到最終結(jié)果，這一方法的一般化就是所謂的全概率公式。設(shè)Ω為試驗(yàn)E的樣本空間，A為E的事件，B1，B2，…，Bn為E的一組事件，若滿(mǎn)足以下兩個(gè)條件：

則稱(chēng)B1，B2，…，Bn為樣本空間Ω的一個(gè)分割。若B1，B2，…，Bn為樣本空間的一個(gè)分割，那么，對(duì)每一次試驗(yàn)，事件B1，B2，…，Bn必有一個(gè)且僅有一個(gè)發(fā)生。

56ppt課件7.2.3全概率公式上例采用的方法是概率論中常用的方7.2.3全概率公式

例如，設(shè)實(shí)驗(yàn)E為“擲一顆骰子觀(guān)察其點(diǎn)數(shù)”。它的樣本空間Ω={1，2，3，4，5，6)。Ω的一組事件B1={l，2}，B2={3，4)，B3={5，6}是樣本空間Ω的一個(gè)分割。而事件組B1={1，2，3)，B2={3，4)，B3={5，6)不是樣本空間Ω的一個(gè)分割，因?yàn)锽1B2={3}≠?。設(shè)實(shí)驗(yàn)E為樣本空間，A為E的事件，B1，B2，…，Bn為Ω的一個(gè)分割，且P(Bi)>0，i=1，2，…，n,則式(7—6)被稱(chēng)為全概率公式。57ppt課件7.2.3全概率公式例如，設(shè)實(shí)驗(yàn)E為“擲一顆骰子觀(guān)察7.2.3全概率公式

【例】甲、乙、丙三人向同一飛機(jī)射擊。設(shè)甲、乙、丙射中的概率分別為0．4，0．5和0．7。又設(shè)若只有一人射中，飛機(jī)墜落的概率為0．2；若有兩人射中，飛機(jī)墜落的概率為0．6；若有三人射中，飛機(jī)必墜落。求飛機(jī)墜落的概率。

【解】記A={飛機(jī)墜落)，Bi={共i個(gè)人射中飛機(jī))，i=1，2，3。Bi分別為：

B1=(甲射中，乙丙未射中)+(乙射中，甲丙未射中)+(丙射中，甲乙未射中)B2=(甲未射中，乙丙射中)+(乙未射中，甲丙射中)+(丙未射中，甲乙射中)B3=(甲乙丙均射中)

可以計(jì)算i個(gè)人射中飛機(jī)的概率

P(B1)=0．4×0．5×0．3+0．6×0．5×0．3+0．6×0．5×0．7=0．36P(B2)=0．6×0．5×0．7+0．4×0．5×0．7+0．4×0．5×0．3=0．41P(B3)=0．4×0．5×0．7=0．14

再由題設(shè)，P(A|B1)=0．2，P(A|B2)=O．6，P(A|B3)=1。利用全概率公式58ppt課件7.2.3全概率公式【例】甲、乙、丙三人向同一飛7.2.4貝葉斯公式

設(shè)實(shí)驗(yàn)E為樣本空間，A為E的事件，B1，B2，…，Bn為Ω的一個(gè)分割，且P(Bi)>0，i=1，2，…，n，則由：式(7～7)被稱(chēng)為貝葉斯公式。例如，某電子設(shè)備廠(chǎng)所用的元件是由三家元件廠(chǎng)提供的，根據(jù)以往的記錄，這三個(gè)廠(chǎng)家的次品率分別為0．02，0．01，0．03，提供元件的份額分別為0．15，0．8，0．05，設(shè)這三個(gè)廠(chǎng)家的產(chǎn)品在倉(cāng)庫(kù)是均勻混合的，且無(wú)區(qū)別的標(biāo)志。．問(wèn)題1：在倉(cāng)庫(kù)中隨機(jī)地取一個(gè)元件，求它是次品的概率。問(wèn)題2：在倉(cāng)庫(kù)中隨機(jī)地取一個(gè)元件，若已知它是次品，為分析此次品出自何廠(chǎng)，需求出此元件由三個(gè)廠(chǎng)家分別生產(chǎn)的概率是多少?有：（7-7）59ppt課件7.2.4貝葉斯公式設(shè)實(shí)驗(yàn)E為樣本空間，A為E的事件7.2.4貝葉斯公式=0．15×0．02+0．80×0．01+0．05×0．03=0．0125

對(duì)于問(wèn)題2，由貝葉斯公式：

【解】設(shè)A取到的元件是次品，Bi標(biāo)識(shí)取到的元件是由第i個(gè)廠(chǎng)家生產(chǎn)的，則

P(B1)=0．15，P(B2)=0．8，P(B3)=0．05

對(duì)于問(wèn)題1，由全概率公式：

以上結(jié)果表明，這個(gè)次品來(lái)自第2家工廠(chǎng)的可能性最大，來(lái)自第1家工廠(chǎng)的概率次之，來(lái)自第3家工廠(chǎng)的概率最小。60ppt課件7.2.4貝葉斯公式=0．15×0．02+0．80×0．0第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)661ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.3貝葉斯網(wǎng)絡(luò)概述6.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)6.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性6.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)議題貝葉斯網(wǎng)絡(luò)是一種圖形模型(概率理論和圖論相結(jié)合的產(chǎn)物)，又被稱(chēng)為貝葉斯信念網(wǎng)絡(luò)、因果網(wǎng)絡(luò)，是描述隨機(jī)變量(事件)之間依賴(lài)關(guān)系的一種圖形模式。是一種將因果知識(shí)和概率知識(shí)相結(jié)合的信息表示框架，使得不確定性推理在邏輯上變得更為清晰．理解性更強(qiáng)。已經(jīng)成為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)和決策支持系統(tǒng)的有效方法。從大量數(shù)據(jù)中構(gòu)造貝葉斯網(wǎng)絡(luò)模型，進(jìn)行不確定性知識(shí)的發(fā)現(xiàn)。62ppt課件7.3貝葉斯網(wǎng)絡(luò)概述6.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)貝葉斯7.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率表兩部分組成。貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)有向無(wú)環(huán)圖．由結(jié)點(diǎn)和有向弧段組成。每個(gè)結(jié)點(diǎn)代表一個(gè)事件或者隨機(jī)變量，變量值可以是離散的或連續(xù)的，結(jié)點(diǎn)的取值是完備互斥的。表示起因的假設(shè)和表示結(jié)果的數(shù)據(jù)均用結(jié)點(diǎn)表示。例如，圖7.1描述的網(wǎng)絡(luò)符合貝葉斯網(wǎng)絡(luò)的條件，是一個(gè)典型的貝葉斯網(wǎng)絡(luò)。63ppt課件7.3.1貝葉斯網(wǎng)絡(luò)的組成和結(jié)構(gòu)貝葉斯網(wǎng)絡(luò)由網(wǎng)絡(luò)結(jié)構(gòu)和條件7.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性貝葉斯網(wǎng)絡(luò)的優(yōu)勢(shì)主要體現(xiàn)在以下方面。

(1)貝葉斯網(wǎng)絡(luò)推理是利用其表達(dá)的條件獨(dú)立性，根據(jù)已有信息快速計(jì)算待求概率值的過(guò)程。應(yīng)用貝葉斯網(wǎng)絡(luò)的概率推理算法，對(duì)已有的信息要求低，可以進(jìn)行信息不完全、不確定情況下的推理。

(2)具有良好的可理解性和邏輯性，這是神經(jīng)元網(wǎng)絡(luò)無(wú)法比擬的，神經(jīng)元網(wǎng)絡(luò)從輸入層輸入影響因素信息，經(jīng)隱含層處理后傳人輸出層，是黑匣子似的預(yù)測(cè)和評(píng)估，而貝葉斯網(wǎng)絡(luò)是白匣子。

(3)專(zhuān)家知識(shí)和試驗(yàn)數(shù)據(jù)的有效結(jié)合相輔相成，忽略次要聯(lián)系而突出主要矛盾，可以有效避免過(guò)學(xué)習(xí)。

(4)貝葉斯網(wǎng)絡(luò)以概率推理為基礎(chǔ)，推理結(jié)果說(shuō)服力強(qiáng)，而且相對(duì)貝葉斯方法來(lái)說(shuō)，貝葉斯網(wǎng)絡(luò)對(duì)先驗(yàn)概率的要求大大降低。貝葉斯網(wǎng)絡(luò)通過(guò)實(shí)踐積累可以隨時(shí)進(jìn)行學(xué)習(xí)來(lái)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，提高預(yù)測(cè)診斷能力，并且基于網(wǎng)絡(luò)的概率推理算法，貝葉斯網(wǎng)絡(luò)接受了新信息后立即更新網(wǎng)絡(luò)中的概率信息。64ppt課件7.3.2貝葉斯網(wǎng)絡(luò)的優(yōu)越性貝葉斯網(wǎng)絡(luò)的優(yōu)勢(shì)主要體現(xiàn)在以下7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題貝葉斯網(wǎng)絡(luò)的主要功能是進(jìn)行預(yù)測(cè)和診斷，在貝葉斯網(wǎng)絡(luò)工作之前，需要對(duì)歷史數(shù)據(jù)進(jìn)行訓(xùn)練。所以，預(yù)測(cè)、診斷和訓(xùn)練構(gòu)成了貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題。

1．貝葉斯網(wǎng)絡(luò)預(yù)測(cè)貝葉斯網(wǎng)絡(luò)是一種概率推理技術(shù)，使用概率理論來(lái)處理在描述不同知識(shí)成分之間的條件而產(chǎn)生的不確定性。貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)是指從起因推測(cè)一個(gè)結(jié)果的推理，也稱(chēng)為由頂向下的推理。目的是由原因推導(dǎo)出結(jié)果。已知一定的原因(證據(jù))，利用貝葉斯網(wǎng)絡(luò)的推理計(jì)算，求出由原因?qū)е碌慕Y(jié)果發(fā)生的概率。

2．貝葉斯網(wǎng)絡(luò)診斷貝葉斯網(wǎng)絡(luò)的診斷是指從結(jié)果推測(cè)一個(gè)起因的推理，也稱(chēng)為由底至上的推理。目的是在已知結(jié)果時(shí)，找出產(chǎn)生該結(jié)果的原因。已知發(fā)生了某些結(jié)果，根據(jù)貝葉斯網(wǎng)絡(luò)推理計(jì)算造成該結(jié)果發(fā)生的原因和發(fā)生的概率。該診斷作用多用于病理診斷、故障診斷中，目的是找到疾病發(fā)生、故障發(fā)生的原因。65ppt課件7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題貝葉斯網(wǎng)絡(luò)的主要功7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題3．貝葉斯網(wǎng)絡(luò)學(xué)習(xí)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)是指由先驗(yàn)的貝葉斯網(wǎng)絡(luò)得到后驗(yàn)的貝葉斯網(wǎng)絡(luò)的過(guò)程。先驗(yàn)貝葉斯網(wǎng)絡(luò)是根據(jù)用戶(hù)的先驗(yàn)知識(shí)構(gòu)造的貝葉斯網(wǎng)絡(luò)，后驗(yàn)貝葉斯網(wǎng)絡(luò)是把先驗(yàn)貝葉斯網(wǎng)絡(luò)和數(shù)據(jù)相結(jié)合而得到的貝葉斯網(wǎng)絡(luò)。貝葉斯網(wǎng)絡(luò)學(xué)習(xí)的實(shí)質(zhì)是用現(xiàn)有數(shù)據(jù)對(duì)先驗(yàn)知識(shí)的修正。貝葉斯網(wǎng)絡(luò)能夠持續(xù)學(xué)習(xí)．上次學(xué)習(xí)得到的后驗(yàn)貝葉斯網(wǎng)絡(luò)變成下一次學(xué)習(xí)的先驗(yàn)貝葉斯網(wǎng)絡(luò)，每一次學(xué)習(xí)前用戶(hù)都可以對(duì)先驗(yàn)貝葉斯網(wǎng)絡(luò)進(jìn)行調(diào)整，使得新的貝葉斯網(wǎng)絡(luò)更能體現(xiàn)數(shù)據(jù)中蘊(yùn)涵的知識(shí)。貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)關(guān)系如圖7．2所示。

圖7.2貝葉斯網(wǎng)絡(luò)持續(xù)學(xué)習(xí)66ppt課件7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題3．貝葉斯網(wǎng)絡(luò)學(xué)習(xí)圖7.27.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題

貝葉斯網(wǎng)絡(luò)模型是由網(wǎng)絡(luò)結(jié)構(gòu)和條件概率分布表(ConditionalProbabilityTable，CPT)組成的，因此，必須通過(guò)給出貝葉斯網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)及每個(gè)結(jié)點(diǎn)上的CPT表來(lái)描述一個(gè)貝葉斯網(wǎng)絡(luò)。相應(yīng)地，基于貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)包括結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)兩個(gè)內(nèi)容。結(jié)構(gòu)學(xué)習(xí)，即利用訓(xùn)練樣本集，盡可能結(jié)合先驗(yàn)知識(shí)，確定最合適的貝葉斯網(wǎng)絡(luò)模型結(jié)構(gòu)。參數(shù)學(xué)習(xí)是在給定結(jié)構(gòu)下，確定貝葉斯網(wǎng)絡(luò)模型的參數(shù)，即每個(gè)結(jié)點(diǎn)上的CPT表。按照學(xué)習(xí)的目的以及訓(xùn)練樣本集是否完整，可以把學(xué)習(xí)方法歸為以下幾類(lèi)，如表7.1所示。表7.1貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法分類(lèi)表67ppt課件7.3.3貝葉斯網(wǎng)絡(luò)的三個(gè)主要議題

貝葉斯網(wǎng)絡(luò)模第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法4SQLserver2005中的貝葉斯網(wǎng)絡(luò)應(yīng)用5小結(jié)668ppt課件第7章目錄引例12貝葉斯概率基礎(chǔ)貝葉斯網(wǎng)絡(luò)概述3貝葉斯網(wǎng)7.4貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法7.4.1概率和條件概率數(shù)據(jù)7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法7.4.3貝葉斯網(wǎng)絡(luò)的診斷算法7.4.4貝葉斯網(wǎng)絡(luò)預(yù)測(cè)和診斷的綜合算法7.4.5貝葉斯網(wǎng)絡(luò)的建立和訓(xùn)練算法本節(jié)將從圖7.1所示的簡(jiǎn)單貝葉斯網(wǎng)絡(luò)的例子人手，分別介紹貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法。假定網(wǎng)絡(luò)中的概率和條件概率都已經(jīng)知道，也就是說(shuō)網(wǎng)絡(luò)已經(jīng)訓(xùn)練完畢。這些數(shù)據(jù)給出如下。69ppt課件7.4貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)、診斷和訓(xùn)練算法7.4.1概率和條件7.4.1概率和條件概率數(shù)據(jù)圖7.1中的Party和BrainTumor兩個(gè)結(jié)點(diǎn)是原因結(jié)點(diǎn)，沒(méi)有連線(xiàn)以它們作為終點(diǎn)。首先給出這兩個(gè)結(jié)點(diǎn)的無(wú)條件概率，如表7.2所示。

表7.2中的第二列是關(guān)于Party(參加晚會(huì))的概率：參加晚會(huì)的概率是0．2，不參加晚會(huì)的概率是0．8。第三列是關(guān)于患腦瘤的概率：患腦瘤的概率是0．001，不患腦瘤的概率是0.999。下面還將給出幾組條件概率，分別是：PT（參加舞會(huì)）已知的情況下HO(宿醉）的條件概率，如表7．3所示；HO（宿醉）已知的情況下SA（酒味）的條件概率，如表7．4所示；BT（腦瘤）已知的情況下PX（陽(yáng)性）的概率，如表7.5所示。表7．2結(jié)點(diǎn)PT、BT的無(wú)條件概率分布70ppt課件7.4.1概率和條件概率數(shù)據(jù)圖7.1中的Party和Brai7.4.1概率和條件概率數(shù)據(jù)

上面三個(gè)表的結(jié)構(gòu)相似，給出的都是條件概率。表7．3中第2列的意思是：當(dāng)參加晚會(huì)后，宿醉的概率是0.7；不宿醉的概率是0.3。第3列的意思是：當(dāng)不參加晚會(huì)時(shí)，不會(huì)發(fā)生宿醉的情況。對(duì)表7.4和表7.5的解釋類(lèi)似。表7．3已知結(jié)點(diǎn)PT時(shí)HO的條件概率71ppt課件7.4.1概率和條件概率數(shù)據(jù)上面三個(gè)表的結(jié)構(gòu)相似，給出7.4.1概率和條件概率數(shù)據(jù)

最后給出的是一個(gè)聯(lián)合條件概率：已知HO和BT時(shí)HA的概率，如表7．6所示。表7．6已知HO和BT時(shí)HA的概率當(dāng)沒(méi)有宿醉但患有腦瘤的情況下，頭疼的概率是0.9，不頭疼的概率是0.01。B當(dāng)宿醉發(fā)生和有腦瘤的情況下，頭疼的概率是0.99，不頭疼的概率是0.01。當(dāng)宿醉發(fā)生但沒(méi)有腦瘤的情況下，頭疼的概率是0.7，不頭疼的概率是0.3。表7．6中數(shù)據(jù)的意義是：72ppt課件7.4.1概率和條件概率數(shù)據(jù)最后給出的是一個(gè)聯(lián)合條件概7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法

貝葉斯網(wǎng)絡(luò)的功能之一就是在已知某些條件結(jié)點(diǎn)的情況下，預(yù)測(cè)結(jié)果結(jié)點(diǎn)的概率。當(dāng)然，貝葉斯網(wǎng)絡(luò)也可以在不知任何結(jié)點(diǎn)信息的情況下計(jì)算某個(gè)結(jié)果結(jié)點(diǎn)的發(fā)生概率。例如，在圖7．1中，如果不知道任何結(jié)點(diǎn)發(fā)生與否的信息，仍然可以估算結(jié)點(diǎn)HA的概率。為了方便，約定：對(duì)于一個(gè)結(jié)點(diǎn)Point，P(+Point)表示Point發(fā)生的概率，P(-Point)表示不發(fā)生的概率?！纠?．1】下面計(jì)算結(jié)點(diǎn)HA的概率。根據(jù)全概率公式，有P(+HA)=P(+BT)P(+H0)×0．99+P(+BT)P(-H0)×0．9+P(-BT)P(+H0)×0．7+P(-BT)P(-H0)×0．02=0.001*0.14*0.99+0.001*0.86*0.9+0.999*0.14*0.7+0.999*0.86*0.02=0．116(0.1159974)

P(-HA)=1-P(+HA)=O．884

也就是說(shuō)，在沒(méi)有任何結(jié)點(diǎn)信息(稱(chēng)為證據(jù))的情況下，頭疼的概率是0．116，不頭疼的概率是0．884。用同樣的方式，可以計(jì)算所有結(jié)點(diǎn)的概率，這樣可以使得圖7．1所示的網(wǎng)絡(luò)進(jìn)一步完善。事實(shí)上，完善結(jié)點(diǎn)概率也是預(yù)測(cè)貝葉斯網(wǎng)絡(luò)預(yù)測(cè)的一種情況，即在不知結(jié)點(diǎn)明確信息(證據(jù))情況下的預(yù)測(cè)。下面進(jìn)行一個(gè)原因結(jié)點(diǎn)明確情況下的預(yù)測(cè)。73ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法貝葉斯網(wǎng)絡(luò)的功能之一就是7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．2】計(jì)算已知參加晚會(huì)的情況下，第二天早晨呼吸有酒精味的概率。首先，由表7.3可以看出，當(dāng)PT發(fā)生時(shí)，HO發(fā)生的概率是0.7。也就是說(shuō)，當(dāng)參加晚會(huì)后，宿醉發(fā)生的概率是0.7，不發(fā)生的概率是O.3。由全概率公式

P(+SA)=P(+H0)P(+SA︱+H0)+P(-H0)P(+SA︱-H0)=O．7×O．8+0．3×0．1=O．59

74ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．2】計(jì)算已知參加晚會(huì)7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．3】計(jì)算已知參加晚會(huì)的情況下，頭疼發(fā)生的概率。由表7．3可知，當(dāng)PT發(fā)生時(shí)，HO發(fā)生的概率是0．7，不發(fā)生的概率是0．3；由表7．2可以看出，BT發(fā)生的概率是0．001，不發(fā)生的概率是0．999。已知HO和BT后，根據(jù)全概率公式，得到

P(+HA)=P(+H0)P(+BT)P(+HA︱+H0+BT)+P(+H0)P(-BT)×0．7+P(-HO)P(+BT)×0．9+P(-HO)P(-BT)×0．02=0.7*0.001*0.99+0.7*0.999*0.7+0.3*0.001*0.9+0.3*0.999*0.02=0．496467P(-HA)=1-P(+HA)=0．503533

也就是說(shuō)，如果知道已經(jīng)參加了晚會(huì)，而沒(méi)有其他方面的任何證據(jù)，則這個(gè)人頭疼的概率是0．496，不頭疼的概率是0．504。表7．3表7．6B75ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法【例7．3】計(jì)算已知參加晚會(huì)7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法可以比較分析例7．1和例7．3的結(jié)果：由于參加晚會(huì)，頭疼發(fā)生的概率大大增加了。結(jié)合上面給出的三個(gè)例子，下面給出貝葉斯網(wǎng)絡(luò)預(yù)測(cè)算法的步驟描述。如下所示。

輸入：給定貝葉斯網(wǎng)絡(luò)B(包括網(wǎng)絡(luò)結(jié)構(gòu)m個(gè)結(jié)點(diǎn)以及某些結(jié)點(diǎn)間的連線(xiàn)、原因結(jié)點(diǎn)到中間結(jié)點(diǎn)的條件概率或聯(lián)合條件概率)，給定若干個(gè)原因結(jié)點(diǎn)發(fā)生與否的事實(shí)向量F(或者稱(chēng)為證據(jù)向量)，給定待預(yù)測(cè)的某個(gè)結(jié)點(diǎn)t。輸出：結(jié)點(diǎn)t發(fā)生的概率。(1)把證據(jù)向量輸入到貝葉斯網(wǎng)絡(luò)B中。(2)對(duì)于B中的每一個(gè)沒(méi)處理過(guò)的結(jié)點(diǎn)n，如果它具有發(fā)生的事實(shí)(證據(jù))，則標(biāo)記它為已經(jīng)處理過(guò)；否則繼續(xù)下面的步驟。(3)如果它的所有父結(jié)點(diǎn)中有一個(gè)沒(méi)有處理過(guò)，則不處理這個(gè)結(jié)點(diǎn)；否則，繼續(xù)下面的步驟。(4)根據(jù)結(jié)點(diǎn)n的所有父結(jié)點(diǎn)的概率以及條件概率或聯(lián)合條件概率計(jì)算結(jié)點(diǎn)n的概率分布，并把結(jié)點(diǎn)n標(biāo)記為已處理。(5)重復(fù)步驟(2)～(4)，共m次。此時(shí)，結(jié)點(diǎn)f的概率分布就是它的發(fā)生／不發(fā)生的概率。算法結(jié)束。需要注意的是，第(5)步的作用是使得每個(gè)結(jié)點(diǎn)都有被計(jì)算概率分布的機(jī)會(huì)。76ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的預(yù)測(cè)算法可以比較分析例7．1和例7．7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法根據(jù)條件概率公式

P(+BT︱+PX)=P(+PX︱+BT)×P(+BT)／P(+PX)=0．98×0．001／0．011=0.08909P(-BT︱+PX)=l-P(+BT︱+PX)=0.91l

也就是說(shuō)，當(dāng)X光檢查呈陽(yáng)性的情況下，患腦瘤的概率是0.089，不患腦瘤的概率是0.911。

本部分將做相反方向的工作：在已知結(jié)果結(jié)點(diǎn)發(fā)生與否的情況下推斷條件結(jié)點(diǎn)發(fā)生的概率。【例7．4】計(jì)算已知X光檢查呈陽(yáng)性的情況下，患腦瘤的概率。由：P(AB)=P(A|B)*p(B)得到：P(A|B)=P(AB)/P(B)而：P(AB)=P(B|A)*P(A)所以：P(A|B)=P(AB)/P(B)=P(B|A)*P(A)/P(B)

上面的例子比較簡(jiǎn)單，可以直接用條件概率公式計(jì)算獲得。下面再看一個(gè)比較復(fù)雜的例子。先驗(yàn)概率77ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法根據(jù)條件概率公式本部分將做相反7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法【例7.5】計(jì)算已知頭疼的情況下，患腦瘤的概率。首先，根據(jù)表7．6給出的聯(lián)合條件分布計(jì)算已知BT情況下HA的邊緣條件概率。為此，要首先計(jì)算結(jié)點(diǎn)HO的概率分布。根據(jù)表7.3和全概率公式P(+HO)=P(+HO︱+PT)×P(+PT)+P(+HO︱-PT)×P(-PT)=0．7×0．2+0=0．14

上面的計(jì)算表明，沒(méi)有任何證據(jù)的情況下，宿醉發(fā)生的概率是0．14，不發(fā)生的概率是0．86。通過(guò)宿醉的發(fā)生概率，可以計(jì)算已知BT情況下HA的邊緣條件概率.78ppt課件7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法【例7.5】計(jì)算已知頭疼的情況7.4.2貝葉斯網(wǎng)絡(luò)的診斷算法最后，根據(jù)表7．7提供的條件概率，利用條件概率公式，可得

P(+BT︱+HA)=P(+HA︱+BT)×P(+BT)／P(+HA)=0．9126×0．001／0．116=0．007867P(+HA︱+BT)=P(+HO)×P(+HA|+BT，+HO)+P(-HO)×P(+HA|+BT，-HO)=0．14×0．99+0．86×0．9=0．9126P(-HA︱+BT)=1-P(+HA︱+BT)=0．087

上面的計(jì)算得到了已知患腦瘤的情況下頭疼的概率是0．913，不頭疼的概率是0．087。這個(gè)條件概率是一個(gè)邊緣分布，它是從聯(lián)合條件概率分布(H0，BT→H