貝葉斯 例子1

1、貝葉斯網(wǎng)絡(luò)（一）分類：貝葉斯網(wǎng)2013-08-17 18:47 680人閱讀 評論（3）收藏 舉報(bào)貝葉斯網(wǎng)絡(luò) 圖像處理目標(biāo)識別由于自己最近在學(xué)習(xí)貝葉斯網(wǎng)絡(luò)，在學(xué)習(xí)中遇到一些問題，查找相關(guān)資源的博客很 少，自己就寫了點(diǎn)學(xué)習(xí)筆記。首先，介紹貝葉斯網(wǎng)絡(luò)（Bayesian Network，簡稱BN）是一種特殊的圖形模型，是 有向無環(huán)圖（Diected Acyclic Graph，簡稱DAG）。也就是說，在貝葉斯網(wǎng)絡(luò)中，所有的 邊都是有方向的（即指向一個(gè)特殊的方向），而且不存在回路（即不存在這樣的一條路徑， 從某個(gè)節(jié)點(diǎn)出發(fā)，沿著一組有向邊前進(jìn)又回到出發(fā)點(diǎn)）。下圖是貝葉斯網(wǎng)絡(luò)的一個(gè)簡單的例 子：其中，節(jié)點(diǎn)

2、集合為A，B，C，邊的集合為BA，BC。這組成了一個(gè)有向無環(huán)圖:沒有任何無向邊（沒有雙向的邊）。沒有環(huán)路（從任何一個(gè)節(jié)點(diǎn)出發(fā)，經(jīng)過有向邊，無法回到出發(fā)節(jié)點(diǎn)）。上圖中，已知節(jié)點(diǎn)B的情況下，節(jié)點(diǎn)A和C相互獨(dú)立，則P（A|B,C）=P（A|B）。根據(jù)此 貝葉斯網(wǎng)絡(luò)，可知所有變量的聯(lián)合概率密度函數(shù)為：P(A,B,C)=P(A|B)*P(B)*P(C|B)對于通常的貝葉斯網(wǎng)絡(luò)，已知節(jié)點(diǎn)X=X1,X2,.,Xn，根據(jù)鏈?zhǔn)綔?zhǔn)則（Chain Rule），其聯(lián) 合概率密度函數(shù)為：尸(X) = |產(chǎn)(/ I pwwMX I其中，parant(Xi)是節(jié)點(diǎn)Xi的父節(jié)點(diǎn)(parant)的集合。1貝葉斯網(wǎng)的學(xué)習(xí)簡介：貝

3、葉斯網(wǎng)的學(xué)習(xí)就是確定貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)和與之相應(yīng)的參數(shù)，在已知節(jié)點(diǎn)數(shù)目的條件下，貝葉斯網(wǎng)的結(jié)構(gòu)和參數(shù)可以有3中方式確定通過專家只是確定網(wǎng)絡(luò)的結(jié)構(gòu)，并指定它的分布參數(shù)。通過專家只是確定網(wǎng)絡(luò)的結(jié)構(gòu)，然后從數(shù)據(jù)中學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)。直接從數(shù)據(jù)中學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)和參數(shù)。貝葉斯定理：在貝葉斯解釋下。事件的先驗(yàn)概率表示為，提供概率的主體所據(jù)有的知識。貝葉斯定理把事件的先驗(yàn)概率與后驗(yàn)概率聯(lián)系起來，用來表示事件的后驗(yàn)概率：pf F I 標(biāo) 0.，片If 1J當(dāng)不知道p(x|Q時(shí)，bayes做了如下假設(shè)：如果沒有任何先驗(yàn)知識確定p(x|s)，則采 用均勻分布作為其分布，這個(gè)稱為貝葉斯假設(shè)。貝葉斯網(wǎng)把貝葉斯理論應(yīng)用

4、于圖中，在圖中，如果從節(jié)點(diǎn)A有一條指向節(jié)點(diǎn)B的弧， 則節(jié)點(diǎn)A叫做節(jié)點(diǎn)B的父節(jié)點(diǎn)，所有父節(jié)點(diǎn)組成父節(jié)點(diǎn)集，用ni表示第i個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn) 集，給一個(gè)域U=x1,x2,.,xm，其中x1,x2,.,xm為m個(gè)離散變量，用這些變量表示網(wǎng)絡(luò) 的節(jié)點(diǎn)，因此，網(wǎng)絡(luò)的節(jié)點(diǎn)也叫節(jié)點(diǎn)變量。在根據(jù)變量間的依賴關(guān)系用有向弧把節(jié)點(diǎn)連接起 來，就構(gòu)成域U的貝葉斯網(wǎng)，它就表示域中變量的聯(lián)合概率分布。把節(jié)點(diǎn)進(jìn)行排序，即每 個(gè)節(jié)點(diǎn)都排在其父節(jié)點(diǎn)的后面，根據(jù)概率的鏈規(guī)則，節(jié)點(diǎn)變量的聯(lián)合概率為：INj e - i 川 I 勻=JI* f n I 根據(jù)變量間的獨(dú)立性關(guān)系，對于每一個(gè)變量xi,存在一個(gè)子集ni x1,x2,.,xm,使

5、得xi和x1,x2,.,xm給定ni時(shí)條件獨(dú)立，則：2貝葉斯網(wǎng)的學(xué)習(xí)：貝葉斯網(wǎng)的學(xué)習(xí)就是確定貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。當(dāng)前比較流行的方法是從數(shù) 據(jù)中學(xué)習(xí)貝葉斯網(wǎng)，數(shù)據(jù)指的是域U的一組觀測值:D=x1,x2,.,xn，其中xi=(x1i,x2i,.,xmi) 為一個(gè)觀測實(shí)例，i=1,2, .，n為實(shí)例個(gè)數(shù)。根據(jù)觀測狀況數(shù)據(jù)可分為完備數(shù)據(jù)集和不完 備數(shù)據(jù)集。完備數(shù)據(jù)集中的每個(gè)實(shí)例，都具有完整分觀測數(shù)據(jù)，不完備數(shù)據(jù)集是指對某個(gè)實(shí) 例的觀察有部分缺值或者觀測異常的情況。結(jié)合對貝葉斯網(wǎng)了解的先驗(yàn)知識，貝葉斯網(wǎng)的學(xué) 習(xí)可分為4種情況：知道網(wǎng)絡(luò)結(jié)構(gòu)，數(shù)據(jù)完備知道網(wǎng)絡(luò)結(jié)構(gòu)，數(shù)據(jù)不完備不知道網(wǎng)絡(luò)結(jié)構(gòu)，數(shù)據(jù)完備不

6、知道網(wǎng)絡(luò)結(jié)構(gòu)，數(shù)據(jù)不完備3貝葉斯網(wǎng)參數(shù)的學(xué)習(xí)：貝葉斯網(wǎng)的參數(shù)學(xué)習(xí)就是在已知網(wǎng)絡(luò)結(jié)構(gòu)(從先前已知或者從數(shù)據(jù)中學(xué)習(xí)得到)的條 件下，來確定每個(gè)節(jié)點(diǎn)的條件概率表。根據(jù)貝葉斯網(wǎng)節(jié)點(diǎn)變量的取值不同，將貝葉斯網(wǎng)分為 離散型貝葉斯網(wǎng)，連續(xù)型貝葉斯網(wǎng)和混合型貝葉斯網(wǎng)。目前研究的最多的是離散貝葉斯網(wǎng)， 對于含有連續(xù)變量的貝葉斯網(wǎng)，參數(shù)學(xué)習(xí)可分兩大類先對連續(xù)變量進(jìn)行離散化，再用離散變量學(xué)習(xí)的學(xué)習(xí)方法通過設(shè)置一些約束條件，直接對其進(jìn)行處理。文獻(xiàn)2提出了一種叫做 LCGBN(LinearConditional Gaussian Bayesian Net-works) 的方法用于混合貝葉斯網(wǎng)的參數(shù)學(xué)習(xí).LCGBN作了如

7、下假設(shè):連續(xù)隨機(jī)變量服從正態(tài)分布; 離散變量節(jié)點(diǎn)的父節(jié)點(diǎn)只能是離散的，連續(xù)變量節(jié)點(diǎn)的父節(jié)點(diǎn)可以是離散的或連續(xù) 的.LCGBN作了如下假設(shè)：連續(xù)隨機(jī)變量服從正態(tài)分布；離散變量節(jié)點(diǎn)的父節(jié)點(diǎn)只能是離散的，連續(xù)變量節(jié)點(diǎn)的父節(jié)點(diǎn) 可以是離散的或連續(xù)的對于不完備數(shù)據(jù)，先要用近似的方法，如Monte-Carlo方法、Gaussian逼近、EM算法 和Gibs抽樣法等對缺失數(shù)據(jù)進(jìn)行估計(jì).這些估計(jì)方法都是基于數(shù)據(jù)缺失是隨機(jī)的假設(shè)，但在 實(shí)際中，這一假設(shè)常常不成立,針對這一情況，文獻(xiàn)3提出了一種叫做RBE(Robust Bayesian Estimator)的不基于這一假設(shè)的貝葉斯網(wǎng)的參數(shù)學(xué)習(xí)算法，它通過進(jìn)行靈敏

8、度分析來增強(qiáng)算 法對數(shù)據(jù)缺失的健壯性.對完備數(shù)據(jù)d進(jìn)行參數(shù)學(xué)習(xí)的目標(biāo)是找到能以概率p(xi+e)形式概括 數(shù)據(jù)d的參數(shù)e.尋找e 一般先指定一定的概率分布，如8分布、多項(xiàng)分布、正態(tài)分布、泊松 分布等，然后估計(jì)這些分布的參數(shù).對完備數(shù)據(jù)，有2種常用的貝葉斯網(wǎng)的參數(shù)學(xué)習(xí)算法:最大似然估計(jì)法和貝葉斯方法.這2 種方法都是基于獨(dú)立同分布(IndependentIdentifyDistribution)假設(shè)的：樣本數(shù)據(jù)是完備的；各實(shí)例之間是相互獨(dú)立的；各實(shí)例服從統(tǒng)一的概率分布.4貝葉斯網(wǎng)的結(jié)構(gòu)學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)學(xué)習(xí)的目的就是在給定數(shù)據(jù)D的條件下，找到一個(gè)與D最匹配的有向無 環(huán)圖。以后會(huì)在深入學(xué)習(xí)每個(gè)階段

9、，學(xué)習(xí)中，希望一起討論。貝葉斯網(wǎng)絡(luò)的建立舉例說明：一條兩岸都有樹的河，河里有魚群，這些魚需要保護(hù)。這條河從農(nóng)田地里穿過，受干旱 條件的影響，下雨通過水流能夠幫助魚的生長數(shù)量(native fish populations)，并且讓魚的 棲息地更適宜生存，同樣連通著不同的棲息地。然而下雨能把農(nóng)藥沖進(jìn)河里，會(huì)對魚造成危 害。如何建立適宜的貝葉斯網(wǎng)呢？首先，我們要確定感興趣的變量，這些變量將成為BN的節(jié)點(diǎn)。農(nóng)藥的濃度和水的流動(dòng) 直接影響著魚的數(shù)量。因此，魚數(shù)量(Native Fish Abundance)是個(gè)葉子節(jié)點(diǎn)(leaf node)， 僅有兩個(gè)父節(jié)點(diǎn)。年降水(Annual Rainfall)多

10、少?zèng)Q定了水流(RiverFlow)，干旱條件(Drought Conditions)決定了有多少水流進(jìn)河里。農(nóng)藥的使用量(Pesticide Use)和是否有足夠的雨 水(Annual Rainfall)決定了河里的農(nóng)藥量(Pesticide in River)。最后，干旱(Drought Conditions)和雨水(Annual Rainfall)決定了樹木條件(Tree Condition)0具體如下圖：Native Fish Abundance(Pesticide Use ) ( Annual Rainfall) ( Drought Conditions)(Tree Condition

11、)卜面是CPTs：(Pesticide in river) (River Flow )J(.PesiicjdesJPAhnijal RahialhRelgAug A略 Abot沁vg7U 20PNai i v&Fis-h A Inin d a iKe I) Pesikldes, RjverFlowlHigh Mkdium LowHighHighPoorLgQuodin, n40ID1540四注意，上面的Pesticide Use和Annual Rainfall是父節(jié)點(diǎn)，有單個(gè)的概率分布表。 對于有父節(jié)點(diǎn)的節(jié)點(diǎn)，它與受父節(jié)點(diǎn)的條件概率分布有關(guān)。Native Fish Abundance概率表，說

12、明了 Native Fish Abundance節(jié)點(diǎn)與 Pesticide 節(jié) 點(diǎn)和River Flow節(jié)點(diǎn)之間的概率關(guān)系。有三個(gè)級別，High，Low和Medium。我們可以從 表中看出最適合魚的條件是低農(nóng)藥（Low）和很好的水流（Good）即：（0.80，0.15, 0.05）。 最差的情況是高農(nóng)藥（High）和水流差（Poor）的情況，即（0.01, 0.10，0.89）。當(dāng)然， 影響魚數(shù)量的不僅僅有這幾個(gè)因素，或許有其天敵或者疾病等原因，不在考慮范圍內(nèi)?，F(xiàn)在，我們有貝葉斯結(jié)構(gòu)和參數(shù)，我們可以進(jìn)行推理。也就是說我們可以在不同的數(shù) 據(jù)情況下更新節(jié)點(diǎn)概率值和更新貝葉斯網(wǎng)。下邊是個(gè)沒有證據(jù)的貝

13、葉斯網(wǎng)：High21.4Medium20.8Low57.8Pesticide UseHigh90.0 EfiLow10.0 kAnnual RainfallBelow average 10.0Average70.0Above average 20.075.9 64zRiver FlowDrought ConditionsYes 50.0No 50.0=HPesticide in riverHigh 57.0Low 43.0INative Fish AbundanceTree ConditionGood53.3Damaged38.4 成：Dead8.30 由于沒有觀察數(shù)據(jù)，從這個(gè)網(wǎng)絡(luò)中可以看出在

14、Low的情況下魚的數(shù)量比例native fish 在57.8%。如果我們在網(wǎng)絡(luò)里增加觀察的節(jié)點(diǎn)，在平均雨水和不干旱的條件下，高農(nóng)藥High 使用條件下，我們可以得到新的網(wǎng)絡(luò)：在這個(gè)例子中，預(yù)測魚的數(shù)量(Native Fish Abundance)會(huì)增長，因?yàn)樗?RiverFlow)條件(Good)很好，盡管河里農(nóng)藥含量(Pesticide in river)增長。作為一種推理方法，在新加入節(jié)點(diǎn)證據(jù)(Native Fish Abundance)時(shí)貝葉斯網(wǎng)能夠用于診斷:Pesticide in riverHigh 80.0Low 20.0 *Pesticide UseHigh 100Low0An

15、nual RainfallBelow average0Average0Above average 100ii2011Drought ConditionsRiver FlowGood 99.0Poor 1.0iiiNative Fish AbundanceHigh31.7 *Medium34.8Low33.5；Tree ConditionGood90.0Damaged9.00. ! ! ! ! !Dead1.0Pesticide UseAnnual RainfallDrought ConditionsHigh 84.6Low 15.4Below average 8.04Average62.5Yes 30.1No 69.9Above average 29.4Pesticide in riverHigh 28.2Low 71.8=llRiver FlowGood92.8Poor7.24 HTTTree ConditionGood65.0:Damaged29.6 GT !Dead5.36 （：91.1 72Native Fish AbundanceHigh100Medium0Low0與沒有證據(jù)節(jié)點(diǎn)相比較，我們可以看出來幾乎不是農(nóng)藥量的過高，也不是干旱天件 很嚴(yán)重，更可能是雨水超過了平均水平。最后，我們可以用貝葉斯網(wǎng)在任意條件下進(jìn)行預(yù)測。 這里有一種有證據(jù)的情況，使用農(nóng)藥很高，影響魚數(shù)量