貝葉斯網(wǎng)絡(luò)簡介

貝葉斯網(wǎng)絡(luò)簡介

Introduction

toBayesianNetworks

基本框架貝葉斯網(wǎng)絡(luò)：概率論圖論基本思路貝葉斯網(wǎng)絡(luò)是為了處理人工智能研究中的不確定性(uncertainty)問題而發(fā)展起來的.貝葉斯網(wǎng)絡(luò)是將概率統(tǒng)計應(yīng)用于復(fù)雜領(lǐng)域進行不確定性推理和數(shù)據(jù)分析的工具。BN是一種系統(tǒng)地描述隨即變量之間關(guān)系的工具。建立BN的目的主要是進行概率推理(probabilisticinference)。用概率論處理不確定性的主要優(yōu)點是保證推理結(jié)果的正確性。幾個重要原理鏈規(guī)則(chainrule)貝葉斯定理(Bayes’theorem)利用變量間條件獨立性Whatarethey?Bayesiannetsareanetwork-basedframeworkforrepresentingandanalyzingmodelsinvolvinguncertaintyWhataretheyusedfor?Intelligentdecisionaids,datafusion,featurerecognition,intelligentdiagnosticaids,automatedfreetextunderstanding,dataminingWheredidtheycomefrom?Crossfertilizationofideasbetweentheartificialintelligence,decisionanalysis,andstatisticcommunities貝葉斯網(wǎng)絡(luò)的幾個主要問題貝葉斯網(wǎng)絡(luò)概率推理(ProbabilisticInference)結(jié)構(gòu)學(xué)習(xí)(structurelearning)參數(shù)學(xué)習(xí)(Parameterlearning)分類(classification)隱變量及隱結(jié)構(gòu)學(xué)習(xí)(Hiddenvariablesandhiddenstructurelearning)一個簡單貝葉斯網(wǎng)絡(luò)例子一個簡單貝葉斯網(wǎng)絡(luò)例子計算過程：(1)P(y1|x1)=0.9P(z1|x1)=P(z1|y1,x1)P(y1|x1)+P(z1|y2,x1)P(y2|x1)=P(z1|y1)P(y1|x1)+P(z1|y2)P(y2|x1)=0.7*0.9+0.4*0.1=0.67P(w1|x1)=P(w1|z1,x1)P(z1|x1)+P(w1|z2,x1)P(z2|x1)=P(w1|z1)P(z1|x1)+P(w1|z2)P(z2|x1)=0.5*0.67+0.6*0.33=0.533該計算利用向下概率傳播及鏈?zhǔn)揭?guī)則。一個簡單貝葉斯網(wǎng)絡(luò)例子計算過程：(2)P(y1)=P(y1|x1)P(x1)+P(y1|x2)P(x2)=0.9*0.4+0.8*0.6=0.84P(z1)=P(z1|y1)P(y1)+P(z1|y2)P(y2)=0.7*0.84+0.4*0.16=0.652P(w1)=P(w1|z1)P(z1)+P(w1|z2)P(z2)=0.5*0.652+0.6*0.348=0.5348P(w1|y1)=P(w1|z1)P(z1|y1)+P(w1|z2)P(z2|y1)=0.5*0.7+0.6*0.3=0.53P(w1|y2)=P(w1|z1)P(z1|y2)+P(w1|z2)P(z2|y2)=0.5*0.4+0.6*0.6=0.56P(w1|x1)=P(w1|y1)P(y1|x1)+P(w1|y2)P(y2|x1)=0.53*0.9+0.56*0.1=0.533

該計算利用向上概率傳播及貝葉斯定理。為什么要用貝葉斯網(wǎng)絡(luò)進行概率推理？理論上，進行概率推理所需要的只是一個聯(lián)合概率分布。但是聯(lián)合概率分布的復(fù)雜度相對于變量個數(shù)成指數(shù)增長，所以當(dāng)變量眾多時不可行。貝葉斯網(wǎng)絡(luò)的提出就是要解決這個問題。它把復(fù)雜的聯(lián)合概率分布分解成一系列相對簡單的模塊，從而大大降低知識獲取和概率推理的復(fù)雜度，使得可以把概率論應(yīng)用于大型問題。統(tǒng)計學(xué)、系統(tǒng)工程、信息論以及模式識別等學(xué)科中貝葉斯網(wǎng)絡(luò)特里的多元概率模型：樸素貝葉斯模型，隱類模型，混合模型，隱馬爾科夫模型，卡爾曼濾波器等。動態(tài)貝葉斯網(wǎng)絡(luò)主要用于對多維離散時間序列的監(jiān)控和預(yù)測。多層隱類模型，能夠揭示觀測變量背后的隱結(jié)構(gòu)。概率論基礎(chǔ)

貝葉斯網(wǎng)絡(luò)所依賴的一個核心概念是條件獨立:ConditionalIndependence基本概念例子P(C,S,R,W)=P(C)P(S|C)P(R|S,C)P(W|S,R,C)chainrule=P(C)P(S|C)P(R|C)P(W|S,R,C)since=P(C)P(S|C)P(R|C)P(W|S,R)since貝葉斯網(wǎng)絡(luò)應(yīng)用醫(yī)療診斷，工業(yè)，金融分析，計算機（微軟Windows,Office），模式識別：分類，語義理解軍事（目標(biāo)識別，多目標(biāo)跟蹤，戰(zhàn)爭身份識別等），生態(tài)學(xué)，生物信息學(xué)（貝葉斯網(wǎng)絡(luò)在基因連鎖分析中應(yīng)用），編碼學(xué)，分類聚類，時序數(shù)據(jù)和動態(tài)模型圖分割與變量獨立圖分割，有向分割（d-separate,d-分割）變量X和Y通過第三個變量Z間接相連的三種情況：阻塞(block)設(shè)Z為一節(jié)點集合，X和Y是不在Z中的兩個節(jié)點?？紤]X和Y之間的一條通路。如果滿足下面條件之一，則稱被Z所阻塞：1．有一個在Z中的順連節(jié)點；2．有一個在Z中的分連節(jié)點3．有一個匯連節(jié)點W，它和它的后代節(jié)點均不在Z中。圖分蔥割與巾變量摔獨立如果X和Y之間希的所笛有通掀路都最被Z阻塞度，則娛說Z有向洗分割(d括ir誦ec奶te擾dse氏pa坡ra侵te云)X和Y，簡獎稱d-賀se愚pa針ra挽te努,d-分割瞎。那仆么X和Y在給債定Z時條廣件獨赴立。定理滿（整冬體馬悼爾科胸夫性合）設(shè)X和Y為貝贈葉斯腎網(wǎng)N中的封兩個撲變量富，Z為N中一虛個不禿包含X和Y的節(jié)作點集押合。史如果Z凈d-分割X和Y，那雜么X和Y在給府定Z時條腰件獨駛立，雜即d-分割址是圖商論的漸概念警，而流條件叫獨立現(xiàn)是概悟率論吹的概磨念，除所以峰定理羨揭示雨了貝晶葉斯我網(wǎng)絡(luò)健圖論現(xiàn)側(cè)面哈和概走率論真?zhèn)让娌g援的關(guān)兆系。馬爾忘科夫泛邊界與端兼正圖馬爾饑科夫漁邊界：條身件獨厚立性在貝扣葉斯素網(wǎng)絡(luò)礙中，辛一個盯節(jié)點X的馬戴爾科津夫邊太界(M收ar榴ko辨v決bo樂un捏da劣ry住)包括票其父益節(jié)點竭、子令節(jié)點臉、以倚及子句節(jié)點圍的父然節(jié)點臨。端正晝圖(M春or唐al棋g謎ra客ph恐):團樹盒傳播高算法-j飾un端ct唱io觀n舍t(yī)r欄ee設(shè)G為一宰有向帽無環(huán)妹圖，琴如果延將G中每脆個節(jié)辨點的龍不同幼父節(jié)劈燕點結(jié)炭合，濃即在炊他們杏之間絮加一填條邊帽，然腔后去銹掉所費有邊攏的方錢向，秒所得右到的盼無向乘圖成陸為G的端膀正圖征。貝葉貓斯網(wǎng)均絡(luò)推槐理(I嚴nf半er姑en司ce密)貝葉礎(chǔ)斯網(wǎng)應(yīng)絡(luò)可姐以利大用變轉(zhuǎn)量間坡的條死件獨偶立對崇聯(lián)合也分布謝進行矩分解雕，降舌低參確數(shù)個阿數(shù)。推理(i劇nf沈er錯en奴ce溉)是通碎過計燥算來不回答粥查詢矩的過呈程計算珠后驗織概率雙分布居：P(介Q|董E=噴e)貝葉敢斯網(wǎng)唱絡(luò)推晝理(I斷nf萌er扯en蘿ce寫)1變量轎消元傻算法(V賴ar照ia半bl互e芳el笑im命in顆at稀io棍n)利用康概率仿分解惑降低取推理疤復(fù)雜塞度。使得酬運算們局部炭化。克消元炕過程歪實質(zhì)貨上就忙是一煙個邊籍緣化無的過騙程。最優(yōu)叔消元倒順序次：最鵝大勢械搜索古，最疫小缺櫻邊搜窯索貝葉枕斯網(wǎng)階絡(luò)推違理(I咽nf永er攤en瓦ce拾)2.團樹淋傳播跪算法利用炸步驟釋共享挎來加掃快推賴理的燃算法代。團樹扔（cl沉iq皮ue惰t罪re屢e）是盜一種弄無向汽樹，位其中苗每一囑個節(jié)酬點代棗表一驅(qū)個變狹量集墾合，逮稱為材團(c遞li柿qu蘋e)。團若樹必直須滿們足變宴量連舌通性虹，即瞎包含刃同一紅變量氏的所狡有團劈燕所導(dǎo)歪出的蘿子圖瘦必須顫是連鎖通的吧。用團緣瑞樹組宮織變削量消助元的朗算法駝。計余算共低享團樹斥傳播棕算法價基本沿步驟若：將貝械葉斯欺網(wǎng)絡(luò)境轉(zhuǎn)化役為團粱樹團樹漏初始泰化在團修樹中纖選一瞞個團役作為饞樞紐全局棍概率朗傳播宿：Co縮慧ll撫ec征tM激es慚sa攜ge;Di撥st塘ri因bu槍te押Me假ss貪ag銹e邊緣覽化，筋歸一白化團樹積傳播訪算法屯示例戲（[T響LR躍]是樞絮紐節(jié)井點）變量埋消元柔和團拾樹傳艦播算行法都醋是精漏確推音理算閉法。貝葉寺斯網(wǎng)握絡(luò)推脆理(I愈nf內(nèi)er攻en現(xiàn)ce偏)3柴.近似沖推理(1聽)隨機統(tǒng)抽樣傻算法牽：順語序抽涼樣法國，MC耕MC抽樣是一免類應(yīng)狀用于姐數(shù)值悉積分派和統(tǒng)詠計物曬理中矩的近點似計法算方買法。遵基本蹈思想蒼是從揉某個雀概率熱分布趕隨機勾抽樣六，生怨成一愛組樣互本，墓然后魂從樣嚷本出駁發(fā)近輛似計留算感妙興趣錢的量棋。隨機役抽樣歐算法嗎理論至基礎(chǔ)點是大數(shù)神定律。MC備MC算法—吉布灘斯抽婚樣(G澤ib碧bs斷s脹am碗pl遍in拖g)。它芹首先添隨機艱生成反一個茫與證岡據(jù)E=兼e相一剖致的喊樣本s1作為啄起始嫌樣本廟。此嫌后，隙每個概樣本si的產(chǎn)側(cè)生都綢依賴強于前過一個足樣本si炕-1容,且si與si耀-1最多帥只有篇一個候非證各據(jù)變美量的加取值牢不同箭，記炎改變丟量為X。X的取倆值可信以從綁非證并據(jù)變喇量中蜂隨機偏選取雕，也門可以桃按某末個固齡定順滲序輪儲流決織定。在si中，X的值義通過昆隨機燒抽樣膊決定手，抽大樣分后布是仿：當(dāng)樣窯本數(shù)令時繼，馬燥氏鏈說理論峰保證蟲了算叮法返贈回的落結(jié)果祥收斂宅于真蒜正的汽后驗線概率堆。吉匯布斯燈抽樣脫的缺鼻點是完收斂映速度誦慢，悶因為截馬氏銀鏈往屑往需鼓要花廢很長佩時間障才能史真正霞達到冰平穩(wěn)嫩分布攔。(2理)變分猴法。貝葉鄰斯網(wǎng)架絡(luò)學(xué)抬習(xí)1.結(jié)構(gòu)倒學(xué)習(xí)掙：發(fā)笨現(xiàn)變臨量之垮間的再圖關(guān)花系，2別.參數(shù)奧學(xué)習(xí)梁：決團定變胳量之例間互節(jié)相關(guān)沈聯(lián)的榴量化閘關(guān)系惑。貝葉筐斯網(wǎng)厲絡(luò)結(jié)麗構(gòu)學(xué)商習(xí)選擇就具有罩最大影后驗哭概率乓的結(jié)甲構(gòu)茂。基于語評分論函數(shù)(s干co喬ri組ng墨f且un梢ct麻io斷n)：BI掩C,呆M牽DL制,抬AI緞C等拉普踢拉斯促近似(L岔ap依la館ce飼a產(chǎn)pp廢ro績xi妻ma鮮ti杠on夕):對拉狼普拉曉斯近客似簡認化，撓得BI來C:①B呢IC既不緊依賴潑于先卻驗也紫不依庫賴于杰參數(shù)伴坐標(biāo)牛系統(tǒng)②第一忽項度怖量參級數(shù)模港型預(yù)駕測數(shù)幣據(jù)的仇優(yōu)良靠程度臺，第符二項微用于覺懲罰早模型熄復(fù)雜廚度結(jié)構(gòu)銷學(xué)習(xí)負算法算法養(yǎng)：K2擠:通過鳴為每說個結(jié)葡點尋孩找父賠結(jié)點級集合盟來學(xué)渴習(xí)貝拜葉斯嘉網(wǎng)絡(luò)轉(zhuǎn)結(jié)構(gòu)吊。它摸不斷猶往父棚結(jié)點攪集中吼添加徹結(jié)點盞，并曉選擇異能最澤大化杰數(shù)據(jù)頭和結(jié)藍構(gòu)的叼聯(lián)合步概率武的結(jié)幫點集浮。Hi謝ll盞Cl便im嚼bi升ng(o尖pe粱ra鍋to少rs葉:預(yù)ed莊ge突a無dd谷it榆io拔n,犧e識dg膠e弓de糕le扛ti潛on肢,轉(zhuǎn)ed拳ge繳r相ev漠er層si削on時)從一背個無貴邊結(jié)川構(gòu)開繪始，爬在每僻一步嘴，它粉添加袍能最割大化BI饞C的邊謎。算襪法在呀通過稈添加自邊不延能再臺提高萍結(jié)構(gòu)溪得分弄時停遲止。缺值撈數(shù)據(jù)焰結(jié)構(gòu)羅學(xué)習(xí)粥：St杯ru痰ct棕ur惑al甩E祝MSE皆M不是嫩每次辯迭代蒜都同虹時優(yōu)歲化模逢型結(jié)推構(gòu)和千參數(shù)撲，而疼是先武固定遲模型菜結(jié)構(gòu)勒進行進數(shù)次習(xí)參數(shù)捆優(yōu)化婚后，素再進導(dǎo)行一真次結(jié)阻構(gòu)加排參數(shù)唇優(yōu)化籍，如臭此交恐替進送行。目的成：減井小計稼算復(fù)害雜度抱。貝葉習(xí)斯網(wǎng)刺絡(luò)參肌數(shù)學(xué)尤習(xí)最大切似然許估計完全岔基于巨數(shù)據(jù)廳，不土需要倦先驗拜概率初：貝葉躲斯估溉計假定幣在考它慮數(shù)蓮據(jù)之潑前，斬網(wǎng)絡(luò)嗚參數(shù)閃服從抽某個劣先驗窄分布塌。先繼驗的筑主觀膜概率,它的效影響鹿隨著鍛數(shù)據(jù)具量的傷增大寶而減松小。貝葉欄斯網(wǎng)葬絡(luò)參園數(shù)學(xué)嚇習(xí)缺值仆數(shù)據(jù)施最大僻似然秒估計棟：EM算法（迭煎代算當(dāng)法）1基于育對滾數(shù)據(jù)蟻進行按修補鋤，使?jié)甓?E既-s長te決p)2基于釣修補吧后的鏈完整譜數(shù)據(jù)卡計算戰(zhàn)的最訓(xùn)大似耕然估棕計(M犯-S布te止p)EM算法帆是收疲斂的肚。隱結(jié)碧構(gòu)模循型學(xué)坑習(xí)隱變掘量是筆取值竿未被該觀察型到的裝變量龜。通灑過數(shù)盼據(jù)分態(tài)析：1隱變弄量的已個數(shù)2隱結(jié)罵構(gòu)3隱變亂量的曉勢4模型細參數(shù)方法役：基掩于評坡分函中數(shù)的膀爬山沈法G是一姑個隱昂變量秧模型澡，D是一絲式組數(shù)號據(jù)。是G的參嚇數(shù)的聾某一邊個最速大似狂然估譯計，軟是G的有鳳效維效數(shù)。隱變?nèi)柿縿輯寣W(xué)習(xí)韻爬山游算法隱結(jié)撞構(gòu)學(xué)斯習(xí)雙周重爬化山算湯法貝葉條斯網(wǎng)士絡(luò)用鐮于分笑類和哲因果闖關(guān)系利分析(1瓶)泳Na適?v腥e譽Ba持ye示si夜an仇n電et緒wo瓦rk本s(2揚)掉Tr況ee傲a棵ug陶me此nt蹄B溉ay春es添ia員n渣ne踩tw器or帖ks省,沈et地a頭l.(3怠)炮PC躺(Sp勁ir暮te燃set解a絞l.盯,2愚00衡0)咬,溉I章C(說Pe啦ar迎l,智20梢00匹)家a宗lg蟻or徐it館hm動態(tài)庭貝葉碼斯網(wǎng)葛絡(luò)DB騰N:跨D渣yn乖am同ic象B忍ay洋es在ia櫻n跟ne掉tw房誠or找ksDe些al秒in拳g懶wi壞th然t恒im濾eIn更m背an龍y勁sy前st鵝em帝s,目d屆at冊a附ar費ri賠ve桿s累se鳴qu就en誦ti仁al安lyDy盆na捷mi啞c暮Ba輕ye賺s扭ne泊ts棉(DB亡Ns)穩(wěn)ca陜n針be綢u葛se爺d取to獨m踐od送el板s糊uc匪h例ti帖me星-s遲er吼ie播s律(s熔eq商ue矮nc著e)汽d荷at諒aSp棚ec都ia宅l司ca若se躬s格ofDB爺Nsin院cl棒ud逐eSt潮at訊e-夢sp培ac誼e獄mo袖de搖lsHi領(lǐng)dd靠en畏M籃ar困ko掩v水mo棍de好ls洋(敢HM榨Ms撤)So水ft著wa氧re租T存oo設(shè)lsMi扯cr待os督of挺t’洞s倉MS柱BN警XBN斜TKe殺vi甲n另Mu痕rp高hy惰.Ba既ye羅sN盼etTo俱ol截bo粘x語fo資rMa床tl獵ab(B不NT誦).纏h革tt奮p:柱//ww費w.柜cs糾.u味bc對.c促a/富~m腦ur螺ph宜yk咱/S肚of盜tw鞠ar薪e/蘆BN梨T/耀bn餡t.嘗ht荒ml,注20偽01環(huán).參考底文獻(美)拉塞右爾，(美)諾文央著.姜哲轟等款譯.人工宅智能—一種計現(xiàn)代揚方法(第二犁版)，北朗京：組人民北郵電集出版屠社，20給04零.6午.夏(C促ha蔥pt渠er侍1礙3,脈14顯,1秩5,傳20帖).Ke耗vi頑n壟Pa吐tr丟ic聽k餅Mu霞rp優(yōu)hy覆.Dy敬na艷mi叉c集Ba彼ye往si黎an脾N瘦et誰wo獲rk主s:廁R證ep呀re柱se熟nt檢at猶io努n,權(quán)I貌nf亮er孝en隔ce翼a載nd額l也ea袖rn攪in圍g.既Ph編D池di扇ss艙er省ta旋ti沸on局,忙Un益iv淺er嘴si序ty浸