數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)講稿貝葉斯網(wǎng)絡(luò)

1第11章貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)是1986年由Pearl提出的，根據(jù)各個(gè)變量之間的概率關(guān)系，使用圖論方法表示變量集合的聯(lián)合概率分布的圖形模型。它提供了一種自然的表示因果信息的方法，用來(lái)發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。在這個(gè)網(wǎng)絡(luò)中，用節(jié)點(diǎn)表示變量，有向邊表示變量間的依賴關(guān)系。其特點(diǎn)有：貝葉斯理論給出了信任函數(shù)在數(shù)學(xué)上的計(jì)算方法，具有穩(wěn)固的數(shù)學(xué)根底，同時(shí)刻畫(huà)了信任度與證據(jù)的一致性以及信任度隨證據(jù)而變化的增量學(xué)習(xí)特性；在數(shù)據(jù)挖掘中，貝葉斯網(wǎng)絡(luò)可以處理不完整和帶有噪聲的數(shù)據(jù)集，它用概率測(cè)度的權(quán)重來(lái)描述數(shù)據(jù)間的相關(guān)性，從而解決了數(shù)據(jù)間的不一致性，甚至是相互獨(dú)立的問(wèn)題；用圖形的方法描述數(shù)據(jù)間的相互關(guān)系，語(yǔ)義清晰、可理解性強(qiáng)，這有助于利用數(shù)據(jù)間的因果關(guān)系進(jìn)行預(yù)測(cè)分析；11.1貝葉斯方法的根本觀點(diǎn)絲貝葉闊斯分向析方假設(shè)法的寧特點(diǎn)旦是使敲用猛概率蠢去表沙示所銹有形妻式的碼不確毛定性饞。學(xué)驕習(xí)或默其他獎(jiǎng)形式屯的推侍理都童是用司概率揉規(guī)那么弓來(lái)實(shí)初現(xiàn)的虜。貝悠葉斯仰學(xué)習(xí)普的結(jié)獵果表伴示為呈隨機(jī)輔變量聯(lián)的手概率憂分布繁，它脾可以曉解釋腳為我宮們對(duì)章不同布可能較性的獅信任扎程度黑。貝喂葉斯叮學(xué)派逝的起扮點(diǎn)是丙貝葉甲斯的蠟兩項(xiàng)浴工作偉：貝式葉斯先定理丟和貝瞇葉斯銷假設(shè)啞。蕉假設(shè)覆隨機(jī)撒變量騙的聯(lián)膝合分男布密疲度是蘇，它冬們的猛邊際籃密度紹分別旺為織。設(shè)霸是觀厚測(cè)向姐量，絮是末史知參梅數(shù)向傘量，縫那么可僵通過(guò)御觀測(cè)復(fù)向量猜來(lái)獲茶得末由知參釀數(shù)向混量的鑰估計(jì)銳。貝愧葉斯坊定理蛾為：嫁這里筋，鋼是躍的先諷驗(yàn)分帆布。呼上式佩可以侵看出豐，對(duì)蝴末知燕參數(shù)歇向量閱的估綠計(jì)綜級(jí)合了拴它的掘先驗(yàn)拳信息彈和道樣本爐信息碰。而墊傳統(tǒng)式的參購(gòu)數(shù)估竟計(jì)方響法井只從乳樣本續(xù)數(shù)據(jù)釋獲取內(nèi)信息牽，如驢最大倚似然騰估計(jì)瞎。響B(tài)a劫ye亂si臨an言方法梢對(duì)末狡知參考數(shù)向章量估覺(jué)計(jì)的爪一般架過(guò)程積為：跪?qū)⒛┐_知參忘數(shù)看律成是愚隨機(jī)荷變量加；樓根據(jù)未以往夏末知課參數(shù)塌的知探識(shí)，狡確定均先驗(yàn)企分布猛；閑計(jì)算協(xié)后驗(yàn)謹(jǐn)分布滅密度智，做擴(kuò)出對(duì)老末知拳參數(shù)鑼的推粗?jǐn)唷Ｓ惾~敘斯假那么設(shè)眠：如踐果沒(méi)揪有任辮何以呼往的荷知識(shí)侄來(lái)幫夠助確澤定臟，貝愿葉斯榮提出錦可以搏采用濁均勻板分布括作為胸其分促布，甜即參旋數(shù)在故它的犯變化啟范圍灑內(nèi)，辛取到膨各個(gè)宇值的孝時(shí)機(jī)稈是相雙同的抽。訴11灰.2捉貝蛇葉斯擁網(wǎng)絡(luò)于的構(gòu)蛙造原調(diào)理善定義吵：貝烏葉斯憲網(wǎng)絡(luò)眨是一描個(gè)二秒元組同B=會(huì)<G土，P瀉>，顏其中違①柜網(wǎng)旅絡(luò)結(jié)稿構(gòu)G譜=<進(jìn)V，樣A>擺是一即個(gè)有閥向無(wú)突環(huán)圖弊，廢為結(jié)答點(diǎn)集拜；A踩為弧細(xì)的集刻合；說(shuō)②禿網(wǎng)君絡(luò)參驅(qū)數(shù)P碰中的駐每一巡個(gè)元彩素代土表結(jié)案點(diǎn)息的條攏件概納率密早度；裕那么麗由概乒率的難鏈規(guī)灘那么得姑對(duì)于毫n個(gè)吵離散徐二值墾隨機(jī)固變量慮，要?dú)W確定源它們深的聯(lián)傻合分背布，金需要血給出躺個(gè)概涼率值蠅。這價(jià)當(dāng)n龜較大杯時(shí)，芳巨大足的存綱儲(chǔ)要挖求往爆往難騙以滿盒足。悟因此濕，一輔定的猾假設(shè)喝獨(dú)立盒性是棉必要灑的。推隨機(jī)努變量?jī)H間的把假設(shè)求獨(dú)立火性原艘那么使鈴得貝綠葉斯題網(wǎng)絡(luò)提所需欺定義狡的先演驗(yàn)概障率大直為減達(dá)少。見(jiàn)聯(lián)合灑概率約分布墨由隨定機(jī)變嬌量各課自的摟分布烈的乘澇積所縱唯一勝確定獨(dú)。扛對(duì)于玉網(wǎng)絡(luò)僵結(jié)構(gòu)悠中的盜任一岸結(jié)點(diǎn)故，必盆可找擱到一穩(wěn)個(gè)與廚條件辛都不右獨(dú)立貍的最紋小子豆集銹，使詢得夜貝葉嗓斯網(wǎng)氧絡(luò)是津一種災(zāi)用圖舍表示梅知識(shí)藥的方質(zhì)法，排并且撈是可宏以計(jì)編算的貝概率首模型銳。通儲(chǔ)過(guò)這恐種網(wǎng)防絡(luò)，佳可以改綜合販各種以來(lái)源鐘的數(shù)喂據(jù)，舊并對(duì)境這些禿數(shù)據(jù)炕進(jìn)行制綜合偷和推扇理。臣給定講一個(gè)客聯(lián)合泉概率適分布導(dǎo)以及含變量乖的一欄個(gè)排希序矛。將少作為撿根結(jié)發(fā)點(diǎn)開(kāi)制始，桌并賦抄予走以先奪驗(yàn)概棍率分驢布萍，然染后用銳一結(jié)荒點(diǎn)表仁示距，如班果某與雅有關(guān)臂，那么去從丙到默建立賤一聯(lián)能結(jié)，狂并用皆表示職聯(lián)結(jié)捷強(qiáng)度瓣。如定果左與良無(wú)關(guān)道，那么瞎賦予威以先懶驗(yàn)概歪率分筍布銅。在鏡第悲級(jí)從蛋的父耗結(jié)點(diǎn)笑集合碑，〔傲〕，額畫(huà)一決組方遣向線身聯(lián)結(jié)棉到澆，并驕用撤條件贏概率午定量?jī)?cè)表示童，結(jié)找果可鼻以得講到一鼻個(gè)有突向非跪循環(huán)純圖，券可用徐于表錄示坑中所格表達(dá)普的許李多獨(dú)擁立關(guān)眉系，子該圖允就稱亡作貝桂葉斯律網(wǎng)絡(luò)罰。帳反過(guò)啞來(lái)，祖包含撫有重汁構(gòu)原爬始分隆布函無(wú)數(shù)所追必需建的所迎有信糧息，全在排顆序鞠下，船有如接下關(guān)速系：絕[奔例如皂]槽下誘圖是狠一個(gè)診典型葉的貝茂葉斯船網(wǎng)絡(luò)櫻，它手的聯(lián)育合概委率分納布函娘數(shù)為潔11舌.3寒貝省葉斯艱網(wǎng)絡(luò)良在數(shù)蘆據(jù)挖治掘中外的應(yīng)盒用錫雷串1〕刃貝葉煙斯方引法用近于分甲類及胖回歸叢分析虛分類煉規(guī)那么禁發(fā)現(xiàn)殲是根答據(jù)客吩體的走特征蒜向量盆值及圍其他潔約束愧條件曠，將墨其分呆到某有個(gè)類奴別中往。在傅數(shù)據(jù)怕挖掘隆中，孩主要暖研究綿如何黨從數(shù)四據(jù)或唇經(jīng)驗(yàn)傭中學(xué)煮習(xí)這烘些分興類規(guī)婚那么。領(lǐng)對(duì)于驅(qū)分類烈問(wèn)題逝，有建些情援況，澤輸入謊特征奮向量良唯一魄對(duì)應(yīng)霞著一刑個(gè)類帝別，總這種艘問(wèn)題榮稱為摩確定濱性的秀分類言問(wèn)題適；而宰有些裕情況亡，會(huì)蔬出現(xiàn)帖類別編重疊奇現(xiàn)象滔，也忠就是猶說(shuō)，臥來(lái)自分于不蔽同類此別的嫩樣本蒼從外幣觀特息征上懷具有握極大哀的相撕似性毀，這身時(shí)我甩們只杯能說(shuō)雕某一這類別業(yè)的概睡率是賣多大堂，但遵我們資必須革為它洋選擇賭一個(gè)厚類別夜。嗚Ba吐ye融si機(jī)an精學(xué)派沖采用怨兩種本處理巖方法弊：卡①偏選瓦擇后順驗(yàn)概扎率最冶大的斤類別榮假設(shè)焰特征廉向量味，類堪別向果量員。型分類炸的目唇的就毒是把翅特征嬌向量打X廁，歸旺入到僚某個(gè)飾類別積中。衡方法揉是：翻如果莖，那么梅。此笑時(shí)取蜓判別奇函數(shù)丹?？膳酪宰C私明，拖這種夕分類愁方法庸能夠嘴保證墾分類刻誤差尤最小凍。僚②暑選筑擇效笑用函爸?jǐn)?shù)最菌大〔歐或損倦失最挖小〕領(lǐng)的類千別毀在決巖策理細(xì)論中悅，經(jīng)皺常采脊用關(guān)平均恨效益丑的大直小來(lái)求衡量為決策柿風(fēng)險(xiǎn)倘的大醉小，謝這實(shí)找際上增與不順確定臭性的愈程度軌密切塵相關(guān)何。飾假設(shè)希為把脅屬于仁類別看的特咱征向被量際X銜錯(cuò)誤傷地劃步分到發(fā)類別雙中所只產(chǎn)生代的損嗽失，典那么可行選擇略損失掉最小潤(rùn)的類小別，穴即組此時(shí)裕的判留別函亡數(shù)：脹?？脥徛?〕蠻貝葉妥斯分傷類的色應(yīng)用求文本箏過(guò)濾膜是一液種重僚要的勢(shì)信息軋平安談?lì)I(lǐng)域含的應(yīng)秧用。愧過(guò)濾順的實(shí)頂質(zhì)就察是一冰種分熟類，林現(xiàn)討歪論貝往葉斯焦方法搶的文危本過(guò)劈濾。刮用下桶式所轎示的桑矢量很來(lái)表役示文遍本內(nèi)筍容：賢其中參，斃--捐-表土示網(wǎng)撒頁(yè)文禍本，柏--簽-文儀本中盡的關(guān)窩鍵詞額，砌--答-關(guān)最鍵詞址在網(wǎng)隸頁(yè)文煤本菜中的墊權(quán)重筑，邀即為鄭文本要所對(duì)討應(yīng)的的矢量穗表示林。謹(jǐn)令蹤--蓬-為作合法暗網(wǎng)頁(yè)斗集，軍--寨-非鏈合法跳網(wǎng)頁(yè)朽集。如如果泰網(wǎng)頁(yè)暖屬于味的概士率為普，屬矮于漂的概竹率為挎，那么橫顯然祥有盒+癢=1系由此坐，下查列任斷一種董計(jì)算欄結(jié)果說(shuō)都可鋪以判鼠斷網(wǎng)匯頁(yè)練是否杏為非跳法網(wǎng)軟頁(yè)：停瘡稀萬(wàn)鞋真彈騰臟糊稱歪擦〔嘉1〕<湖但有汁時(shí)，熔如果碼將合廢法網(wǎng)飲頁(yè)誤躺判為董非法蠅網(wǎng)頁(yè)響的話末，其犯嚴(yán)重調(diào)性遠(yuǎn)澇大于嬸非法瞧網(wǎng)頁(yè)吼的漏起判。桌因此巾，上栗式需線要加啦上一從個(gè)調(diào)唱整量香<0企。即溉慘梅甘顏往央牧牢孤間啟〔破2〕<鵝顯然追，在套過(guò)濾杏計(jì)算踢的燃臨界食值附傻近辦的文們本是叨自學(xué)餡習(xí)的乖重要尤樣本輛，因角此可通將臨倒界值靠附近嚇的文玩本過(guò)鏟濾結(jié)嚼果根監(jiān)據(jù)領(lǐng)哭域?qū)Ｗh家的圖人工用確認(rèn)醬作為彈訓(xùn)練粒樣本像的正閥例集籌和反哪例集丘，并連通過(guò)督更正糖算法巖修改腹過(guò)濾朋模型譽(yù)和參探數(shù)。液另外布，可講根據(jù)黃貝葉殲斯定吸理，樣通過(guò)堂訓(xùn)練睛樣本罰集預(yù)招測(cè)未爹知樣炕本的粱類別廢。喘悲獎(jiǎng)南脹顏盡巖〔3單〕隔在上框式〔棋3〕幸中，羨分別廈是文斬本屬翼于非架法文吳本集蔑和合粱法文科本集與的先和驗(yàn)概肉率，念可通哥過(guò)下萬(wàn)式〔救4〕煙計(jì)算胸邀暈?zāi)徨N味圣航手顧恭緒筒零〔4鬧〕派矢量男中的斤關(guān)鍵刺詞，法可以肢看成寺文本丸的屬鑒性。朽因此暢，基腹于樸侍素貝擴(kuò)葉斯粒方法堡的文擺本內(nèi)拼容過(guò)跨濾的貿(mào)技術(shù)棟實(shí)質(zhì)沈上是喝將文夠本進(jìn)料行貝溪葉斯吃分類花〔合柔法類拼和非軍合法志類〕毫。計(jì)每算浸和荷的開(kāi)約銷可秧能非賠常大轉(zhuǎn)，為乞了降襖低計(jì)雞算開(kāi)悠