基于貝葉斯網(wǎng)絡(luò)的微陣列數(shù)據(jù)的研究

1、基于貝葉斯網(wǎng)絡(luò)的微陣列數(shù)據(jù)的研究 中山大學(xué)碩士學(xué)位論文基于貝葉斯網(wǎng)絡(luò)的微陣列數(shù)據(jù)研究姓名:張燕申請(qǐng)學(xué)位級(jí)別:碩士專業(yè):信息計(jì)算科學(xué)指導(dǎo)教師:戴道清20100528摘要論文題目: 基于貝葉斯網(wǎng)絡(luò)的微陣列數(shù)據(jù)研究專 業(yè):信息計(jì)算科學(xué)碩士生: 張燕指導(dǎo)教師: 戴道清摘要隨著人類基因組序列草圖的完成,有關(guān)功能基因組的研究在生命科學(xué)領(lǐng)域中占據(jù)越來越重要的地位。闡明基因選擇性表達(dá)所依賴的調(diào)控信息及其相互作用的分子機(jī)制,成為揭示生命現(xiàn)象本質(zhì)的核心問題,是功能組研究的重要內(nèi)容。隨著基因組學(xué)研究的深入展開,基因的表達(dá)調(diào)控研究已經(jīng)從單個(gè)基因、線性的調(diào)控拓展到立體層面上多基因、基因簇乃至整個(gè)基因組的調(diào)控網(wǎng)絡(luò)。如何有

2、效地利用現(xiàn)已有的基因組學(xué)數(shù)據(jù),充分整合多學(xué)科的思路,建立新的試驗(yàn)系統(tǒng)和技術(shù)體系,闡明基因組表達(dá)的調(diào)控網(wǎng)絡(luò),分析基因之間的相互制約關(guān)系,已經(jīng)成為功能基因組學(xué)領(lǐng)域內(nèi)國(guó)際競(jìng)爭(zhēng)的焦點(diǎn)。貝葉斯網(wǎng)絡(luò)方法將概率理論知識(shí)與圖論結(jié)合,其有圖形化表示、因果關(guān)系清晰以及不確定性推理等優(yōu)點(diǎn),本文將貝葉斯網(wǎng)絡(luò)引入到微陣列數(shù)據(jù)中并進(jìn)行分析,從概率角度描述了各基因間的依賴關(guān)系,從而闡明了整個(gè)基因組之間的調(diào)控網(wǎng)絡(luò)。本文首先闡述了貝葉斯網(wǎng)絡(luò)的基本概念、發(fā)展歷史和分類情況及其特點(diǎn),以及貝葉斯網(wǎng)絡(luò)構(gòu)造的一些基本方法,詳細(xì)闡述了貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)的原理,然后分幾種情況將結(jié)構(gòu)學(xué)習(xí)與參數(shù)學(xué)習(xí)相結(jié)合來建立表示基因之間相互影響的

3、貝葉斯網(wǎng)絡(luò)模型。在實(shí)例分析中,本文詳細(xì)描述了微陣列數(shù)據(jù)的貝葉斯網(wǎng)絡(luò)模型構(gòu)建的整個(gè)流程。本文將基因表達(dá)譜數(shù)據(jù)進(jìn)行了三值離散化后構(gòu)建貝葉斯網(wǎng)絡(luò),并分析了具有較多子結(jié)點(diǎn)的幾個(gè)基因在網(wǎng)絡(luò)中的作用與影響。本文主要進(jìn)行了以下幾個(gè)方面的研究:在完整數(shù)據(jù)集中,使用貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)中的算法進(jìn)行結(jié)構(gòu)學(xué)習(xí)研究,由于需要事先確定各結(jié)點(diǎn)間的的排序問題,此時(shí)采用決策樹算法完成排序問題,從而提高了學(xué)習(xí)效率。并在網(wǎng)絡(luò)學(xué)習(xí)過程中討論了設(shè)置最大父結(jié)點(diǎn)的個(gè)數(shù)中山大學(xué)碩士學(xué)位論文問題。通過結(jié)構(gòu)學(xué)習(xí)最終獲得了可反映基因之間調(diào)控關(guān)系的貝葉斯網(wǎng)絡(luò)模型,在此基礎(chǔ)上,使用極大似然方法進(jìn)行參數(shù)估計(jì),從而掌握基因間的后驗(yàn)概率。最后求出貝葉斯等價(jià)

4、類,找到在原來的網(wǎng)絡(luò)中可以反轉(zhuǎn)的有向弧,從而可以在通過實(shí)驗(yàn)等手段獲得先驗(yàn)知識(shí)后進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的相應(yīng)調(diào)整,這樣做不影響網(wǎng)絡(luò)的結(jié)構(gòu),更具有實(shí)用性。在有先驗(yàn)知識(shí)即已知網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,通過對(duì)數(shù)據(jù)隨機(jī)分別設(shè)置/,/,/的缺失值,使用期望最大化算法進(jìn)行參數(shù)學(xué)習(xí),獲得期望最大化算法對(duì)含缺失值數(shù)據(jù)的處理能力。 .在無先驗(yàn)知識(shí)又含有缺失數(shù)據(jù)的的基礎(chǔ)上,使用結(jié)構(gòu)期望最大化算法進(jìn)行了完整的學(xué)習(xí)得到了網(wǎng)絡(luò)結(jié)構(gòu)和相應(yīng)的參數(shù)結(jié)構(gòu),并獲得了結(jié)構(gòu)期望最大化算法的處理能力。貝葉斯網(wǎng)絡(luò)有著很好的理論知識(shí)和清楚的知識(shí)表達(dá)形式,是不確定性研究的一種重要方法,在數(shù)據(jù)挖掘中有著重要作用。將其引入微陣列實(shí)驗(yàn)數(shù)據(jù)的分析中,能較好的構(gòu)建網(wǎng)絡(luò)模

5、型,分析各基因間的相互作用與影響,可廣泛應(yīng)用于生物學(xué)和腫瘤學(xué)的研究,觀察疾病所引起的基因表達(dá)變化,并找出作用重要的變量基因。關(guān)鍵詞:基因,貝葉斯網(wǎng)絡(luò),后驗(yàn)概率,結(jié)構(gòu)學(xué)習(xí),參數(shù)學(xué)習(xí): : ,.,. , ,., ,. , , ., , 中山大學(xué)碩士學(xué)位論文 . , . .:, ., .,. , , . ,., . ,/,/,/. , , . , . ,.:, , ,學(xué)位論文原創(chuàng)性聲明本人鄭重聲明:所呈交的學(xué)位論文,是本人在導(dǎo)師的指導(dǎo)下,獨(dú)立進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外,本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的作品成果。對(duì)本文的研究作出重要貢獻(xiàn)的個(gè)人和集體,均己在文中

6、以明確方式標(biāo)明。本人完全意識(shí)到本聲明的法律結(jié)果由本人承擔(dān)。學(xué)位論文作者簽名:靠籩日期:勱/口年朔;日學(xué)位論文使用授權(quán)聲明本人完全了解中山大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定,即:學(xué)校有權(quán)保留學(xué)位論文并向國(guó)家主管部門或其指定機(jī)構(gòu)送交論文的電子版和紙質(zhì)版,有權(quán)將學(xué)位論文用于非贏利目的的少量復(fù)制并允許論文進(jìn)入學(xué)校圖書館、院系資料室被查閱,有權(quán)將學(xué)位論文的內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索,可以采用復(fù)印、縮印或其他方法保存學(xué)位論文。導(dǎo)師簽名:學(xué)位論文作者簽名:奈蒸啦吃日期:犰年莎月;日魄謝弼日第一章引言 .弗一早 百.研究背景和意義隨著生命科學(xué)日益深入研究,生物信息學(xué)所涉及的研究范疇也在不斷的擴(kuò)充。由人類基因組計(jì)

7、劃牽頭而興起的基因組學(xué)研究產(chǎn)生了海量的生物序列數(shù)據(jù)。這種科學(xué)數(shù)據(jù)的急速和海量積累,在人類的科學(xué)研究歷史中是空前的。如何更加合理有效地學(xué)習(xí)管理以及應(yīng)用這些巨大的生物序列數(shù)據(jù),從而從中挖掘出有用的生物信息是人類在探索生命奧秘的征途上面臨的巨大問題。為了解決這個(gè)問題,一門名為生物信息學(xué)的新興的交叉學(xué)科應(yīng)運(yùn)而生。生物信息學(xué)是的直接翻譯。它的研究對(duì)象是分子生物學(xué)數(shù)據(jù)庫(kù),通過使用數(shù)學(xué)技術(shù)、計(jì)算機(jī)技術(shù)和相應(yīng)的軟件對(duì)海量的原始序列數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、分析、注釋、加工、處理、解釋和傳播并從中發(fā)現(xiàn)新的規(guī)律而獲取生物學(xué)新知識(shí)。生物信息學(xué)以基因組序列信息分析作為源頭,其工作內(nèi)容是設(shè)法破譯序列中隱藏的遺傳語言規(guī)律。生物

8、信息學(xué)是由基因組學(xué)研究孕育的/新學(xué)科,而互聯(lián)網(wǎng)、數(shù)據(jù)庫(kù)、應(yīng)用軟件構(gòu)成了生物信息學(xué)的三大技術(shù)支撐和重要組成部分?；蛐酒?又稱巷片 或微陣列 ,其制備主要是以玻璃片或硅片為載體,采用原位合成或離片合成的方法將寡核苷酸片段或作為探針按順序排列在載體上【】。為了提高檢測(cè)的靈敏度,樣本要進(jìn)行一定程度的擴(kuò)增,同時(shí)用熒光標(biāo)記、生物素標(biāo)記或同位素標(biāo)記等方法來標(biāo)記樣本【】。芯片經(jīng)雜交反應(yīng)后,再利用激光共聚焦顯微鏡或落射熒光顯微鏡等設(shè)備檢測(cè)標(biāo)記信號(hào)】,并記錄為特殊格式的數(shù)據(jù)文件。利用計(jì)算機(jī),通過對(duì)數(shù)據(jù)文件中的雜交點(diǎn)的熒光強(qiáng)度信號(hào)的定量分析和信息挖掘就可以得到有關(guān)樣本的重要生物學(xué)信息?；蛐酒请S著“人類基因組計(jì)

9、劃”的發(fā)展而發(fā)展起來的一項(xiàng)新技術(shù),可廣泛應(yīng)用于基因序列分析、基因突變預(yù)測(cè)和多態(tài)性分析,以及疾病的基因診斷等許多領(lǐng)域。采用微陣列技術(shù),人們可以同時(shí)觀察成千上萬個(gè)基因在某一生命現(xiàn)象中的表達(dá)情況,通過對(duì)基因表達(dá)譜進(jìn)行某種統(tǒng)計(jì)分析,即可得到基因功能的有關(guān)信息。.國(guó)內(nèi)外研究現(xiàn)狀年,美國(guó)田納西州蓋特林堡首次在“生物學(xué)中的信息理論研討會(huì)上探討了生物學(xué)和信息理論研究的結(jié)合問題,產(chǎn)生了生物信息學(xué)概念的萌芽。年中山大學(xué)碩士學(xué)位論文通過他發(fā)明的序列快速測(cè)定法確定了第一個(gè)完整生物的頁(yè)序。隨著隨后幾年的序列數(shù)據(jù)的日益增長(zhǎng),如何有效地存儲(chǔ)加工分析利用日益增多的序列數(shù)據(jù)成了迫切需要解決的問題。世紀(jì)年代,一系列數(shù)據(jù)庫(kù)的誕生和

10、互聯(lián)網(wǎng)的推廣應(yīng)用使得存儲(chǔ)大規(guī)模序列數(shù)據(jù)的物質(zhì)條件基本成熟,對(duì)于大規(guī)模數(shù)據(jù)的服務(wù)和利用也取得了實(shí)際經(jīng)驗(yàn)。隨著人類基因組計(jì)劃的順利進(jìn)行,基因組研究的重心已經(jīng)轉(zhuǎn)移到了功能基因組學(xué),而基因表達(dá)芯片為此提供了最好的技術(shù)平臺(tái),利用基因芯片進(jìn)行的表達(dá)水平檢測(cè)可自動(dòng)、快速、高效地檢測(cè)成千上萬個(gè)基因的表達(dá)情況。通過檢測(cè)基因芯片的表達(dá)水平,可以進(jìn)行腫瘤診斷、類型預(yù)測(cè)、基因調(diào)控網(wǎng)絡(luò)等研究。腫瘤診斷這是目前芯片研究中應(yīng)用最廣、取得進(jìn)展最快的一個(gè)領(lǐng)域。傳統(tǒng)的腫瘤病理分類是建立在形態(tài)學(xué)的基礎(chǔ)上,這種分類法現(xiàn)在仍被廣泛使用,但存在很大的缺陷。預(yù)測(cè)分類目前采用的基于形態(tài)學(xué)的腫瘤分類方法,其所得的各類亞型中可能仍包含一種以上的

11、未知疾病類型?；蚬δ馨l(fā)現(xiàn)通過全面檢測(cè)細(xì)胞在一定條件下基因的表達(dá)并對(duì)基因進(jìn)行聚類分析,根據(jù)功能類別對(duì)歸入其內(nèi)的目標(biāo)基因以功能線索的提示,或繪制基因在不同組織或條件下表達(dá)的特征圖譜,并根據(jù)與其圖譜一致類似的已知基因的功能,推測(cè)目標(biāo)基因的功能?；蛘{(diào)控網(wǎng)絡(luò)基因表達(dá)譜芯片可同時(shí)檢測(cè)成千上萬個(gè)基因的表達(dá),從而使得人們有可能對(duì)細(xì)胞或組織乃至機(jī)體在某一特定時(shí)間所有基因的表達(dá)進(jìn)行檢測(cè),這為重構(gòu)細(xì)胞在某個(gè)時(shí)空階段的調(diào)控網(wǎng)絡(luò)創(chuàng)造了條件。研究藥物作用通過用藥前后不同時(shí)間結(jié)點(diǎn)的細(xì)胞或組織內(nèi)基因表達(dá)水平的檢測(cè),可揭示藥物作用通路上的基因及其調(diào)控網(wǎng)絡(luò),解析藥物的作用機(jī)制。隨著微陣列技術(shù)的發(fā)展和微陣列實(shí)驗(yàn)數(shù)據(jù)的不斷積累,

12、研究者們轉(zhuǎn)向通過對(duì)基因間相互關(guān)系的研究,重構(gòu)基因調(diào)控網(wǎng)絡(luò),進(jìn)一步找到是哪些基因的共同或相互作用導(dǎo)致了這一個(gè)基因的表達(dá)異常,從而探索疾病發(fā)生、發(fā)展的根源和機(jī)制。迄今為止,研究基因網(wǎng)絡(luò)的模型很多,也有不同的分類方法:離散網(wǎng)絡(luò)模型如和連續(xù)網(wǎng)絡(luò)模型如 ,確第一章引言定型網(wǎng)絡(luò)模型和隨機(jī)網(wǎng)絡(luò)模型,定量網(wǎng)絡(luò)模型和定性網(wǎng)絡(luò)模型等【】。布爾網(wǎng)絡(luò)模型布爾網(wǎng)絡(luò)模型最早由于年引進(jìn)。在這種模型中,基因被定量為兩種狀態(tài),“開”和“關(guān)。狀態(tài)“開表示一個(gè)基因轉(zhuǎn)錄表達(dá),形成基因產(chǎn)物,而狀態(tài)“關(guān)”則代表一個(gè)基因?yàn)檗D(zhuǎn)錄。基因之間的相互作用關(guān)系可由邏輯規(guī)則即布爾表達(dá)式來表示。線性組合模型和加權(quán)矩陣模型這兩種模型在網(wǎng)絡(luò)模型比較分析中被

13、歸為一類,同屬于所謂的“粗網(wǎng)模型。它們的共同特征是一個(gè)基因表達(dá)值被表示為其他基因表達(dá)值的函數(shù)權(quán)和。其中的權(quán)是基因之間相互關(guān)系的定量化:正權(quán)表示基因激發(fā),負(fù)權(quán)表示基因抑制,權(quán)表示兩基因沒有關(guān)系。這類模型中,所有中間產(chǎn)物的影響都被歸結(jié)為基因之間的線性相互關(guān)系。互信息關(guān)聯(lián)模型互信息關(guān)聯(lián)模型用熵和互信息描述基因和基因的關(guān)聯(lián)。此外還有微分方程模型、神經(jīng)網(wǎng)絡(luò)模型和圖解高斯模型、貝葉斯網(wǎng)絡(luò)等。目前國(guó)外許多學(xué)者和研究結(jié)構(gòu)都對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行了深入的研究主要集中在以下幾個(gè)方面:基于貝葉斯網(wǎng)絡(luò)的推理;基于貝葉斯網(wǎng)絡(luò)的學(xué)習(xí);基于貝葉斯網(wǎng)絡(luò)的應(yīng)用:數(shù)據(jù)挖掘中貝葉斯網(wǎng)絡(luò)的建造。.研究?jī)?nèi)容及創(chuàng)新點(diǎn).研究目的本文以不確定知識(shí)

14、的處理方法和貝葉斯網(wǎng)絡(luò)理論知識(shí)為背景,介紹構(gòu)建貝葉斯網(wǎng)絡(luò)及其推理的結(jié)構(gòu)學(xué)習(xí)、參數(shù)學(xué)習(xí)問題,并且應(yīng)用實(shí)際數(shù)據(jù)構(gòu)建相關(guān)的貝葉斯網(wǎng)絡(luò)模型并說明其意義。本文的創(chuàng)新之處是將貝葉斯網(wǎng)絡(luò)應(yīng)用到基因領(lǐng)域,尋找基因間的相互關(guān)系。并探討了在無任何先驗(yàn)知識(shí)的情況下,對(duì)完整數(shù)據(jù)集進(jìn)行結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)在已知網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),對(duì)含有缺失值的數(shù)據(jù)集進(jìn)行參數(shù)學(xué)習(xí)無任何先驗(yàn)知識(shí)時(shí),對(duì)含有缺失值的數(shù)據(jù)進(jìn)行結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)的情況,從而將貝葉斯網(wǎng)絡(luò)完整的應(yīng)用到基因數(shù)據(jù)中。中山大學(xué)碩士學(xué)位論文.基本思路第一章簡(jiǎn)單介紹了本文的研究背景和意義,目前國(guó)內(nèi)外的研究現(xiàn)狀以及論文的研究?jī)?nèi)容及創(chuàng)新點(diǎn)。第二章簡(jiǎn)單介紹了貝葉斯網(wǎng)絡(luò)的知識(shí)。介紹了貝葉斯網(wǎng)

15、絡(luò)的定義、發(fā)展史、類型、特點(diǎn),以及貝葉斯網(wǎng)絡(luò)的推理機(jī)制。第三章對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行概述,介紹貝葉斯網(wǎng)絡(luò)的定義、結(jié)構(gòu)學(xué)習(xí)算法、參數(shù)學(xué)習(xí)算法。第四章簡(jiǎn)單介紹決策樹方法,并將貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法用決策樹方法進(jìn)行優(yōu)化。第五章引入數(shù)據(jù),并對(duì)貝葉斯網(wǎng)絡(luò)模型進(jìn)行構(gòu)建和推理第六章結(jié)語.資料來源、分析工具本文所分析的資料來源于數(shù)據(jù)本課題研究使用了內(nèi)存和硬盤的雙核計(jì)算機(jī),數(shù)據(jù)的預(yù)處理、貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)、參數(shù)學(xué)習(xí)以及貝葉斯網(wǎng)絡(luò)的推理在.環(huán)境下大型矩陣處理軟件中實(shí)現(xiàn)。第二章貝葉斯網(wǎng)絡(luò)的基本知識(shí).貝葉斯網(wǎng)絡(luò)概述.貝葉斯網(wǎng)絡(luò)的起源和發(fā)展貝葉斯理論起源于 發(fā)表的論文“關(guān)于幾率性問題求解的評(píng)論【】。世紀(jì)年代,以勛為代表提出

16、了將經(jīng)驗(yàn)貝葉斯方法和經(jīng)典方法相結(jié)合,這引起統(tǒng)計(jì)界的廣泛關(guān)注】。年英國(guó)歷史最悠久的統(tǒng)計(jì)學(xué)雜志又一次全文刊登的論文。世紀(jì)年代,等提出了貝葉斯網(wǎng)絡(luò),并且將貝葉斯網(wǎng)絡(luò)應(yīng)用到人工智能方面進(jìn)行概率推理,在此基礎(chǔ)上并將貝葉斯網(wǎng)絡(luò)成功應(yīng)用于專家系統(tǒng)等領(lǐng)域,使得貝葉斯網(wǎng)絡(luò)成為不確定專家知識(shí)和推理的重要方法之一,這是十多年來在這些領(lǐng)域的一個(gè)研究熱點(diǎn)【】。世紀(jì)年代,貝葉斯方法成為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)、用戶智能交互、信息重獲、醫(yī)療診斷等的一個(gè)重要研究方向。貝葉斯網(wǎng)絡(luò)的發(fā)展經(jīng)歷了以下幾個(gè)階段】:世紀(jì)年代之前,建立了貝葉斯網(wǎng)絡(luò)的基礎(chǔ)理論知識(shí)體系和對(duì)不確定性推理的研究;世紀(jì)年代,研究了如何根據(jù)數(shù)據(jù)以及專家知識(shí)建立貝葉斯網(wǎng)絡(luò)的

17、問題,并研究出許多經(jīng)典的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法;世紀(jì),人們將許多領(lǐng)域的實(shí)際問題引入到貝葉斯網(wǎng)絡(luò)中.目前,貝葉斯網(wǎng)絡(luò)已經(jīng)被廣泛地用于解決許多領(lǐng)域的大量實(shí)際問題中,并且取得了較好的效果。概括而言,貝葉斯網(wǎng)絡(luò)主要被運(yùn)用于以下幾個(gè)方面:故障診斷】:可以根據(jù)發(fā)生的故障特性,找出發(fā)生故障的原因,可根據(jù)經(jīng)常發(fā)生的故障或者系統(tǒng)現(xiàn)有的狀態(tài),進(jìn)行實(shí)時(shí)監(jiān)控和故障預(yù)防。:專家系統(tǒng)【:可提供專家水平的推理,模擬人的智能,從而解決專業(yè)領(lǐng)域內(nèi)的實(shí)際問題,例如貝葉斯網(wǎng)絡(luò)在醫(yī)學(xué)方面的應(yīng)用。:規(guī)劃可根據(jù)因果概率推理預(yù)測(cè)各類事件發(fā)生的可能性,對(duì)于給定的目標(biāo),得到相應(yīng)的一個(gè)項(xiàng)目的規(guī)劃。:分類】與聚類】:使用貝葉斯網(wǎng)絡(luò)進(jìn)行分類和聚類分析,

18、這在數(shù)據(jù)挖掘和模式識(shí)別中具有重要應(yīng)用。近年來國(guó)內(nèi)出現(xiàn)了許多關(guān)于使用貝葉斯網(wǎng)絡(luò)來解決實(shí)際問題的研究。曹冬明等利用貝葉斯網(wǎng)絡(luò)技術(shù)進(jìn)行故障定位【】:李偉生等將貝葉斯網(wǎng)絡(luò)用于規(guī)劃識(shí)中山大學(xué)碩士學(xué)位論文另;鄧勇等將貝葉斯網(wǎng)絡(luò)用于模型診斷】.李明等將貝葉斯網(wǎng)絡(luò)用于模型診斷串行譯碼【 】;戴芹等利用貝葉斯網(wǎng)絡(luò)對(duì)遙感數(shù)據(jù)進(jìn)行分類【.孫亞男等利用貝葉斯網(wǎng)絡(luò)進(jìn)行冠心病中醫(yī)臨床診斷】;李儀等利用貝葉斯分類器對(duì)移動(dòng)機(jī)器人進(jìn)行避障等【】。.貝葉斯網(wǎng)絡(luò)的定義及舉例.貝葉斯網(wǎng)絡(luò)的定義又稱為貝葉斯置信厙,概率網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)知識(shí) 等。貝葉斯網(wǎng)絡(luò)是一種基于概率推理的有向無環(huán)圖的模型,我們可以將具體問題中的復(fù)雜變量關(guān)系在一個(gè)網(wǎng)絡(luò)結(jié)

19、構(gòu)中表示,并通過網(wǎng)絡(luò)模型反映問題領(lǐng)域中變量之間的依賴關(guān)系,適用于不確定性知識(shí)的表達(dá)和推理問題研究。定義.貝葉斯網(wǎng)絡(luò):一個(gè)貝葉斯網(wǎng)絡(luò)是表示變量之間概率依賴關(guān)系的有向無環(huán)圖,由代表變量的結(jié)點(diǎn)以及連接這些結(jié)點(diǎn)的有向邊組成,而且每個(gè)結(jié)點(diǎn)都標(biāo)注了定量的概率信息。這里表示為有向無環(huán)圖,每個(gè)結(jié)點(diǎn)榍于猿示變量,每條邊屬于臁示變量之間的概率依賴關(guān)系,同時(shí)對(duì)每個(gè)結(jié)點(diǎn)都對(duì)應(yīng)著一個(gè)條件概率分布裹凹刁,該條件概率表指明了該變量與父結(jié)點(diǎn)之間概率依賴的數(shù)量關(guān)系。用數(shù)學(xué)符號(hào)表示如下:,其中互助,湯?,磊即隨機(jī)變量集合,磊乃磊,乃即有向邊的集合,磊歷,歷?,五一,磊是條件概率分布集,即條件概率表。貝葉斯網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)即結(jié)點(diǎn)與有

20、向邊之間的集合用一種簡(jiǎn)單明了的方式描述了在域中成立的條件獨(dú)立關(guān)系,且它提供了一種把聯(lián)合概率分布分解為局部分布的方法【】:即它的圖形結(jié)構(gòu)編碼了變量之間的概率依賴關(guān)系,具有清晰的第二章貝葉斯網(wǎng)絡(luò)的基本知識(shí)語義特征,這種獨(dú)立性的語義指明了如何組合這些局部分布來計(jì)算變量間聯(lián)合分布的方法。變量用來代表感興趣或者有意義的狀態(tài)或?qū)傩?可以是任何問題的抽象,有實(shí)際意義和應(yīng)用價(jià)值。有向邊用來表示變量間的因果關(guān)系,箭頭表示因果關(guān)系影響的方向性由父結(jié)點(diǎn)指向子結(jié)點(diǎn),結(jié)點(diǎn)之間如果無連接邊則表示該結(jié)點(diǎn)所對(duì)應(yīng)的變量之間是條件獨(dú)立的,這是一種定性描述。條件概率表列出了每個(gè)結(jié)點(diǎn)相對(duì)于其父結(jié)點(diǎn)的條件概率,這是一種定量描述。網(wǎng)絡(luò)的

21、定量部分給出了變量間不確定性的數(shù)值度量。記,?,磊是網(wǎng)絡(luò)中的結(jié)點(diǎn),結(jié)點(diǎn)歷在集合露,誓,?,取值,吼是由歷的所有父結(jié)點(diǎn)組成的集合并在面,?,事中取值。條件概率表的元素可記為,七歷磚毗。則貝葉斯網(wǎng)絡(luò)的聯(lián)合概率分布可以用下面的式子來表示:乒,七,在貝葉斯網(wǎng)絡(luò)中,結(jié)點(diǎn)是條件獨(dú)立于給定父結(jié)點(diǎn)集時(shí)的其他任意非子結(jié)點(diǎn)的,正是由于這種條件獨(dú)立性的假設(shè),從而大大簡(jiǎn)化了貝葉斯網(wǎng)絡(luò)中的計(jì)算復(fù)雜度,使得貝葉斯網(wǎng)絡(luò)推理更加方便,操作上更加簡(jiǎn)潔和可行。.貝葉斯網(wǎng)絡(luò)舉例圖參:貝葉斯網(wǎng)絡(luò)模型舉例】這是一個(gè)經(jīng)典的貝葉斯網(wǎng)絡(luò)。它描述了灑水、多云、下雨以及草濕的因果關(guān)中山大學(xué)碩士學(xué)位論文系,這顯示了灑水、多云、下雨以及草濕之間存在

22、一定的依賴關(guān)系,然而這種依賴關(guān)系究竟是如何發(fā)生的,其強(qiáng)度如何則需通過條件概率表來說明。上例中的五個(gè)變量都有對(duì)應(yīng)的一張條件概率表,反映了其父結(jié)點(diǎn)對(duì)該變量的影響,對(duì)于根結(jié)點(diǎn)來說,它沒有父結(jié)點(diǎn),那么該條件概率表表明的是它的先驗(yàn)概率值。根據(jù)有向無環(huán)圖的一系列的條件獨(dú)立性假設(shè),我們引入獨(dú)立關(guān)系:聯(lián)合概率分布具有可分解的特性,可以被分解成為更小的因式,這大大減少了確定聯(lián)合分布的參數(shù)的數(shù)目,大大降低了計(jì)算復(fù)雜度。對(duì)于圖.中的貝葉斯網(wǎng)絡(luò)的聯(lián)合概率分布,我們通過變量的條件獨(dú)立關(guān)系和鏈規(guī)則可以得到:,尸冗 只,冗.貝葉斯網(wǎng)絡(luò)的類型根據(jù)貝葉斯網(wǎng)絡(luò)的結(jié)點(diǎn)類型可以將貝葉斯網(wǎng)絡(luò)分為如下幾類:.離散型貝葉斯網(wǎng)絡(luò)如果構(gòu)成貝葉

23、斯網(wǎng)絡(luò)的結(jié)點(diǎn)變量是離散的變量并且取有限個(gè)值,那么這種貝葉斯網(wǎng)絡(luò)就稱為離散型貝葉斯網(wǎng)絡(luò)。.連續(xù)型貝葉斯網(wǎng)絡(luò)如果構(gòu)成貝葉斯網(wǎng)絡(luò)的結(jié)點(diǎn)變量是連續(xù)的變量,那么這種貝葉斯網(wǎng)絡(luò)就稱為連續(xù)型貝葉斯網(wǎng)絡(luò)。.混合型貝葉斯網(wǎng)絡(luò)如果構(gòu)成貝葉斯網(wǎng)絡(luò)的結(jié)點(diǎn)變量既有連續(xù)型變量又有離散型變量,那么這種貝葉斯網(wǎng)絡(luò)就稱為混合型貝葉斯網(wǎng)絡(luò)。.貝葉斯網(wǎng)絡(luò)的特點(diǎn)隨著理論學(xué)習(xí)研究的不斷深入和應(yīng)用水平的不斷提高,貝葉斯網(wǎng)絡(luò)通過圖形化的方法來表示和運(yùn)用概率知識(shí),它克服了基于規(guī)則的系統(tǒng)所具有的許多概念以及計(jì)算上的困難,這已經(jīng)得到了學(xué)術(shù)界的普遍認(rèn)可和重視。主要有以下幾個(gè)特點(diǎn):堅(jiān)實(shí)的理論基礎(chǔ)【】第二章貝葉斯網(wǎng)絡(luò)的基本知識(shí)靈活的學(xué)習(xí)機(jī)制和強(qiáng)大的知

24、識(shí)表達(dá)以及推理能力通過在線學(xué)習(xí)并結(jié)合專家知識(shí),使得結(jié)構(gòu)和參數(shù)都能得到相應(yīng)的修正與更新。通過學(xué)習(xí)貝葉斯網(wǎng)絡(luò)我們可以發(fā)現(xiàn)潛在有用的模式或者關(guān)系,以實(shí)現(xiàn)對(duì)數(shù)據(jù)實(shí)例的分類、聚類和預(yù)測(cè)。貝葉斯網(wǎng)絡(luò)可以有效的表達(dá)和分析處理不確定性問題,實(shí)現(xiàn)了運(yùn)用網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行定性表達(dá)與運(yùn)用概率參數(shù)進(jìn)行定量描述的有機(jī)結(jié)合。應(yīng)用模型的多樣性貝葉斯網(wǎng)絡(luò)模型本身具有強(qiáng)大的推理機(jī)制和解釋功能,網(wǎng)絡(luò)結(jié)構(gòu)中的每個(gè)結(jié)點(diǎn)都可以作為輸入和輸出,這種結(jié)構(gòu)上的優(yōu)勢(shì)使得貝葉斯網(wǎng)絡(luò)模型的應(yīng)用模式靈活多變,具有其他模型所沒有的多方位推理和分析功能。.貝葉斯網(wǎng)絡(luò)的推理機(jī)制推理?血是貝葉斯網(wǎng)絡(luò)研究的又一個(gè)重要方面,應(yīng)用貝葉斯網(wǎng)絡(luò)的主要目的之一是當(dāng)給定某些

25、可觀測(cè)結(jié)點(diǎn)的值后,來估計(jì)未知結(jié)點(diǎn)的值。通過使用建立的貝葉斯網(wǎng)絡(luò)模型解決實(shí)際問題的過程稱為貝葉斯網(wǎng)絡(luò)推理。貝葉斯網(wǎng)絡(luò)模型可以綜合樣本數(shù)據(jù)信息和專家先驗(yàn)知識(shí)的特點(diǎn),反復(fù)不斷地調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和概率參數(shù),使得推斷和決策結(jié)果更加科學(xué)和準(zhǔn)確】。貝葉斯網(wǎng)絡(luò)的推理過程十分類似于人類大腦思維和學(xué)習(xí)的過程,具有知識(shí)發(fā)現(xiàn)的功能和性質(zhì)。貝葉斯網(wǎng)絡(luò)推理的本質(zhì)就是概率計(jì)算,即根據(jù)先驗(yàn)知識(shí)和觀測(cè)數(shù)據(jù)來計(jì)算目標(biāo)變量的后驗(yàn)概率。在理論上,根據(jù)指定變量的聯(lián)合概率分布可以推斷出貝葉斯網(wǎng)絡(luò)中人們感興趣的所有結(jié)點(diǎn)的概率值,但是在實(shí)際應(yīng)用中,計(jì)算量非常的大,往往很多情況下難以處理。盡管如此,近似推理在一定的程度上是能夠滿足精度方面的要求的

26、,而且可以提高推理的效率。同時(shí)利用貝葉斯網(wǎng)絡(luò)中變量表達(dá)的條件獨(dú)立性特點(diǎn),可以有效地降低計(jì)算復(fù)雜度。貝葉斯網(wǎng)絡(luò)推理中的推理方式可以分為以下幾種:因果推理如果已知原因證據(jù),可利用貝葉斯網(wǎng)絡(luò)的推理計(jì)算,求得在該原因下的情況下結(jié)果發(fā)生的概率。診斷推理其目的是在已知結(jié)果時(shí),找出產(chǎn)生該結(jié)果的原因。如果已知發(fā)生了某些結(jié)果,可根據(jù)貝葉斯網(wǎng)絡(luò)的推理計(jì)算,求得使得該結(jié)果產(chǎn)生的原因和發(fā)生的概率。支持推理即提供解釋一直發(fā)生的現(xiàn)象。其目的是對(duì)原因之間的相互影響中山大學(xué)碩士學(xué)位論文進(jìn)行分析。貝葉斯網(wǎng)絡(luò)的基本推斷工作是利用結(jié)點(diǎn)表達(dá)的條件獨(dú)立性,快速計(jì)算待求概率值的過程。在通常的情況下,采用近似推理方法不僅可以得到比較滿意的

27、推理結(jié)果,而且降低了計(jì)算復(fù)雜性。通常,主要的推理算法有四類:多數(shù)傳播算法、團(tuán)樹傳播算法、圖約簡(jiǎn)算法、組合優(yōu)化算法。.本章小結(jié)本章簡(jiǎn)單介紹了貝葉斯網(wǎng)絡(luò)的知識(shí)。介紹了貝葉斯網(wǎng)絡(luò)的定義、發(fā)展史、類型、特點(diǎn),以及貝葉斯網(wǎng)絡(luò)的推理機(jī)制。第三章貝葉斯網(wǎng)絡(luò)的構(gòu)建學(xué)習(xí)過程.構(gòu)建貝葉斯網(wǎng)絡(luò)的基本步驟.概述構(gòu)建貝葉斯網(wǎng)絡(luò)的過程即為在給定數(shù)據(jù)集的情況下,找出一個(gè)能夠最真實(shí)的反映該數(shù)據(jù)集中各變量之間依賴關(guān)系的有向無環(huán)圖的過程。也就是在給定數(shù)據(jù)集,局,?,澌的情況下,找出一個(gè)與匹配程度最高的貝葉斯網(wǎng)絡(luò),。通常情況下,構(gòu)建貝葉斯網(wǎng)絡(luò)先驗(yàn)貝葉斯結(jié)構(gòu)分為三個(gè)步驟:確定影響該領(lǐng)域的變量和變量域確定該問題領(lǐng)域的定性描述,即確定網(wǎng)

28、絡(luò)結(jié)構(gòu),通常稱為結(jié)構(gòu)學(xué)習(xí)鋤缸;確定該問題領(lǐng)域的定量描述,即確定局部概率分布,通常稱為參數(shù)學(xué)習(xí)。貝葉斯網(wǎng)絡(luò)的構(gòu)建流程如圖所示:匭巨掃 :,孓目一釅圖:貝葉斯網(wǎng)絡(luò)構(gòu)建流程.變量和變量域確定影響該領(lǐng)域的變量和變量域,即確定需要分析的變量及其它們的可能值。它主要是在領(lǐng)域?qū)＜业闹笇?dǎo)下來選擇重要的因子,有時(shí)也需要一定的策略從專家提供的變量中選擇恰當(dāng)合適的變量。然而實(shí)際情況下,變量往往比較復(fù)雜、數(shù)量龐大,如果不經(jīng)過預(yù)處理的手段而是直接將所有變量納入貝葉斯網(wǎng)絡(luò)的構(gòu)建中,將】中山大學(xué)碩士學(xué)位論文使得網(wǎng)絡(luò)的構(gòu)建過于復(fù)雜。所以需要對(duì)待分析變量進(jìn)行預(yù)處理,之后挑選變量并確定相應(yīng)的變量域。對(duì)于連續(xù)變量,需要確定其邊界;

29、而當(dāng)現(xiàn)有的推理算法只能應(yīng)用離散變量時(shí),則需要對(duì)連續(xù)變量做相應(yīng)處理,例如離散化的處理。對(duì)于離散變量而言,則需要確定變量的離散狀態(tài),以及每種狀態(tài)的符號(hào)與意義。.結(jié)構(gòu)學(xué)習(xí)結(jié)構(gòu)學(xué)習(xí)是貝葉斯網(wǎng)絡(luò)構(gòu)建的核心部分,結(jié)構(gòu)學(xué)習(xí)的目標(biāo)是尋找對(duì)先驗(yàn)知識(shí)和訓(xùn)練樣本擬合的最好的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),即從數(shù)據(jù)集中學(xué)習(xí)最優(yōu)結(jié)構(gòu)。確定結(jié)構(gòu)學(xué)習(xí)的方法:弧的存在性可根據(jù)變量之間的條件獨(dú)立性來確定,弧的方向可根據(jù)變量之間條件相對(duì)預(yù)測(cè)能力或條件相對(duì)互信息來確定。:用戶可根據(jù)已有知識(shí)如根據(jù)變量之間的因果關(guān)系來建立網(wǎng)絡(luò)結(jié)構(gòu)。:以上兩種方法結(jié)合。.參數(shù)學(xué)習(xí)參數(shù)學(xué)習(xí)即為構(gòu)建好網(wǎng)絡(luò)中的每一結(jié)點(diǎn)建立條件概率表,參數(shù)學(xué)習(xí)的目標(biāo)是根據(jù)參數(shù)的先驗(yàn)分布和數(shù)據(jù)樣

30、本集來計(jì)算參數(shù)的后驗(yàn)分布。確定參數(shù)學(xué)習(xí)的方法:可根據(jù)先驗(yàn)知識(shí)以確定局部條件概率。:可根據(jù)實(shí)驗(yàn)數(shù)據(jù)以確定局部條件概率。:可結(jié)合專家知識(shí)和實(shí)驗(yàn)數(shù)據(jù)確定局部條件概率等。.三者關(guān)系通常,以上三個(gè)方面是按順序進(jìn)行的,然而實(shí)際上一個(gè)貝葉斯網(wǎng)絡(luò)的構(gòu)建學(xué)習(xí)往往是由上述三個(gè)過程迭代、反復(fù)地交互過程。構(gòu)造貝葉斯網(wǎng)絡(luò)的方法主要如下:完整學(xué)習(xí)。即由領(lǐng)域的專家知識(shí)確定貝葉斯網(wǎng)絡(luò)中的變量結(jié)點(diǎn)或影響因子,且通過專家知識(shí)來確定貝葉斯網(wǎng)絡(luò)中的結(jié)構(gòu),并指出它的各變量結(jié)點(diǎn)的參數(shù)值。這種方法完全是在專家的指導(dǎo)下進(jìn)行,由于人們獲取知識(shí)的漫長(zhǎng)性有限性,導(dǎo)】第三章貝葉斯網(wǎng)絡(luò)的構(gòu)建學(xué)習(xí)過程致構(gòu)建的網(wǎng)絡(luò)可能與實(shí)踐中積累下來的數(shù)據(jù)有很大偏差。部

31、分學(xué)習(xí)。即首先主觀確定貝葉斯網(wǎng)絡(luò)中的變量結(jié)點(diǎn),然后通過訓(xùn)練數(shù)據(jù)進(jìn)行貝葉斯網(wǎng)絡(luò)中結(jié)構(gòu)和參數(shù)的學(xué)習(xí)?，F(xiàn)實(shí)中,由于這種方法有很強(qiáng)的適應(yīng)性,完全是一種數(shù)據(jù)驅(qū)動(dòng)的方法,使得在人工智能、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)不斷發(fā)展的今天,部分學(xué)習(xí)方法應(yīng)用越來越廣泛。以上兩種方法的結(jié)合。由領(lǐng)域的專家知識(shí)確定貝葉斯網(wǎng)絡(luò)中的變量結(jié)點(diǎn),并通過專家的知識(shí)來確定貝葉斯網(wǎng)絡(luò)結(jié)構(gòu),最后通過機(jī)器學(xué)習(xí)的辦法從數(shù)據(jù)中學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)。.舉例以圖參為例,在該問題中包含了價(jià)變量:多云、有雨、灑水、草濕。其中每個(gè)變量都有有兩個(gè)不同的取值:代表是和代表否。如果己知彬取值狀態(tài)為,那么求取值為的概率,則可列如下式:,.彬旦;群,根據(jù)貝葉斯網(wǎng)絡(luò)中變量結(jié)點(diǎn)的條件

32、獨(dú)立性,計(jì)算推理公式將得到簡(jiǎn)化,上式可簡(jiǎn)寫為:,旦墨?芝三夏否五夏夏庀萬;曩玎舀豇夏瓦麗,所得結(jié)果可由條件概率表中的對(duì)應(yīng)值代入計(jì)算可得。同理,我們可以推斷計(jì)算出在其他任意條件下,一個(gè)結(jié)點(diǎn)變量處于指定某種狀態(tài)的概率值。.結(jié)構(gòu)學(xué)習(xí).學(xué)習(xí)算法綜述世紀(jì)年代,相繼出現(xiàn)了許多充分結(jié)合數(shù)據(jù)主動(dòng)學(xué)習(xí)構(gòu)建貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的算法。年,提出了在不給出結(jié)點(diǎn)順序時(shí),完全利用獨(dú)立性檢驗(yàn)使用算法來學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),但是這是一個(gè)問題。中山大學(xué)碩士學(xué)位論文年,和提出了基于評(píng)分函數(shù)和貪婪爬山法搜索策略的】算法。是已知一定的先驗(yàn)信息后進(jìn)行結(jié)構(gòu)學(xué)習(xí)的一個(gè)有實(shí)際意義的經(jīng)典算法,在整個(gè)貝葉斯網(wǎng)絡(luò)研究發(fā)展中占有重要地位,該算法在已知結(jié)點(diǎn)變量的順

33、序這一先驗(yàn)信息的情況下,利用評(píng)分函數(shù)來估計(jì)模型和數(shù)據(jù)之間的擬合程度,然后通過不斷地向網(wǎng)絡(luò)中增加能夠提高評(píng)價(jià)指標(biāo)的邊這樣的貪婪搜索算法來找出最佳的網(wǎng)絡(luò)結(jié)構(gòu)。同年,提出了建立近似完全貝葉斯網(wǎng)絡(luò)模型方法的算法。年,、和提出了基于的改進(jìn)篚算法,在進(jìn)行貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)中將最小描述長(zhǎng)度改為評(píng)分函數(shù)。年,和提出了使用貪婪爬山法進(jìn)行結(jié)構(gòu)學(xué)習(xí),隨后又提出了采用評(píng)分函數(shù)】,并利用先驗(yàn)知識(shí)實(shí)現(xiàn)約束貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度的學(xué)習(xí)算法.年,提出了使用基于相等網(wǎng)絡(luò)類上的搜索算法進(jìn)行貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)。年,提出了將貝葉斯網(wǎng)絡(luò)看作為一個(gè)帶有概率分布表的表示不確定知識(shí)的圖形模型的思想。年和和年和以及次年和,都分別擴(kuò)大了貝葉斯網(wǎng)絡(luò)

34、結(jié)構(gòu)學(xué)習(xí)的研究范圍,將不完整數(shù)據(jù)納入其中。年,提出了新的算法,分析了如何在分布式同構(gòu)數(shù)據(jù)下進(jìn)行結(jié)構(gòu)學(xué)習(xí)。年,提出了使用實(shí)驗(yàn)數(shù)據(jù)與觀測(cè)數(shù)據(jù)相結(jié)合的方法來學(xué)習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。年,和分別提出了利用主動(dòng)學(xué)習(xí)的思想對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行學(xué)習(xí)。同年,提出了通過觀測(cè)底層數(shù)據(jù)模型的變化來進(jìn)行因果結(jié)構(gòu)發(fā)現(xiàn)的學(xué)習(xí)方法?；谄渌囊蕾嚪治龇椒ń⒘艘环N更有效的貝葉斯網(wǎng)絡(luò)年,結(jié)構(gòu)學(xué)習(xí)算法。年,和提出了混合型的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法,將條件獨(dú)立性檢驗(yàn)、演化計(jì)算和評(píng)分函數(shù)結(jié)合,結(jié)果表明該算法具有更有效的性能。.結(jié)構(gòu)學(xué)習(xí)方法首先定義一個(gè)隨機(jī)變量,給先驗(yàn)概率分布賦值為,然后計(jì)算后驗(yàn)概率分第三章貝葉斯網(wǎng)絡(luò)的構(gòu)建學(xué)習(xí)過程布。根據(jù)貝葉斯公

35、式錯(cuò)可,其中是一個(gè)常數(shù),與結(jié)構(gòu)無關(guān)是邊界似然,由公式可得計(jì)算貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的后驗(yàn)概率分布只需要為每個(gè)可能的結(jié)構(gòu)計(jì)算邊界似然。貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)分為兩種情況:完備數(shù)據(jù)集和不完備數(shù)據(jù)集的情況。.完備數(shù)據(jù)下的結(jié)構(gòu)學(xué)習(xí)目前,完備數(shù)據(jù)下的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)方法主要分為基于評(píng)分的方法和基于依賴分析的方法。一:基于評(píng)分的方法基于評(píng)分函數(shù)的結(jié)構(gòu)學(xué)習(xí)方法有算法、爬山法等。這些算法主要由兩部分構(gòu)成:評(píng)分函數(shù)和搜索算法。其基本思路是首先隨機(jī)初始化一個(gè)網(wǎng)絡(luò),由給定的評(píng)分函數(shù)為當(dāng)前網(wǎng)絡(luò)打分,然后對(duì)該網(wǎng)絡(luò)進(jìn)行局部的擾動(dòng),重新對(duì)擾動(dòng)后的網(wǎng)絡(luò)評(píng)分,并保留得分高的網(wǎng)絡(luò),如此循環(huán)進(jìn)行下去,直到局部擾動(dòng)后的網(wǎng)絡(luò)評(píng)分小于給定閾值為

36、止。理論原則上這種方法是可以得到一個(gè)與當(dāng)前數(shù)據(jù)擬合的最好的網(wǎng)絡(luò)結(jié)構(gòu)的,然而實(shí)際中如果要對(duì)一個(gè)具有個(gè)結(jié)點(diǎn)的網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),則需要對(duì)個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行打分并計(jì)算,這顯然是一個(gè)難題。使用這類算法時(shí)可以通過如下方法使得打分搜索算法變得可行:如限定結(jié)點(diǎn)的個(gè)數(shù)、假定變量結(jié)點(diǎn)有序或者根據(jù)專家知識(shí)采用某些啟發(fā)式的搜索規(guī)則等。常用的評(píng)分函數(shù)有貝葉斯評(píng)分準(zhǔn)貝, 和最小描述長(zhǎng)度準(zhǔn)則,評(píng)分等。常用的搜索方法有全局搜索法和啟發(fā)式搜索法包括爬山算法、緊急搜索、模擬退火即遺傳算法等。:評(píng)分函數(shù):貝葉斯評(píng)分準(zhǔn)則貝葉斯評(píng)分準(zhǔn)則能夠充分利用有關(guān)拓?fù)浣Y(jié)構(gòu)的先驗(yàn)知識(shí),給定訓(xùn)練樣本集時(shí),通過貝葉斯公式,拓?fù)浣Y(jié)構(gòu)的后驗(yàn)概率計(jì)算如下:一 中山大

37、學(xué)碩士學(xué)位論文其中為網(wǎng)絡(luò)結(jié)構(gòu)的先驗(yàn)概率,對(duì)這些先驗(yàn)分布作一般假設(shè),表達(dá)式中 是與網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)無關(guān)的常數(shù),為一個(gè)邊緣似然分布,可看作是對(duì)當(dāng)前數(shù)據(jù)的概率的平均,而這個(gè)平均是針對(duì)所有可能的參數(shù)組合的某一個(gè)特定網(wǎng)絡(luò)結(jié)構(gòu)所對(duì)應(yīng)的數(shù)據(jù)的概率而作的】。如果當(dāng)前的數(shù)據(jù)集樣本的數(shù)量足夠大我們就可以得到正確的網(wǎng)絡(luò)結(jié)構(gòu),所以是漸進(jìn)一致的。:最小描述長(zhǎng)度最小描述長(zhǎng)度是由提出的,其源于通用編碼的思想】。如果我們想在某種介質(zhì)上存儲(chǔ)樣本,同時(shí)想節(jié)省存儲(chǔ)空間,顯然希望存儲(chǔ)它的壓縮版本?？偯枋鲩L(zhǎng)度可定義為的壓縮版本總長(zhǎng)度以及壓縮模型的描述長(zhǎng)度之和,而最優(yōu)模型自然是總描述長(zhǎng)度最短的模型。將用于貝葉斯網(wǎng)絡(luò),是綜合考慮了網(wǎng)絡(luò)結(jié)構(gòu)與數(shù)

38、據(jù)的相似性以及網(wǎng)絡(luò)的復(fù)雜度的結(jié)果,使得網(wǎng)絡(luò)的描述長(zhǎng)度和樣本的編碼長(zhǎng)度之和最小,這說明了網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)過程必須要在網(wǎng)絡(luò)結(jié)構(gòu)表示樣本的準(zhǔn)確性與網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性兩者之間找到平衡點(diǎn)。先考慮的計(jì)算過程。以距離和互信息為基礎(chǔ)。假設(shè)隨機(jī)變量的概率密度函數(shù)是,而是的一種近似,則和之間的距離命為距離,定義為:奴燦莓礎(chǔ)器易知,距離表示概率密度函數(shù)和間的接近程度,距離越小表示越近似于,距離為。當(dāng)且僅當(dāng)?shù)扔?在信息論中,用相互信息表示發(fā)送或者收到某些信息后會(huì)給某些變量所帶來的信息。而在貝葉斯網(wǎng)絡(luò)中,對(duì)于有依賴關(guān)系的兩個(gè)變量結(jié)點(diǎn),當(dāng)我們得到一個(gè)變量的信息后,就可以得到其它相應(yīng)變量的一些信息,這些信息量是可以通過相互信息

39、來衡量的,因此判定兩個(gè)變量之間是否存在依賴關(guān)系,我們可以通過相互信息計(jì)算,并且可以測(cè)量依賴程度的大小?；诰嚯x和互信息理論,是從變量域中的所有網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中尋找最佳逼近真實(shí)概率分布,屹?,的形式。澳度有兩個(gè)部分:網(wǎng)絡(luò)模型的復(fù)】第三章貝葉斯網(wǎng)絡(luò)的構(gòu)建學(xué)習(xí)過程雜度;數(shù)據(jù)的似然函數(shù)值。鋇度可以表示為:?其中,定義為:掣.島為網(wǎng)絡(luò)模型的維數(shù),為樣本樣,禮為中結(jié)鼠一%魄點(diǎn)數(shù),為每個(gè)結(jié)點(diǎn)不同狀態(tài)的數(shù)目。似然函數(shù)使用父結(jié)點(diǎn)與子結(jié)點(diǎn)間的互信息描述.:評(píng)分評(píng)分函數(shù)以貝葉斯統(tǒng)計(jì)學(xué)為基礎(chǔ),定義為該結(jié)構(gòu)相當(dāng)于給定數(shù)據(jù)集的后驗(yàn)概率分布,即尋找后驗(yàn)概率分布最大的結(jié)構(gòu)。評(píng)分函數(shù)本質(zhì)上是的一種特殊形式,它假定各結(jié)點(diǎn)參數(shù)的先驗(yàn)

40、分布服從分布,那么我們可以得到評(píng)分公式:吼 心七 %詹%七,上一、/蓐?,片以別馴以鰳娶旦贏娶 吆老名 七式中是貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的先驗(yàn)概率分布,吆屜可由公式計(jì)算得到,是中每一個(gè)參數(shù)吼的先驗(yàn)值,弛表示實(shí)驗(yàn)樣本數(shù)據(jù)集中變量墨取第個(gè)值,咒的父結(jié)點(diǎn)構(gòu)成的集吼取第個(gè)值時(shí)的實(shí)例數(shù)目。:常用的搜索方法定義完了評(píng)分函數(shù),貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)接下來要討論的是搜索問題,即通過搜索算法找出具有最佳評(píng)分的網(wǎng)絡(luò)結(jié)構(gòu),其實(shí)這是一個(gè).問題。我們通常采用爬山搜索法、模擬退火搜索法等算法進(jìn)行修正,包括反轉(zhuǎn)、添加以及刪除弧。通常假定網(wǎng)絡(luò)中不含有環(huán),且結(jié)點(diǎn)變量是有順序的。其中最基本的搜索算法有啟發(fā)式局部搜索算法例如貪心算法,其思想是

41、:從給定的初始結(jié)構(gòu)開始,通過反轉(zhuǎn)、添加以及刪除的操作使得局部最大化,并逐步擴(kuò)展到整體即整個(gè)網(wǎng)絡(luò)。最經(jīng)典的算法有算法和算法。年,提出的算法是一個(gè)非常經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法,它主要用于網(wǎng)絡(luò)結(jié)構(gòu)未知、數(shù)據(jù)集完整情況下的結(jié)構(gòu)學(xué)習(xí)過程。該算法在已知網(wǎng)絡(luò)中各結(jié)】中山大學(xué)碩士學(xué)位論文點(diǎn)變量的次序后,提出了結(jié)點(diǎn)模塊化思路,也就是各結(jié)點(diǎn)的父結(jié)點(diǎn)相互獨(dú)立。搜索算法在假定結(jié)點(diǎn)變量有序、所有搜索結(jié)構(gòu)的先驗(yàn)概率相等的條件下,采用爬山啟發(fā)式的搜索算法對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行搜索,即依次按照結(jié)點(diǎn)順序?yàn)槊恳粋€(gè)結(jié)點(diǎn)尋找它的父結(jié)點(diǎn)集,并且通過不斷地為每個(gè)結(jié)點(diǎn)增加父結(jié)點(diǎn)的方式來增加局部網(wǎng)絡(luò)結(jié)構(gòu)的評(píng)分,直到為每一個(gè)結(jié)點(diǎn)變量找到評(píng)分最高的父結(jié)點(diǎn)

42、集后停止搜索,在整個(gè)搜索過程中始終要求滿足初始假定的結(jié)點(diǎn)順序?；谠u(píng)分的方法試圖尋找精確性、稀疏性等多因素之間的平衡點(diǎn),然而由于搜索方法的先天性弱點(diǎn),該方法不見得一定會(huì)找到最好的結(jié)構(gòu)。但是當(dāng)訓(xùn)練樣本數(shù)據(jù)集足夠打且計(jì)算次數(shù)足夠多時(shí),該方法也能得到“正確”的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。二:基于依賴分析的方法如果發(fā)現(xiàn)了系統(tǒng)中變量之間的某些依賴關(guān)系或者調(diào)控關(guān)系,則我們可以根據(jù)這些依賴關(guān)系來建立貝葉斯網(wǎng)絡(luò),所以我們可以將貝葉斯網(wǎng)絡(luò)看作是編碼了變量之間的獨(dú)立性關(guān)系的圖結(jié)構(gòu),而進(jìn)行的學(xué)習(xí)就是通過數(shù)據(jù)樣本集來驗(yàn)證條件獨(dú)立性,五,是否成立的過程。如果成立,則我們說在網(wǎng)絡(luò)中結(jié)點(diǎn)咒和瑪被有向分隔,也就是結(jié)點(diǎn)托與之間不存在邊,兩

43、者獨(dú)立,反之則稱網(wǎng)絡(luò)中變量五和瑪是依賴的,也就是結(jié)點(diǎn)五與間存在邊。經(jīng)常使用的獨(dú)立性檢驗(yàn)方法有卡方檢驗(yàn)和基于互信息的檢驗(yàn)方法。基于卡方檢驗(yàn)使用似然比卡方檢驗(yàn)來驗(yàn)證條件獨(dú)立性五,引是否成立,卡方統(tǒng)計(jì)量計(jì)算如下:一./若,成立,則置與瑪之間存在邊,有墨,瑪,由此進(jìn)一步可得統(tǒng)計(jì)量計(jì)算如下:一、”?！币弧?妯川器知,墨,假設(shè)變量五,瑪,分別有%。,%,。種取值,則服從自由度為%;一?%一億的卡方分布,基于似然比卡方檢驗(yàn)可以得到是否接受五與瑪關(guān)于是條件獨(dú)立的原假設(shè),其中顯著性水平通常取值為.,.,.等.第三章貝葉斯網(wǎng)絡(luò)的構(gòu)建學(xué)習(xí)過程基于互信息的檢驗(yàn)最大互信息準(zhǔn)則,越功與相似,以距離和互信息為基礎(chǔ),從所有網(wǎng)

44、絡(luò)拓?fù)浣Y(jié)構(gòu)中,努力尋找最接近真實(shí)概率分布,?,的網(wǎng)絡(luò)。與的區(qū)別是考慮了網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的相似性,而對(duì)網(wǎng)絡(luò)的復(fù)雜度沒有約束。假定進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)的變量域?yàn)?屹,?,爐,?,為訓(xùn)練樣本在上的聯(lián)合概率密度分布,上的實(shí)際聯(lián)合概率密度函數(shù)為矽,屹,?,.貝葉斯網(wǎng)絡(luò)中結(jié)點(diǎn)%的父結(jié)點(diǎn)組成的集合為舯魄,目標(biāo)是建立合適的網(wǎng)絡(luò)結(jié)構(gòu),盡量使樣本的聯(lián)合概率分布,耽,?,接近于真實(shí)的分布?，F(xiàn)在使用,屹,?,?,度量?jī)烧咧g的差異,也即尋找使距離最小的網(wǎng)絡(luò)結(jié)構(gòu)。,屹,?,疊,圪,?,?,?,沈?,一,圪,乞?, 一,?,?,?,可以看到,圪,?,?,的大小取決于,蠔的大小,舯%越大則,?,?,越小,所以在變量域上所有網(wǎng)絡(luò)結(jié)構(gòu)中

45、中使,屹最大的結(jié)構(gòu)為即為,屹,?,的最佳逼近,此稱為。總之,是與網(wǎng)絡(luò)的維數(shù)成正比的,可以利用最大互信息原則使搜索中止于完全圖。三:混合結(jié)構(gòu)學(xué)習(xí)方法混合結(jié)構(gòu)學(xué)習(xí)方法將以上兩種方法結(jié)合,使用依賴分析檢驗(yàn)降低搜索空間復(fù)雜度,然后使用評(píng)分搜索方法進(jìn)行學(xué)習(xí),找到最佳網(wǎng)絡(luò),常用的算法:稀疏候選算法及 等。.不完整數(shù)據(jù)下的結(jié)構(gòu)學(xué)習(xí)對(duì)于含有缺失值的樣本數(shù)據(jù)而言,貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)比較困難,通常研究主要集中在基于評(píng)分的方法上。開始,等人提出選擇貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的方法首先基于梯度的優(yōu)化. 或算法進(jìn)行極大后驗(yàn)概率】中山大學(xué)碩士學(xué)位論文估計(jì),然后使用詞分或拉普拉斯近似 等大樣本的近似方法為近似結(jié)構(gòu)打分。只是由于搜索空間

46、大、存在近似打分的誤差等缺陷,該算法學(xué)習(xí)效率不高,計(jì)算結(jié)果也不夠可靠】。年和提出了對(duì)結(jié)構(gòu)學(xué)習(xí)使用算法的思想】,該算法首先以一個(gè)隨機(jī)結(jié)構(gòu)作為開始點(diǎn),然后進(jìn)行為網(wǎng)絡(luò)選擇參數(shù)和計(jì)算網(wǎng)絡(luò)的記分的過程,接著增加邊以構(gòu)造新的網(wǎng)絡(luò)結(jié)構(gòu)并使用算法來計(jì)算新的網(wǎng)絡(luò)參數(shù)的后驗(yàn)期望和后驗(yàn)值,同時(shí)計(jì)算新的網(wǎng)絡(luò)結(jié)構(gòu)的記分,如果該新記分高于原記分,則更新網(wǎng)絡(luò)結(jié)構(gòu)接受新的網(wǎng)絡(luò)狀態(tài)。年提出了經(jīng)典算法,】,算法將結(jié)構(gòu)搜索算法和標(biāo)準(zhǔn)算法相結(jié)合,要求在執(zhí)行過程中始終有一個(gè)候選的網(wǎng)絡(luò)結(jié)構(gòu),并且在每次循環(huán)的過程中都要計(jì)算期望統(tǒng)計(jì)因子,而這些期望統(tǒng)計(jì)因子是評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)所需要的,從而可以發(fā)現(xiàn)何種評(píng)分標(biāo)準(zhǔn)下更好的網(wǎng)絡(luò)結(jié)構(gòu)。算法不是一個(gè)漸進(jìn)的近

47、似值,而是試圖在循環(huán)內(nèi)直接優(yōu)化真正的貝葉斯記分。當(dāng)確定了評(píng)價(jià)貝葉斯網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與訓(xùn)練數(shù)據(jù)樣本集的接近程度之后,結(jié)構(gòu)學(xué)習(xí)就變成了一個(gè)優(yōu)化問題。從理論上證明了有向圖模型拓?fù)浣Y(jié)構(gòu)除樹結(jié)構(gòu)外的搜索都是問題,因此對(duì)于貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)問題,我們通常采用啟發(fā)式搜索方法來尋求最佳的拓?fù)浣Y(jié)構(gòu)。.參數(shù)學(xué)習(xí)關(guān)于貝葉斯網(wǎng)絡(luò)的參數(shù)學(xué)習(xí),人們已經(jīng)有了大量的研究成果。貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的目標(biāo)是:在給定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和訓(xùn)練樣本數(shù)據(jù)集的情況下,結(jié)合先驗(yàn)知識(shí),最終確定貝葉斯網(wǎng)絡(luò)模型中各結(jié)點(diǎn)處的條件概率密度函數(shù),記為:,。貝葉斯網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)可以通過專家領(lǐng)域知識(shí)、學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)集來確定,而由于專家領(lǐng)域知識(shí)具有不完整性和不精確性

48、,從而影響了網(wǎng)絡(luò)參數(shù)的準(zhǔn)確程度。本節(jié)所講即在已經(jīng)確定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上,重點(diǎn)分析在樣本數(shù)據(jù)完整和不完整的情況下的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方法。.完整數(shù)據(jù)的參數(shù)學(xué)習(xí)當(dāng)訓(xùn)練樣本數(shù)據(jù)集完整時(shí),通常情況下采用最大似然估計(jì)和貝葉斯方第三章貝葉斯網(wǎng)絡(luò)的構(gòu)建學(xué)習(xí)過程法來學(xué)習(xí)貝葉斯網(wǎng)絡(luò)參數(shù)。采用這兩種方法進(jìn)行參數(shù)學(xué)習(xí)時(shí),首先需要對(duì)貝葉斯網(wǎng)絡(luò)和訓(xùn)練樣本數(shù)據(jù)集作如下假定】:.離散型貝葉斯網(wǎng)絡(luò):即變量域中的所有變量結(jié)點(diǎn)屬性都是離散的;.全局、局部獨(dú)立性:即在給定貝葉斯網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和變量集的情況下,訓(xùn)練樣本數(shù)據(jù)集中樣本出現(xiàn)的概率有全局和局部獨(dú)立性,也就是說參數(shù)向量之間是相互獨(dú)立的。.多項(xiàng)式分布:耳練樣本數(shù)據(jù)集中每個(gè)樣本都

49、獨(dú)立地來源于相同的多項(xiàng)式分布。.數(shù)據(jù)集完整:即訓(xùn)練樣本數(shù)據(jù)集中每個(gè)樣本都不存在缺失值的情況。給定,數(shù)據(jù)的條件概率稱為的條件似然度,且記引為口的似然函數(shù)。為方便實(shí)驗(yàn)進(jìn)行,我們通常對(duì)似然函數(shù)取對(duì)數(shù)就得到對(duì)數(shù)似然函數(shù),.最大似然估計(jì)是依據(jù)樣本與參數(shù)的似然程度來判斷樣本與模型的擬合程度。對(duì)數(shù)似然函數(shù)為: %最大似然參數(shù)每監(jiān),其中%憊.最大似然估計(jì)的基本原理是:選擇參數(shù)的值,貝葉斯網(wǎng)絡(luò)最合適的參數(shù)是使得似然函數(shù)值最大的參數(shù)痧。通常進(jìn)行最大似然參數(shù)估計(jì)學(xué)習(xí)的一種標(biāo)準(zhǔn)步驟是:首先寫出數(shù)據(jù)的似然表達(dá)式,它是待估計(jì)參數(shù)的一個(gè)函數(shù)其次對(duì)每個(gè)參數(shù)的對(duì)數(shù)似然進(jìn)行求導(dǎo)最后找到滿足導(dǎo)數(shù)為的對(duì)應(yīng)參數(shù)值隨著觀測(cè)值數(shù)量越來越多

50、,的參數(shù)收斂于最佳的可能值,且尋找使樣本數(shù)據(jù)集發(fā)生的可能性最大的參數(shù)以最大可能的接近真實(shí)的概率值,而且實(shí)例】中山大學(xué)碩士學(xué)位論文越多,表明接近程度越好。只是的缺陷是當(dāng)樣本數(shù)據(jù)集不大時(shí),方法計(jì)算速度相對(duì)較慢,并缺乏處理先驗(yàn)知識(shí)的能力,而且得到的結(jié)果不是很可靠。.貝葉斯方法貝葉斯方法以貝葉斯學(xué)習(xí)理論為基礎(chǔ),其與傳統(tǒng)的參數(shù)估計(jì)方法最大的區(qū)別在于這二者對(duì)不確定性的理解方面,后者是將概率視為頻率的無限逼近,而前者則視不確定性是人們對(duì)事物的一種認(rèn)知程度,而該認(rèn)知程度是由原來的主觀知識(shí)和觀察到的現(xiàn)象共同作用的結(jié)果。通常使用貝葉斯方法對(duì)未知參數(shù)向量估計(jì)學(xué)習(xí)的一般步驟是:將未知參數(shù)看成是隨機(jī)向量,這是貝葉斯方法

51、與傳統(tǒng)的統(tǒng)計(jì)方法的最重要區(qū)別可以根據(jù)對(duì)參數(shù)口的認(rèn)識(shí),來確定先驗(yàn)分布尸口.這一步其實(shí)是貝葉斯方法容易引起爭(zhēng)議的一步,因此經(jīng)常受到經(jīng)典統(tǒng)計(jì)界的攻擊根據(jù)公式表示計(jì)算出后驗(yàn)概率密度函數(shù),并作出對(duì)未知參數(shù)的推斷從上式可以看出,貝葉斯方法在對(duì)未知參數(shù)向量的估計(jì)中綜合考慮了它的先驗(yàn)信息和樣本信息,而如最大似然方法的傳統(tǒng)的參數(shù)估計(jì)方法只是簡(jiǎn)單從樣本數(shù)據(jù)獲得信息。貝葉斯估計(jì)首先假定了一個(gè)固定的未知參數(shù),并考慮當(dāng)給定拓?fù)浣Y(jié)構(gòu)時(shí),參數(shù)的的所有可能取值,然后利用先驗(yàn)知識(shí),努力找到給定訓(xùn)練樣本數(shù)據(jù)集,和拓?fù)浣Y(jié)構(gòu)時(shí)所具有的最大后驗(yàn)概率的參數(shù)取值。由貝葉斯公式,我們可以得出:掣驊其中,為在給定拓?fù)浣Y(jié)構(gòu)郇寸參數(shù),的先驗(yàn)概率分布,是與具體參數(shù)取值無關(guān)的常數(shù)。在有關(guān)貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)研究中,最常使用的先驗(yàn)分布是先,而先驗(yàn)分布有一組驗(yàn)分布。假定多項(xiàng)式的參數(shù)為:口,?,知,超參