貝葉斯技術(shù)(姚宏亮)-1_第1頁(yè)
貝葉斯技術(shù)(姚宏亮)-1_第2頁(yè)
貝葉斯技術(shù)(姚宏亮)-1_第3頁(yè)
貝葉斯技術(shù)(姚宏亮)-1_第4頁(yè)
貝葉斯技術(shù)(姚宏亮)-1_第5頁(yè)
已閱讀5頁(yè),還剩25頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

高級(jí)人工智能概率推理貝葉斯技術(shù)與貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)姚宏亮

2023/1/141合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯技術(shù)貝葉斯網(wǎng)絡(luò)是用來(lái)表示變量間連接概率的圖形模式,它提供了一種自然的表示因果信息的方法,用來(lái)發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。在這個(gè)網(wǎng)絡(luò)中,用節(jié)點(diǎn)表示變量,有向邊表示變量間的依賴關(guān)系。貝葉斯方法正在以其獨(dú)特的不確定性知識(shí)表達(dá)形式、豐富的概率表達(dá)能力、綜合先驗(yàn)知識(shí)的增量學(xué)習(xí)特性等成為當(dāng)前數(shù)據(jù)挖掘眾多方法中最為引人注目的焦點(diǎn)之一。2023/1/142合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯技術(shù)貝葉斯(ReverendThomasBayes1702-1761)學(xué)派奠基性的工作是貝葉斯的論文“關(guān)于幾率性問(wèn)題求解的評(píng)論”?;蛟S是他自己感覺到它的學(xué)說(shuō)還有不完善的地方,這一論文在他生前并沒(méi)有發(fā)表,而是在他死后,由他的朋友發(fā)表的。著名的數(shù)學(xué)家拉普拉斯(LaplaceP.S.)用貝葉斯的方法導(dǎo)出了重要的“相繼律”,貝葉斯的方法和理論逐漸被人理解和重視起來(lái)。但由于當(dāng)時(shí)貝葉斯方法在理論和實(shí)際應(yīng)用中還存在很多不完善的地方,因而在十九世紀(jì)并未被普遍接受。2023/1/143合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯技術(shù)二十世紀(jì)初,意大利的菲納特(B.deFinetti)以及英國(guó)的杰弗萊(JeffreysH.)都對(duì)貝葉斯學(xué)派的理論作出重要的貢獻(xiàn)。第二次世界大戰(zhàn)后,瓦爾德(WaldA.)提出了統(tǒng)計(jì)的決策理論,在這一理論中,貝葉斯解占有重要的地位;信息論的發(fā)展也對(duì)貝葉斯學(xué)派做出了新的貢獻(xiàn)。1958年英國(guó)最悠久的統(tǒng)計(jì)雜志Biometrika全文重新刊登了貝葉斯的論文,20世紀(jì)50年代,以羅賓斯(RobbinsH.)為代表,提出了經(jīng)驗(yàn)貝葉斯方法和經(jīng)典方法相結(jié)合,引起統(tǒng)計(jì)界的廣泛注意,這一方法很快就顯示出它的優(yōu)點(diǎn),成為很活躍的一個(gè)方向。2023/1/144合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯技術(shù)隨著人工智能的發(fā)展,尤其是機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等興起,為貝葉斯理論的發(fā)展和應(yīng)用提供了更為廣闊的空間。貝葉斯理論的內(nèi)涵也比以前有了很大的變化。80年代貝葉斯網(wǎng)絡(luò)用于專家系統(tǒng)的知識(shí)表示;90年代進(jìn)一步研究可學(xué)習(xí)的貝葉斯網(wǎng)絡(luò),用于數(shù)據(jù)采掘和機(jī)器學(xué)習(xí)。近年來(lái),貝葉斯學(xué)習(xí)理論方面的文章更是層出不窮,內(nèi)容涵蓋了人工智能的大部分領(lǐng)域,包括因果推理、不確定性知識(shí)表達(dá)、模式識(shí)別和聚類分析等。并且出現(xiàn)了專門研究貝葉斯理論的組織和學(xué)術(shù)刊物ISBA2023/1/145合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯技術(shù)的應(yīng)用領(lǐng)域輔助智能決策數(shù)據(jù)融合模式識(shí)別醫(yī)療診斷文本理解數(shù)據(jù)挖掘2023/1/146合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室統(tǒng)計(jì)概率

統(tǒng)計(jì)概率:若在大量重復(fù)試驗(yàn)中,事件A發(fā)生的頻率穩(wěn)定地接近于一個(gè)固定的常數(shù)p,它表明事件A出現(xiàn)的可能性大小,則稱此常數(shù)p為事件A發(fā)生的概率,記為P(A),即p=P(A)可見概率就是頻率的穩(wěn)定中心。任何事件A的概率為不大于1的非負(fù)實(shí)數(shù),即0<P(A)<12023/1/147合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室條件概率條件概率:我們把事件B已經(jīng)出現(xiàn)的條件下,事件A發(fā)生的概率記做為P(A|B)。并稱之為在B出現(xiàn)的條件下A出現(xiàn)的條件概率,而稱P(A)為無(wú)條件概率。若事件A與B中的任一個(gè)出現(xiàn),并不影響另一事件出現(xiàn)的概率,即當(dāng)P(A)=P(A·B)或P(B)=P(B·A)時(shí),則稱A與B是相互獨(dú)立的事件。2023/1/148合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室加法定理

兩個(gè)不相容(互斥)事件之和的概率,等于兩個(gè)事件概率之和,即

P(A+B)=P(A)+P(B)若A、B為兩任意事件,則:

P(A+B)=P(A)+P(B)-P(AB)2023/1/149合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室乘法定理設(shè)A、B為兩個(gè)任意的非零事件,則其乘積的概率等于A(或B)的概率與在A(或B)出現(xiàn)的條件下B(或A)出現(xiàn)的條件概率的乘積。

P(A·B)=P(A)·P(B|A)或P(A·B)=P(B)·P(A|B)2023/1/1410合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室先驗(yàn)概率先驗(yàn)概率是指根據(jù)歷史的資料或主觀判斷所確定的各事件發(fā)生的概率,該類概率沒(méi)能經(jīng)過(guò)實(shí)驗(yàn)證實(shí),屬于檢驗(yàn)前的概率,所以稱之為先驗(yàn)概率。先驗(yàn)概率一般分為兩類,一是客觀先驗(yàn)概率,是指利用過(guò)去的歷史資料計(jì)算得到的概率;二是主觀先驗(yàn)概率,是指在無(wú)歷史資料或歷史資料不全的時(shí)候,只能憑借人們的主觀經(jīng)驗(yàn)來(lái)判斷取得的概率。

2023/1/1411合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室后驗(yàn)概率后驗(yàn)概率一般是指利用貝葉斯公式,結(jié)合調(diào)查等方式獲取了新的附加信息,對(duì)先驗(yàn)概率進(jìn)行修正后得到的更符合實(shí)際的概率。2023/1/1412合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室聯(lián)合概率聯(lián)合概率也叫乘法公式,是指兩個(gè)任意事件的乘積的概率,或稱之為交事件的概率。2023/1/1413合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室

設(shè)A1,A2,…,An是兩兩互斥的事件,且P(Ai)>0,i=1,2,…,n,A1+A2+…,+An=Ω全概率公式A1A2A3AnB另有一事件B=BA1+BA2+…,+BAn稱滿足上述條件的A1,A2,…,An為完備事件組.2023/1/1414合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室全概率例:某汽車公司下屬有兩個(gè)汽車制造廠,全部產(chǎn)品的40%由甲廠生產(chǎn),60%由乙廠生產(chǎn).而甲乙二廠生產(chǎn)的汽車的不合格率分別為1%,2%.求從公司生產(chǎn)的汽車中隨機(jī)抽取一輛為不合品的概率.解:設(shè)A1,A2分別表示{甲廠汽車}{乙廠汽車},B表示{不合格品}

P(A1)=0.4,P(A2)=0.6

P(B/A1)=0.01,P(B/A2)=0.02

∵A1A2=φ

P(B)=P(A1B+A2B)=P(A1B)+P(A2B)

=P(A1)P(B/A1)+P(A2)P(B/A2)=0.4×0.01+0.6×0.02

=0.016甲乙BA1A22023/1/1415合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室

由此可以形象地把全概率公式看成為“由原因推結(jié)果”,每個(gè)原因?qū)Y(jié)果的發(fā)生有一定的“作用”,即結(jié)果發(fā)生的可能性與各種原因的“作用”大小有關(guān).全概率公式表達(dá)了它們之間的關(guān)系.諸Ai是原因B是結(jié)果A1A2A3A4A5A6A7A8B全概率2023/1/1416合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室該公式于1763年由貝葉斯(Bayes)給出.它是在觀察到事件B已發(fā)生的條件下,尋找導(dǎo)致B發(fā)生的每個(gè)原因的概率.貝葉斯公式

設(shè)A1,A2,…,An是樣本空間中的完備事件組且P(Ai)>0,i=1,2,…,n,另有一事件B,則有2023/1/1417合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯規(guī)則基于條件概率的定義p(Ai|E)是在給定證據(jù)下的后驗(yàn)概率p(Ai)是先驗(yàn)概率P(E|Ai)是在給定Ai下的證據(jù)似然p(E)是證據(jù)的預(yù)定義后驗(yàn)概率?==iiiiiiii))p(AA|p(E))p(AA|p(Ep(E)))p(AA|p(EE)|p(A==p(B)A)p(A)|p(Bp(B)B)p(A,B)|p(AA1A2A3A4A5A6E2023/1/1418合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室因果貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)

模型學(xué)習(xí)(1)給定一個(gè)樣本集D=,找到一個(gè)和D擬合的最好的網(wǎng)絡(luò)結(jié)構(gòu)

(2)評(píng)分函數(shù)用于評(píng)價(jià)網(wǎng)絡(luò)與樣本擬合程度2023/1/1419合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)—EM算法EM算法(ExpectationMaximizationEM)

E步是計(jì)算待估計(jì)參數(shù)的似然期望;M步在假設(shè)E步所得到的概率分布是正確的情況下,通過(guò)極大似然估計(jì)對(duì)參數(shù)進(jìn)行更新以得到最大的參數(shù)。分為以下幾個(gè)步驟:(1)含有不完全數(shù)據(jù)的樣本的缺項(xiàng)用該項(xiàng)的最大似然估計(jì)代替;(2)把第一步中的缺項(xiàng)值作為先驗(yàn)信息,計(jì)算每一缺項(xiàng)的最大后驗(yàn)概率,并根據(jù)最大后驗(yàn)概率計(jì)算它的理想值。(3)用理想值替換(1)中的缺項(xiàng)。(4)重復(fù)(1—3),直到兩次相繼估計(jì)的差在某一固定閥值內(nèi)。2023/1/1420合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)—EM算法EM算法的圖解2023/1/1421合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)—EM算法2023/1/1422合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)1.基于搜索評(píng)分的方法:(1)初始化貝葉斯網(wǎng)絡(luò)為孤立節(jié)點(diǎn)(2)使用啟發(fā)式方法為網(wǎng)絡(luò)加邊(3)使用評(píng)分函數(shù)評(píng)測(cè)新的結(jié)構(gòu)是否為更好貝葉斯評(píng)分(BayesianScoreMetric)最小描述長(zhǎng)度MDL(MinimalDescriptionLength)

重復(fù)以上過(guò)程,直到找不到更好的結(jié)構(gòu)精典的算法有:K2算法、SEM算法等。2.基于依賴分析的方法:通過(guò)使用條件獨(dú)立性檢驗(yàn)conditionalindependence(CI)

找到網(wǎng)絡(luò)的依賴結(jié)構(gòu)2023/1/1423合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)——信息熵對(duì)連續(xù)型隨機(jī)變量x,它的概率密度函數(shù)為p(x),若積分設(shè)隨機(jī)變量x是離散的,它取至多可列個(gè)值,且則

稱為x的熵

有意義,稱它為連續(xù)型隨機(jī)變量的熵

2023/1/1424合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)——互信息計(jì)算每一點(diǎn)對(duì)之間的互信息:

建立完全的無(wú)向圖,圖中的頂點(diǎn)是變量,邊是變量之間的互信息2023/1/1425合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室基于條件獨(dú)立性檢驗(yàn)(CI)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)習(xí)1)初始化圖結(jié)構(gòu)B=<N,A,>,A=,R=,S=;2)對(duì)每一節(jié)點(diǎn)對(duì),計(jì)算它們的互信息,并將互信息大于某一域值的節(jié)點(diǎn)對(duì)按互信息值的大小順序加入到S中;3)從S中取出第一個(gè)點(diǎn)對(duì),并從S中刪除這個(gè)元素,把該點(diǎn)對(duì)加入到邊集A中;4)從S中剩余的點(diǎn)對(duì)中,取出第一個(gè)點(diǎn)對(duì),如果這兩個(gè)節(jié)點(diǎn)之間不存在開放路徑,再把該點(diǎn)對(duì)加入A到中,否則加入到R中;5)重復(fù)4),直到S為空;6)從R中取出第一個(gè)點(diǎn)對(duì);7)找出該點(diǎn)對(duì)的某一塊集,在該子集上做獨(dú)立性檢驗(yàn),如果該點(diǎn)對(duì)的兩個(gè)節(jié)點(diǎn),仍然相互依賴,則加入到A中;8)重復(fù)6),直到R為空;9)對(duì)A中的每一條邊,如果除這條邊外,仍舊含有開放路徑,則從A中臨時(shí)移出,并在相應(yīng)的塊集上作獨(dú)立性測(cè)試,如果仍然相關(guān),則將其返回到A中,否則從A中刪除這條邊。2023/1/1426合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室貝葉斯網(wǎng)中的證據(jù)推理目的:通過(guò)聯(lián)合概率分布公式,在給定的網(wǎng)絡(luò)結(jié)構(gòu)和已知證據(jù)下,計(jì)算某一事件的發(fā)生的概率。E網(wǎng)絡(luò)證據(jù)查詢推理貝葉斯推理可以在反復(fù)使用貝葉斯規(guī)則而獲得==p(B)A)p(A)|p(Bp(B)B)p(A,B)|p(A2023/1/1427合肥工業(yè)大學(xué)人工智能與數(shù)據(jù)挖掘研究室推理方法概述精確推理網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是推理復(fù)雜性的主要原因;當(dāng)前的一些精確算法是有效地,能夠解

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論