最新第06章-貝葉斯網(wǎng)絡(luò)課件

第06章-貝葉斯網(wǎng)絡(luò)(wǎngluò)第一頁(yè)，共一百一十七頁(yè)。第06章-貝葉斯網(wǎng)絡(luò)(wǎngluò)第一頁(yè)，共一百一十七頁(yè)1內(nèi)容提要(nèirónɡtíyào)6.1概述6.2貝葉斯概率基礎(chǔ)6.3貝葉斯問(wèn)題的求解6.4簡(jiǎn)單貝葉斯學(xué)習(xí)模型6.5貝葉斯網(wǎng)絡(luò)的建造6.6貝葉斯?jié)撛谡Z(yǔ)義模型6.7半監(jiān)督文本(wénběn)挖掘算法2022/12/232第二頁(yè)，共一百一十七頁(yè)。內(nèi)容提要(nèirónɡtíyào)6.1概述206.1

概述貝葉斯網(wǎng)絡(luò)是用來(lái)表示變量間連接概率的圖形模式，它提供了一種自然(zìrán)的表示因果信息的方法，用來(lái)發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。在這個(gè)網(wǎng)絡(luò)中，用節(jié)點(diǎn)表示變量，有向邊表示變量間的依賴(lài)關(guān)系。貝葉斯方法以其獨(dú)特的不確定性知識(shí)表達(dá)形式、豐富的概率表達(dá)能力、綜合先驗(yàn)知識(shí)的增量學(xué)習(xí)特性等成為當(dāng)前數(shù)據(jù)挖掘眾多方法中最為引人注目的焦點(diǎn)之一。2022/12/233第三頁(yè)，共一百一十七頁(yè)。6.1概述貝葉斯網(wǎng)絡(luò)是用來(lái)表示變量間連接概率的圖形模式2022/12/2346.1

概述6.1.1貝葉斯網(wǎng)絡(luò)的發(fā)展歷史貝葉斯（ReverendThomasBayes,1702-1761）學(xué)派(xuépài)奠基性的工作是貝葉斯的論文“關(guān)于幾率性問(wèn)題求解的評(píng)論”?；蛟S是他自己感覺(jué)到它的學(xué)說(shuō)還有不完善的地方，這一論文在他生前并沒(méi)有發(fā)表，而是在他死后，由他的朋友發(fā)表的。著名的數(shù)學(xué)家拉普拉斯（LaplaceP.S.）用貝葉斯的方法導(dǎo)出了重要的“相繼律”，貝葉斯的方法和理論逐漸被人理解和重視起來(lái)。但由于當(dāng)時(shí)貝葉斯方法在理論和實(shí)際應(yīng)用中還存在很多不完善的地方，因而在十九世紀(jì)并未被普遍接受。第四頁(yè)，共一百一十七頁(yè)。2022/12/1746.1概述6.1.1貝葉斯網(wǎng)絡(luò)42022/12/2356.1

概述6.1.1貝葉斯網(wǎng)絡(luò)的發(fā)展歷史二十世紀(jì)初，意大利的菲納特（B.deFinetti）以及英國(guó)的杰弗萊（JeffreysH.）都對(duì)貝葉斯學(xué)派的理論作出重要的貢獻(xiàn)。第二次世界大戰(zhàn)后，瓦爾德（WaldA.）提出了統(tǒng)計(jì)的決策理論，在這一理論中，貝葉斯解占有重要的地位；信息論的發(fā)展也對(duì)貝葉斯學(xué)派做出了新的貢獻(xiàn)。1958年英國(guó)最悠久的統(tǒng)計(jì)雜志Biometrika全文重新刊登了貝葉斯的論文，20世紀(jì)50年代，以羅賓斯（RobbinsH.）為代表，提出了經(jīng)驗(yàn)貝葉斯方法和經(jīng)典方法相結(jié)合，引起統(tǒng)計(jì)界的廣泛注意(zhùyì)，這一方法很快就顯示出它的優(yōu)點(diǎn)，成為很活躍的一個(gè)方向。第五頁(yè)，共一百一十七頁(yè)。2022/12/1756.1概述6.1.1貝葉斯網(wǎng)絡(luò)52022/12/2366.1

概述6.1.1貝葉斯網(wǎng)絡(luò)的發(fā)展歷史隨著人工智能的發(fā)展，尤其是機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等興起，為貝葉斯理論的發(fā)展和應(yīng)用提供了更為廣闊的空間。貝葉斯理論的內(nèi)涵也比以前有了很大的變化。80年代貝葉斯網(wǎng)絡(luò)用于專(zhuān)家系統(tǒng)的知識(shí)表示，90年代進(jìn)一步研究可學(xué)習(xí)的貝葉斯網(wǎng)絡(luò)，用于數(shù)據(jù)采掘和機(jī)器學(xué)習(xí)。近年來(lái)，貝葉斯學(xué)習(xí)理論方面的文章更是層出不窮，內(nèi)容涵蓋了人工智能的大部分領(lǐng)域，包括因果推理、不確定性知識(shí)表達(dá)、模式識(shí)別和聚類(lèi)分析等。并且出現(xiàn)(chūxiàn)了專(zhuān)門(mén)研究貝葉斯理論的組織和學(xué)術(shù)刊物InternationalSocietyBayesianAnalysis。第六頁(yè)，共一百一十七頁(yè)。2022/12/1766.1概述6.1.1貝葉斯網(wǎng)絡(luò)62022/12/2376.1

概述6.1.2貝葉斯方法的基本觀點(diǎn)貝葉斯分析方法的特點(diǎn)是用概率去表示所有形式的不確定性，學(xué)習(xí)或其它形式的推理都用概率規(guī)則來(lái)實(shí)現(xiàn)。貝葉斯學(xué)習(xí)的結(jié)果表示為隨機(jī)變量的概率分布，它可以解釋為我們對(duì)不同可能性的信任程度。貝葉斯學(xué)派的起點(diǎn)(qǐdiǎn)是貝葉斯的兩項(xiàng)工作：貝葉斯定理和貝葉斯假設(shè)。貝葉斯定理將事件的先驗(yàn)概率與后驗(yàn)概率聯(lián)系起來(lái)。第七頁(yè)，共一百一十七頁(yè)。2022/12/1776.1概述6.1.2貝葉斯方法72022/12/2386.1

概述6.1.2貝葉斯方法的基本觀點(diǎn)假定隨機(jī)向量x，θ的聯(lián)合分布密度是p(x,θ)，它們的邊際密度分別為p(x)、p(θ)。一般情況下設(shè)x是觀測(cè)向量，θ是未知參數(shù)(cānshù)向量，通過(guò)觀測(cè)向量獲得未知參數(shù)向量的估計(jì)，貝葉斯定理記作：π(θ)

是θ的先驗(yàn)(xiānyàn)分布(6.1)第八頁(yè)，共一百一十七頁(yè)。2022/12/1786.1概述6.1.2貝葉斯方法82022/12/2396.1

概述6.1.2貝葉斯方法的基本觀點(diǎn)

貝葉斯方法對(duì)未知參數(shù)向量估計(jì)的一般過(guò)程為：

⑴將未知參數(shù)看成隨機(jī)向量，這是貝葉斯方法與傳統(tǒng)的參數(shù)估計(jì)方法的最大區(qū)別。⑵根據(jù)以往對(duì)參數(shù)θ的知識(shí)，確定先驗(yàn)分布π(θ)

，它是貝葉斯方法容易引起爭(zhēng)議的一步，因此而受到經(jīng)典統(tǒng)計(jì)界的攻擊。⑶計(jì)算后驗(yàn)分布密度，做出對(duì)未知參數(shù)的推斷。在第⑵步，如果沒(méi)有任何以往的知識(shí)來(lái)幫助確定π(θ)，貝葉斯提出可以(kěyǐ)采用均勻分布作為其分布，即參數(shù)在它的變化范圍內(nèi)，取到各個(gè)值的機(jī)會(huì)是相同的，稱(chēng)這個(gè)假定為貝葉斯假設(shè)。第九頁(yè)，共一百一十七頁(yè)。2022/12/1796.1概述6.1.2貝葉斯方法92022/12/23106.1

概述6.1.3貝葉斯網(wǎng)絡(luò)(wǎngluò)的應(yīng)用領(lǐng)域輔助智能決策(juécè)數(shù)據(jù)融合模式識(shí)別醫(yī)療診斷文本理解數(shù)據(jù)挖掘1.貝葉斯方法用于分類(lèi)及回歸分析2.用于因果推理和不確定知識(shí)表達(dá)(biǎodá)3.用于聚類(lèi)模式發(fā)現(xiàn)第十頁(yè)，共一百一十七頁(yè)。2022/12/17106.1概述6.1.3貝葉斯網(wǎng)106.2貝葉斯概率(gàilǜ)基礎(chǔ)

6.2.1概率論基礎(chǔ)

概率論是研究隨機(jī)現(xiàn)象規(guī)律性的數(shù)學(xué)。隨機(jī)現(xiàn)象是指在相同的條件下，其出現(xiàn)的結(jié)果是不確定的現(xiàn)象。隨機(jī)現(xiàn)象又可分為個(gè)別隨機(jī)現(xiàn)象和大量的隨機(jī)現(xiàn)象。對(duì)大量的隨機(jī)現(xiàn)象進(jìn)行觀察所得到的規(guī)律性，被人們稱(chēng)為統(tǒng)計(jì)規(guī)律性。

在統(tǒng)計(jì)上，我們習(xí)慣把一次對(duì)現(xiàn)象的觀察、登記或?qū)嶒?yàn)叫做一次試驗(yàn)。隨機(jī)性實(shí)驗(yàn)是指對(duì)隨機(jī)現(xiàn)象的觀察。隨機(jī)試驗(yàn)在完全相同的條件下，可能出現(xiàn)不同的結(jié)果，但所有可能結(jié)果的范圍是可以估計(jì)的，即隨機(jī)試驗(yàn)的結(jié)果具有不確定性和可預(yù)計(jì)(yùjì)性。在統(tǒng)計(jì)上，一般把隨機(jī)實(shí)驗(yàn)的結(jié)果，即隨機(jī)現(xiàn)象的具體表現(xiàn)稱(chēng)為隨機(jī)事件，簡(jiǎn)稱(chēng)事件。

隨機(jī)事件是指試驗(yàn)中可能出現(xiàn)，也可能不出現(xiàn)的結(jié)果。2022/12/2311史忠植高級(jí)(gāojí)人工智能第十一頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)6.2.1概率論基2022/12/23126.2貝葉斯概率(gàilǜ)基礎(chǔ)

6.2.1概率論基礎(chǔ)定義6.1

統(tǒng)計(jì)概率若在大量重復(fù)試驗(yàn)中，事件A發(fā)生的頻率(pínlǜ)穩(wěn)定地接近于一個(gè)固定的常數(shù)p，它表明事件A出現(xiàn)的可能性大小，則稱(chēng)此常數(shù)p為事件A發(fā)生的概率，記為P(A),即p＝P(A)(6.2)可見(jiàn)概率就是頻率的穩(wěn)定中心。任何事件A的概率為不大于1的非負(fù)實(shí)數(shù)，即0＜P(A)＜1第十二頁(yè)，共一百一十七頁(yè)。2022/12/17126.2貝葉斯概率(gàilǜ)基礎(chǔ)122022/12/23史忠植高級(jí)(gāojí)人工智能136.2貝葉斯概率(gàilǜ)基礎(chǔ)定義6.2古典概率我們?cè)O(shè)一種次試驗(yàn)有且僅有有限的N個(gè)可能(kěnéng)結(jié)果，即N個(gè)基本事件，而A事件包含著K個(gè)可能結(jié)果，則稱(chēng)K/N為事件A的概率，記為P(A)。即P(A)＝K/N定義6.3幾何概率假設(shè)Ω是幾何型隨機(jī)試驗(yàn)的基本事件空間，F(xiàn)是Ω中一切可測(cè)集的集合，則對(duì)于F中的任意事件A的概率P(A)為A與Ω的體積之比，即P(A)＝V(A)/V(Ω)(6.3)第十三頁(yè)，共一百一十七頁(yè)。2022/12/17史忠植高級(jí)(gāojí)人工智能13136.2貝葉斯概率(gàilǜ)基礎(chǔ)定義6.4條件概率我們把事件B已經(jīng)出現(xiàn)的條件下，事件A發(fā)生(fāshēng)的概率記做為P(A|B)。并稱(chēng)為在B出現(xiàn)的條件下A出現(xiàn)的條件概率，而稱(chēng)P(A)為無(wú)條件概率。若事件A與B中的任一個(gè)出現(xiàn)，并不影響另一事件出現(xiàn)的概率，即當(dāng)P(A)＝P(A·B)或P(B)＝P(B·A)時(shí)，則稱(chēng)A與B是相互獨(dú)立的事件。2022/12/2314史忠植高級(jí)(gāojí)人工智能第十四頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)定義6.46.2貝葉斯概率(gàilǜ)基礎(chǔ)定理6.1加法定理

兩個(gè)不相容(互斥)事件之和的概率，等于(děngyú)兩個(gè)事件概率之和，即P(A+B)＝P(A)＋P(B)兩個(gè)互逆事件A和A-1的概率之和為1。即當(dāng)A+A-1＝Ω，且A與A-1互斥，則P(A)＋P(A-1)＝1，或常有P(A)＝1－P(A-1)。

若A、B為兩任意事件，則P(A+B)＝P(A)＋P(B)－P(AB)2022/12/2315史忠植高級(jí)(gāojí)人工智能第十五頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)定理6.6.2貝葉斯概率(gàilǜ)基礎(chǔ)定理6.2乘法定理設(shè)A、B為兩個(gè)不相容(互斥)非零事件，則其乘積的概率等于A和B概率的乘積，即P(AB)＝P(A)P(B)或P(AB)＝P(B)P(A)設(shè)A、B為兩個(gè)任意(rènyì)的非零事件，則其乘積的概率等于A(或B)的概率與在A(或B)出現(xiàn)的條件下B(或A)出現(xiàn)的條件概率的乘積。P(A·B)＝P(A)·P(B|A)或P(A·B)＝P(B)·P(A|B)2022/12/2316史忠植高級(jí)(gāojí)人工智能第十六頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)定理6.26.2貝葉斯概率(gàilǜ)基礎(chǔ)6.2.2貝葉斯概率(1)先驗(yàn)概率。先驗(yàn)概率是指根據(jù)歷史的資料或主觀判斷所確定的各事件發(fā)生的概率，該類(lèi)概率沒(méi)能經(jīng)過(guò)實(shí)驗(yàn)證實(shí)，屬于檢驗(yàn)前的概率，所以稱(chēng)之為先驗(yàn)概率。先驗(yàn)概率一般(yībān)分為兩類(lèi)，一是客觀先驗(yàn)概率，是指利用過(guò)去的歷史資料計(jì)算得到的概率；二是主觀先驗(yàn)概率，是指在無(wú)歷史資料或歷史資料不全的時(shí)候，只能憑借人們的主觀經(jīng)驗(yàn)來(lái)判斷取得的概率。2022/12/2317史忠植高級(jí)(gāojí)人工智能第十七頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)6.2.2貝葉斯概率6.2貝葉斯概率(gàilǜ)基礎(chǔ)(2)后驗(yàn)概率。后驗(yàn)概率一般(yībān)是指利用貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對(duì)先驗(yàn)概率進(jìn)行修正后得到的更符合實(shí)際的概率。(3)聯(lián)合概率。聯(lián)合概率也叫乘法公式，是指兩個(gè)任意(rènyì)事件的乘積的概率，或稱(chēng)之為交事件的概率。2022/12/2318史忠植高級(jí)人工智能第十八頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)(2)后6.2貝葉斯概率(gàilǜ)基礎(chǔ)(4)全概率公式(gōngshì)。設(shè)B1,B2,…,Bn是兩兩互斥的事件，且P(Bi)>0，i=1,2,…,n，B1+B2+…,+Bn=Ω。另有一事件(shìjiàn)A=AB1+AB2+…,+ABn稱(chēng)滿(mǎn)足上述條件的B1,B2,…,Bn為完備事件組。B1B2B3BnA2022/12/2319史忠植高級(jí)人工智能第十九頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)(4)全概率6.2貝葉斯概率(gàilǜ)基礎(chǔ)由此可以形象地把全概率公式看成為“由原因(yuányīn)推結(jié)果”，每個(gè)原因?qū)Y(jié)果的發(fā)生有一定的“作用”，即結(jié)果發(fā)生的可能性與各種原因的“作用”大小有關(guān)。全概率公式表達(dá)了它們之間的關(guān)系。諸Bi是原因(yuányīn)A是結(jié)果B1B2B3B4B5B6B7B8A第二十頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)由此可以形206.2貝葉斯概率(gàilǜ)基礎(chǔ)該公式于1763年由貝葉斯(Bayes)給出。它是在觀察(guānchá)到事件A已發(fā)生的條件下，尋找導(dǎo)致A發(fā)生的每個(gè)原因的概率。(5)貝葉斯公式。貝葉斯公式也叫后驗(yàn)概率公式，亦叫逆概率公式，其用途很廣。設(shè)先驗(yàn)概率為P(Bi)，調(diào)查所獲的新附加信息(xìnxī)為P(Aj|Bi)

(i=1,2,…,n;j=1,2,…,m),則貝葉斯公式計(jì)算的后驗(yàn)概率為(6.5)第二十一頁(yè)，共一百一十七頁(yè)。6.2貝葉斯概率(gàilǜ)基礎(chǔ)該公式于21貝葉斯規(guī)則(guīzé)基于條件(tiáojiàn)概率的定義p(Ai|E)是在給定證據(jù)下的后驗(yàn)概率p(Ai)是先驗(yàn)概率P(E|Ai)是在給定Ai下的證據(jù)似然p(E)是證據(jù)的預(yù)定義后驗(yàn)概率?==iiiiiiii))p(AA|p(E))p(AA|p(Ep(E)))p(AA|p(EE)|p(A==p(B)A)p(A)|p(Bp(B)B)p(A,B)|p(AA1A2A3A4A5A6E2022/12/2322史忠植高級(jí)(gāojí)人工智能第二十二頁(yè)，共一百一十七頁(yè)。貝葉斯規(guī)則(guīzé)基于條件(tiáojiàn)概率的定貝葉斯網(wǎng)絡(luò)(wǎngluò)的概率解釋任何完整(wánzhěng)的概率模型必須具有表示（直接或間接）該領(lǐng)域變量聯(lián)合分布的能力。完全的枚舉需要指數(shù)級(jí)的規(guī)模（相對(duì)于領(lǐng)域變量個(gè)數(shù)）貝葉斯網(wǎng)絡(luò)提供了這種聯(lián)合概率分布的緊湊表示：分解聯(lián)合分布為幾個(gè)局部分布的乘積：

從公式可以看出，需要的參數(shù)個(gè)數(shù)隨網(wǎng)絡(luò)中節(jié)點(diǎn)個(gè)數(shù)呈線性增長(zhǎng)，而聯(lián)合分布的計(jì)算呈指數(shù)增長(zhǎng)。網(wǎng)絡(luò)中變量間獨(dú)立性的指定是實(shí)現(xiàn)緊湊表示的關(guān)鍵。這種獨(dú)立性關(guān)系在通過(guò)人類(lèi)專(zhuān)家構(gòu)造貝葉斯網(wǎng)中特別有效。

2022/12/2323史忠植高級(jí)(gāojí)人工智能第二十三頁(yè)，共一百一十七頁(yè)。貝葉斯網(wǎng)絡(luò)(wǎngluò)的概率解釋任何完整(wánzhě2022/12/23史忠植高級(jí)(gāojí)人工智能246.4簡(jiǎn)單(jiǎndān)貝葉斯學(xué)習(xí)模型簡(jiǎn)單貝葉斯（na?veBayes或simpleBayes）學(xué)習(xí)模型將訓(xùn)練實(shí)例I分解成特征向量X和決策類(lèi)別變量C。簡(jiǎn)單貝葉斯模型假定特征向量的各分量間相對(duì)(xiāngduì)于決策變量是相對(duì)(xiāngduì)獨(dú)立的，也就是說(shuō)各分量獨(dú)立地作用于決策變量。盡管這一假定一定程度上限制了簡(jiǎn)單貝葉斯模型的適用范圍，然而在實(shí)際應(yīng)用中，不僅以指數(shù)級(jí)降低了貝葉斯網(wǎng)絡(luò)構(gòu)建的復(fù)雜性，而且在許多領(lǐng)域，在違背這種假定的條件下，簡(jiǎn)單貝葉斯也表現(xiàn)出相當(dāng)?shù)慕研院透咝訹111]，它已經(jīng)成功地應(yīng)用到分類(lèi)、聚類(lèi)及模型選擇等數(shù)據(jù)挖掘的任務(wù)中。目前，許多研究人員正致力于改善特征變量間獨(dú)立性的限制[54]，以使它適用于更大的范圍。第二十四頁(yè)，共一百一十七頁(yè)。2022/12/17史忠植高級(jí)(gāojí)人工智能2424簡(jiǎn)單(jiǎndān)貝葉斯Na?veBayesian結(jié)構(gòu)簡(jiǎn)單－只有兩層結(jié)構(gòu)推理(tuīlǐ)復(fù)雜性與網(wǎng)絡(luò)節(jié)點(diǎn)個(gè)數(shù)呈線性關(guān)系2022/12/2325史忠植高級(jí)(gāojí)人工智能第二十五頁(yè)，共一百一十七頁(yè)。簡(jiǎn)單(jiǎndān)貝葉斯Na?veBayesian設(shè)樣本A表示(biǎoshì)成屬性向量，如果屬性對(duì)于給定的類(lèi)別獨(dú)立，那么P(A|Ci)可以分解成幾個(gè)分量的積：

ai是樣本(yàngběn)A的第i個(gè)屬性

6.4簡(jiǎn)單貝葉斯學(xué)習(xí)(xuéxí)模型2022/12/2326史忠植高級(jí)人工智能第二十六頁(yè)，共一百一十七頁(yè)。設(shè)樣本A表示(biǎoshì)成屬性向量，如果屬性對(duì)于給定的簡(jiǎn)單(jiǎndān)貝葉斯分類(lèi)模型這個(gè)過(guò)程稱(chēng)之為簡(jiǎn)單貝葉斯分類(lèi)(fēnlèi)(SBC:SimpleBayesianClassifier)。一般認(rèn)為，只有在獨(dú)立性假定成立的時(shí)候，SBC才能獲得精度最優(yōu)的分類(lèi)效率；或者在屬性相關(guān)性較小的情況下，能獲得近似最優(yōu)的分類(lèi)效果。

6.4簡(jiǎn)單貝葉斯學(xué)習(xí)(xuéxí)模型6.4.1簡(jiǎn)單貝葉斯學(xué)習(xí)模型的介紹2022/12/2327史忠植高級(jí)人工智能第二十七頁(yè)，共一百一十七頁(yè)。簡(jiǎn)單(jiǎndān)貝葉斯分類(lèi)模型這個(gè)過(guò)程稱(chēng)之為簡(jiǎn)單貝葉斯6.4.2簡(jiǎn)單貝葉斯模型的提升提升方法(fāngfǎ)（Boosting）總的思想是學(xué)習(xí)一系列分類(lèi)器，在這個(gè)序列中每一個(gè)分類(lèi)器對(duì)它前一個(gè)分類(lèi)器導(dǎo)致的錯(cuò)誤分類(lèi)例子給與更大的重視。尤其是在學(xué)習(xí)完分類(lèi)器Hk之后，增加了由Hk導(dǎo)致分類(lèi)錯(cuò)誤的訓(xùn)練例子的權(quán)值，并且通過(guò)重新對(duì)訓(xùn)練例子計(jì)算權(quán)值，再學(xué)習(xí)下一個(gè)分類(lèi)器Hk+1。這個(gè)過(guò)程重復(fù)T次。最終的分類(lèi)器從這一系列的分類(lèi)器中綜合得出。6.4簡(jiǎn)單貝葉斯學(xué)習(xí)(xuéxí)模型2022/12/2328史忠植高級(jí)(gāojí)人工智能第二十八頁(yè)，共一百一十七頁(yè)。6.4.2簡(jiǎn)單貝葉斯模型的提升6.4簡(jiǎn)單貝葉斯學(xué)習(xí)(xu2022/12/23史忠植高級(jí)(gāojí)人工智能296.5貝葉斯網(wǎng)絡(luò)(wǎngluò)的建造6.5.1貝葉斯網(wǎng)絡(luò)的建構(gòu)及建立方法

貝葉斯網(wǎng)絡(luò)是表示變量間概率依賴(lài)關(guān)系的有向無(wú)環(huán)圖，這里每個(gè)節(jié)點(diǎn)表示領(lǐng)域變量，每條邊表示變量間的概率依賴(lài)關(guān)系，同時(shí)(tóngshí)對(duì)每個(gè)節(jié)點(diǎn)都對(duì)應(yīng)著一個(gè)條件概率分布表(CPT)，指明了該變量與父節(jié)點(diǎn)之間概率依賴(lài)的數(shù)量關(guān)系。第二十九頁(yè)，共一百一十七頁(yè)。2022/12/17史忠植高級(jí)(gāojí)人工智能29292022/12/23史忠植高級(jí)(gāojí)人工智能30貝葉斯網(wǎng)的表示(biǎoshì)方法 =P(A)P(S)P(T|A)P(L|S)P(B|S) P(C|T,L)P(D|T,L,B)P(A,S,T,L,B,C,D)

條件獨(dú)立性假設(shè)有效的表示CPT:

TLBD=0D=10000.10.90010.70.30100.80.20110.90.1...LungCancerSmokingChestX-rayBronchitisDyspnoeaTuberculosisVisittoAsiaP(D|T,L,B)P(B|S)P(S)P(C|T,L)P(L|S)P(A)P(T|A)貝葉斯網(wǎng)絡(luò)(wǎngluò)是表示變量間概率依賴(lài)關(guān)系的有向無(wú)環(huán)圖第三十頁(yè)，共一百一十七頁(yè)。2022/12/17史忠植高級(jí)(gāojí)人工智能3030Boosting背景(bèijǐng)來(lái)源于:PAC-LearningModelValiant1984-11提出問(wèn)題:強(qiáng)學(xué)習(xí)(xuéxí)算法:準(zhǔn)確率很高的學(xué)習(xí)算法弱學(xué)習(xí)算法:準(zhǔn)確率不高,僅比隨機(jī)猜測(cè)略好是否可以將弱學(xué)習(xí)算法提升為強(qiáng)學(xué)習(xí)算法2022/12/2331史忠植高級(jí)(gāojí)人工智能第三十一頁(yè)，共一百一十七頁(yè)。Boosting背景(bèijǐng)來(lái)源于:PAC-LeaBoosting背景(bèijǐng)最初(zuìchū)的boosting算法

Schapire1989AdaBoost算法

FreundandSchapire19952022/12/2332史忠植高級(jí)(gāojí)人工智能第三十二頁(yè)，共一百一十七頁(yè)。Boosting背景(bèijǐng)最初(zuìchū)的Boosting—concepts(3)Boosting弱學(xué)習(xí)機(jī)（weaklearner):對(duì)一定分布的訓(xùn)練樣本給出假設(shè)（僅僅(jǐnjǐn)強(qiáng)于隨機(jī)猜測(cè)）

根據(jù)有云猜測(cè)可能會(huì)下雨強(qiáng)學(xué)習(xí)機(jī)（stronglearner):根據(jù)得到的弱學(xué)習(xí)機(jī)和相應(yīng)的權(quán)重給出假設(shè)（最大程度上符合實(shí)際情況：almostperfectexpert)

根據(jù)CNN,ABC,CBS以往的預(yù)測(cè)表現(xiàn)及實(shí)際天氣情況作出綜合準(zhǔn)確的天氣預(yù)測(cè)弱學(xué)習(xí)機(jī)強(qiáng)學(xué)習(xí)機(jī)2022/12/2333史忠植高級(jí)(gāojí)人工智能第三十三頁(yè)，共一百一十七頁(yè)。Boosting—concepts(3)Boosting弱學(xué)Boosting流程(liúchéng)(loop1)強(qiáng)學(xué)習(xí)機(jī)弱學(xué)習(xí)機(jī)原始(yuánshǐ)訓(xùn)練集加權(quán)后的訓(xùn)練(xùnliàn)集加權(quán)后的假設(shè)X>1?1:-1弱假設(shè)2022/12/2334史忠植高級(jí)人工智能第三十四頁(yè)，共一百一十七頁(yè)。Boosting流程(liúchéng)(loop1)強(qiáng)學(xué)習(xí)Boosting流程(liúchéng)(loop2)強(qiáng)學(xué)習(xí)機(jī)弱學(xué)習(xí)機(jī)原始(yuánshǐ)訓(xùn)練集加權(quán)后的訓(xùn)練(xùnliàn)集加權(quán)后的假設(shè)Y>3?1:-1弱假設(shè)2022/12/2335史忠植高級(jí)人工智能第三十五頁(yè)，共一百一十七頁(yè)。Boosting流程(liúchéng)(loop2)強(qiáng)學(xué)習(xí)Boosting流程(liúchéng)(loop3)強(qiáng)學(xué)習(xí)機(jī)弱學(xué)習(xí)機(jī)原始(yuánshǐ)訓(xùn)練集加權(quán)后的訓(xùn)練(xùnliàn)集加權(quán)后的假設(shè)Z>7?1:-1弱假設(shè)2022/12/2336史忠植高級(jí)人工智能第三十六頁(yè)，共一百一十七頁(yè)。Boosting流程(liúchéng)(loop3)強(qiáng)學(xué)習(xí)Boosting過(guò)程:在一定的權(quán)重條件(tiáojiàn)下訓(xùn)練數(shù)據(jù)，得出分類(lèi)法Ct根據(jù)Ct的錯(cuò)誤率調(diào)整權(quán)重SetofweightedinstancesClassifierCt

trainclassifier

adjustweights2022/12/2337史忠植高級(jí)(gāojí)人工智能第三十七頁(yè)，共一百一十七頁(yè)。Boosting過(guò)程:SetofClassifierC2022/12/23史忠植高級(jí)(gāojí)人工智能38流程(liúchéng)描述Step1:原始訓(xùn)練集輸入，帶有原始分布Step2:給出訓(xùn)練集中各樣本的權(quán)重Step3:將改變分布后的訓(xùn)練集輸入已知的弱學(xué)習(xí)機(jī)，弱學(xué)習(xí)機(jī)對(duì)每個(gè)樣本給出假設(shè)(jiǎshè)Step4:對(duì)此次的弱學(xué)習(xí)機(jī)給出權(quán)重Step5:轉(zhuǎn)到Step2,直到循環(huán)到達(dá)一定次數(shù)或者某度量標(biāo)準(zhǔn)符合要求Step6:將弱學(xué)習(xí)機(jī)按其相應(yīng)的權(quán)重加權(quán)組合形成強(qiáng)學(xué)習(xí)機(jī)第三十八頁(yè)，共一百一十七頁(yè)。2022/12/17史忠植高級(jí)(gāojí)人工智能38382022/12/23史忠植高級(jí)(gāojí)人工智能39核心思想樣本的權(quán)重沒(méi)有先驗(yàn)知識(shí)的情況(qíngkuàng)下，初始的分布應(yīng)為等概分布，也就是訓(xùn)練集如果有N個(gè)樣本，每個(gè)樣本的分布概率為1/N每次循環(huán)一后提高錯(cuò)誤樣本的分布概率，分錯(cuò)樣本在訓(xùn)練集中所占權(quán)重增大，使得下一次循環(huán)的弱學(xué)習(xí)機(jī)能夠集中力量對(duì)這些錯(cuò)誤樣本進(jìn)行判斷。弱學(xué)習(xí)機(jī)的權(quán)重準(zhǔn)確率越高的弱學(xué)習(xí)機(jī)權(quán)重越高循環(huán)控制：損失函數(shù)達(dá)到最小在強(qiáng)學(xué)習(xí)機(jī)的組合中增加一個(gè)加權(quán)的弱學(xué)習(xí)機(jī)，使準(zhǔn)確率提高，損失函數(shù)值減小。第三十九頁(yè)，共一百一十七頁(yè)。2022/12/17史忠植高級(jí)(gāojí)人工智能3939簡(jiǎn)單問(wèn)題演示(yǎnshì)（Boosting訓(xùn)練過(guò)程）2022/12/2340史忠植高級(jí)(gāojí)人工智能第四十頁(yè)，共一百一十七頁(yè)。簡(jiǎn)單問(wèn)題演示(yǎnshì)（Boosting訓(xùn)練過(guò)程）20算法(suànfǎ)—問(wèn)題描述訓(xùn)練集{(x1,y1),(x2,y2),…,(xN,yN)}xiRm,yi{-1,+1}Dt

為第t次循環(huán)時(shí)的訓(xùn)練樣本分布（每個(gè)樣本在訓(xùn)練集中所占的概率，Dt總和應(yīng)該為1）ht:X{-1,+1}為第t次循環(huán)時(shí)的Weaklearner，對(duì)每個(gè)樣本給出相應(yīng)(xiāngyīng)的假設(shè)，應(yīng)該滿(mǎn)足強(qiáng)于隨機(jī)猜測(cè)：wt為ht的權(quán)重

為t次循環(huán)得到的Stronglearner2022/12/2341史忠植高級(jí)(gāojí)人工智能第四十一頁(yè)，共一百一十七頁(yè)。算法(suànfǎ)—問(wèn)題描述訓(xùn)練集{(x1,y1)算法—樣本(yàngběn)權(quán)重思想：提高分錯(cuò)樣本的權(quán)重(quánzhònɡ)反映了stronglearner對(duì)樣本的假設(shè)是否正確采用什么樣的函數(shù)形式？

2022/12/2342史忠植高級(jí)(gāojí)人工智能第四十二頁(yè)，共一百一十七頁(yè)。算法—樣本(yàngběn)權(quán)重思想：提高分錯(cuò)樣本的權(quán)重(q算法(suànfǎ)—弱學(xué)習(xí)機(jī)權(quán)重思想：錯(cuò)誤率越低，該學(xué)習(xí)機(jī)的權(quán)重應(yīng)該越大為學(xué)習(xí)機(jī)的錯(cuò)誤(cuòwù)概率采用什么樣的函數(shù)形式？

和指數(shù)函數(shù)遙相呼應(yīng)：2022/12/2343史忠植高級(jí)(gāojí)人工智能第四十三頁(yè)，共一百一十七頁(yè)。算法(suànfǎ)—弱學(xué)習(xí)機(jī)權(quán)重思想：錯(cuò)誤率越低，該學(xué)習(xí)算法(suànfǎ)--Adaboost2022/12/2344史忠植高級(jí)(gāojí)人工智能第四十四頁(yè)，共一百一十七頁(yè)。算法(suànfǎ)--Adaboost2022/12/1AdaBoost.M1初始賦予每個(gè)樣本相等的權(quán)重1/N

；Fort=1,2,…,TDo學(xué)習(xí)得到分類(lèi)法Ct；計(jì)算該分類(lèi)法的錯(cuò)誤率EtEt=所有被錯(cuò)誤分類(lèi)(fēnlèi)的樣本的權(quán)重和；βt=Et/（1-Et）根據(jù)錯(cuò)誤率更新樣本的權(quán)重；正確分類(lèi)的樣本：Wnew=Wold*βt

錯(cuò)誤分類(lèi)的樣本：Wnew=Wold調(diào)整使得權(quán)重和為1；每個(gè)分類(lèi)法Ct的投票價(jià)值為log[1/βt]2022/12/2345史忠植高級(jí)(gāojí)人工智能第四十五頁(yè)，共一百一十七頁(yè)。AdaBoost.M1初始賦予每個(gè)樣本相等的權(quán)重1/N；2AdaBoostTrainingError將γt=1/2-Et;FreundandSchapire證明:

最大錯(cuò)誤率為:即訓(xùn)練錯(cuò)誤率隨γt的增大(zēnɡdà)呈指數(shù)級(jí)的減小.

2022/12/2346史忠植高級(jí)(gāojí)人工智能第四十六頁(yè)，共一百一十七頁(yè)。AdaBoostTrainingError將γt=1/2AdaBoostGeneralizationError(1)最大總誤差:m:樣本個(gè)數(shù)d:VC維T:訓(xùn)練輪數(shù)Pr:對(duì)訓(xùn)練集的經(jīng)驗(yàn)概率如果T值太大,Boosting會(huì)導(dǎo)致(dǎozhì)過(guò)適應(yīng)（overfit）2022/12/2347史忠植高級(jí)(gāojí)人工智能第四十七頁(yè)，共一百一十七頁(yè)。AdaBoostGeneralizationError(AdaBoostGeneralizationError(2)許多(xǔduō)的試驗(yàn)表明:Boosting不會(huì)導(dǎo)致overfit2022/12/2348史忠植高級(jí)(gāojí)人工智能第四十八頁(yè)，共一百一十七頁(yè)。AdaBoostGeneralizationError(AdaBoostGeneralizationError(3)解釋以上(yǐshàng)試驗(yàn)現(xiàn)象;樣本(X,Y)的margin:margin(x,y)=αt=1/2ln((1-Εt)/Εt)較大的正邊界表示可信度高的正確的預(yù)測(cè)較大的負(fù)邊界表示可信度高的錯(cuò)誤的預(yù)測(cè)2022/12/2349史忠植高級(jí)(gāojí)人工智能第四十九頁(yè)，共一百一十七頁(yè)。AdaBoostGeneralizationError(AdaBoostGeneralizationError(4)解釋:當(dāng)訓(xùn)練誤差降低后,Boosting繼續(xù)提高邊界,從而(cóngér)增大了最小邊界,使分類(lèi)的可靠性增加,降低總誤差.總誤差的上界:該公式與T無(wú)關(guān)2022/12/2350史忠植高級(jí)(gāojí)人工智能第五十頁(yè)，共一百一十七頁(yè)。AdaBoostGeneralizationError(Boosting其它(qítā)應(yīng)用Boosting易受到噪音的影響;AdaBoost可以用來(lái)鑒別異常;

具有(jùyǒu)最高權(quán)重的樣本即為異常.2022/12/2351史忠植高級(jí)(gāojí)人工智能第五十一頁(yè)，共一百一十七頁(yè)。Boosting其它(qítā)應(yīng)用Boosting易受到噪是表示變量(biànliàng)間連結(jié)關(guān)系的有向無(wú)環(huán)圖貝葉斯網(wǎng)絡(luò)(wǎngluò)的學(xué)習(xí)結(jié)構(gòu)(jiégòu)學(xué)習(xí)參數(shù)學(xué)習(xí)基于評(píng)分函數(shù)的結(jié)構(gòu)學(xué)習(xí)基于條件獨(dú)立性檢驗(yàn)的結(jié)構(gòu)學(xué)習(xí)構(gòu)建貝葉斯網(wǎng)絡(luò)2022/12/2352史忠植高級(jí)人工智能第五十二頁(yè)，共一百一十七頁(yè)。是表示變量(biànliàng)間連結(jié)關(guān)系的有向無(wú)環(huán)圖貝葉斯構(gòu)建(ɡòujiàn)貝葉斯網(wǎng)絡(luò)BayesianNetworkBayesianNetworkBayesianNetworkProblemDomainProblemDomainProblemDomainExpertKnowledgeExpertKnowledgeTrainingDataTrainingDataProbabilityElicitorLearningAlgorithmLearningAlgorithm2022/12/2353史忠植高級(jí)(gāojí)人工智能第五十三頁(yè)，共一百一十七頁(yè)。構(gòu)建(ɡòujiàn)貝葉斯網(wǎng)絡(luò)BayesianBayes6.3貝葉斯問(wèn)題(wèntí)的求解貝葉斯學(xué)習(xí)理論利用先驗(yàn)信息(xìnxī)和樣本數(shù)據(jù)來(lái)獲得對(duì)未知樣本的估計(jì)，而概率（聯(lián)合概率和條件概率）是先驗(yàn)信息(xìnxī)和樣本數(shù)據(jù)信息(xìnxī)在貝葉斯學(xué)習(xí)理論中的表現(xiàn)形式。如何獲得這些概率（也稱(chēng)之為密度估計(jì)）是貝葉斯學(xué)習(xí)理論爭(zhēng)議較多的地方。

研究如何根據(jù)樣本的數(shù)據(jù)信息和人類(lèi)專(zhuān)家的先驗(yàn)知識(shí)獲得對(duì)未知變量（向量）的分布及其參數(shù)的估計(jì)。它有兩個(gè)過(guò)程：一是確定未知變量的先驗(yàn)分布；二是獲得相應(yīng)分布的參數(shù)估計(jì)。如果以前對(duì)所有信息一無(wú)所知，稱(chēng)這種分布為無(wú)信息先驗(yàn)分布；如果知道其分布求它的分布參數(shù)，稱(chēng)之為有信息先驗(yàn)分布。2022/12/2354史忠植高級(jí)(gāojí)人工智能第五十四頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解貝葉斯2022/12/23史忠植高級(jí)(gāojí)人工智能556.3貝葉斯問(wèn)題(wèntí)的求解

選取貝葉斯先驗(yàn)概率是用貝葉斯模型求解的第一步，也是比較關(guān)鍵的一步。常用的選取先驗(yàn)分布的方法有主觀和客觀兩種。主觀的方法是借助人的經(jīng)驗(yàn)(jīngyàn)、專(zhuān)家的知識(shí)等來(lái)指定其先驗(yàn)概率。而客觀的方法是通過(guò)直接分析數(shù)據(jù)的特點(diǎn)，來(lái)觀察數(shù)據(jù)變化的統(tǒng)計(jì)特征，它要求有足夠多的數(shù)據(jù)才能真正體現(xiàn)數(shù)據(jù)的真實(shí)分布。第五十五頁(yè)，共一百一十七頁(yè)。2022/12/17史忠植高級(jí)(gāojí)人工智能55556.3貝葉斯問(wèn)題(wèntí)的求解共軛分布(fēnbù)族先驗(yàn)與后驗(yàn)屬于同一分布族預(yù)先給定一個(gè)似然分布形式對(duì)于變量定義在0-1之間的概率分布，存在一個(gè)離散的樣本空間Beta對(duì)應(yīng)著2個(gè)似然狀態(tài)多變量Dirichlet分布對(duì)應(yīng)2個(gè)以上的狀態(tài)從數(shù)據(jù)(shùjù)中學(xué)習(xí)2022/12/2356史忠植高級(jí)人工智能第五十六頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解共軛分布(fēnbù)6.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先驗(yàn)分布選取方法

1.共軛分布族

Raiffa和Schaifeer提出先驗(yàn)分布應(yīng)選取共軛分布，即要求后驗(yàn)分布與先驗(yàn)分布屬于同一分布類(lèi)型。它的一般描述為:

定義6.7設(shè)樣本(yàngběn)X1,X2,…,Xn

對(duì)參數(shù)θ的條件分布為p(x1,x2,…,xn|θ)，如果先驗(yàn)分布密度函數(shù)π(θ)決定的后驗(yàn)密度π(θ|x)與π(θ)同屬于一種類(lèi)型，則稱(chēng)π(θ)為p(x|θ)的共軛分布。第五十七頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先576.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先驗(yàn)(xiānyàn)分布選取方法

2.最大熵原則

熵是信息論中描述事物不確定性的程度的一個(gè)概念。如果一個(gè)隨機(jī)變量只取與兩個(gè)不同的值，比較下面兩種情況：

(1)p(x=a)=0.98，p(x=a)=0.02；(2)p(x=a)=0.45，p(x=a)=0.55。很明顯，(1)的不確定性要比(2)的不確定性小得多，而且從直覺(jué)上也可以看得出當(dāng)取的兩個(gè)值得概率相等時(shí)，不確定性達(dá)到最大。第五十八頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先586.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先驗(yàn)分布(fēnbù)選取方法

定義6.9設(shè)隨機(jī)變量x是離散的，它取a1,a2,…,ak,…可列個(gè)值，且p(x=ai)=pi(i=1,2,…)，則H(x)=

-Σpilnpi稱(chēng)為x的熵。對(duì)連續(xù)型隨機(jī)變量x，它的概率密度函數(shù)為p(x)，若積分H(x)=

-∫p(x)lnp(x)dx有意義，稱(chēng)它為連續(xù)型隨機(jī)變量的熵。最大熵原則：無(wú)信息先驗(yàn)分布應(yīng)取參數(shù)θ的變化范圍內(nèi)熵最大的分布。第五十九頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先596.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先驗(yàn)分布選取方法

3.杰弗萊原則

杰弗萊對(duì)于先驗(yàn)分布的選取做出了重大的貢獻(xiàn)，它提出一個(gè)不變?cè)恚^好地解決了貝葉斯假設(shè)中的一個(gè)矛盾，并且(bìngqiě)給出了一個(gè)尋求先驗(yàn)密度的方法。杰弗萊原則由兩個(gè)部分組成：一是對(duì)先驗(yàn)分布有一合理要求；二是給出具體的方法求得適合于要求的先驗(yàn)分布。第六十頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解6.3.1幾種常用的先606.3貝葉斯問(wèn)題(wèntí)的求解6.3.2計(jì)算學(xué)習(xí)機(jī)制

任何系統(tǒng)經(jīng)過(guò)(jīngguò)運(yùn)行能改善其行為，都是學(xué)習(xí)。到底貝葉斯公式求得的后驗(yàn)是否比原來(lái)信息有所改善呢？其學(xué)習(xí)機(jī)制是什么？現(xiàn)以正態(tài)分布為例進(jìn)行分析，從參數(shù)的變化看先驗(yàn)信息和樣本數(shù)據(jù)在學(xué)習(xí)中所起的作用。（P170）第六十一頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解6.3.2計(jì)算學(xué)習(xí)機(jī)616.3貝葉斯問(wèn)題(wèntí)的求解6.3.3貝葉斯問(wèn)題的求解步驟貝葉斯問(wèn)題求解的基本步驟可以概括為：(1)定義隨機(jī)變量。將未知參數(shù)看成隨機(jī)變量（或隨機(jī)向量），記為θ。將樣本x1,x2,…,xn的聯(lián)合分布(fēnbù)密度p(x1,x2,…,xn;θ)看成x1,x2,…,xn對(duì)θ的條件分布密度，記為p(x1,x2,…,xn|θ)或p(D|θ)。(2)確定先驗(yàn)分布密度p(θ)

。采用共軛分布先驗(yàn)分布。如果對(duì)先驗(yàn)分布沒(méi)有任何信息，就采用無(wú)信息先驗(yàn)分布的貝葉斯假設(shè)。(3)利用貝葉斯定理計(jì)算后驗(yàn)分布密度。(4)利用計(jì)算得到的后驗(yàn)分布密度對(duì)所求問(wèn)題做出判斷。第六十二頁(yè)，共一百一十七頁(yè)。6.3貝葉斯問(wèn)題(wèntí)的求解6.3.3貝葉斯問(wèn)題621)n(nm/n)m(1variance+-=nmmean=x)(1xm)(n(m)(n)n)m,|(xp1mn1mBeta--=---GGG先驗(yàn)(xiānyàn)分布的選?。璪eta分布2022/12/2363史忠植高級(jí)(gāojí)人工智能第六十三頁(yè)，共一百一十七頁(yè)。1)n(nm/n)m(1variance+-=nmmean=先驗(yàn)分布(fēnbù)的選?。囗?xiàng)Dirichlet分布1)m(m)m/m(1mstate

i

theof

variancemmstate

i

theofmean...xxx)(m)...(m)(m)m()m,...,m,m|(xpN1iiN1iiN1iiiithN1iiith1m1-m1mN21N1iiN21DirichletN21+-==GGGG=?????====--=2022/12/2364史忠植高級(jí)(gāojí)人工智能第六十四頁(yè)，共一百一十七頁(yè)。先驗(yàn)分布(fēnbù)的選?。囗?xiàng)Dirichlet分布1)不完全(wánquán)數(shù)據(jù)的密度估計(jì)期望最大化方法(fāngfǎ)（ExpectationMaximizationEM）

Gibbs抽樣（GibbsSamplingGS）BoundandCollapse(BC)

2022/12/2365史忠植高級(jí)(gāojí)人工智能第六十五頁(yè)，共一百一十七頁(yè)。不完全(wánquán)數(shù)據(jù)的密度估計(jì)期望最大化方法(fān期望(qīwàng)最大化方法分為以下幾個(gè)步驟：（1）含有不完全數(shù)據(jù)的樣本的缺項(xiàng)用該項(xiàng)的最大似然估計(jì)代替；（2）把第一步中的缺項(xiàng)值作為先驗(yàn)信息，計(jì)算每一缺項(xiàng)的最大后驗(yàn)概率，并根據(jù)最大后驗(yàn)概率計(jì)算它的理想值。（3）用理想值替換(tìhuàn)（1）中的缺項(xiàng)。（4）重復(fù)（1—3），直到兩次相繼估計(jì)的差在某一固定閥值內(nèi)。2022/12/2366史忠植高級(jí)(gāojí)人工智能第六十六頁(yè)，共一百一十七頁(yè)。期望(qīwàng)最大化方法分為以下幾個(gè)步驟：2022/1Gibbs抽樣(chōuyànɡ)Gibbs抽樣（GibbsSamplingGS）

GS是最為流行的馬爾科夫、蒙特卡羅方法之一。GS把含有不完全數(shù)據(jù)樣本的每一缺項(xiàng)當(dāng)作待估參數(shù)(cānshù)，通過(guò)對(duì)未知參數(shù)(cānshù)后驗(yàn)分布的一系列隨機(jī)抽樣過(guò)程，計(jì)算參數(shù)(cānshù)的后驗(yàn)均值的經(jīng)驗(yàn)估計(jì)。

2022/12/2367史忠植高級(jí)(gāojí)人工智能第六十七頁(yè)，共一百一十七頁(yè)。Gibbs抽樣(chōuyànɡ)Gibbs抽樣（Gibb貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)(jiégòu)學(xué)習(xí)基于搜索評(píng)分的方法:初始化貝葉斯網(wǎng)絡(luò)為孤立節(jié)點(diǎn)使用啟發(fā)式方法為網(wǎng)絡(luò)加邊使用評(píng)分函數(shù)評(píng)測(cè)新的結(jié)構(gòu)是否(shìfǒu)為更好

貝葉斯評(píng)分（BayesianScoreMetric）

基于墑的評(píng)分最小描述長(zhǎng)度MDL(MinimalDescriptionLength)重復(fù)這個(gè)過(guò)程，直到找不到更好的結(jié)構(gòu)基于依賴(lài)分析的方法:通過(guò)使用條件獨(dú)立性檢驗(yàn)conditionalindependence(CI)

找到網(wǎng)絡(luò)的依賴(lài)結(jié)構(gòu)2022/12/2368史忠植高級(jí)(gāojí)人工智能第六十八頁(yè)，共一百一十七頁(yè)。貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)(jiégòu)學(xué)習(xí)基于搜索評(píng)分的方法:2基于MDL的貝葉斯網(wǎng)結(jié)構(gòu)(jiégòu)學(xué)習(xí)計(jì)算每一點(diǎn)對(duì)之間的互信息：

建立(jiànlì)完全的無(wú)向圖，圖中的頂點(diǎn)是變量，邊是變量之間的互信息建立最大權(quán)張成樹(shù)根據(jù)一定的節(jié)點(diǎn)序關(guān)系，設(shè)置邊的方向2022/12/2369史忠植高級(jí)(gāojí)人工智能第六十九頁(yè)，共一百一十七頁(yè)。基于MDL的貝葉斯網(wǎng)結(jié)構(gòu)(jiégòu)學(xué)習(xí)計(jì)算每一點(diǎn)對(duì)之間基于條件(tiáojiàn)獨(dú)立性的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)假定(jiǎdìng)：節(jié)點(diǎn)序已知第一階段(Drafting)計(jì)算每對(duì)節(jié)點(diǎn)間的互信息，建立完整的無(wú)向圖.第二階段(Thickening)如果接點(diǎn)對(duì)不可能d-可分的話，把這一點(diǎn)對(duì)加入到邊集中。第三階段(Thinning)檢查邊集中的每個(gè)點(diǎn)對(duì)，如果兩個(gè)節(jié)點(diǎn)是d-可分的，那么移走這條邊。2022/12/2370史忠植高級(jí)(gāojí)人工智能第七十頁(yè)，共一百一十七頁(yè)?；跅l件(tiáojiàn)獨(dú)立性的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)假定(ji基于條件(tiáojiàn)獨(dú)立性檢驗(yàn)(CI)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)1）初始化圖結(jié)構(gòu)B=<N,A,>,A=,R=,S=;2）對(duì)每一節(jié)點(diǎn)對(duì)，計(jì)算它們的互信息，并將互信息大于某一域值的節(jié)點(diǎn)對(duì)按互信息值的大小順序加入到S中；3）從S中取出第一個(gè)點(diǎn)對(duì)，并從S中刪除這個(gè)元素，把該點(diǎn)對(duì)加入到邊集A中；4）從S中剩余的點(diǎn)對(duì)中，取出第一個(gè)點(diǎn)對(duì)，如果這兩各界點(diǎn)之間不存在(cúnzài)開(kāi)放路徑，再把該點(diǎn)對(duì)加入A到中，否則加入到R中；5）重復(fù)4),直到S為空；6）從R中取出第一個(gè)點(diǎn)對(duì)；7）找出該點(diǎn)對(duì)的某一塊集，在該子集上做獨(dú)立性檢驗(yàn)，如果該點(diǎn)對(duì)的兩個(gè)節(jié)點(diǎn)，仍然相互依賴(lài)，則加入到A中；8）重復(fù)6),直到R為空；9）對(duì)A中的每一條邊，如果除這條邊外，仍舊含有開(kāi)放路徑，則從A中臨時(shí)移出，并在相應(yīng)的塊集上作獨(dú)立性測(cè)試，如果仍然相關(guān)，則將其返回到A中，否則從A中刪除這條邊。2022/12/2371史忠植高級(jí)(gāojí)人工智能第七十一頁(yè)，共一百一十七頁(yè)?；跅l件(tiáojiàn)獨(dú)立性檢驗(yàn)(CI)的貝葉斯網(wǎng)絡(luò)結(jié)樹(shù)增廣(zēnɡɡuǎnɡ)的樸素貝葉斯網(wǎng)TAN的結(jié)構(gòu)學(xué)習(xí)2022/12/2372史忠植高級(jí)(gāojí)人工智能第七十二頁(yè)，共一百一十七頁(yè)。樹(shù)增廣(zēnɡɡuǎnɡ)的樸素貝葉斯網(wǎng)TAN的結(jié)構(gòu)學(xué)習(xí)主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器

主動(dòng)(zhǔdòng)學(xué)習(xí)：主動(dòng)在候選樣本集中選擇測(cè)試?yán)樱⑦@些實(shí)例以一定的方式(fāngshì)加入到訓(xùn)練集中。選擇策略抽樣選擇投票選擇隨機(jī)抽樣相關(guān)抽樣不確定性抽樣2022/12/2373史忠植高級(jí)人工智能第七十三頁(yè)，共一百一十七頁(yè)。主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器主動(dòng)(zhǔdòng主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器

學(xué)習(xí)(xuéxí)過(guò)程輸入：帶有類(lèi)別標(biāo)注的樣本集L，未帶類(lèi)別標(biāo)注的候選樣本集UL,選擇停止標(biāo)準(zhǔn)e，每次從候選集中選擇的樣本個(gè)數(shù)M輸出：分類(lèi)器C.過(guò)程：

Whilenote{ TrainClassifer(L,C)//從L中學(xué)習(xí)(xuéxí)分類(lèi)器C；

Foreachx計(jì)算ES；SelectExampleByES(S,UL,M,ES)//根據(jù)ES從UL中選擇M個(gè)例子的子集S.LabeledAndAdd(S,L);//用當(dāng)前的分類(lèi)器C標(biāo)注S中的元素，并把它加入到L中。

Remove(S,UL);//從UL中移走S. CheckStop(&e);//根據(jù)當(dāng)前狀態(tài)設(shè)置退出條件

}ReturnC;2022/12/2374史忠植高級(jí)人工智能第七十四頁(yè)，共一百一十七頁(yè)。主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器學(xué)習(xí)(xuéxí)過(guò)主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器

基于最大最小熵的主動(dòng)(zhǔdòng)學(xué)習(xí)首先從測(cè)試樣本中選擇出類(lèi)條件熵最大和最小的候選樣本（MinExample,MaxExample），然后將這兩個(gè)樣本同時(shí)加入到訓(xùn)練集中。類(lèi)條件熵最大的樣本的加入，使得分類(lèi)(fēnlèi)器能夠?qū)哂刑厥庑畔⒌臉颖镜募霸缰匾?；而?lèi)條件熵最小的樣本是分類(lèi)(fēnlèi)器較為確定的樣本，對(duì)它的分類(lèi)(fēnlèi)也更加準(zhǔn)確，從而部分地抑制了由于不確定性樣本的加入而產(chǎn)生的誤差傳播問(wèn)題2022/12/2375史忠植高級(jí)人工智能第七十五頁(yè)，共一百一十七頁(yè)。主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器基于最大最小熵的主動(dòng)主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器

基于分類(lèi)損失與不確定(quèdìng)抽樣相結(jié)合的主動(dòng)學(xué)習(xí)分類(lèi)(fēnlèi)損失：選擇過(guò)程：從測(cè)試樣本中選擇個(gè)熵較大的樣本，組成集合maxS，然后對(duì)此集合中每個(gè)元素計(jì)算相對(duì)于該集合的分類(lèi)損失和，選擇分類(lèi)損失和最小的樣本做標(biāo)注并加入到訓(xùn)練樣本集中。2022/12/2376史忠植高級(jí)人工智能第七十六頁(yè)，共一百一十七頁(yè)。主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器基于分類(lèi)損失與不確定主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器

ABCDEF精度評(píng)定(%)精度召回率A645650000.76700.983294290.4853C252500000.84750.6494D50233100.91670.8049E90035100.96230.8095F170201641.00000.7619

ABCDEF精度評(píng)定(%)精度召回率A6411140000.84120.9771B8119100000.85650.7022C82148

000.85710.6234D60232100.91430.7273E90035100.96230.8095F170201641.00000.7619初始(chūshǐ)標(biāo)注樣本數(shù)：96未標(biāo)注訓(xùn)練(xùnliàn)樣本數(shù)：500測(cè)試集樣本數(shù)：1193ALearnerByMaxMinEntropy測(cè)試結(jié)果

ALearnerByUSandCL測(cè)試結(jié)果

2022/12/2377史忠植高級(jí)人工智能第七十七頁(yè)，共一百一十七頁(yè)。主動(dòng)(zhǔdòng)貝葉斯網(wǎng)絡(luò)分類(lèi)器

ABCDEF精度評(píng)6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型隨著互聯(lián)網(wǎng)的普及，網(wǎng)上信息正在呈指數(shù)級(jí)增長(zhǎng)趨勢(shì)。合理地組織這些信息，以便從茫茫的數(shù)據(jù)世界中，檢索到期望的目標(biāo)；有效地分析這些信息，以便從浩如煙海的信息海洋中，挖掘出新穎的、潛在有用的模式，正在成為網(wǎng)上信息處理的研究熱點(diǎn)。網(wǎng)上信息的分類(lèi)目錄組織是提高檢索效率和檢索精度的有效途徑，如在利用(lìyòng)搜索引擎對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行檢索時(shí)，如能提供查詢(xún)的類(lèi)別信息，必然會(huì)縮小與限制檢索范圍，從而提高查準(zhǔn)率，同時(shí)，分類(lèi)可以提供信息的良好組織結(jié)構(gòu)，便于用戶(hù)進(jìn)行瀏覽和過(guò)濾信息。2022/12/2378史忠植高級(jí)(gāojí)人工智能第七十八頁(yè)，共一百一十七頁(yè)。6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型隨著互聯(lián)6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型

聚類(lèi)分析是文本挖掘的主要手段之一。它的主要作用是：1）通過(guò)對(duì)檢索結(jié)果的聚類(lèi)，將檢索到的大量網(wǎng)頁(yè)以一定的類(lèi)別提供給用戶(hù)，使用戶(hù)能快速定位期望的目標(biāo)；2）自動(dòng)生成分類(lèi)目錄；3）通過(guò)相似網(wǎng)頁(yè)的歸并，便于分析這些網(wǎng)頁(yè)的共性。K-均值聚類(lèi)是比較典型的聚類(lèi)算法，另外自組織映射（SOM）神經(jīng)網(wǎng)絡(luò)聚類(lèi)和基于概率分布的貝葉斯層次聚類(lèi)（HBC）等新的聚類(lèi)算法也正在不斷的研制與應(yīng)用中。然而這些聚類(lèi)算法大部分是一種無(wú)監(jiān)督學(xué)習(xí)，它對(duì)解空間的搜索帶有一定的盲目性，因而聚類(lèi)的結(jié)果一定程度上缺乏語(yǔ)義特征；同時(shí)，在高維情況(qíngkuàng)下，選擇合適的距離度量標(biāo)準(zhǔn)變得相當(dāng)困難。而網(wǎng)頁(yè)分類(lèi)是一種監(jiān)督學(xué)習(xí)，它通過(guò)一系列訓(xùn)練樣本的分析，來(lái)預(yù)測(cè)未知網(wǎng)頁(yè)的類(lèi)別歸屬。目前已有很多有效的算法來(lái)實(shí)現(xiàn)網(wǎng)頁(yè)的分類(lèi)，如NaiveBayesian、SVM等。遺憾的是獲得大量的、帶有類(lèi)別標(biāo)注的樣本的代價(jià)是相當(dāng)昂貴的，而這些方法只有通過(guò)大規(guī)模的訓(xùn)練集才能獲得較高精度的分類(lèi)效果。2022/12/2379史忠植高級(jí)(gāojí)人工智能第七十九頁(yè)，共一百一十七頁(yè)。6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型聚6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型KamalNigam等人提出從帶有類(lèi)別標(biāo)注(biāozhù)和不帶有類(lèi)別標(biāo)注(biāozhù)的混合文檔中分類(lèi)Web網(wǎng)頁(yè)，它只需要部分帶有類(lèi)別標(biāo)注的訓(xùn)練樣本，結(jié)合未標(biāo)注樣本含有的知識(shí)來(lái)學(xué)習(xí)貝葉斯分類(lèi)器。通過(guò)(tōngguò)引入貝葉斯?jié)撛谡Z(yǔ)義模型，首先將含有潛在類(lèi)別主題變量的文檔分配到相應(yīng)的類(lèi)主題中。接著利用簡(jiǎn)單貝葉斯模型，結(jié)合前一階段的知識(shí)，完成對(duì)未含類(lèi)主題變量的文檔作標(biāo)注。針對(duì)這兩階段的特點(diǎn)，我們定義了兩種似然函數(shù)，并利用EM算法獲得最大似然估計(jì)的局部最優(yōu)解。這種處理方法一方面克服了非監(jiān)督學(xué)習(xí)中對(duì)求解空間搜索的盲目性；另一方面它不需要對(duì)大量訓(xùn)練樣本的類(lèi)別標(biāo)注，只需提供相應(yīng)的類(lèi)主題變量，把網(wǎng)站管理人員從繁瑣的訓(xùn)練樣本的標(biāo)注中解脫出來(lái)，提高了網(wǎng)頁(yè)分類(lèi)的自動(dòng)性。為了與純粹的監(jiān)督與非監(jiān)督學(xué)習(xí)相區(qū)別，稱(chēng)這種方法為半監(jiān)督學(xué)習(xí)算法。

2022/12/2380史忠植高級(jí)人工智能第八十頁(yè)，共一百一十七頁(yè)。6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型K6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型

潛在語(yǔ)義分析（LatentSemanticAnalysis,LSA）的基本觀點(diǎn)是：把高維的向量空間模型（VSM）表示中的文檔映射到低維的潛在語(yǔ)義空間中。這個(gè)映射是通過(guò)對(duì)項(xiàng)/文檔矩陣Nm×n的奇異值分解（SVD）來(lái)實(shí)現(xiàn)的。具體地說(shuō)，對(duì)任意(rènyì)矩陣Nm×n，由線性代數(shù)的知識(shí)可知，它可分解為下面的形式：其中，U、V是正交陣(UUT=VVT=I

)；=diag(a1,a2,…,ak,…,av)(a1,a2,…,ak為N的奇異值)是對(duì)角陣。潛在語(yǔ)義分析通過(guò)(tōngguò)取k個(gè)最大的奇異值，而將剩余的值設(shè)為零來(lái)近似(6.42)2022/12/2381史忠植高級(jí)人工智能第八十一頁(yè)，共一百一十七頁(yè)。6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型潛LSA的應(yīng)用：信息濾波(lǜbō)、文檔索引、視頻檢索文檔的相似性特征(tèzhēng)的相似性6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型(6.43)2022/12/2382史忠植高級(jí)人工智能第八十二頁(yè)，共一百一十七頁(yè)。LSA的應(yīng)用：信息濾波(lǜbō)、文檔索引、視頻檢索文檔以一定的概率選擇文檔d以一定的概率選擇一潛在變量z以一定的概率產(chǎn)生特征w產(chǎn)生(chǎnshēng)如下的聯(lián)合概率模型6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型設(shè)文檔集合(jíhé)為D={d1,d2,…,dn}，詞匯集為W={w1,w2,…,wm}，則文檔d∈D的產(chǎn)生模型可表述為：2022/12/2383史忠植高級(jí)人工智能第八十三頁(yè)，共一百一十七頁(yè)。以一定的概率選擇文檔d以一定的概率選擇一潛在變量z以一定d1d2d3dn...w1w2w3wm...z1z2zk...圖6.3貝葉斯?jié)撛谡Z(yǔ)義模型6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型圖6.3表明了該模型(móxíng)各分量間的關(guān)聯(lián)。2022/12/2384史忠植高級(jí)(gāojí)人工智能第八十四頁(yè)，共一百一十七頁(yè)。d1d2d3dn...w1w2w3wm...z1z2zk..最大化似然函數(shù)(hánshù)目的在于估計(jì)(gūjì)下面的分布參數(shù)

6.6貝葉斯?jié)撛?qiánzài)語(yǔ)義模型(6.50)2022/12/2385史忠植高級(jí)人工智能第八十五頁(yè)，共一百一十七頁(yè)。最大化似然函數(shù)(hánshù)目的在于估計(jì)(gūjì)下面的算法(suànfǎ)描述：已知：文檔集求劃分(huàfēn)：6.7半監(jiān)督文本挖掘(wājué)算法D={d1,d2,…,dn}詞匯集先驗(yàn)信息潛在內(nèi)部變量6.7.1網(wǎng)頁(yè)聚類(lèi)W={w1,w2,…,wm}Z={z1,z2,…,zk}Θ

={q1,q2,…,qk}2022/12/2386第八十六頁(yè)，共一百一十七頁(yè)。算法(suànfǎ)描述：已知：文檔集求劃分(huàfē解決(jiějué)策略：1.劃分(huàfēn)D為兩個(gè)集合：D=DL∪DU，滿(mǎn)足：3.使用(shǐyòng)NaiveBayesian標(biāo)注DU2.使用BLSA標(biāo)注DL6.7半監(jiān)督文本挖掘算法6.7.1網(wǎng)頁(yè)聚類(lèi)2022/12/2387史忠植高級(jí)人工智能第八十七頁(yè)，共一百一十七頁(yè)。解決(jiějué)策略：1.劃分(huàfēn)D為兩1)使用BLSA估計(jì)分布(fēnbù)參數(shù)2)使用最大后驗(yàn)概率(gàilǜ)標(biāo)注文檔1.使用BLSA標(biāo)注6.7半監(jiān)督文本(wénběn)挖掘算法6.7.1網(wǎng)頁(yè)聚類(lèi)(6.51)2022/12/2388史忠植高級(jí)人工智能第八十八頁(yè)，共一百一十七頁(yè)。1)使用BLSA估計(jì)分布(fēnbù)參數(shù)2)使用最大2022/12/2389EM算法是稀疏數(shù)據(jù)參數(shù)估計(jì)的主要(zhǔyào)方法之一。它交替地執(zhí)行E步和M步，以達(dá)到使似然函數(shù)值增加的目的。它的一般過(guò)程可描述為：⑴E步，基于當(dāng)前的參數(shù)估計(jì)，計(jì)算它的期望值；⑵M步，基于E步參數(shù)的期望值，最大化當(dāng)前的參數(shù)估計(jì)；⑶對(duì)修正后的參數(shù)估計(jì)，計(jì)算似然函數(shù)值，若似然函數(shù)值達(dá)到事前制定的閾值或者指定的迭代次數(shù)，則停止，否則轉(zhuǎn)步驟⑴。6.7半監(jiān)督(jiāndū)文本挖掘算法6.7.2對(duì)含有潛在類(lèi)別(lèibié)主題詞文檔的類(lèi)別(lèibié)標(biāo)注第八十九頁(yè)，共一百一十七頁(yè)。2022/12/1789EM算法是稀疏數(shù)據(jù)參89⑴在E步，通過(guò)(tōngguò)下面的貝葉斯公式來(lái)獲得期望值：⑵

在M步中，利用上一步的期望值，來(lái)重新估計(jì)參數(shù)的分布(fēnbù)密度：6.7半監(jiān)督文本(wénběn)挖掘算法6.7.2對(duì)含有潛在類(lèi)別主題詞文檔的類(lèi)別標(biāo)注(6.52)(6.53a)(6.53b)(6.53c)2022/12/2390史忠植高級(jí)人工智能第九十頁(yè)，共一百一十七頁(yè)。⑴在E步，通過(guò)(tōngguò)下面的貝葉斯公式來(lái)獲得期望2022/12/2391圖6.4是我們(wǒmen)在實(shí)驗(yàn)過(guò)程中得到的EM迭代次數(shù)與似然函數(shù)的值的關(guān)系。6.7半監(jiān)督文本挖掘(wājué)算法6.7.2對(duì)含有潛在類(lèi)別(lèibié)主題詞文檔的類(lèi)別(lèibié)標(biāo)注第九十一頁(yè)，共一百一十七頁(yè)。2022/12/1791圖6.4是我們(wǒ912.使用NaiveBayesian標(biāo)注M步：E步:似然函數(shù)(hánshù)6.7半監(jiān)督文本挖掘(wājué)算法(6.61a)2022/12/2392史忠植高級(jí)(gāojí)人工智能第九十二頁(yè)，共一百一十七頁(yè)。2.使用NaiveBayesian標(biāo)注M步：E步:似然6試驗(yàn)(shìyàn)結(jié)果1000足球(zúqiú)類(lèi)文檔876特征詞

6.7半監(jiān)督文本(wénběn)挖掘算法2022/12/2393史忠植高級(jí)人工智能第九十三頁(yè)，共一百一十七頁(yè)。試驗(yàn)(shìyàn)結(jié)果1000足球(zúqiú)類(lèi)文檔貝葉斯網(wǎng)中的證據(jù)(zhèngjù)推理目的：通過(guò)聯(lián)合概率分布公式(gōngshì)，在給定的網(wǎng)絡(luò)結(jié)構(gòu)和已知證據(jù)下，計(jì)算某一事件的發(fā)生的概率。E網(wǎng)絡(luò)(wǎngluò)證據(jù)查詢(xún)推理貝葉斯推理可以在反復(fù)使用貝葉斯規(guī)則而獲得==p(B)A)p(A)|p(Bp(B)B)p(A,B)|p(A2022/12/2394第九十四頁(yè)，共一百一十七頁(yè)。貝葉斯網(wǎng)中的證據(jù)(zhèngjù)推理目的：通過(guò)聯(lián)合概率分布推理方法概述(ɡàishù)精確推理網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是推理復(fù)雜性的主要原因；當(dāng)前的一些精確算法是有效地，能夠解決(jiějué)現(xiàn)實(shí)中的大部分問(wèn)題由于對(duì)知識(shí)的認(rèn)知程度，精確推理還存在一些問(wèn)題近似推理證據(jù)的低似然性和函數(shù)關(guān)系是近似推理中復(fù)雜性的主要原因NPHard2022/12/2395史忠植高級(jí)(gāojí)人工智能第九十五頁(yè)，共一百一十七頁(yè)。推理方法概述(ɡàishù)精確推理NPHard2022影響(yǐngxiǎng)推理的因素網(wǎng)絡(luò)結(jié)構(gòu)的特征

網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的大小網(wǎng)絡(luò)中變量的類(lèi)型（離散、連續(xù)）