機器學(xué)習(xí)導(dǎo)論-第5章 貝葉斯分類器與貝葉斯網(wǎng)絡(luò)

第5章貝葉斯分類器與貝葉斯網(wǎng)絡(luò)掌握貝葉斯公式和樸素貝葉斯分類器原理。熟悉樸素貝葉斯分類器的優(yōu)缺點及應(yīng)用領(lǐng)域。了解貝葉斯網(wǎng)絡(luò)的構(gòu)建方法及推理過程。本章學(xué)習(xí)目標(biāo)5.1貝葉斯方法5.2貝葉斯分類器5.3貝葉斯網(wǎng)絡(luò)第5章貝葉斯分類器與貝葉斯網(wǎng)絡(luò)貝葉斯(1702-1761)ThomasBayes，英國數(shù)學(xué)家。1742年成為英國皇家學(xué)會會員。1761年4月7日逝世。貝葉斯在數(shù)學(xué)方面主要研究概率論。他首先將歸納推理法用于概率論基礎(chǔ)理論，并創(chuàng)立了貝葉斯統(tǒng)計理論，對于統(tǒng)計決策函數(shù)、統(tǒng)計推斷、統(tǒng)計的估算等做出了貢獻。他死后，理查德·普萊斯(RichardPrice)于1763年將他的著作《Anessaytowardssolvingaprobleminthedoctrineofchances》寄給了英國皇家學(xué)會，對于現(xiàn)代概率論和數(shù)理統(tǒng)計產(chǎn)生了重要的影響。5.1貝葉斯方法例：假設(shè)某個動物園里的雌性和雄性熊貓的比例是4：6，雌性熊貓中90%的熊貓是干凈整潔的，雄性熊貓中20%是干凈整潔的。1.求解“正向概率”：在動物園中看到一只干凈整潔的雄性熊貓的概率是多少？2.求解“逆向概率”：如果看到一只熊貓是干凈整潔的，它是雄性的概率是多少？

貝葉斯公式5.1貝葉斯方法貝葉斯公式5.1貝葉斯方法樣本空間的劃分5.1貝葉斯方法條件獨立公式：

如果和相互獨立，則有：其中，是事件發(fā)生的概率。條件概率公式:

其中，表示事件已發(fā)生的條件下，事件發(fā)生的概率，也稱為條件概率?？梢酝ㄟ^全概率公式計算。

數(shù)學(xué)基礎(chǔ)5.1貝葉斯方法全概率公式：其中，事件構(gòu)成一個完備事件組，即。數(shù)學(xué)基礎(chǔ)5.1貝葉斯方法5.1貝葉斯方法貝葉斯方法的特點是用概率表示不確定性，概率規(guī)則表示推理或?qū)W習(xí)，隨機變量的概率分布表示推理或?qū)W習(xí)的最終結(jié)果。貝葉斯理論源于貝葉斯提出的貝葉斯定理。貝葉斯定理是關(guān)于隨機事件Ａ和Ｂ的條件概率的一則定理，它基于下述貝葉斯公式:

如果我們已經(jīng)知道事件Ａ和Ｂ各自發(fā)生的概率，已知當(dāng)事件Ａ發(fā)生前提下事件Ｂ也發(fā)生的條件概率，那么就可以用貝葉斯公式求得在事件Ｂ發(fā)生前提下事件Ａ發(fā)生的概率。貝葉斯公式提供了從先驗概率計算后驗概率的方法。5.1貝葉斯方法由全概率公式可以得到如下貝葉斯公式：5.1貝葉斯方法5.2貝葉斯分類器5.3貝葉斯網(wǎng)絡(luò)第5章貝葉斯分類器與貝葉斯網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集：由X和Y的聯(lián)合概率分布P(X,Y)獨立同分布產(chǎn)生樸素貝葉斯通過訓(xùn)練數(shù)據(jù)集學(xué)習(xí)聯(lián)合概率分布P(X,Y)，即先驗概率分布：及條件概率分布：5.2貝葉斯分類器條件獨立性假設(shè)：“樸素”貝葉斯名字由來，犧牲分類準(zhǔn)確性。貝葉斯定理：代入上式：5.2貝葉斯分類器貝葉斯分類器：分母對所有ck都相同：5.2貝葉斯分類器樸素貝葉斯分類模型是一種簡單的構(gòu)造分類器的方法。樸素貝葉斯分類模型是將問題分為特征向量和決策向量兩類，并假設(shè)問題的特征向量都是相互獨立地作用于決策向量的，即問題的特征之間都是互不相關(guān)的。盡管有這樣過于簡單的假設(shè)，但樸素貝葉斯分類模型能指數(shù)級降低貝葉斯網(wǎng)絡(luò)構(gòu)建的復(fù)雜性，同時還能較好地處理訓(xùn)練樣本的噪聲和無關(guān)屬性，所以樸素貝葉斯分類模型仍然在很多現(xiàn)實問題中有著高效的應(yīng)用，例如入侵檢測和垃圾郵件過濾等領(lǐng)域。目前許多研究學(xué)者也在致力于改善特征變量間的獨立性的限制使得樸素貝葉斯分類模型可以應(yīng)用到更多問題上。5.2貝葉斯分類器原理：對于待分類的樣本，假設(shè)各個特征之間滿足樸素獨立的條件，基于貝葉斯公式，通過訓(xùn)練樣本的特征概率，求解未知樣本的概率分布，從而預(yù)測樣本的分類。步驟：對于訓(xùn)練樣本集包含分類標(biāo)簽，其中有個樣本，每個樣本包含個特征，表示如下：

對應(yīng)的訓(xùn)練集有個輸出類別，表示為。5.2貝葉斯分類器樸素貝葉斯分類對于測試樣本集，分別統(tǒng)計每個樣本對應(yīng)標(biāo)簽的所有輸出類別對應(yīng)的概率：由于每個樣本的特征獨立，根據(jù)條件獨立公式，計算樣本中每個特征的條件概率，再計算出對應(yīng)標(biāo)簽的所有類別的概率，如下所示：5.2貝葉斯分類器樸素貝葉斯分類對于新的測試樣本集，根據(jù)貝葉斯公式可以得到：如果，其中，則，即認(rèn)為。衡量分類器精度，可以利用統(tǒng)計分類器計算與真實標(biāo)簽對比的正確率。5.2貝葉斯分類器樸素貝葉斯分類數(shù)據(jù)

以上表格通過不同的天氣特征來預(yù)測球賽是否可以進行，數(shù)據(jù)集中可以比賽（Yes）的樣本有9個，而不能比賽的樣本（No）有5個，對于一組新的天氣數(shù)據(jù)，采用貝葉斯理論基于以前的經(jīng)驗數(shù)據(jù)，預(yù)測為可以比賽的概率要比預(yù)測為不能比賽的概率高幾乎兩倍，這就稱為先驗概率(Priorprobability)。5.2貝葉斯分類器樸素貝葉斯分類對于以上數(shù)據(jù)集，求先驗概率如下：對于新樣本：采用貝葉斯分類法來預(yù)測首先需要統(tǒng)計數(shù)據(jù)集，計算如下的條件概率：5.2貝葉斯分類器樸素貝葉斯分類5.2貝葉斯分類器樸素貝葉斯分類根據(jù)貝葉斯公式可以計算出新樣本X的兩個似然概率(LikelihoodProbability)如下所示：

對于以上兩個算式，發(fā)現(xiàn)的乘積項中出現(xiàn)了0，這是因為訓(xùn)練數(shù)據(jù)集中的這個條件概率為0而導(dǎo)致的，這時候如果增加有效的訓(xùn)練數(shù)據(jù)，就需要采取拉普拉斯修正(Laplacecorrection)。5.2貝葉斯分類器樸素貝葉斯分類修正后重新計算先驗概率如下：修正后重新計算條件概率如下：5.2貝葉斯分類器樸素貝葉斯分類修正后重新計算似然概率如下：5.2貝葉斯分類器樸素貝葉斯分類回顧貝葉斯公式構(gòu)建分類器的數(shù)學(xué)模型：

其中上式的分子項，為先驗概率(Priorprobability)，為通過條件概率(Conditionalprobability)計算出來的似然概率(LikelihoodProbability)。5.2貝葉斯分類器樸素貝葉斯分類而分母項為現(xiàn)象概率（Evidenceprobability）,可以通過數(shù)學(xué)證明其對所有分類相同。公式的左邊為所要預(yù)測的樣本分類，稱為后驗概率(Posteriorprobability)。所以上式也常表達為當(dāng)分母相同時，可以認(rèn)為后驗概率與似然和先驗概率成正比：計算本例中的后驗概率如下：

5.2貝葉斯分類器樸素貝葉斯分類

回顧貝葉斯理論用于分類預(yù)測時的結(jié)論，當(dāng)且僅當(dāng)以下條件滿足時：可以得到結(jié)論：預(yù)測屬于。所以，對于本例的新樣本，可以預(yù)測其分類結(jié)果為，也就是在天氣條件為的時候，預(yù)測比賽可以進行。5.2貝葉斯分類器樸素貝葉斯分類5.2貝葉斯分類器樸素貝葉斯分類貝葉斯垃圾郵件過濾器傳統(tǒng)的垃圾郵件過濾方法是關(guān)鍵詞過濾，但這種方法過于絕對，很容易出現(xiàn)誤判的情況。貝葉斯垃圾郵件過濾會同時考慮關(guān)鍵詞在正常郵件和垃圾郵件中出現(xiàn)的概率，并且學(xué)習(xí)用戶的偏好，可以減少誤判的可能性。假設(shè)收到一封電子郵件E，郵件由n個關(guān)鍵詞構(gòu)成。設(shè)X=1表示郵件是正常郵件，X=0表示郵件是垃圾郵件。那么判定新郵件是否為垃圾郵件的問題可以表示為比較下列兩式值的問題：

5.2貝葉斯分類器樸素貝葉斯分類其中和?可以很容易地在郵箱里查出，所以只需要計算?和?

。這里可以簡單假設(shè)E中n個關(guān)鍵詞是互不相關(guān)，即將問題轉(zhuǎn)化為樸素貝葉斯分類模型。所以就有：

等式右邊的每個分式的計算都是很容易的，于是就可以很容易地得到上文需要的兩個概率值。可以預(yù)先設(shè)定好垃圾郵件的概率閾值，比較?和?即可實現(xiàn)自動的垃圾郵件標(biāo)識與過濾。5.1貝葉斯方法5.2貝葉斯分類器5.3貝葉斯網(wǎng)絡(luò)第5章貝葉斯分類器與貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)（Bayesiannetwork），又稱為信念網(wǎng)絡(luò)（Beliefnetwork），是一種通過有向無環(huán)圖（Directedacyclicgraph，DAG）表示一組隨機變量及其條件依賴概率的概率圖模型。概率圖中，每個節(jié)點表示一個隨機變量，每一條有向邊表示隨機變量間的依賴關(guān)系，同時每個節(jié)點都對應(yīng)一個條件概率表(ConditionProbabilityTable，CPT)，用于描述該變量與父變量之間的依賴強度，也就是聯(lián)合概率分布。沒有父節(jié)點的節(jié)點用先驗概率表達信息。兩個節(jié)點若無連接則表示相互獨立的隨機變量。貝葉斯網(wǎng)絡(luò)是由圖論和概率論結(jié)合而成的描述多元統(tǒng)計關(guān)系的模型，它為多個變量之間復(fù)雜依賴關(guān)系的表示提供了統(tǒng)一的框架，具有緊湊有效、簡潔直觀的特點。

5.3貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)中的節(jié)點可以表示任意問題，豐富的概率表達能力使能較好地處理不確定性信息或問題。貝葉斯網(wǎng)絡(luò)中所有節(jié)點都是可見的，并且節(jié)點間的因果關(guān)系可以非常直觀地觀察到。由于貝葉斯網(wǎng)絡(luò)對大規(guī)模復(fù)雜系統(tǒng)簡約而緊湊的表示能力，使得其成為人工智能、專家系統(tǒng)、模式識別、數(shù)據(jù)挖掘和軟件測試等領(lǐng)域的研究熱點。5.3貝葉斯網(wǎng)絡(luò)

有向圖模型5.3貝葉斯網(wǎng)絡(luò)根據(jù)貝葉斯網(wǎng)絡(luò)的緊湊的聯(lián)合分布，可得上圖貝葉斯網(wǎng)絡(luò)的聯(lián)合分布為有向圖模型貝葉斯網(wǎng)絡(luò)示例5.3貝葉斯網(wǎng)絡(luò)

有向圖模型5.3貝葉斯網(wǎng)絡(luò)通過聯(lián)合分布的緊湊表示或者通過局部條件獨立性的形式化語義，都可以分析出貝葉斯網(wǎng)絡(luò)中變量的一些條件獨立性，但是這兩種方法并沒有將所有的獨立性情況包括。事實上，通過圖的一些特殊結(jié)構(gòu)和規(guī)則可以簡單直觀地得到所關(guān)心變量的條件獨立性。接下來介紹三種基本的變量依賴情況，三種情況對應(yīng)三種不同的圖結(jié)構(gòu)：有向圖模型5.3貝葉斯網(wǎng)絡(luò)

有向圖模型5.3貝葉斯網(wǎng)絡(luò)

有向圖模型5.3貝葉斯網(wǎng)絡(luò)

有向圖模型5.3貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)是對數(shù)據(jù)進行統(tǒng)計分析獲取貝葉斯網(wǎng)絡(luò)的過程。學(xué)習(xí)包括了參數(shù)學(xué)習(xí)和結(jié)構(gòu)學(xué)習(xí)兩部分。參數(shù)學(xué)習(xí)是在網(wǎng)絡(luò)結(jié)構(gòu)已知的情況下確定參數(shù)即條件概率表中的值。結(jié)構(gòu)學(xué)習(xí)則既需要確定網(wǎng)絡(luò)結(jié)構(gòu)G以定性反映變量間的依賴關(guān)系，又需要確定網(wǎng)絡(luò)參數(shù)以定量得到條件概率表中的值。在對貝葉斯網(wǎng)絡(luò)進行參數(shù)學(xué)習(xí)時，我們已經(jīng)知道了網(wǎng)絡(luò)結(jié)構(gòu)G和G中所有節(jié)點或部分節(jié)點的狀態(tài)值，這些狀態(tài)值就是需要進行學(xué)習(xí)的數(shù)據(jù)集。5.3貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)的推理貝葉斯網(wǎng)絡(luò)的推理是指在已知網(wǎng)絡(luò)結(jié)構(gòu)G和參數(shù)Θ下，給定某些證據(jù)或變量的值通過概率論的方法求目標(biāo)變量值的過程。貝葉斯網(wǎng)絡(luò)的推理主要包括兩種，一種為自頂向下的推理，一種為自底向上的推理。推理主要運用的方法有精確推理和近似推理兩種，分別有一些算法來解決實際問題。不同情況下有不同因素影響推理，貝葉斯網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和推理任務(wù)是兩大主要復(fù)雜度來源。網(wǎng)絡(luò)的大小、變量的類型和分布情況、推理任務(wù)的類型和相關(guān)證據(jù)的特征都會影響推理過程和結(jié)果，實際應(yīng)用中也應(yīng)靈活選擇推理方法。5.3貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)的推理精確推理最簡單的方法即計算全局的聯(lián)合概率，但直接對聯(lián)合概率進行計算的效率很低，常常采用變量消元法分別聯(lián)合概率的求解達到簡化計算的目的。變量消元法利用鏈?zhǔn)匠朔e法則和條件獨立性對聯(lián)合概率計算表達式進行變換，改變基本運算的次序改變消元的次序，最終達到減少計算量的目的。該方法的基本思想可以通過一個簡單例子描述，假設(shè)有如下所示的簡單貝葉斯網(wǎng)絡(luò)：

5.3貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)的推理精確推理5.3貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)的推理在貝葉斯網(wǎng)絡(luò)節(jié)點很多或依賴關(guān)系很復(fù)雜時，精確推理的復(fù)雜度很高，通常需要降低推理的復(fù)雜度，在問題的因果關(guān)系在網(wǎng)絡(luò)中可獨立于某一部分存在時，可以將這一部分結(jié)構(gòu)提取出來用精確推理的方法推理。在不能利用局部獨立時，就需要降低計算的精度，即采用近似推理的方法。隨機抽樣算法是最常用的近似推理方法。該方法又被認(rèn)為蒙特卡洛算法或隨機仿真。算法的基本思想上根據(jù)某種概率分布進行隨機抽樣以得到一組隨機樣本，再根據(jù)這一組隨機樣本近似地估計需要計算的值。