機器學習算法與實踐 課件 第4章 貝葉斯

第四章貝葉斯貝葉斯系列算法是基于貝葉斯定理和概率統(tǒng)計原理的一類算法。它們通過對特征之間的條件概率進行建模，從而進行分類、回歸、聚類等任務。貝葉斯模型作為一種重要的機器學習模型已在數(shù)據(jù)挖掘、計算機視覺、自然語言理解、經(jīng)濟統(tǒng)計與預測等領域得到廣泛應用。貝葉斯系列算法在處理小樣本問題、噪聲數(shù)據(jù)以及不確定性建模方面具有優(yōu)勢，并且能夠有效利用先驗知識進行模型推理與預測。14.1貝葉斯方法概述貝葉斯方法提供了一種基于主觀概率的數(shù)理統(tǒng)計分析方法，使用概率分布表示和理解樣本數(shù)據(jù)，根據(jù)樣本的先驗概率分布和訓練樣本的標記數(shù)據(jù)計算出相應的后驗概率分布，以貝葉斯風險為優(yōu)化目標實現(xiàn)對樣本數(shù)據(jù)的分類或回歸。24.1.1貝葉斯公式

34.1.1貝葉斯公式假設模型參數(shù)的各取值狀態(tài)互不相容，則可根據(jù)全概率公式得到概率P(X)。

因此可求得44.1.1貝葉斯公式

即后驗概率=先驗概率×樣本信息。54.1.2貝葉斯決策理論貝葉斯決策具體步驟：1）定義決策空間：確定可供選擇的決策及其可能的結果。2）確定先驗概率：對每個可能的結果（即條件）估計先驗概率。先驗概率可以基于經(jīng)驗或專家知識進行估計。3）觀測到證據(jù)：收集到與決策相關的證據(jù)或觀測數(shù)據(jù)。4）計算后驗概率：根據(jù)貝葉斯定理，將先驗概率和觀測到的證據(jù)相結合，計算各個條件下的后驗概率。5）選擇最優(yōu)決策：根據(jù)后驗概率，選擇具有最大后驗概率的決策，作為最優(yōu)的決策。64.1.3極大似然估計極大似然估計具體步驟：1）確定概率分布模型：假設觀測數(shù)據(jù)符合某個特定的概率分布模型，如正態(tài)分布、伯努利分布等。2）建立似然函數(shù)：將觀測數(shù)據(jù)看作是參數(shù)的函數(shù)，構建似然函數(shù)。似然函數(shù)表示給定參數(shù)值下觀測數(shù)據(jù)出現(xiàn)的概率。3）最大化似然函數(shù)：找到使似然函數(shù)取得最大值的參數(shù)值，即尋找最大似然估計。通常使用優(yōu)化算法，如梯度下降法或牛頓法，求解似然函數(shù)的最大值點。4）得出估計值：最大似然估計得到的參數(shù)值即為所要求的估計值。74.1.3極大似然估計

84.2樸素貝葉斯算法

樸素貝葉斯算法的核心思想是根據(jù)給定的特征向量，通過計算后驗概率來確定該樣本屬于不同類別的概率，然后選擇具有最大后驗概率的類別作為分類結果。94.2樸素貝葉斯算法

條件概率分布為

104.2樸素貝葉斯算法

樸素貝葉斯法對條件概率分布作了條件獨立性的假設

114.2樸素貝葉斯算法后驗概率計算根據(jù)貝葉斯定理可表示為

124.2.1高斯樸素貝葉斯

高斯樸素貝葉斯算法是一種基于貝葉斯定理和特征獨立性假設的分類算法，適用于處理連續(xù)特征的分類問題。

134.2.1高斯樸素貝葉斯

對于一個新的測試樣本，算法先計算該樣本在每個類別下的后驗概率。使用高斯分布的概率密度函數(shù)，算法計算每個特征值在給定類別下的對數(shù)似然。然后，將先驗概率和對數(shù)似然相加得到后驗概率。最后，選擇具有最大后驗概率的類別作為預測結果。14

高斯樸素貝葉斯算法的優(yōu)勢在于它對于大規(guī)模數(shù)據(jù)集具有較高的訓練和預測效率，并且對于缺失數(shù)據(jù)的處理比較魯棒。然而，它的一個主要限制是它假設特征之間是獨立的，這在某些實際問題中可能不符合實際情況，因此其結果可能受到特征相關性的影響。4.2.2多項式樸素貝葉斯

多項式樸素貝葉斯假設每個特征的出現(xiàn)次數(shù)是由多項分布生成的，即特征的計數(shù)符合多項分布。根據(jù)先驗概率和條件概率計算每個類別的后驗概率，并選擇具有最大后驗概率的類別作為預測結果。

對于每個測試樣本，算法會計算特征的計數(shù)，并使用條件概率計算后驗概率。154.2.3伯努利樸素貝葉斯

伯努利樸素貝葉斯算法的主要思想是將文檔表示為二進制特征向量，其中每個特征表示單詞或特定的文本屬性是否出現(xiàn)。因此每個特征的取值是布爾型的，即true和false，或者1和0。它基于一個關鍵假設，即每個特征在給定類別下是條件獨立的。

在訓練過程中，遍歷類別和特征，并根據(jù)特征是否存在來根據(jù)貝葉斯公式計算后驗概率。最后選擇具有最大后驗概率的類別作為預測結果。164.3半樸素貝葉斯算法

半樸素貝葉斯算法的核心思想是，適當考慮一部分屬性間的相互依賴信息。假設給定某個類別的條件下，特征之間的相關性可被一些選定的特征表示。

相比于傳統(tǒng)的樸素貝葉斯算法，半樸素貝葉斯算法考慮了特征之間的相關性，可以更準確地捕捉數(shù)據(jù)中的復雜關系。并且該算法允許根據(jù)具體問題選擇不同的核心特征和配對特征組合，可以適應不同類型的數(shù)據(jù)集和任務需求174.3半樸素貝葉斯算法獨依賴估計（One-DependentEstimator，ODE）是半樸素貝葉斯分類器最常用的一種策略。獨依賴是假設每個屬性在類別之外最多依賴一個其他屬性，即：

184.3半樸素貝葉斯算法

相比于傳統(tǒng)的樸素貝葉斯算法，半樸素貝葉斯算法考慮了特征之間的相關性。這使得模型可以更準確地捕捉數(shù)據(jù)中的復雜關系。半樸素貝葉斯算法允許根據(jù)具體問題選擇不同的核心特征和配對特征組合。這種靈活性使得算法可以適應不同類型的數(shù)據(jù)集和任務需求。此外，半樸素貝葉斯算法在處理高維數(shù)據(jù)時表現(xiàn)出較好的性能，因為它可以通過選擇核心特征和相關特征來減少特征空間的維度。

但是，在半樸素貝葉斯算法中，仍然假設給定類別下的特征是相互獨立的。然而，在實際問題中，特征之間通常存在一定的依賴關系。為了解決這個問題，可以引入更復雜的模型，如貝葉斯網(wǎng)絡、樹模型等，以捕捉特征之間的依賴性。194.4貝葉斯網(wǎng)絡算法貝葉斯網(wǎng)絡（BayesianNetworks）也被稱為信念網(wǎng)絡（BelifNetworks）或者因果網(wǎng)絡（CausalNetworks），是描述數(shù)據(jù)變量之間依賴關系的一種圖形模式，是一種用來進行推理的模型。貝葉斯網(wǎng)絡為人們提供了一種方便的框架結構來表示因果關系。204.4.1貝葉斯網(wǎng)結構

在貝葉斯網(wǎng)結構中，一條弧由一個屬性A指向另外一個屬性B說明屬性A的取值可以對屬性B的取值產(chǎn)生影響，由于是有向無環(huán)圖，A、B間不會出現(xiàn)有向回路。在貝葉斯網(wǎng)當中，直接的原因結點（弧尾）A叫做其結果結點（弧頭）B的雙親結點（parents），B叫做A的孩子結點（children）。如果從一個結點X有一條有向通路指向Y，則稱結點X為結點Y的祖先（ancestor），同時稱結點Y為結點X的后代（descendent）。214.4.1貝葉斯網(wǎng)結構高油高糖飲食（X1）糖尿?。╔2）高血脂（X3）心臟病（X4）

左圖中共有四個結點和四條弧。高油高糖飲食X1是一個原因結點，它會導致糖尿病X2和高血脂X3。而我們知道糖尿病X2和高血脂X3都可能最終導致心臟病X4。224.4.1貝葉斯網(wǎng)結構

234.4.2貝葉斯網(wǎng)學習算法

貝葉斯網(wǎng)學習的首要任務就是根據(jù)訓練數(shù)據(jù)集來找出結構最“恰當”的貝葉斯網(wǎng)。“評分搜索”是求解這一問題的常用辦法。具體來說，我們先定義一個評分函數(shù)，以此來評估貝葉斯網(wǎng)與訓練數(shù)據(jù)的契合程度，然后基于這個評分函數(shù)來尋找結構最優(yōu)的貝葉斯網(wǎng)。244.4.2貝葉斯網(wǎng)學習算法

254.4.2貝葉斯網(wǎng)學習算法

264.4.3貝葉斯網(wǎng)推斷

在現(xiàn)實應用中，貝葉斯網(wǎng)的近似推斷常使用吉布斯采樣來完成，這是一種隨機采樣方法。

274.4.3貝葉斯網(wǎng)推斷

由于馬爾可夫鏈通常需很長時間才能趨于平穩(wěn)分布，因此吉布斯采樣算法的收斂速度較慢。此外，若貝葉斯網(wǎng)中存在極端概率“0”或“1”，則不能保證馬爾可夫鏈存在平穩(wěn)分布，此時吉布斯采樣會給出錯誤的估計結果。284.5EM算法

294.5EM算法 EM算法的每次迭代由兩步組成：E步，求期望（expectation）；M步，求極大（maximization），所以這一算法稱為期望極大算法（expectationmaximizationalgorithm），簡稱EM算法。 EM算法使用兩個步驟交替計算：第一步是期望(E)步，利用當前估計的參數(shù)值來計算對數(shù)似然的期望值；第二步是最大化(M)步，尋找能使E步產(chǎn)生的似然期望最大化的參數(shù)值。然后，新得到的參數(shù)值重新被用于E步，直到收斂到局部最優(yōu)解。304.5EM算法例

三硬幣模型

314.5EM算法

計算出每次試驗選擇B和C的概率，然后根據(jù)試驗數(shù)據(jù)進行加權求和。M步：更新模型參數(shù)的新估計值。根據(jù)函數(shù)求導來確定參數(shù)值：

對上式求導并令其值為0可得第一次迭代后的參數(shù)值，然后重復進行第二輪、第三輪，直至模型收斂。324.6本章小結本章主要介紹了貝