十大經(jīng)典算法樸素貝葉斯全解課件

1、樸素貝葉斯算法Nave Bayes知識回顧貝葉斯知識1. 樣本空間的劃分2. 全概率公式全概率公式圖示證明化整為零各個擊破說明 全概率公式的主要用途在于它可以將一個復(fù)雜事件的概率計算問題,分解為若干個簡單事件的概率計算問題,最后應(yīng)用概率的可加性求出最終結(jié)果.稱此為貝葉斯公式. 3. 貝葉斯公式證明條件概率的概念乘法定理：由以往的數(shù)據(jù)分析得到的概率, 叫做先驗概率.而在得到信息之后再重新加以修正的概率 叫做后驗概率.先驗概率與后驗概率簡介貝葉斯定理分類算法概念樸素貝葉斯算法樸素貝葉斯算法原理樸素貝葉斯算法流程算法實例購買電腦實例總結(jié)算法優(yōu)缺點算法相關(guān)擴展簡單的說，貝葉斯定理是基于假設(shè)的先驗概率、

2、給定假設(shè)下觀察到不同數(shù)據(jù)的概率，提供了一種計算后驗概率的方法。在人工智能領(lǐng)域，貝葉斯方法是一種非常具有代表性的不確定性知識表示和推理方法。貝葉斯理論貝葉斯定理：P(A)是A的先驗概率或邊緣概率。之所以稱為“先驗”是因為它不考慮任何B方面的因素。P(A|B)是已知B發(fā)生后A的條件概率，也由于得自B的取值而被稱作A的后驗概率。P(B|A)是已知A發(fā)生后B的條件概率，也由于得自A的取值而被稱作B的后驗概率。P(B)是B的先驗概率或邊緣概率，也作標(biāo)準化常量（normalized constant）.貝葉斯定理：關(guān)于貝葉斯分類：對于貝葉斯網(wǎng)絡(luò)分類器，若某一待分類的樣本D，其分類特征值為 ，則樣本D 屬于

3、類別yi 的概率P( C = yi | X1 = x1 , X2 = x 2 , . , Xn = x n) ，( i = 1 ,2 , . , m) 應(yīng)滿足下式：而由貝葉斯公式：其中，P( C = ci) 可由領(lǐng)域?qū)＜业慕?jīng)驗得到,而P( X = x | C = ci) 和P( X = x) 的計算則較困難。樸素貝葉斯算法原理：樸素貝葉斯算法原理：樸素貝葉斯算法原理：樸素貝葉斯算法原理：樸素貝葉斯算法原理：貝葉斯算法處理流程：貝葉斯算法的處理流程：第一階段準備階段： 該階段為樸素貝葉斯分類做必要的準備。主要是依據(jù)具體情況確定特征屬性，并且對特征屬性進行適當(dāng)劃分。然后就是對一部分待分類項進行人工

4、劃分，以確定訓(xùn)練樣本。 這一階段的輸入是所有的待分類項，輸出時特征屬性和訓(xùn)練樣本。分類器的質(zhì)量很大程度上依賴于特征屬性及其劃分以及訓(xùn)練樣本的質(zhì)量。貝葉斯算法處理流程：第二階段分類器訓(xùn)練階段： 主要工作是計算每個類別在訓(xùn)練樣本中出現(xiàn)頻率以及每個特征屬性劃分對每個類別的條件概率估計。輸入是特征屬性和訓(xùn)練樣本，輸出是分類器。第三階段應(yīng)用階段： 這個階段的任務(wù)是使用分類器對待分類項進行分類，其輸入是分類器和待分類項，輸出是待分類項與類別的映射關(guān)系。購買電腦實例：購買電腦實例：購買電腦實例：（2）計算每個特征屬性對于每個類別的條件概率：P(age=“30”|buys_computer=“yes”)=2/

5、9=0.222P(income=“medium”|buys_computer=“yes”)=4/9=0.444P(student=“yes”|buys_computer=“yes”)=6/9=0.667P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667P(age=“30”|buys_computer=“no”)=3/5=0.600 P(income=“medium”|buys_computer=“no”)=2/5=0.400P(student=“yes”|buys_computer=“no”)=1/5=0.2P(credit_rating

6、=“fair”|buys_computer=“no”)=2/5=0.400購買電腦實例：購買電腦實例：P(X | buys_computer = “no”) P(buys_computer = “no”) = 0.0190.357 = 0.007 因此，對于樣本X，樸素貝葉斯分類預(yù)測buys_computer =”yes”特別要注意的是：樸素貝葉斯的核心在于它假設(shè)向量的所有分量之間是獨立的?？偨Y(jié)樸素貝葉斯算法的優(yōu)點： a. 算法邏輯簡單，易于實現(xiàn)； b. 分類過程中時空開銷??； c. 算法穩(wěn)定，對于不同的數(shù)據(jù)特點其分類性能差別不大，健壯性比較好?？偨Y(jié)那么“貝葉斯分類法的效率如何呢？” 該分類法

7、與決策樹和神經(jīng)網(wǎng)絡(luò)分類法的各種比較試驗表明，在某些領(lǐng)域，貝葉斯分類法足以與它們相媲美。理論上講，與其他所有分類算法相比，貝葉斯分類具有最小的錯誤率，然而，實踐中并非總是如此。這是因為對其使用的假定（如類條件獨立性）的不正確性，以及缺乏可用的概率數(shù)據(jù)造成的。 貝葉斯分類法還可以用來為不直接使用貝葉斯定理的其他分類法提供理論判定。例如，在某些假定下，可以證明：與樸素貝葉斯分類法一樣，許多神經(jīng)網(wǎng)絡(luò)和曲線擬合算法輸出的最大的后驗假定。對比決策樹分類整棵決策樹就對應(yīng)著一組析取表達式規(guī)則?？偨Y(jié)：擴展：擴展：對于第二個問題：樸素貝葉斯算法是在假定各個特征屬性相互獨立的情況下提出來，這在現(xiàn)實生活中是很難實現(xiàn)的，所以針對這個問題人們做了大量工作解決這個缺點。 （1）如果特征屬性之間是有聯(lián)系的，并且是一個有向無環(huán)圖，可以采用另一個相關(guān)的貝葉斯分類算法貝葉斯網(wǎng)絡(luò)。在此不再介紹。 （2）除了貝葉斯網(wǎng)絡(luò)還有kononenko提出的semi-nave bayesian 算法，稱為半樸素貝葉斯算法，擴展：該算法就是將特征相關(guān)的屬性分成一組，然后假設(shè)不同組中的屬性是相互獨立的，同一組中的屬性是相互關(guān)聯(lián)的。（3）還有