樸素貝葉斯分類

1、樸素貝葉斯Naive Bayes 重慶大學(xué)軟件信息服務(wù)工程實(shí)驗(yàn)室 余俊良1. 定義 ABAB條件概率若 是全集，A、B是其中的事件（子集），P表示事件發(fā)生的概率，則 ()(|)( )P ABP A BP B為事件B發(fā)生后A發(fā)生的概率。則有,0)(且,為事件,設(shè)ABPCBA()( ) () ().P ABCP A P B A P C AB( )0,()() ( )() ( ).P AP ABP B A P AP A B P B設(shè)則有乘法定理注：當(dāng)P(AB)不容易直接求得時，可考慮利用P(A)與P(B|A)的乘積或P(B)與P(A|B)的乘積間接求得。則有,0)(且121nAAAP,2,個事件為,

2、設(shè)推廣21nnAAAn乘法定理的推廣)()()()()(12121312121nnnAAAAPAAAPAAPAPAAAP12001212,1, ,1,2, ;2,.nijnnEB BBEB Bi jnBBBB BB 定義設(shè)為試驗(yàn) 的樣本空間為的一組事件 若則稱為樣本空間的一個劃分1. 集合（樣本空間）的劃分1B2B3BnB1nB二、全概率公式2. 全概率公式全概率公式1211221,()0(1,2, ),()(|)()(|)()(|)()()(|)ninnniiEAEBBBP BinP AP A BP BP A BP BP A BP BP B P A B定義 設(shè)為試驗(yàn) 的樣本空間為 的事件為的

3、一個劃分 且則圖示A1B2B3B1nBnB證明12.nABABAB化整為零各個擊破12()nAAABBB 1122( )() ( |)() ( |)() ( |)nnP AP B P A BP B P A BP B P A B說明 全概率公式的主要用途在于它可以將一個復(fù)雜事件的概率計算問題,分解為若干個簡單事件的概率計算問題,最后應(yīng)用概率的可加性求出最終結(jié)果.A1B2B3B1nBnB例1 有一批同一型號的產(chǎn)品,已知其中由一廠生產(chǎn)的占 30% , 二廠生產(chǎn)的占 50% , 三廠生產(chǎn)的占 20%, 又知這三個廠的產(chǎn)品次品率分別為2% , 1%, 1%,問從這批產(chǎn)品中任取一件是次品的概率是多少設(shè)事件

4、 A 為“任取一件為次品”,.3 ,2 ,1,廠的產(chǎn)品任取一件為為事件iiBi123,BBB 解. 3 , 2 , 1, jiBBji由全概率公式得, 2 . 0)(, 5 . 0)(, 3 . 0)(321 BPBPBP112233( )() ()() ()() ().P AP B P ABP B P ABP B P AB.013. 02 . 001. 05 . 001. 03 . 002. 0 ,01. 0)(,01. 0)(,02. 0)(321 BAPBAPBAP112233( )() ()() ()() ()P AP B P ABP B P ABP B P AB故故30%20%50%

5、2%1%1%AB1B2B3貝葉斯公式121,( )0,()0(1,2, ),(/) ()(|),1,2, .(|) ()niiiinjjjEAEB BBP AP BinP A B P BP BAinP A BP B定義設(shè)為試驗(yàn) 的樣本空間為 的事件為的一個劃分 且則Bayes公式的意義 假設(shè)導(dǎo)致事件A發(fā)生的“原因”有Bi (i=1,2,n) 個。它們互不相容。 現(xiàn)已知事件A確已經(jīng)發(fā)生了，若要估計它是由“原因”Bi所導(dǎo)致的概率，則可用Bayes公式求出. 即可從結(jié)果分析原因.證明(| ) ()()( )iiiP A B P BP B AP A.,2 ,1ni1() (|)() (|)iinjjj

6、P B P A BP B P A B( )0,()() ( )() ( ).P AP ABP B A P AP A B P B設(shè)則有乘法定理：1122()()(|)()(|)()(|)nnP AP B P A BP BP A BP BP A B.:10.020.1520.010.8030.030.05,.(1),;某 電 子 設(shè) 備 制 造 廠 所 用 的 元 件 是 由 三 家 元件 制 造 廠 提 供 的 根 據(jù) 以 往 的 記 錄 有 以 下 的 數(shù) 據(jù)元 件 制 造 廠次 品 率提 供 元 件 的 份 額設(shè) 這 三 家 工 廠 的 產(chǎn) 品 在 倉 庫 中 是 均 勻 混 合 的 且無

7、區(qū) 別 的 標(biāo) 志在 倉 庫 中 隨 機(jī) 地 取 一 只 元 件求 它 是 次 品 的概 率例2 貝葉斯公式的應(yīng)用(2),.在倉庫中隨機(jī)地取一只元件 若已知取到的是次品為分析此次品出自何廠 求此次品出由三家工廠生產(chǎn)的概率分別是多少解,取到的是一只次品表示設(shè)A.家工廠提供的所取到的產(chǎn)品是由第表示i3 ,2 ,1(iBi,的一個劃分是樣本空間,則321BBB0.05,)P(B0.80,)P(B0.15,)P(B且321.03. 0)(,01. 0)(,02. 0)(321 BAPBAPBAP(1) 由全概率公式得)()()()()()()(332211BPBAPBPBAPBPBAPAP .0125

8、. 0 (2) 由貝葉斯公式得)()()()(111APBPBAPABP 0125. 015. 002. 0 .24. 0 ,64. 0)()()()(222 APBPBAPABP.12. 0)()()()(333 APBPBAPABP.家工廠的可能性最大2故這只次品來自第由以往的數(shù)據(jù)分析得到的概率, 叫做先驗(yàn)概率.而在得到信息之后再重新加以修正的概率 叫做后驗(yàn)概率.先驗(yàn)概率與后驗(yàn)概率貝葉斯分類 貝葉斯分類器是一個統(tǒng)計分類器。它們能夠預(yù)測類別所屬的概率，如：一個數(shù)據(jù)對象屬于某個類別的概率。貝葉斯分類器是基于貝葉斯定理而構(gòu)造出來的。 對分類方法進(jìn)行比較的有關(guān)研究結(jié)果表明：簡單貝葉斯分類器（稱為基

9、本貝葉斯分類器）在分類性能上與決策樹和神經(jīng)網(wǎng)絡(luò)都是可比的。 在處理大規(guī)模數(shù)據(jù)庫時，貝葉斯分類器已表現(xiàn)出較高的分類準(zhǔn)確性和運(yùn)算性能。20貝葉斯分類 定義：設(shè)X是類標(biāo)號未知的數(shù)據(jù)樣本。設(shè)H為某種假定，如數(shù)據(jù)樣本X屬于某特定的類C。對于分類問題，我們希望確定P(H|X)，即給定觀測數(shù)據(jù)樣本X，假定H成立的概率。貝葉斯定理給出了如下計算P(H|X)的簡單有效的方法: P(H)是先驗(yàn)概率，或稱H的先驗(yàn)概率。P(X|H)代表假設(shè)H成立的情況下，觀察到X的概率。 P(H| X )是后驗(yàn)概率，或稱條件X下H的后驗(yàn)概率。)()()|()|(XPHPHXPXHP21貝葉斯分類 先驗(yàn)概率泛指一類事物發(fā)生的概率，通常

10、根據(jù)歷史資料或主觀判斷，未經(jīng)實(shí)驗(yàn)證實(shí)所確定的概率。 而后驗(yàn)概率涉及的是某個特定條件下一個具體的事物發(fā)生的概率22貝葉斯分類 例如：P(x1)=0.9: 細(xì)胞為正常細(xì)胞的概率0.9（先驗(yàn)概率） P(x2)=0.1: 細(xì)胞為異常細(xì)胞的概率0.1（先驗(yàn)概率） 對某個具體的對象y，P(x1|y）:表示y的細(xì)胞正常的概率是0.82（后驗(yàn)概率） P(x2|y）:表示y的細(xì)胞異常的概率是0.18（后驗(yàn)概率）樸素貝葉斯分類 樸素貝葉斯分類的工作過程如下： (1) 每個數(shù)據(jù)樣本用一個n維特征向量X= x1，x2，xn表示，分別描述對n個屬性A1，A2，An樣本的n個度量。 (2) 假定有m個類C1，C2，Cm，

11、給定一個未知的數(shù)據(jù)樣本X（即沒有類標(biāo)號），分類器將預(yù)測X屬于具有最高后驗(yàn)概率（條件X下）的類。也就是說，樸素貝葉斯分類將未知的樣本分配給類Ci（1im）當(dāng)且僅當(dāng)P(Ci|X) P(Cj|X)，對任意的j=1，2，m，ji。這樣，最大化P(Ci|X)。其P(Ci|X)最大的類Ci稱為最大后驗(yàn)假定。根據(jù)貝葉斯定理)()()|()|(XPCPCXPXCPiii24樸素貝葉斯分類 (3)由于P(X)對于所有類為常數(shù)，只需要P(X|Ci)*P(Ci)最大即可。 如果Ci類的先驗(yàn)概率未知，則通常假定這些類是等概率的，即P(C1)=P(C2)=P(Cm)，因此問題就轉(zhuǎn)換為對P(X|Ci)的最大化（P(X|C

12、i)常被稱為給定Ci時數(shù)據(jù)X的似然度，而使P(X|Ci)最大的假設(shè)Ci稱為最大似然假設(shè)）。否則，需要最大化P(X|Ci)*P(Ci)。注意，類的先驗(yàn)概率可以用P(Ci)=si/s計算，其中si是類Ci中的訓(xùn)練樣本數(shù)，而s是訓(xùn)練樣本總數(shù)。25樸素貝葉斯分類 (4)給定具有許多屬性的數(shù)據(jù)集，計算P(X|Ci)的開銷可能非常大。為降低計算P(X|Ci)的開銷，可以做類條件獨(dú)立的樸素假定。 給定樣本的類標(biāo)號，假定屬性值相互條件獨(dú)立，即在屬性間，不存在依賴關(guān)系。這樣)|()|(1inkkiCxPCXP聯(lián)合概率分布()( ) ( )P ABP A P B26樸素貝葉斯分類 (5)對未知樣本X分類，也就是對

13、每個類Ci，計算P(X|Ci)*P(Ci)。 樣本X被指派到類Ci，當(dāng)且僅當(dāng)P(Ci|X) P(Cj|X)，1jm，ji，換言之，X被指派到其P(X|Ci)*P(Ci)最大的類。 “打網(wǎng)球”的決定No.天氣氣溫濕度風(fēng)類別1晴熱高無N2晴熱高有N3多云熱高無P4雨適中高無P5雨冷正常無P6雨冷正常有N7多云冷正常有PNo.天氣氣溫濕度風(fēng)類別8晴適中高無N9晴冷正常無P10雨適中正常無P11晴適中正常有P12多云適中高有P13多云熱正常無P14雨適中高有NNo.天氣氣溫濕度風(fēng)類別1晴熱高無N2晴熱高有N3多云熱高無P4雨適中高無P5雨冷正常無P6雨冷正常有N7多云冷正常有PNo.天氣氣溫濕度風(fēng)類別

14、8晴適中高無N9晴冷正常無P10雨適中正常無P11晴適中正常有P12多云適中高有P13多云熱正常無P14雨適中高有N實(shí)例統(tǒng)計結(jié)果天氣溫度濕度有風(fēng)打網(wǎng)球 P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5統(tǒng)計結(jié)果天氣 E1溫度 E2濕度 E3有風(fēng) E4打網(wǎng)球 P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92

15、/5涼 3/91/5對下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球晴涼高是？統(tǒng)計結(jié)果天氣 E1溫度 E2濕度 E3有風(fēng) E4打網(wǎng)球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5對下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球晴涼高是？模型：決策：？(| )(| )P D no EP D yes E()(|) ()(|)( )( )P DEP E D P DP D EP EP E貝葉斯公式：E為第二個表中的取值、分別計算D=yes/no的

16、概率1234EEEEE統(tǒng)計結(jié)果天氣 E1溫度 E2濕度 E3有風(fēng) E4打網(wǎng)球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5對下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球晴涼高是？12341234()(|) ()(|)( )( )(|) ()( )(|) (|) (|) (|) ()( )P DEP E D P DP yes EP EP EP EEEEyes P yesP EP Eyes P Eyes P Eyes P Eyes P

17、yesP E()(|) ()(|)( )( )P DEP E D P DP D EP EP E233390.0053999914(|)( )( )P yes EP EP E233390.00539999 14(|)( )( )P yes EP EP E 已經(jīng)計算出：3 14350.02065555 14(|)( )( )P no EP EP E 同理可計算：(|)(|)1P yes EP no E利用公式：(|)20.5% (|)79.5%P yes EP no E最后得到：(|)(|) P yes EP no E不去打球決策：天氣 E1溫度 E2濕度 E3有風(fēng) E4打網(wǎng)球 D P N PN

18、PN PNPN晴 2/93/5熱 2/92/5高 3/95/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/90/5是 3/93/5雨 3/92/5涼 3/91/5對下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球云涼正常是？利用樸素貝葉斯對文檔分類為了對文檔進(jìn)行分類，首先我們需要把文檔進(jìn)行向量化，而組成這個向量的分量，通常是一個文檔集合中重要的關(guān)鍵詞。Bag of words，也叫做“詞袋”，在信息檢索中，Bag of words model假定對于一個文本，忽略其詞序和語法，句法，將其僅僅看做是一個詞集合，或者說是詞的一個組合，文本中每個詞的出現(xiàn)都是獨(dú)立的，不依賴于其

19、他詞是否出現(xiàn)，或者說當(dāng)這篇文章的作者在任意一個位置選擇一個詞匯都不受前面句子的影響而獨(dú)立選擇的。利用樸素貝葉斯對文檔分類將多個文檔轉(zhuǎn)換成一個詞袋矩陣后，即可通過樸素貝葉斯方法對文檔進(jìn)行分類。足球足球高考高考航母航母基金基金量子量子分類分類10000體育00000娛樂00001科技01001教育00010財經(jīng)00100軍事擴(kuò)展：使用0,1方式表達(dá)的詞袋模型雖然簡單，但它并不能表達(dá)出不同詞語的重要性，因此在信息檢索領(lǐng)域，TF-IDF模型更常用。TF(定義)關(guān)鍵詞在該文檔中出現(xiàn)的次數(shù)除以該文檔的總字?jǐn)?shù)。我們把這個商稱為“關(guān)鍵詞的頻率”，或者單文本詞頻 (term frequency, TF) 對關(guān)鍵

20、詞的次數(shù)進(jìn)行歸一化，以防止它偏向長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞頻，而不管該詞語重要與否。)TF(舉例)短語“原子能的應(yīng)用”可以分成三個關(guān)鍵詞：原子能、的、應(yīng)用在某個一共有1000詞的文檔中，其中“原子能”、“的”和“應(yīng)用”分別出現(xiàn)了2次、35次和5次，那么它們的詞頻就分別是0.002、0.035和0.005。我們將這三個數(shù)相加，其和0.042就是相應(yīng)文檔和查詢“原子能的應(yīng)用”的“單文本詞頻”TF(概括)因此，度量文檔和查詢的相關(guān)性，有一個簡單的方法，就是直接使用各個關(guān)鍵詞在文檔中出現(xiàn)的總詞頻具體地講，如果一個查詢包含N個關(guān)鍵詞 w1,w2,.,wN, 它們在一個特定文

21、檔中的詞頻分別是: TF1,TF2, .,TFN。那么，這個查詢和該文檔的相關(guān)性就是:TF1+TF2+.+TFN。TF(漏洞)由上例可知：詞“的”占了總詞頻的80%以上，而它對確定文檔的主題幾乎沒有用處 這種詞叫“停止詞”，也就是說，在度量相關(guān)性時不應(yīng)考慮它們的頻率 忽略這些停止詞后，上述文檔和查詢的相關(guān)性就變成了0.007，其中“原子能”貢獻(xiàn)了0.002，“應(yīng)用”貢獻(xiàn)了 0.005在漢語中，“應(yīng)用”是個很通用的詞，而“原子能”是個很專業(yè)的詞，后者在相關(guān)性排名中比前者重要。因此，我們需要給漢語中的每一個詞給一個權(quán)重。權(quán)重(設(shè)定條件)這個權(quán)重的設(shè)定必須滿足下面兩個條件：一個詞預(yù)測主題的能力越強(qiáng)，

22、權(quán)重就越大，反之，權(quán)重就越小。在文檔中看到“原子能”這個詞，或多或少地能了解文檔的主題。而看到“應(yīng)用”一詞，則對主題基本上還是一無所知。因此，“原子能“的權(quán)重就應(yīng)該比“應(yīng)用”大停止詞的權(quán)重應(yīng)該是零。權(quán)重(概括)很容易發(fā)現(xiàn)，如果一個關(guān)鍵詞只在很少的文檔中出現(xiàn)，通過它就容易鎖定搜索目標(biāo)，它的權(quán)重也就應(yīng)該大。反之，如果一個詞在大量文檔中出現(xiàn)，看到它仍然不很清楚要找什么內(nèi)容，因此它的權(quán)重就應(yīng)該小概括地講，假定一個關(guān)鍵詞w在Dw個文檔中出現(xiàn)過，那么Dw越大，w的權(quán)重越小，反之亦然IDF(逆向文件頻率)在信息檢索中，使用最多的權(quán)重是“逆文本頻率指數(shù)”（Inverse document frequency 縮寫為IDF），它的公式為log（D/Dw）其中D是全部文檔數(shù)。比如，假定中文文檔數(shù)是D=10億，停止詞“的”在所有的文檔中都出現(xiàn)，即Dw=10億，那么它的IDF=log(10億/