樸素貝葉斯分類(第九章)課件

1、樸素貝葉斯分類第九章1. 定義ABAB條件概率若 是全集，A、B是其中的事件（子集），P表示事件發(fā)生的概率，則為事件B發(fā)生后A發(fā)生的概率。乘法定理注：當(dāng)P(AB)不容易直接求得時(shí)，可考慮利用P(A)與P(B|A)的乘積或P(B)與P(A|B)的乘積間接求得。乘法定理的推廣1. 集合（樣本空間）的劃分二、全概率公式圖示證明化整為零各個(gè)擊破說(shuō)明 全概率公式的主要用途在于它可以將一個(gè)復(fù)雜事件的概率計(jì)算問(wèn)題,分解為若干個(gè)簡(jiǎn)單事件的概率計(jì)算問(wèn)題,最后應(yīng)用概率的可加性求出最終結(jié)果.由全概率公式得30%20%50%2%1%1%AB1B2B3貝葉斯公式Bayes公式的意義假設(shè)導(dǎo)致事件A發(fā)生的“原因”有Bi (

2、i=1,2,n) 個(gè)。它們互不相容?，F(xiàn)已知事件A確已經(jīng)發(fā)生了，若要估計(jì)它是由“原因”Bi所導(dǎo)致的概率，則可用Bayes公式求出.即可從結(jié)果分析原因.例2 貝葉斯公式的應(yīng)用解由以往的數(shù)據(jù)分析得到的概率, 叫做先驗(yàn)概率.而在得到信息之后再重新加以修正的概率 叫做后驗(yàn)概率.先驗(yàn)概率與后驗(yàn)概率貝葉斯分類貝葉斯分類器是一個(gè)統(tǒng)計(jì)分類器。它們能夠預(yù)測(cè)類別所屬的概率，如：一個(gè)數(shù)據(jù)對(duì)象屬于某個(gè)類別的概率。貝葉斯分類器是基于貝葉斯定理而構(gòu)造出來(lái)的。對(duì)分類方法進(jìn)行比較的有關(guān)研究結(jié)果表明：簡(jiǎn)單貝葉斯分類器（稱為基本貝葉斯分類器）在分類性能上與決策樹(shù)和神經(jīng)網(wǎng)絡(luò)都是可比的。在處理大規(guī)模數(shù)據(jù)庫(kù)時(shí)，貝葉斯分類器已表現(xiàn)出較高的

3、分類準(zhǔn)確性和運(yùn)算性能。20貝葉斯分類定義：設(shè)X是類標(biāo)號(hào)未知的數(shù)據(jù)樣本。設(shè)H為某種假定，如數(shù)據(jù)樣本X屬于某特定的類C。對(duì)于分類問(wèn)題，我們希望確定P(H|X)，即給定觀測(cè)數(shù)據(jù)樣本X，假定H成立的概率。貝葉斯定理給出了如下計(jì)算P(H|X)的簡(jiǎn)單有效的方法:P(H)是先驗(yàn)概率，或稱H的先驗(yàn)概率。P(X|H)代表假設(shè)H成立的情況下，觀察到X的概率。P(H| X )是后驗(yàn)概率，或稱條件X下H的后驗(yàn)概率。21貝葉斯分類先驗(yàn)概率泛指一類事物發(fā)生的概率，通常根據(jù)歷史資料或主觀判斷，未經(jīng)實(shí)驗(yàn)證實(shí)所確定的概率。而后驗(yàn)概率涉及的是某個(gè)特定條件下一個(gè)具體的事物發(fā)生的概率22貝葉斯分類例如：P(x1)=0.9: x1-為

4、正常細(xì)胞的概率0.9（先驗(yàn)概率） P(x2)=0.1: x2-為異常細(xì)胞的概率0.1（先驗(yàn)概率）對(duì)某個(gè)具體的對(duì)象y，P(x1|y）:表示y的細(xì)胞正常的概率是0.82（后驗(yàn)概率）P(x2|y）:表示y的細(xì)胞異常的概率是0.18（后驗(yàn)概率）24樸素貝葉斯分類(續(xù))(3)由于P(X)對(duì)于所有類為常數(shù)，只需要P(X|Ci)*P(Ci)最大即可。如果Ci類的先驗(yàn)概率未知，則通常假定這些類是等概率的，即P(C1)=P(C2)=P(Cm)，因此問(wèn)題就轉(zhuǎn)換為對(duì)P(X|Ci)的最大化（P(X|Ci)常被稱為給定Ci時(shí)數(shù)據(jù)X的似然度，而使P(X|Ci)最大的假設(shè)Ci稱為最大似然假設(shè)）。否則，需要最大化P(X|Ci

5、)*P(Ci)。注意，類的先驗(yàn)概率可以用P(Ci)=si/s計(jì)算，其中si是類Ci中的訓(xùn)練樣本數(shù)，而s是訓(xùn)練樣本總數(shù)。25樸素貝葉斯分類(續(xù))(4)給定具有許多屬性的數(shù)據(jù)集，計(jì)算P(X|Ci)的開(kāi)銷可能非常大。為降低計(jì)算P(X|Ci)的開(kāi)銷，可以做類條件獨(dú)立的樸素假定。給定樣本的類標(biāo)號(hào)，假定屬性值相互條件獨(dú)立，即在屬性間，不存在依賴關(guān)系。這樣聯(lián)合概率分布“打網(wǎng)球”的決定No.天氣氣溫濕度風(fēng)類別1晴熱高無(wú)N2晴熱高有N3多云熱高無(wú)P4雨適中高無(wú)P5雨冷正常無(wú)P6雨冷正常有N7多云冷正常有PNo.天氣氣溫濕度風(fēng)類別8晴適中高無(wú)N9晴冷正常無(wú)P10雨適中正常無(wú)P11晴適中正常有P12多云適中高有P1

6、3多云熱正常無(wú)P14雨適中高有N之前用ID3算法求解的一個(gè)例子No.天氣氣溫濕度風(fēng)類別1晴熱高無(wú)N2晴熱高有N3多云熱高無(wú)P4雨適中高無(wú)P5雨冷正常無(wú)P6雨冷正常有N7多云冷正常有PNo.天氣氣溫濕度風(fēng)類別8晴適中高無(wú)N9晴冷正常無(wú)P10雨適中正常無(wú)P11晴適中正常有P12多云適中高有P13多云熱正常無(wú)P14雨適中高有N實(shí)例統(tǒng)計(jì)結(jié)果天氣溫度濕度有風(fēng)打網(wǎng)球 P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5統(tǒng)計(jì)結(jié)果天氣 E1溫度 E2濕度 E

7、3有風(fēng) E4打網(wǎng)球 P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5對(duì)下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球晴涼高是？統(tǒng)計(jì)結(jié)果天氣 E1溫度 E2濕度 E3有風(fēng) E4打網(wǎng)球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5對(duì)下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球晴涼高是？

8、模型：決策：？貝葉斯公式：E為第二個(gè)表中的取值、分別計(jì)算D=yes/no的概率統(tǒng)計(jì)結(jié)果天氣 E1溫度 E2濕度 E3有風(fēng) E4打網(wǎng)球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/94/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/91/5是 3/93/5雨 3/92/5涼 3/91/5對(duì)下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球晴涼高是？已經(jīng)計(jì)算出：同理可計(jì)算：利用公式：最后得到：決策：天氣 E1溫度 E2濕度 E3有風(fēng) E4打網(wǎng)球 D P N PN PN PNPN晴 2/93/5熱 2/92/5高 3/95/5否 6/92/59/145/14云 4/90/5暖 4/92/5正常 6/90/5是 3/93/5雨 3/92/5涼 3/91/5對(duì)下面的情況做出決策：天氣溫度濕度有風(fēng)打網(wǎng)球云涼正常是？作業(yè) （下周一交）No.天氣氣溫濕度風(fēng)類別1晴熱高無(wú)N2晴熱高有N3多云熱高無(wú)P4雨適中高無(wú)P5雨冷正常無(wú)P6雨冷正常有N7多云冷正常有PNo.天氣氣溫濕