貝葉斯算法完整版本

貝葉斯算法

201901貝葉斯定理的含義02樸素貝葉斯分類03貝葉斯算法的應(yīng)用Contents目錄貝葉斯定理的含義01標(biāo)題文本預(yù)設(shè)貝葉斯定理貝葉斯(ThomasBayes，1702-1761)出生于倫敦，畢業(yè)于愛丁堡大學(xué)，英國(guó)數(shù)學(xué)家。貝葉斯做過(guò)神甫。1742年成為英國(guó)皇家學(xué)會(huì)會(huì)員。1761年4月7日逝世。貝葉斯在數(shù)學(xué)方面主要研究概率論。他首先將歸納推理法用于概率論基礎(chǔ)理論，并創(chuàng)立了貝葉斯統(tǒng)計(jì)理論，對(duì)于統(tǒng)計(jì)決策函數(shù)、統(tǒng)計(jì)推斷、統(tǒng)計(jì)的估算等做出了貢獻(xiàn)。標(biāo)題文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)文本預(yù)設(shè)貝葉斯公式的推導(dǎo)Step1Step2Step3Step4標(biāo)題文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)標(biāo)題文本預(yù)設(shè)文本預(yù)設(shè)文本預(yù)設(shè)貝葉斯定理

貝葉斯定理實(shí)際上就是計(jì)算”條件概率“的公式。所謂”條件概率”就是指在事件B發(fā)生的情況下，事件A發(fā)生的概率，用P(A|B)來(lái)表示。Bayes定理可表述為：后驗(yàn)概率=(相似度*先驗(yàn)概率)/標(biāo)準(zhǔn)化常量，也就是說(shuō)，后驗(yàn)概率與先驗(yàn)概率和相似度的乘積成正比。P(A|B)是在B發(fā)生的情況下A發(fā)生的可能性。首先，事件B發(fā)生之前，我們對(duì)事件A的發(fā)生有一個(gè)基本的概率判斷，稱為A的先驗(yàn)概率，用P(A)表示；其次，事件B發(fā)生之后，我們對(duì)事件A的發(fā)生概率重新評(píng)估，稱為A的后驗(yàn)概率，用P(A|B)表示類似的，事件A發(fā)生之前，我們對(duì)事件B的發(fā)生有一個(gè)基本的概率判斷，稱為B的先驗(yàn)概率，用P(B)表示；同樣，事件A發(fā)生之后，我們對(duì)事件B的發(fā)生概率重新評(píng)估，稱為B的后驗(yàn)概率，用P(B|A)表示；全概率公式假定樣本空間S，是兩個(gè)事件A和A’的和。

圖中，紅色部分是事件A，綠色部分是事件A’，它們共同構(gòu)成了樣本空間S。

這種情況下，事件B可以劃分為兩個(gè)部分。全概率公式由上可以推斷出：

在上一節(jié)的推導(dǎo)當(dāng)中，我們已知：所以全概率公式為：條件概率的另一種寫法：貝葉斯推斷對(duì)條件概率公式進(jìn)行變形，可以得到如下形式：1：如果”可能性函數(shù)“P(B|A)/P(B)>1，意味著”先驗(yàn)概率“增強(qiáng)，事件A的發(fā)生的可能性變大；2：如果”可能性函數(shù)“P(B|A)/P(B)=1，意味著B事件無(wú)助于事件A的可能性；3：如果”可能性函數(shù)“P(B|A)/P(B)<1，意味著”先驗(yàn)概率“被消弱，事件A發(fā)生的可能性變小。

所以，條件概率可以理解為下面的式子：樸素貝葉斯分類02標(biāo)題文本預(yù)設(shè)此部分內(nèi)容作為文字排版占位顯示

（建議使用主題字體）樸素貝葉斯算法

樸素貝葉斯分類是一種十分簡(jiǎn)單的分類算法，叫它樸素貝葉斯分類是因?yàn)檫@種方法的思想真的很樸素，樸素貝葉斯的思想基礎(chǔ)是這樣的：對(duì)于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別。樸素貝葉斯分類器采用了屬性條件獨(dú)立性假設(shè)：對(duì)已知類別，假設(shè)所有屬性相互獨(dú)立。換言之，假設(shè)每個(gè)屬性獨(dú)立的對(duì)分類結(jié)果發(fā)生影響基于屬性獨(dú)立性假設(shè)，貝葉斯公式可重寫為：03040102樸素貝葉斯分類樸素貝葉斯分類的正式定義如下：設(shè)

為一個(gè)待分類項(xiàng)，而每個(gè)a為x的一個(gè)特征屬性。

有類別集合

計(jì)算

如果

010203找到一個(gè)已知分類的待分類項(xiàng)集合，這個(gè)集合叫做訓(xùn)練樣本集統(tǒng)計(jì)得到在各類別下各個(gè)特征屬性的條件概率估計(jì)。即如果各個(gè)特征屬性是條件獨(dú)立的，則根據(jù)貝葉斯定理有如下推導(dǎo)：

因?yàn)榉帜笇?duì)于所有類別為常數(shù)，我們只要將分子最大化皆可。又因?yàn)楦魈卣鲗傩允菞l件獨(dú)立的，所以有：樸素貝葉斯分類流程樸素貝葉斯分類流程第一階段——準(zhǔn)備工作階段，這個(gè)階段的任務(wù)是為樸素貝葉斯分類做必要的準(zhǔn)備，主要工作是根據(jù)具體情況確定特征屬性，并對(duì)每個(gè)特征屬性進(jìn)行適當(dāng)劃分，然后由人工對(duì)一部分待分類項(xiàng)進(jìn)行分類，形成訓(xùn)練樣本集合。

第二階段——分類器訓(xùn)練階段，這個(gè)階段的任務(wù)就是生成分類器，主要工作是計(jì)算每個(gè)類別在訓(xùn)練樣本中的出現(xiàn)頻率及每個(gè)特征屬性劃分對(duì)每個(gè)類別的條件概率估計(jì)，并將結(jié)果記錄。

第三階段——應(yīng)用階段。這個(gè)階段的任務(wù)是使用分類器對(duì)待分類項(xiàng)進(jìn)行分類，其輸入是分類器和待分類項(xiàng)，輸出是待分類項(xiàng)與類別的映射關(guān)系。這一階段也是機(jī)械性階段，由程序完成。貝葉斯算法的應(yīng)用03030406貝葉斯公式的應(yīng)用張某為了解自己患上了X疾病的可能性，去醫(yī)院作常規(guī)血液檢查。其結(jié)果居然為陽(yáng)性，他趕忙到網(wǎng)上查詢。根據(jù)網(wǎng)上的資料，血液檢查實(shí)驗(yàn)是有誤差的，這種實(shí)驗(yàn)有“1%的假陽(yáng)性率和1%的假陰性率”（真的患病者得到陰性結(jié)果稱為假陰性，未患病的人得到陽(yáng)性結(jié)果稱為假陽(yáng)性）。即在得病的人中做實(shí)驗(yàn)，有1%的概率是假陰性，99％是真陽(yáng)性。而在未得病的人中做實(shí)驗(yàn)，有1%的概率是假陽(yáng)性，99％是真陰性。于是張某根據(jù)這種解釋，估計(jì)他自己得了X疾病的概率為99%。張某的理理是，既然只有1%的假陽(yáng)性率，那么99%都是真陽(yáng)性，那我已被感染X病的概率便應(yīng)該是99%。張某咨詢了醫(yī)生，醫(yī)生說(shuō)：“99%？哪有那么大的感染幾率啊。99％是測(cè)試的準(zhǔn)確性，不是你得病的概率。你忘了一件事：這種X疾病的正常比例是不大的，1000個(gè)人中只有一個(gè)人有X病。”張某不放心，又做了一個(gè)尿液檢查，進(jìn)一步檢查他患上了X疾病的可能性，其結(jié)果仍然為陽(yáng)性，尿液檢查的實(shí)驗(yàn)有“5%的假陽(yáng)性率和5%的假陰性率”貝葉斯公式的應(yīng)用a）張某初始計(jì)算感染X病的概率是99%，問(wèn)題出在哪？

在這個(gè)例子中，張某由于沒有認(rèn)識(shí)到X疾病在人群中的患病率對(duì)于自己患病率的影響，從而得出了錯(cuò)誤的結(jié)論。換言之，雖然，真陽(yáng)性率+假陽(yáng)性率=100%，反問(wèn)，難道所有人都是陽(yáng)性嗎？張某錯(cuò)誤的結(jié)論建立在所有人都是陽(yáng)性的基礎(chǔ)之下。貝葉斯公式的應(yīng)用由此，根據(jù)貝葉斯公式，可以計(jì)算張某在血液檢查后患病的概率為：

b）那么張某在血液檢查之后的患病率是多少呢？畫一張圖來(lái)說(shuō)明問(wèn)題。貝葉斯公式的應(yīng)用c）在血液檢查之后，我們算得了張某患病的概率，相對(duì)于原來(lái)的1/1000，在檢驗(yàn)血液陽(yáng)性的條件下的患病的概率增加為了9%。在這樣的前提之下，我們又對(duì)張某的尿液進(jìn)行檢查，檢驗(yàn)為陽(yáng)性。那么此時(shí)患病的概率計(jì)算方式同前，只不過(guò)是患病的概率更新為了9%。如圖所示：貝葉斯公式的應(yīng)用d）根據(jù)張某的家族患病率，我們知道在沒有任何先驗(yàn)信息的前題下張某的患病率為1%而不是1/1000，利用這個(gè)數(shù)值，重新進(jìn)行以上的兩步計(jì)算，即可知根據(jù)張某的家族遺傳信息，結(jié)合血液和尿液檢查結(jié)果，張某得X病的概率。這就是說(shuō)，在家族患病率和兩次檢查這樣的前提之下，兩次利用貝葉斯公式計(jì)算知張某得病的概率高達(dá)95%。

貝葉斯公式的應(yīng)用——貝葉斯過(guò)濾技術(shù)1貝葉斯過(guò)濾器是一種統(tǒng)計(jì)學(xué)過(guò)濾器，建立在已有的統(tǒng)計(jì)結(jié)果之上。什么是貝葉斯過(guò)濾器2

我們必須預(yù)先提供兩組已經(jīng)識(shí)別好的郵件，一組是正常郵件，另一組是垃圾郵件。

我們用這兩組郵件，對(duì)過(guò)濾器進(jìn)行“訓(xùn)練”。這兩組郵件的規(guī)模越大，訓(xùn)練效果就越好?！坝?xùn)練”過(guò)程很簡(jiǎn)單。首先，解析所有的郵件，提取每一個(gè)詞。然后，計(jì)算每個(gè)詞語(yǔ)在正常郵件和垃圾郵件中出現(xiàn)的頻率。

有了這個(gè)初步的統(tǒng)計(jì)結(jié)果，過(guò)濾器就可以投入使用了。

貝葉斯過(guò)濾器的使用樸素貝葉斯分類的應(yīng)用數(shù)據(jù)樣本有屬性：年齡，收入，是否學(xué)生和信用狀況。類標(biāo)號(hào)屬性：“是否買電腦”有兩個(gè)不同值{是，否}。

設(shè)C1對(duì)應(yīng)于類：買電腦;

C2對(duì)應(yīng)于類：不買電腦;

我們希望分類的未知樣本為:

X=

(年齡<=30,收入=中,

是學(xué)生，信用一般)

866449樸素貝葉斯分類的應(yīng)用首先我們需要最大化1：P(X|Ci)*P(Ci)，i=1,2。

每個(gè)類的先驗(yàn)概率P(Ci)可以根據(jù)訓(xùn)練樣本計(jì)算：P(C1)=P(買電腦)

=

P(C2)=P(不買電腦)

2：計(jì)算P(X|Ci)：

（1）P

(年齡<=30,收入=中,是學(xué)生，信用一般|買電腦)

（2）P

(年齡<=30,收入=中，是學(xué)生,信用一般|不買電腦)

樸素貝葉斯分類的應(yīng)用1:

P(年齡<=30,收入=中，是學(xué)生，信用一般|買電腦)=P(年齡<=30|買電腦)*P(收入=中|買電腦)*P(是學(xué)生|買電腦)*P(信用一般|買電腦)2: