Python工程應(yīng)用-數(shù)據(jù)分析基礎(chǔ)與實(shí)踐課件-第5章

第一章概論西華大學(xué)機(jī)器學(xué)習(xí)第五章樸素貝葉斯XXX學(xué)校XXX2022目錄Contents模型介紹社區(qū)留言板文本分類舊金山犯罪分類預(yù)測(cè)

知識(shí)引入3序號(hào)癥狀職業(yè)疾病1打噴嚏護(hù)士感冒2打噴嚏農(nóng)夫過敏3頭疼建筑工人腦震蕩4頭疼建筑工人感冒5打噴嚏教師感冒6頭疼教師腦震蕩某個(gè)醫(yī)院早上收了六個(gè)門診病人，這六個(gè)病人的癥狀和最終診斷的疾病如下表所示：現(xiàn)在又來了一個(gè)打噴嚏的建筑工人，請(qǐng)問他有可能患上了什么疾病？

本章知識(shí)圖譜4模型介紹一1.1貝葉斯決策理論基礎(chǔ)6樸素貝葉斯的理論基礎(chǔ)是概率與條件概率。1、概率

概率有很多種定義，簡(jiǎn)言之就是表征隨機(jī)事件發(fā)生可能性大小的量，是事件本身所固有的、不隨人的主觀意愿而改變的一種屬性。事件A發(fā)生的概率通常記為P(A)。2、條件概率

條件概率就是在另外一個(gè)事件B已經(jīng)發(fā)生的條件下，事件A發(fā)生的概率，表示為P(A|B)，讀作“在B條件下A的概率”。條件概率可由下式計(jì)算：1.1貝葉斯決策理論基礎(chǔ)73、先驗(yàn)概率和后驗(yàn)概率

先驗(yàn)概率是在缺乏某個(gè)事實(shí)的情況下描述一個(gè)事件發(fā)生的可能性，而后驗(yàn)概率是在考慮了一個(gè)事實(shí)之后的條件概率。

4、全概率公式

概率論中經(jīng)常要從已知的簡(jiǎn)單事件的概率去求未知的復(fù)雜事件的概率，即將復(fù)雜事件分解為若干個(gè)簡(jiǎn)單事件，通過這些簡(jiǎn)單事件的概率來求復(fù)雜事件的概率。形成定理就是經(jīng)常用到的全概率公式。1.1貝葉斯決策理論基礎(chǔ)85、貝葉斯公式

通常，事件A在事件B發(fā)生的條件下發(fā)生的概率，與事件B在事件A發(fā)生的條件下發(fā)生的概率是不一樣的，但這兩者是有確定關(guān)系的，貝葉斯法則就是對(duì)這種關(guān)系的描述。1.1貝葉斯決策理論基礎(chǔ)95、貝葉斯公式AB

現(xiàn)在假設(shè)“抽出黑球”為事件X，“選擇容器A”為事件Y，那么可以計(jì)算出：P(X)=(3+4)/10=0.7，P(Y)=0.5，P(X|Y)=3/5=0.6，根據(jù)貝葉斯公式可以求出P(Y|X)=P(X|Y)*P(Y)/P(X)=0.43，因此該球來自于容器A的概率為0.43。從這兩個(gè)容器中任意抽取出一個(gè)球，結(jié)果發(fā)現(xiàn)是一個(gè)黑球，我們想知道這個(gè)球來自于容器A的概率是多少？1.2使用樸素貝葉斯進(jìn)行分類10將貝葉斯公式換成分類任務(wù)表達(dá)式為：

1.2使用樸素貝葉斯進(jìn)行分類11從已知的六個(gè)病人數(shù)據(jù)中，我們可以得到以下幾個(gè)數(shù)據(jù)：P(打噴嚏|感冒)=2/3=0.66，P(建筑工人|感冒)=1/3=0.33，P(感冒)=3/6=0.5，P(打噴嚏)=3/6=0.5，P(建筑工人)=2/6=0.33根據(jù)貝葉斯公式有：P(感冒|打噴嚏*建筑工人)=P(打噴嚏*建筑工人|感冒)*P(感冒)/P(打噴嚏*建筑工人)在這個(gè)實(shí)際案例中，病人的癥狀和職業(yè)顯然是獨(dú)立的，因此：P(打噴嚏*建筑工人)=P(打噴嚏)*P(建筑工人)，因此：P(感冒|打噴嚏*建筑工人)=P(打噴嚏|感冒)*P(建筑工人|感冒)*P(感冒)/P(打噴嚏)*P(建筑工人)可以得到：P(感冒|打噴嚏*建筑工人)=0.66*0.33*0.5/(0.5*0.33)=0.661.3樸素貝葉斯分類特點(diǎn)12樸素貝葉斯分類器理論基礎(chǔ)明確且簡(jiǎn)單，容易用代碼實(shí)現(xiàn)，適用性廣，具體來說具有以下一些特點(diǎn)：主要優(yōu)點(diǎn)：擁有穩(wěn)定的分類效率。對(duì)小規(guī)模的數(shù)據(jù)表現(xiàn)很好，能處理多分類任務(wù)，適合增量式訓(xùn)練，尤其是數(shù)據(jù)量超出內(nèi)存時(shí)，可以分批進(jìn)行增量訓(xùn)練。對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單，常用于文本分類。1.3樸素貝葉斯分類特點(diǎn)13主要缺點(diǎn)：理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但實(shí)際上并非總是如此。因?yàn)闃闼刎惾~斯模型在給定輸出類別的情況下，會(huì)自動(dòng)假設(shè)屬性之間相互獨(dú)立，但這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，在屬性個(gè)數(shù)比較多或者屬性之間相關(guān)性較大時(shí)，這會(huì)造成分類效果不好。而在屬性相關(guān)性較小時(shí)，樸素貝葉斯性能最為良好。對(duì)于這一點(diǎn)，有半樸素貝葉斯之類的算法能通過考慮部分關(guān)聯(lián)性進(jìn)行算法改進(jìn)。需要知道先驗(yàn)概率，且先驗(yàn)概率很多時(shí)候取決于假設(shè)。假設(shè)的模型可以有很多種，因此在某些時(shí)候由于假設(shè)的先驗(yàn)?zāi)Ｐ筒粔驕?zhǔn)確，可能導(dǎo)致預(yù)測(cè)效果不佳。因?yàn)槭峭ㄟ^先驗(yàn)的概率和數(shù)據(jù)來決定后驗(yàn)的概率，再用后驗(yàn)的概率決定分類，所以分類決策將存在一定的錯(cuò)誤率。對(duì)輸入數(shù)據(jù)的表達(dá)形式很敏感。案例：社區(qū)留言板文本分類二2.1案例介紹15

對(duì)此案例中的留言建立兩個(gè)類別:侮辱類和非侮辱類，分別用1和0來表示。在文本分類問題中：

（1）樣本為整個(gè)文檔

（2）樣本特征由文檔的某些元素構(gòu)成

（3）需要根據(jù)特征來判斷樣本所屬分類

在針對(duì)文檔進(jìn)行特征提取的時(shí)候，通常有兩種表示特征的方法，分別是詞集模型(set-of-wordsmodel)和詞袋模型(bag-of-wordsmodel)。

2.2數(shù)據(jù)準(zhǔn)備161.實(shí)驗(yàn)樣本數(shù)據(jù)創(chuàng)建defloadDataSet():

"""

:return:單詞列表postingList,所屬類別classVec

"""

postingList=[['my','dog','has','flea','problem','help','please'],

['maybe','not','take','him','to','dog','park','stupid'],

['my','dalmation','is','so','cute','I','love','him'],

['stop','posting','ate','my','steak','how','to','stop','him'],

['mr','licks','ate','my','steak','how','to','stop','him'],

['quit','buying','worthless','dog','food','stupid']

]

classVec=[0,1,0,1,0,1]#分類標(biāo)簽集合，0表示非侮辱類，1表示侮辱類

returnpostingList,classVec

2.2數(shù)據(jù)準(zhǔn)備172.詞條集合創(chuàng)建defcreateVocabList(dataSet):

"""

:return:所有單詞的集合

"""

vocabSet=set([])

fordocumentindataSet:

vocabSet=vocabSet|set(document)

returnlist(vocabSet)

如圖所示代碼是將數(shù)據(jù)中的所有單詞不重復(fù)得創(chuàng)建一個(gè)元素集。2.2數(shù)據(jù)準(zhǔn)備183.創(chuàng)建詞集defsetOfWords2Vec(vocabList,inputSet):

“”“

:paramvocabList:已有的單詞數(shù)據(jù)集

:paraminputSet:輸入的需要檢測(cè)的單詞數(shù)據(jù)列表

:return:匹配列表

”“”

returnVec=[0]*len(vocabList)#創(chuàng)建與已有的單詞數(shù)據(jù)列表等長(zhǎng)的向量

forwordininputSet:#將輸入的文檔單詞一一與已有的單詞數(shù)據(jù)集進(jìn)行比對(duì)

ifwordinvocabList:

returnVec[vocabList.index(word)]=1#在已有的單詞列表中存在，找到該單詞的索引值，賦值1

else:

print("該詞：%s不在我的單詞列表中"%word)

returnreturnVec

如下代碼所示是將輸入的檢測(cè)數(shù)據(jù)集與已有的單詞集比對(duì)，并生成匹配列表2.2數(shù)據(jù)準(zhǔn)備194.創(chuàng)建詞袋defbagOfWords2Vec(vocabList,inputSet):

“”“

:paramvocabList:已有的單詞數(shù)據(jù)集

:paraminputSet:輸入的需要檢測(cè)的單詞數(shù)據(jù)列表

:return:匹配列表

”“”

returnVec=[0]*len(vocabList)#創(chuàng)建與已有的單詞數(shù)據(jù)列表等長(zhǎng)的向量

forwordininputSet:#將輸入的單詞一一與已有的單詞數(shù)據(jù)集進(jìn)行比對(duì)

ifwordinvocabList:

returnVec[vocabList.index(word)]+=1#在已有的單詞列表中存在，找到該單詞的索引值，累加1

else:

print("該詞：%s不在我的單詞列表中"%word)

returnreturnVec如圖所示代碼是將文檔中單詞出現(xiàn)次數(shù)統(tǒng)計(jì)出來。2.3概率計(jì)算

訓(xùn)練函數(shù)trainNB(trainMatrix,trainCategory)，輸入?yún)?shù)分別為文檔矩陣和每篇文檔類別構(gòu)成的向量。

首先該函數(shù)計(jì)算文檔屬于侮辱性言論的(類別為1)的概率，即P(1)。由于只有2個(gè)分類，可知非侮辱性言論的概率為：P(0)=1-P(1)。遍歷文檔判斷是否是侮辱性文檔是否p1Num和P1Denom分別進(jìn)行累加處理p0Num和P0Denom分別進(jìn)行累加處理2.3概率計(jì)算計(jì)算出在1類別下，每個(gè)單詞出現(xiàn)的概率p1Vect,用p1Num和p1Denom分別表示侮辱性文件中各詞條出現(xiàn)的次數(shù)(結(jié)果為向量)和所有出現(xiàn)的單詞總數(shù)(結(jié)果為數(shù))。

計(jì)算出在0類別下，每個(gè)單詞出現(xiàn)的概率p0Vect,用p0Num和p0Denom分別表示非侮辱性文件中各詞條出現(xiàn)的次數(shù)(結(jié)果為向量)和所有出現(xiàn)的單詞總數(shù)(結(jié)果為數(shù))。

計(jì)算出侮辱性文件出現(xiàn)的概率pAbusive即侮辱性文檔個(gè)數(shù)除以文檔總數(shù)。

函數(shù)返回值：2.4算法改進(jìn)1、初始化值修改

利用貝葉斯分類器對(duì)文檔進(jìn)行分類時(shí)，要計(jì)算多個(gè)概率的乘積以獲得文檔屬于哪個(gè)類別的概率。如果其中一個(gè)概率值為0，那么最后乘積也為0，顯然這樣的結(jié)果不正確。為了降低這種影響，可以將所有詞出現(xiàn)次數(shù)的初始化值設(shè)為1，并將分母初始化值設(shè)為2。2、數(shù)據(jù)下溢問題

當(dāng)計(jì)算多個(gè)概率的乘積以獲得文檔屬于哪個(gè)類別的概率時(shí)，由于大部分?jǐn)?shù)據(jù)都非常小，所以程序會(huì)下溢或者得不出正確答案(四舍五入為0)。針對(duì)這種情況，可以采取對(duì)乘積取自然對(duì)數(shù)的方法。通過求對(duì)數(shù)可以避免下溢出或者浮點(diǎn)數(shù)四舍五入導(dǎo)致的錯(cuò)誤，且不會(huì)有任何損失。2.5改進(jìn)后的樸素貝葉斯分類器應(yīng)用1、創(chuàng)建貝葉斯分類器函數(shù)

p1=sum(vec2classify*p1Vec)+log(pClass1)p0=sum(vec2classify*p0Vec)+log(1.0-pClass1)

函數(shù)classifyNB(vec2classify,p0Vec,p1Vec,pClass1)參數(shù)分別為分類向量及函數(shù)trainNB()返回的三個(gè)結(jié)果。

函數(shù)classifyNB返回值由p