數(shù)據(jù)挖掘與數(shù)據(jù)分析：基于R語(yǔ)言 課件 -第七章 貝葉斯分類(lèi)器

DataMiningandDataAnalysiswithR數(shù)據(jù)挖掘與數(shù)據(jù)分析：基于R語(yǔ)言合作QQ：243001978第七章貝葉斯分類(lèi)器合作QQ：243001978貝葉斯定理01樸素貝葉斯分類(lèi)器02貝葉斯信念網(wǎng)絡(luò)03R編程04章節(jié)內(nèi)容應(yīng)用背景介紹合作QQ：243001978問(wèn)題：分類(lèi)過(guò)程中存在不確定性—屬性集和類(lèi)變量關(guān)系的不確定性可能由噪聲數(shù)據(jù)或缺失屬性導(dǎo)致。解決方案：上述問(wèn)題產(chǎn)生的原因可能是存在噪聲數(shù)據(jù)，或者出現(xiàn)了某些影響分類(lèi)的屬性卻沒(méi)有包含在分析中，此時(shí)可以基于概率模型構(gòu)建分類(lèi)器。定義：貝葉斯分類(lèi)器是建立在貝葉斯概率模型上，以貝葉斯定理為基礎(chǔ)的一類(lèi)分類(lèi)算法的總稱(chēng)。具體而言，貝葉斯分類(lèi)器是一種對(duì)屬性集和類(lèi)變量的概率關(guān)系建模的方法，在包含不確定性的環(huán)境中研究如何對(duì)分類(lèi)任務(wù)做出最優(yōu)決策，即在所有相關(guān)概率已知的情況下，基于概率和誤判損失來(lái)選擇最優(yōu)的類(lèi)別標(biāo)記。貝葉斯分類(lèi)器7.1貝葉斯定理合作QQ：243001978貝葉斯概率模型

用X表示屬性集，Y表示類(lèi)變量，如果類(lèi)變量和屬性之間的關(guān)系不確定，那么可以把X和Y看作隨機(jī)變量，貝葉斯定理則是關(guān)于隨機(jī)變量（或稱(chēng)為隨機(jī)事件）X和Y的條件概率（或邊緣概率）的一則定理。類(lèi)條件概率

P(X|Y)表示在某種類(lèi)別的前提下，某事發(fā)生的概率；后驗(yàn)概率P(Y|X)表示某事發(fā)生了，并且它屬于某一類(lèi)別的概率，后驗(yàn)概率越大，說(shuō)明某事物屬于這個(gè)類(lèi)別的可能性越大。問(wèn)題：準(zhǔn)確估計(jì)類(lèi)標(biāo)號(hào)和屬性值的每一種可能組合的后驗(yàn)概率非常困難，因?yàn)榧幢銓傩詳?shù)目不是很大，仍然需要很大的訓(xùn)練集進(jìn)行數(shù)據(jù)支持。解決方案：此時(shí)，利用貝葉斯概率模型定理能較快地計(jì)算出后驗(yàn)概率。后驗(yàn)概率7.1貝葉斯定理合作QQ：243001978示例ID有房婚姻狀況年收入拖欠貸款1是單身125KNo2否已婚100KNo3否單身70KNo4是已婚120KNo5否離婚95KYes6否已婚60KNo7是離婚220KNo8否單身85KYes9否已婚75KNo10否單身90KYes表7-1預(yù)測(cè)貸款拖欠問(wèn)題的訓(xùn)練集

總是常數(shù)，因此可以忽略本章介紹樸素貝葉斯分類(lèi)器和貝葉斯信念網(wǎng)絡(luò)實(shí)現(xiàn)通過(guò)計(jì)算訓(xùn)練集中屬于每個(gè)類(lèi)的訓(xùn)練記錄所占的比7.2樸素貝葉斯分類(lèi)器合作QQ：243001978樸素貝葉斯方法是一組監(jiān)督學(xué)習(xí)算法，是貝葉斯分類(lèi)器中最簡(jiǎn)單且最常見(jiàn)的一種分類(lèi)方法

樸素貝葉斯分類(lèi)器的工作流程合作QQ：243001978

…可對(duì)應(yīng)預(yù)測(cè)貸款拖欠問(wèn)題的訓(xùn)練集樸素貝葉斯分類(lèi)方法的關(guān)鍵是計(jì)算該步驟的條件概率樸素貝葉斯分類(lèi)器的工作流程合作QQ：243001978

估計(jì)類(lèi)別下屬性劃分的條件概率合作QQ：243001978

特征值P(特征值|No)P(特征值|Yes)有房=是3/70/3有房=否4/73/3婚姻狀況=單身2/72/3婚姻狀況=離婚1/71/3婚姻狀況=已婚4/70/3表7-2預(yù)測(cè)貸款拖欠問(wèn)題中各類(lèi)別下離散屬性的條件概率估計(jì)類(lèi)別下屬性劃分的條件概率合作QQ：243001978

把連續(xù)屬性轉(zhuǎn)換成序數(shù)屬性?？梢约僭O(shè)連續(xù)變量服從某種概率分布，然后使用訓(xùn)練數(shù)據(jù)估計(jì)分布的參數(shù)。估計(jì)類(lèi)別下屬性劃分的條件概率合作QQ：243001978

估計(jì)類(lèi)別下屬性劃分的條件概率合作QQ：243001978估計(jì)連續(xù)屬性的條件概率ID有房婚姻狀況年收入拖欠貸款1是單身125KNo2否已婚100KNo3否單身70KNo4是已婚120KNo5否離婚95KYes6否已婚60KNo7是離婚220KNo8否單身85KYes9否已婚75KNo10否單身90KYes屬性“年收入”為連續(xù)屬性。關(guān)于類(lèi)No的樣本均值和方差的計(jì)算過(guò)程如下：

當(dāng)給定一測(cè)試記錄中的年收入為120K時(shí)，其在類(lèi)別No下的類(lèi)條件概率計(jì)算如下：

表7-1預(yù)測(cè)貸款拖欠問(wèn)題的訓(xùn)練集Laplace校準(zhǔn)

K:代表類(lèi)別的種類(lèi)個(gè)數(shù)

Laplace校準(zhǔn)根據(jù)給出的訓(xùn)練集和Laplace平滑公式，可以計(jì)算出校準(zhǔn)后的先驗(yàn)概率類(lèi)別YesNo先驗(yàn)概率表7-4Laplace校準(zhǔn)后先驗(yàn)概率計(jì)算結(jié)果特征值P(特征值|No)P(特征值|Yes)有房=是有房=否婚姻狀況=單身婚姻狀況=離婚婚姻狀況=已婚表7-5Laplace校準(zhǔn)后條件概率計(jì)算結(jié)果樸素貝葉斯分類(lèi)器的特征優(yōu)點(diǎn)對(duì)預(yù)測(cè)樣本進(jìn)行預(yù)測(cè)時(shí)，過(guò)程簡(jiǎn)單且速度快；對(duì)于多分類(lèi)問(wèn)題同樣很有效，復(fù)雜度不會(huì)表現(xiàn)出大幅度上升；在滿(mǎn)足條件獨(dú)立假設(shè)的情況下，貝葉斯分類(lèi)器效果較好，略勝于邏輯回歸，并且所需要的樣本量也更少。面對(duì)孤立的噪聲點(diǎn)，樸素貝葉斯分類(lèi)器是健壯的，因?yàn)榛谟?xùn)練數(shù)據(jù)估計(jì)條件概率時(shí)，這些點(diǎn)會(huì)被平均；在建模和分類(lèi)時(shí)，樸素貝葉斯分類(lèi)器可以通過(guò)忽略樣例，處理屬性值遺漏問(wèn)題；面對(duì)無(wú)關(guān)屬性，該分類(lèi)器是健壯的。缺點(diǎn)樸素貝葉斯有條件獨(dú)立的假設(shè)前提，而實(shí)際應(yīng)用中屬性之間很難完全獨(dú)立，相關(guān)屬性可能會(huì)降低該分類(lèi)器的性能，使得算法的準(zhǔn)確性和可信度下降；對(duì)于測(cè)試集中的一個(gè)類(lèi)別變量特征，如果在訓(xùn)練集里沒(méi)出現(xiàn)過(guò)，直接應(yīng)用貝葉斯定理計(jì)算得到的概率是0，預(yù)測(cè)功能失效。此時(shí)需要應(yīng)用修改公式重新計(jì)算，例如使用Laplace校準(zhǔn)解決這個(gè)問(wèn)題。7.3貝葉斯信念網(wǎng)絡(luò)合作QQ：243001978貝葉斯信念網(wǎng)絡(luò)(BBN)：樸素貝葉斯分類(lèi)的改進(jìn)屬性不要求所有屬性條件獨(dú)立。允許部分或子集屬性條件獨(dú)立。網(wǎng)絡(luò)圖形因果關(guān)系的圖形表示。網(wǎng)絡(luò)圖形提供對(duì)關(guān)系的直觀理解。貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)可能未知，基于數(shù)據(jù)進(jìn)行啟發(fā)式學(xué)習(xí)。應(yīng)用領(lǐng)域醫(yī)療診斷、信息檢索。點(diǎn)擊技術(shù)、工業(yè)工程。模型表示

模型表示

模型表示圖7-1一種貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)示例

模型表示

圖7-2貝葉斯網(wǎng)絡(luò)中三個(gè)變量之間的典型依賴(lài)關(guān)系構(gòu)建BBN模型貝葉斯網(wǎng)絡(luò)的建模過(guò)程稱(chēng)為學(xué)習(xí)過(guò)程，其包括兩個(gè)步驟創(chuàng)建網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)既可以通過(guò)領(lǐng)域?qū)＜覍?duì)專(zhuān)業(yè)知識(shí)進(jìn)行主觀編碼獲得，也可以利用算法基于訓(xùn)練數(shù)據(jù)集計(jì)算得到。兩種網(wǎng)絡(luò)結(jié)構(gòu)的生成算法：網(wǎng)絡(luò)結(jié)構(gòu)的系統(tǒng)生成算法和基于評(píng)分搜索的網(wǎng)絡(luò)結(jié)構(gòu)生成算法。估計(jì)每一個(gè)結(jié)點(diǎn)概率表中的概率值：當(dāng)確定了合適的網(wǎng)絡(luò)結(jié)構(gòu)，可以計(jì)算出與各結(jié)點(diǎn)關(guān)聯(lián)的概率表，相關(guān)概率的估計(jì)與樸素貝葉斯分類(lèi)器中所用的方法類(lèi)似。構(gòu)建BBN模型

構(gòu)建BBN模型算法7.1：貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的系統(tǒng)生成算法算法不允許從低序列結(jié)點(diǎn)指向高序列結(jié)點(diǎn)的弧存在，保證了生成的網(wǎng)絡(luò)結(jié)構(gòu)不包含環(huán)。輸入的屬性排序方案是參考領(lǐng)域?qū)＜业闹饔^判斷生成的，如果采用了不同的排序方案，可能得到不同的網(wǎng)絡(luò)結(jié)構(gòu)。從理論上講，通過(guò)檢查最多n!種屬性的排序能夠確定最佳的拓?fù)浣Y(jié)構(gòu)，但是隨之產(chǎn)生的時(shí)間成本和空間成本很大。為了縮減計(jì)算任務(wù)開(kāi)銷(xiāo)和簡(jiǎn)化貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的建立過(guò)程，可以預(yù)先將屬性劃分為原因?qū)傩院徒Y(jié)果屬性，然后從各原因?qū)傩韵蚱鋵?duì)應(yīng)的結(jié)果屬性畫(huà)弧。構(gòu)建BBN模型

圖7-3貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)生成過(guò)程構(gòu)建BBN模型

構(gòu)建BBN模型

構(gòu)建BBN模型從所有可能的網(wǎng)絡(luò)結(jié)構(gòu)空間搜索最優(yōu)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)NP難問(wèn)題常用的策略能在有限時(shí)間內(nèi)求得近似解：貪心算法，例如從某個(gè)網(wǎng)絡(luò)結(jié)構(gòu)出發(fā)，每次調(diào)整一條邊（增加、刪除或調(diào)整方向），直到評(píng)分函數(shù)值不再降低為止；通過(guò)給網(wǎng)絡(luò)結(jié)構(gòu)添加約束來(lái)削減搜索空間，例如將網(wǎng)絡(luò)結(jié)構(gòu)限定為樹(shù)形結(jié)構(gòu)等。搜索算法的目的是求出每個(gè)屬性評(píng)分函數(shù)最大的父屬性集合，相關(guān)算法包括：K2算法，爬山算法，GES算法和基于進(jìn)化計(jì)算的方法。BBN案例分析發(fā)現(xiàn)心臟病和心口痛病人的貝葉斯網(wǎng)絡(luò)假設(shè)圖中每個(gè)變量都是二值的。心臟病結(jié)點(diǎn)（HD)的父母結(jié)點(diǎn)對(duì)應(yīng)于影響該疾病的危險(xiǎn)因素，包括鍛煉(E)和飲食(D)等。心臟病結(jié)點(diǎn)的子結(jié)點(diǎn)對(duì)應(yīng)于該病的癥狀，如胸痛（CP）和高血壓（BP）等。心口痛(Hb）可能源于不健康的飲食，同時(shí)也可能導(dǎo)致胸痛。圖7-4發(fā)現(xiàn)心臟病和心口痛病人的貝葉斯網(wǎng)絡(luò)BBN案例分析

BBN案例分析

BBN案例分析

貝葉斯網(wǎng)絡(luò)的特征以下總結(jié)了貝葉斯網(wǎng)絡(luò)的一般特點(diǎn)：貝葉斯網(wǎng)絡(luò)提供了一種用圖形模型來(lái)捕獲特定領(lǐng)域的先驗(yàn)知識(shí)的方法，并且網(wǎng)絡(luò)可以用來(lái)對(duì)變量間的因果依賴(lài)關(guān)系進(jìn)行編碼。雖然貝葉斯網(wǎng)絡(luò)在構(gòu)造網(wǎng)絡(luò)時(shí)計(jì)算任務(wù)開(kāi)銷(xiāo)大，但是在確定網(wǎng)絡(luò)結(jié)構(gòu)后，其很容易擴(kuò)展(或簡(jiǎn)化)網(wǎng)絡(luò)，以適應(yīng)不斷變化的需求信息。貝葉斯網(wǎng)絡(luò)很適合處理不完整的數(shù)據(jù)。對(duì)于有屬性遺漏的實(shí)例可以通過(guò)對(duì)該屬性的所有可能取值的概率求和或求積分來(lái)加以處理。因?yàn)閿?shù)據(jù)和先驗(yàn)知識(shí)以概率的方式結(jié)合起來(lái)了，貝葉斯網(wǎng)絡(luò)能夠有效處理模型的過(guò)分?jǐn)M合問(wèn)題。如果貝葉斯網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和所有結(jié)點(diǎn)的概率表是已知的，那么可以利用公式直接計(jì)算。但是某些情況下數(shù)據(jù)結(jié)構(gòu)是未知的，這時(shí)需要根據(jù)已知數(shù)據(jù)啟發(fā)式學(xué)習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。7.4R語(yǔ)言編程合作QQ：243001978數(shù)據(jù)導(dǎo)入利用樸素貝葉斯分類(lèi)器對(duì)鳶尾花(Iris)數(shù)據(jù)集進(jìn)行分類(lèi)應(yīng)用。該數(shù)據(jù)集為軟件自帶數(shù)據(jù)集，可直接進(jìn)行數(shù)據(jù)導(dǎo)入，數(shù)據(jù)導(dǎo)入與數(shù)據(jù)預(yù)處理的R編程代碼如右所示：#導(dǎo)入鳶尾花數(shù)據(jù)集data("iris")#數(shù)據(jù)具體信息展示head(iris,n=5)#整數(shù)變量因子化typeof(iris$Species)輸出：[1]"integer"

factor(iris$Species)levels(iris$Species)輸出：[1]"setosa""versicolor""virginica"

#數(shù)據(jù)維度信息dim(iris)輸出：[1]1505屬性名稱(chēng)屬性解釋屬性示例Sepal.Length萼片長(zhǎng)度（厘米）5.1Sepal.Width萼片寬度（厘米）3.5Petal.Length花瓣長(zhǎng)度（厘米）1.4Petal.Width花瓣寬度（厘米）0.2Species種類(lèi)setosa表7-6Iris數(shù)據(jù)集屬性解釋表樸素貝葉斯應(yīng)用實(shí)例模型訓(xùn)練調(diào)用樸素貝葉斯分類(lèi)器可以通過(guò)e1071包實(shí)現(xiàn)。該包是一個(gè)核心包，里面實(shí)現(xiàn)了機(jī)器學(xué)習(xí)里面中的SVM（支持向量機(jī)）算法，NB（樸素貝葉斯）算法、模糊聚類(lèi)算法、裝袋聚類(lèi)算法等。使用help我們可以查看到樸素貝葉斯分類(lèi)器的使用文檔，如圖7-5所示，其中?formula表示“公式”，data是訓(xùn)練集數(shù)據(jù)，laplace參數(shù)是做拉普拉斯平滑，na.action參數(shù)是空缺值處理。#安裝核心包'e1071'，使用其中的樸素貝葉斯分類(lèi)方法install.packages('e1071')library(e1071)help(naiveBayes)圖7-5樸素貝葉斯分類(lèi)器的R語(yǔ)言使用文檔樸素貝葉斯應(yīng)用實(shí)例模型訓(xùn)練首先，對(duì)處理后的數(shù)據(jù)集劃分訓(xùn)練集和測(cè)試集，預(yù)先設(shè)置70%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。然后，調(diào)用樸素貝葉斯方法分類(lèi)器，輸出預(yù)測(cè)值結(jié)果。最后，利用列聯(lián)表展示分類(lèi)結(jié)果。ntrain=nrow(iris)*0.7train_ord<-sample(nrow(iris),ntrain,replace=FALSE)train<-iris[train_ord,]test<-iris[-train_ord,]m<-naiveBayes(Species~.,data=train)pred<-predict(m,test)#加載列聯(lián)表的包install.packages('gmodels')library(gmodels)CrossTable(test$Species,pred)樸素貝葉斯應(yīng)用實(shí)例結(jié)果分析列聯(lián)表展示的分類(lèi)結(jié)果如圖7-6所示。列聯(lián)表中每一格四個(gè)值分別代表：卡方檢驗(yàn)值、行比例、列比例、總比例。從分類(lèi)結(jié)果可以看出，測(cè)試集中的15個(gè)setosa（第一個(gè)物種）全部分類(lèi)正確，17個(gè)versicolor（第二個(gè)物種）有16個(gè)分類(lèi)正確，有1個(gè)錯(cuò)誤的分到了virginica（第三個(gè)物種）中。13個(gè)virginica（第三個(gè)物種）有12個(gè)分類(lèi)正確，1個(gè)分類(lèi)錯(cuò)誤。由此可以看出，樸素貝葉斯法分類(lèi)器對(duì)該數(shù)據(jù)集的分類(lèi)效果較好。圖7-6Iris數(shù)據(jù)集的分類(lèi)結(jié)果列聯(lián)表貝葉斯網(wǎng)絡(luò)應(yīng)用示例數(shù)據(jù)導(dǎo)入對(duì)成績(jī)單(marks)數(shù)據(jù)集進(jìn)行分類(lèi)應(yīng)用該數(shù)據(jù)集包括88名學(xué)生的5門(mén)課程成績(jī)，課程包括MECH、VECT、ALG、ANL和STATR編程中可使用bnlearn包來(lái)學(xué)習(xí)貝葉斯網(wǎng)絡(luò)的圖形結(jié)構(gòu)、參數(shù)學(xué)習(xí)和推理等marks數(shù)據(jù)集是bnlearn包中自帶數(shù)據(jù)集，安裝并加載包bnlearn之后可直接進(jìn)行數(shù)據(jù)導(dǎo)入#安裝并加載繪圖包Rgraphviz，用于繪制貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)圖if(!require("BiocManager",quietly=TRUE))install.packages("BiocManager")BiocManager::install("Rgraphviz")#安裝并加載貝葉斯網(wǎng)絡(luò)模型包bnlearninstall.packages("bnlearn")library("bnlearn")data(marks)str(marks)

圖7-7bnlearn包導(dǎo)入與marks數(shù)據(jù)集導(dǎo)入貝葉斯網(wǎng)絡(luò)應(yīng)用示例模型訓(xùn)練貝葉斯網(wǎng)絡(luò)分類(lèi)器的學(xué)習(xí)過(guò)程主要包括兩個(gè)部分：結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)結(jié)構(gòu)學(xué)習(xí)是指基于給定的數(shù)據(jù)集學(xué)習(xí)其貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，即各屬性結(jié)點(diǎn)之間的依賴(lài)關(guān)系結(jié)構(gòu)學(xué)習(xí)算法包括基于約束的算法、基于評(píng)分的算法和混合算法bnlearn包中可使用的基于約束的算法有g(shù)s、iamb、fast.iamb、inter.iamb，基于評(píng)分法的算法僅有hc，使用的是爬山算法（Hill-Climbing）。這里使用hc算法對(duì)數(shù)據(jù)集進(jìn)行結(jié)構(gòu)學(xué)習(xí)，編程代碼如下所示：#結(jié)構(gòu)學(xué)習(xí)：使用基于評(píng)分的算法hc，得到有向圖marks.bn1<-hc(marks)marks.bn1graphviz.plot(marks.bn1,layout="fdp")score(marks.bn1,data=marks,type="bic-g")#連續(xù)數(shù)據(jù)的BIC評(píng)分使用bic-g貝葉斯網(wǎng)絡(luò)應(yīng)用示例模型訓(xùn)練結(jié)構(gòu)學(xué)習(xí)：hc算法的運(yùn)行結(jié)果如下圖7-8、7-9所示，基于該算法得到貝葉斯網(wǎng)絡(luò)為有向圖，該算法為基于評(píng)分的算法，可利用score函數(shù)求得其bic得分為-1731.407圖7-8基于hc算法的結(jié)構(gòu)學(xué)習(xí)結(jié)果圖7-9hc算法運(yùn)行得到有向圖貝葉斯網(wǎng)絡(luò)應(yīng)用示例模型訓(xùn)練參數(shù)學(xué)習(xí)：表示各節(jié)點(diǎn)之間依賴(lài)強(qiáng)弱的條件概率。bnlearn包中的參數(shù)學(xué)習(xí)函數(shù)是bn.fit，其參數(shù)method給出了兩種具體的方法：“mle”極大似然估計(jì)和“bayes”貝葉斯后驗(yàn)估計(jì)。本處對(duì)利用hc算法結(jié)構(gòu)學(xué)習(xí)得到的marks.bn1進(jìn)行參數(shù)學(xué)習(xí)，并以ALG屬性為例計(jì)算參數(shù)的極大似然估計(jì)，參數(shù)采用回歸系數(shù)的形式。由于數(shù)據(jù)集為連續(xù)型數(shù)據(jù)，需對(duì)屬性進(jìn)行離散化處理，本節(jié)對(duì)各屬性按照中位數(shù)將其分為兩類(lèi)數(shù)據(jù)，并將數(shù)據(jù)按照相應(yīng)的區(qū)間歸到對(duì)應(yīng)的類(lèi)別中。編程代碼如下所示：#參數(shù)學(xué)習(xí)marks.fit<-bn.fit(marks.bn1,data=marks)#以ALG為例，展示參數(shù)學(xué)習(xí)結(jié)果marks.fit$ALG#離散化#采用interval方法，按照中位數(shù)分為兩個(gè)區(qū)間（breaks=2）marks.d<-discretize(marks,method="interval",breaks=2)marks.d貝葉斯網(wǎng)絡(luò)