(完整PPT)weka數(shù)據(jù)挖掘教程課件

1、數(shù)據(jù)挖掘工具-WEKA教程WEKA簡(jiǎn)介.2數(shù)據(jù)集.11數(shù)據(jù)準(zhǔn)備.24數(shù)據(jù)預(yù)處理36分類63聚類.184關(guān)聯(lián)規(guī)則225選擇屬性244數(shù)據(jù)可視化253知識(shí)流界面2752022/7/2211、WEKA簡(jiǎn)介WEKA的全名是懷卡托智能分析環(huán)境（Waikato Environment for Knowledge Analysis）weka也是新西蘭的一種鳥(niǎo)名是新西蘭懷卡托大學(xué)WEKA小組用Java開(kāi)發(fā)的機(jī)器學(xué)習(xí)/數(shù)據(jù)挖掘開(kāi)源軟件。其源代碼獲取http:/www.cs.waikato.ac.nz/ml/weka/weka/weka-3-6-6jre.exe2005年8月，在第11屆ACM SIGKDD國(guó)際會(huì)

2、議上，懷卡托大學(xué)的WEKA小組榮獲了數(shù)據(jù)挖掘和知識(shí)探索領(lǐng)域的最高服務(wù)獎(jiǎng)， WEKA系統(tǒng)得到了廣泛的認(rèn)可，被譽(yù)為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)歷史上的里程碑，是現(xiàn)今最完備的數(shù)據(jù)挖掘工具之一。 WEKA的每月下載次數(shù)已超過(guò)萬(wàn)次。2022/7/222WEKA軟件主要特點(diǎn)它是集數(shù)據(jù)預(yù)處理、學(xué)習(xí)算法（分類、回歸、聚類、關(guān)聯(lián)分析）和評(píng)估方法等為一體的綜合性數(shù)據(jù)挖掘工具。具有交互式可視化界面。提供算法學(xué)習(xí)比較環(huán)境通過(guò)其接口，可實(shí)現(xiàn)自己的數(shù)據(jù)挖掘算法WEKA的界面2022/7/223探索環(huán)境命令行環(huán)境知識(shí)流環(huán)境算法試驗(yàn)環(huán)境2022/7/224Explorer環(huán)境 2022/7/225把“Explorer”界面分成8個(gè)區(qū)域

3、區(qū)域1的幾個(gè)選項(xiàng)卡是用來(lái)切換不同的挖掘任務(wù)面板。Preprocess（數(shù)據(jù)預(yù)處理）：選擇和修改要處理的數(shù)據(jù)。 Classify（分類）：訓(xùn)練和測(cè)試分類或回歸模型。 Cluster（聚類）：從數(shù)據(jù)中聚類。 Associate（關(guān)聯(lián)分析）：從數(shù)據(jù)中學(xué)習(xí)關(guān)聯(lián)規(guī)則。 Select Attributes（選擇屬性）：選擇數(shù)據(jù)中最相關(guān)的屬性。 Visualize（可視化） ：查看數(shù)據(jù)的二維散布圖。區(qū)域2是一些常用按鈕。包括打開(kāi)、編輯、保存數(shù)據(jù)及數(shù)據(jù)轉(zhuǎn)換等功能。例如,我們可以把文件“bank-data.csv”另存為“bank-data.arff”。區(qū)域3中可以選擇（Choose）某個(gè)篩選器（Filter）

4、，以實(shí)現(xiàn)篩選數(shù)據(jù)或者對(duì)數(shù)據(jù)進(jìn)行某種變換。數(shù)據(jù)預(yù)處理主要就利用它來(lái)實(shí)現(xiàn)。2022/7/226區(qū)域4展示了數(shù)據(jù)集的關(guān)系名、屬性數(shù)和實(shí)例數(shù)等基本情況。區(qū)域5中列出了數(shù)據(jù)集的所有屬性。勾選一些屬性并“Remove”就可以刪除它們，刪除后還可以利用區(qū)域2的“Undo”按鈕找回。區(qū)域5上方的一排按鈕是用來(lái)實(shí)現(xiàn)快速勾選的。區(qū)域6中顯示在區(qū)域5中選中的當(dāng)前某個(gè)屬性的摘要。摘要包括屬性名（Name）、屬性類型（Type）、缺失值（Missing）數(shù)及比例、不同值（Distinct ）數(shù)、唯一值（Unique）數(shù)及比例對(duì)于數(shù)值屬性和標(biāo)稱屬性，摘要的方式是不一樣的。圖中顯示的是對(duì)數(shù)值屬性“income”的摘要。數(shù)值

5、屬性顯示最小值（Minimum）、最大值（Maximum） 、均值（Mean）和標(biāo)準(zhǔn)差（StdDev）標(biāo)稱屬性顯示每個(gè)不同值的計(jì)數(shù)2022/7/227區(qū)域7是區(qū)域5中選中屬性的直方圖。若數(shù)據(jù)集的最后一個(gè)屬性（這是分類或回歸任務(wù)的默認(rèn)目標(biāo)變量）是類標(biāo)變量（例如“pep” ），直方圖中的每個(gè)長(zhǎng)方形就會(huì)按照該變量的比例分成不同顏色的段。要想換個(gè)分段的依據(jù)，在區(qū)域7上方的下拉框中選個(gè)不同的分類屬性就可以了。下拉框里選上“No Class”或者一個(gè)數(shù)值屬性會(huì)變成黑白的直方圖。2022/7/228區(qū)域8窗口的底部區(qū)域，包括狀態(tài)欄、log按鈕和Weka鳥(niǎo)。狀態(tài)欄（Status）顯示一些信息讓你知道正在做什么

6、。例如，如果 Explorer 正忙于裝載一個(gè)文件，狀態(tài)欄就會(huì)有通知。在狀態(tài)欄中的任意位置右擊鼠標(biāo)將會(huì)出現(xiàn)一個(gè)小菜單。這個(gè)菜單給了你兩個(gè)選項(xiàng)： Memory Information-顯示W(wǎng)EKA可用的內(nèi)存量。 Run garbage collector-強(qiáng)制運(yùn)行Java垃圾回收器，搜索不再需要的內(nèi)存空間并將之釋放，從而可為新任務(wù)分配更多的內(nèi)存。Log按鈕可以查看以weka操作日志 。右邊的weka鳥(niǎo)在動(dòng)的話，說(shuō)明WEKA正在執(zhí)行挖掘任務(wù)。2022/7/229KnowledgeFlow環(huán)境2022/7/22102、WEKA數(shù)據(jù)集WEKA所處理的數(shù)據(jù)集是一個(gè).arff文件的二維表2022/7/22

7、11表格里的一個(gè)橫行稱作一個(gè)實(shí)例（Instance），相當(dāng)于統(tǒng)計(jì)學(xué)中的一個(gè)樣本，或者數(shù)據(jù)庫(kù)中的一條記錄。豎行稱作一個(gè)屬性（Attribute），相當(dāng)于統(tǒng)計(jì)學(xué)中的一個(gè)變量，或者數(shù)據(jù)庫(kù)中的一個(gè)字段。這樣一個(gè)表格，或者叫數(shù)據(jù)集，在WEKA看來(lái)，呈現(xiàn)了屬性之間的一種關(guān)系(Relation)。上圖中一共有14個(gè)實(shí)例，5個(gè)屬性，關(guān)系名稱為“weather”。WEKA存儲(chǔ)數(shù)據(jù)的格式是ARFF（Attribute-Relation File Format）文件，這是一種ASCII文本文件。上圖所示的二維表格存儲(chǔ)在如下的ARFF文件中。這也就是WEKA自帶的“weather.arff”文件，在WEKA安裝目錄的

8、“data”子目錄下可以找到。2022/7/2212relation weatherattribute outlook sunny, overcast, rainyattribute temperature realattribute humidity realattribute windy TRUE, FALSEattribute play yes, nodatasunny,85,85,FALSE,nosunny,80,90,TRUE,noovercast,83,86,FALSE,yesrainy,70,96,FALSE,yesrainy,68,80,FALSE,yesrainy,65,70

9、,TRUE,noovercast,64,65,TRUE,yessunny,72,95,FALSE,nosunny,69,70,FALSE,yesrainy,75,80,FALSE,yessunny,75,70,TRUE,yesovercast,72,90,TRUE,yesovercast,81,75,FALSE,yesrainy,71,91,TRUE,no2022/7/2213WEKA數(shù)據(jù)文件WEKA存儲(chǔ)數(shù)據(jù)的格式是ARFF（Attribute-Relation File Format）文件這是一種ASCII文本文件文件的擴(kuò)展名為.arff可以用寫(xiě)字板打開(kāi)、編輯 ARFF文件文件中以“%”開(kāi)始

10、的行是注釋，WEKA將忽略這些行。除去注釋后，整個(gè)ARFF文件可以分為兩個(gè)部分:第一部分給出了頭信息（Head information），包括了對(duì)關(guān)系的聲明和對(duì)屬性的聲明。第二部分給出了數(shù)據(jù)信息（Data information），即數(shù)據(jù)集中給出的數(shù)據(jù)。從“data”標(biāo)記開(kāi)始，后面的就是數(shù)據(jù)信息了。2022/7/22142022/7/2215關(guān)系聲明關(guān)系名稱在ARFF文件的第一個(gè)有效行來(lái)定義，格式為： relation 是一個(gè)字符串。如果這個(gè)字符串包含空格，它必須加上引號(hào)（指英文標(biāo)點(diǎn)的單引號(hào)或雙引號(hào)）。 2022/7/2216屬性聲明屬性聲明用一列以“attribute”開(kāi)頭的語(yǔ)句表示。數(shù)據(jù)集

11、中的每一個(gè)屬性都有對(duì)應(yīng)的“attribute”語(yǔ)句，來(lái)定義它的屬性名稱和數(shù)據(jù)類型（datatype）： attribute 其中必須以字母開(kāi)頭的字符串。和關(guān)系名稱一樣，如果這個(gè)字符串包含空格，它必須加上引號(hào)。屬性聲明語(yǔ)句的順序很重要，它表明了該項(xiàng)屬性在數(shù)據(jù)部分的位置。例如，“humidity”是第三個(gè)被聲明的屬性，這說(shuō)明數(shù)據(jù)部分那些被逗號(hào)分開(kāi)的列中，第2列（從第0列開(kāi)始）數(shù)據(jù) 85 90 86 96 . 是相應(yīng)的“humidity”值。其次，最后一個(gè)聲明的屬性被稱作class屬性，在分類或回歸任務(wù)中，它是默認(rèn)的目標(biāo)變量。2022/7/2217數(shù)據(jù)類型WEKA支持四種數(shù)據(jù)類型numeric數(shù)值型

12、 標(biāo)稱（nominal）型string字符串型date 日期和時(shí)間型還可以使用兩個(gè)類型“integer”和“real”，但是WEKA把它們都當(dāng)作“numeric”看待。注意：“integer”，“real”，“numeric”，“date”，“string”這些關(guān)鍵字是區(qū)分大小寫(xiě)的，而“relation”、“attribute ”和“data”則不區(qū)分。2022/7/2218數(shù)值型屬性數(shù)值型屬性可以是整數(shù)或者實(shí)數(shù)，但WEKA把它們都當(dāng)作實(shí)數(shù)看待。例如： attribute temperature real 字符串屬性字符串屬性可以包含任意的文本。例如： attribute LCC string

13、2022/7/2219標(biāo)稱屬性標(biāo)稱屬性由列出一系列可能的類別名稱并放在花括號(hào)中：, , , . 。數(shù)據(jù)集中該屬性的值只能是其中一種類別。例如屬性聲明： attribute outlook sunny, overcast, rainy 說(shuō)明“outlook”屬性有三種類別：“sunny”，“ overcast”和“rainy”。而數(shù)據(jù)集中每個(gè)實(shí)例對(duì)應(yīng)的“outlook”值必是這三者之一。如果類別名稱帶有空格，仍需要將之放入引號(hào)中。2022/7/2220日期和時(shí)間屬性日期和時(shí)間屬性統(tǒng)一用“date”類型表示，它的格式是： attribute date 其中是一個(gè)字符串，來(lái)規(guī)定該怎樣解析和顯示日期或

14、時(shí)間的格式，默認(rèn)的字符串是ISO-8601所給的日期時(shí)間組合格式： “yyyy-MM-dd HH:mm:ss” 數(shù)據(jù)信息部分表達(dá)日期的字符串必須符合聲明中規(guī)定的格式要求，例如： ATTRIBUTE timestamp DATE yyyy-MM-dd HH:mm:ss DATA 2011-05-03 12:59:552022/7/2221數(shù)據(jù)信息數(shù)據(jù)信息中“data”標(biāo)記獨(dú)占一行，剩下的是各個(gè)實(shí)例的數(shù)據(jù)。每個(gè)實(shí)例占一行，實(shí)例的各屬性值用逗號(hào)“,”隔開(kāi)。如果某個(gè)屬性的值是缺失值（missing value），用問(wèn)號(hào)“?”表示，且這個(gè)問(wèn)號(hào)不能省略。例如： data sunny,85,85,FALSE

15、,no ?,78,90,?,yes2022/7/2222稀疏數(shù)據(jù)有的時(shí)候數(shù)據(jù)集中含有大量的0值，這個(gè)時(shí)候用稀疏格式的數(shù)據(jù)存儲(chǔ)更加省空間。稀疏格式是針對(duì)數(shù)據(jù)信息中某個(gè)對(duì)象的表示而言，不需要修改ARFF文件的其它部分。例如數(shù)據(jù)：data 0, X, 0, Y, class A 0, 0, W, 0, class B 用稀疏格式表達(dá)的話就是 data 1 X, 3 Y, 4 class A 2 W, 4 class B 注意：ARFF數(shù)據(jù)集最左端的屬性列為第0列，因此，1 X表示X為第1列屬性值。2022/7/22233、數(shù)據(jù)準(zhǔn)備數(shù)據(jù)獲取直接使用ARFF文件數(shù)據(jù)。 從CSV，C4.5，binary等

16、多種格式文件中導(dǎo)入。通過(guò)JDBC從SQL數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)。從URL（Uniform Resource Locator）獲取網(wǎng)絡(luò)資源的數(shù)據(jù)。數(shù)據(jù)格式轉(zhuǎn)換ARFF格式是WEKA支持得最好的文件格式。使用WEKA作數(shù)據(jù)挖掘，面臨的第一個(gè)問(wèn)題往往是數(shù)據(jù)不是ARFF格式的。WEKA還提供了對(duì)CSV文件的支持，而這種格式是被很多其他軟件（比如Excel）所支持?？梢岳肳EKA將CSV文件格式轉(zhuǎn)化成ARFF文件格式。2022/7/2224數(shù)據(jù)資源WEKA自帶的數(shù)據(jù)集C:Program FilesWeka-3-6data網(wǎng)絡(luò)數(shù)據(jù)資源 /ml/datasets.html2022/7/2225.XLS .CSV

17、 .ARFFExcel的XLS文件可以讓多個(gè)二維表格放到不同的工作表（Sheet）中，只能把每個(gè)工作表存成不同的CSV文件。打開(kāi)一個(gè)XLS文件并切換到需要轉(zhuǎn)換的工作表，另存為CSV類型，點(diǎn)“確定”、“是”忽略提示即可完成操作。在WEKA中打開(kāi)一個(gè)CSV類型文件，再另存為ARFF類型文件即可。2022/7/2226打開(kāi)Excel的Iris.xls文件2022/7/22272022/7/2228將iris.xls另存為iris.csv文件2022/7/22292022/7/22302022/7/2231在weka的Explorer中打開(kāi)Iris.csv文件2022/7/22322022/7/223

18、3將iris. csv另存為iris. arff 文件2022/7/22342022/7/22354、數(shù)據(jù)預(yù)處理 preprocess在WEKA中數(shù)據(jù)預(yù)處理工具稱作篩選器（filters）可以定義篩選器來(lái)以各種方式對(duì)數(shù)據(jù)進(jìn)行變換。Filter 一欄用于對(duì)各種篩選器進(jìn)行必要的設(shè)置。Choose 按鈕：點(diǎn)擊這個(gè)按鈕就可選擇 WEKA 中的某個(gè)篩選器。選定一個(gè)篩選器后，它的名字和選項(xiàng)會(huì)顯示在 Choose 按鈕旁邊的文本框中。2022/7/2236載入數(shù)據(jù)Explorer的預(yù)處理（ preprocess ）頁(yè)區(qū)域2的前4個(gè)按鈕用來(lái)把數(shù)據(jù)載入WEKA： Open file. 打開(kāi)一個(gè)對(duì)話框，允許你瀏覽

19、本地文件系統(tǒng)上的數(shù)據(jù)文件。 Open URL. 請(qǐng)求一個(gè)存有數(shù)據(jù)的URL地址。 Open DB. 從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù) 。 Generate. 從一些數(shù)據(jù)生成器（DataGenerators）中生成人造數(shù)據(jù)。 2022/7/2237去除無(wú)用屬性通常對(duì)于數(shù)據(jù)挖掘任務(wù)來(lái)說(shuō)，像ID這樣的信息是無(wú)用的，可以將之刪除。在區(qū)域5勾選屬性“id”，并點(diǎn)擊“Remove”。將新的數(shù)據(jù)集保存，并重新打開(kāi)。2022/7/2238數(shù)據(jù)離散化有些算法(如關(guān)聯(lián)分析)，只能處理標(biāo)稱型屬性，這時(shí)候就需要對(duì)數(shù)值型的屬性進(jìn)行離散化。對(duì)取值有限的數(shù)值型屬性可通過(guò)修改.arff文件中該屬性數(shù)據(jù)類型實(shí)現(xiàn)離散化。例如，在某數(shù)據(jù)集中的 “

20、children”屬性只有4個(gè)數(shù)值型取值：0，1，2，3。我們直接修改ARFF文件，把 attribute children numeric 改為 attribute children 0,1,2,3 就可以了。在“Explorer”中重新打開(kāi)“bank-data.arff”，看看選中“children”屬性后，區(qū)域6那里顯示的“Type” 變成“Nominal”了。2022/7/2239對(duì)取值較多的數(shù)值型屬性，離散化可借助WEKA中名為“Discretize”的Filter來(lái)完成。在區(qū)域2中點(diǎn)“Choose”，出現(xiàn)一棵“Filter樹(shù)”，逐級(jí)找到“weka.filters.unsupervi

21、sed.attribute.Discretize”，點(diǎn)擊。現(xiàn)在“Choose”旁邊的文本框應(yīng)該顯示“Discretize -B 10 -M -0.1 -R first-last”。 點(diǎn)擊這個(gè)文本框會(huì)彈出新窗口以修改離散化的參數(shù)。2022/7/2240在weka的Explorer中打開(kāi)Iris.arff文件2022/7/22412022/7/22422022/7/2243查看Iris數(shù)據(jù)集2022/7/22442022/7/2245查看Iris數(shù)據(jù)屬性分布圖，選擇屬性2022/7/22462022/7/22472022/7/2248通過(guò)觀察發(fā)現(xiàn)petallength最能區(qū)分各類2022/7/22

22、49將屬性petallength離散化2022/7/22502022/7/22512022/7/22522022/7/22532022/7/22542022/7/2255離散化成10段數(shù)據(jù)等頻離散化離散化成10段數(shù)據(jù)2022/7/22562022/7/22572022/7/22582022/7/22592022/7/2260查看離散化后的Iris數(shù)據(jù)集2022/7/22612022/7/22625、分類 ClassifyWEKA把分類(Classification)和回歸(Regression)都放在“Classify”選項(xiàng)卡中。在這兩個(gè)數(shù)據(jù)挖掘任務(wù)中，都有一個(gè)目標(biāo)屬性（類別屬性，輸出變量）。

23、我們希望根據(jù)一個(gè)WEKA實(shí)例的一組特征屬性 （輸入變量），對(duì)目標(biāo)屬性進(jìn)行分類預(yù)測(cè)。為了實(shí)現(xiàn)這一目的，我們需要有一個(gè)訓(xùn)練數(shù)據(jù)集，這個(gè)數(shù)據(jù)集中每個(gè)實(shí)例的輸入和輸出都是已知的。觀察訓(xùn)練集中的實(shí)例，可以建立起預(yù)測(cè)的分類/回歸模型。有了這個(gè)模型，就可以對(duì)新的未知實(shí)例進(jìn)行分類預(yù)測(cè)。衡量模型的好壞主要在于預(yù)測(cè)的準(zhǔn)確程度。2022/7/2263WEKA中的典型分類算法Bayes: 貝葉斯分類器BayesNet: 貝葉斯信念網(wǎng)絡(luò)NaveBayes: 樸素貝葉斯網(wǎng)絡(luò)Functions: 人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)MultilayerPerceptron: 多層前饋人工神經(jīng)網(wǎng)絡(luò)SMO: 支持向量機(jī)（采用順序最優(yōu)化學(xué)習(xí)

24、方法）Lazy: 基于實(shí)例的分類器IB1: 1-最近鄰分類器IBk: k-最近鄰分類器2022/7/2264選擇分類算法Meta: 組合方法AdaBoostM1: AdaBoost M1方法Bagging: 袋裝方法Rules: 基于規(guī)則的分類器JRip: 直接方法Ripper算法Part: 間接方法從J48產(chǎn)生的決策樹(shù)抽取規(guī)則Trees: 決策樹(shù)分類器Id3: ID3決策樹(shù)學(xué)習(xí)算法（不支持連續(xù)屬性）J48: C4.5決策樹(shù)學(xué)習(xí)算法（第8版本）REPTree: 使用降低錯(cuò)誤剪枝的決策樹(shù)學(xué)習(xí)算法RandomTree: 基于決策樹(shù)的組合方法2022/7/2265選擇分類算法2022/7/22662

25、022/7/2267選擇模型評(píng)估方法四種方法Using training set 使用訓(xùn)練集評(píng)估Supplied test set 使用測(cè)試集評(píng)估Cross-validation 交叉驗(yàn)證設(shè)置折數(shù)FoldsPercentage split 保持方法。使用一定比例的訓(xùn)練實(shí)例作評(píng)估設(shè)置訓(xùn)練實(shí)例的百分比2022/7/2268選擇模型評(píng)估方法2022/7/2269Output model. 輸出基于整個(gè)訓(xùn)練集的分類模型，從而模型可以被查看，可視化等。該選項(xiàng)默認(rèn)選中。Output per-class stats. 輸出每個(gè)class的準(zhǔn)確度/反饋率（precision/recall）和正確/錯(cuò)誤（tru

26、e/false）的統(tǒng)計(jì)量。該選項(xiàng)默認(rèn)選中。Output evaluation measures. 輸出熵估計(jì)度量。該選項(xiàng)默認(rèn)沒(méi)有選中。Output confusion matrix. 輸出分類器預(yù)測(cè)結(jié)果的混淆矩陣。該選項(xiàng)默認(rèn)選中。Store predictions for visualization. 記錄分類器的預(yù)測(cè)結(jié)果使得它們能被可視化表示。Output predictions. 輸出測(cè)試數(shù)據(jù)的預(yù)測(cè)結(jié)果。注意在交叉驗(yàn)證時(shí)，實(shí)例的編號(hào)不代表它在數(shù)據(jù)集中的位置。Cost-sensitive evaluation. 誤差將根據(jù)一個(gè)價(jià)值矩陣來(lái)估計(jì)。Set 按鈕用來(lái)指定價(jià)值矩陣。Random see

27、d for xval / % Split. 指定一個(gè)隨即種子，當(dāng)出于評(píng)價(jià)的目的需要分割數(shù)據(jù)時(shí)，它用來(lái)隨機(jī)化數(shù)據(jù)。點(diǎn)擊More options 按鈕可以設(shè)置更多的測(cè)試選項(xiàng)：2022/7/2270文字結(jié)果分析單擊start按鈕，Classifier output窗口顯示的文字結(jié)果信息：Run information 運(yùn)行信息Classifier model (full training set) 使用全部訓(xùn)練數(shù)據(jù)構(gòu)造的分類模型Summary 針對(duì)訓(xùn)練/檢驗(yàn)集的預(yù)測(cè)效果匯總。Detailed Accuracy By Class 對(duì)每個(gè)類的預(yù)測(cè)準(zhǔn)確度的詳細(xì)描述。Confusion Matrix 混淆矩

28、陣，其中矩陣的行是實(shí)際的類，矩陣的列是預(yù)測(cè)得到的類，矩陣元素就是相應(yīng)測(cè)試樣本的個(gè)數(shù)。2022/7/2271文字結(jié)果2022/7/2272主要指標(biāo)Correctly Classified Instances 正確分類率Incorrectly Classified Instances 錯(cuò)誤分類率Kappa statistic Kappa 統(tǒng)計(jì)數(shù)據(jù)Mean absolute error 平均絕對(duì)誤差Root mean squared error 根均方差Relative absolute error 相對(duì)絕對(duì)誤差Root relative squared error 相對(duì)平方根誤差TP Rate(b

29、ad/good) 正確肯定率FP Rate(bad/good) 錯(cuò)誤肯定率Precision(bad/good) 精確率Recall(bad/good) 反饋率F-Measure(bad/good) F測(cè)量Time taken to build model 建?；ㄙM(fèi)的時(shí)間 2022/7/2273輸出圖形結(jié)果鼠標(biāo)右鍵2022/7/2274View in main window(查看主窗口)。在主窗口中查看輸出結(jié)果。View in separate window(查看不同的窗口)。打開(kāi)一個(gè)獨(dú)立的新窗口來(lái)查看結(jié)果。Save result buffer(保存結(jié)果的緩沖區(qū))。彈出對(duì)話框來(lái)保存輸出結(jié)果的文

30、本文件。Load model(下載模式)。從二進(jìn)制文件中載入一個(gè)預(yù)訓(xùn)練模式對(duì)象。Save model (保存模式)。將一個(gè)模式對(duì)象保存到二進(jìn)制文件中，也就是保存在JAVA 的串行對(duì)象格式中。Re-evaluate model on current test set(對(duì)當(dāng)前測(cè)試集進(jìn)行重新評(píng)估)。通過(guò)已建立的模式，并利用Supplied test set(提供的測(cè)試集) 選項(xiàng)下的Set.按鈕來(lái)測(cè)試指定的數(shù)據(jù)集。2022/7/2275Visualize classifier errors(可視化分類器錯(cuò)誤)。彈出一個(gè)可視化窗口來(lái)顯示分類器的結(jié)果圖。其中，正確分類的實(shí)例用叉表示，然而不正確分類的實(shí)例則

31、是以小正方形來(lái)表示的。Visualize tree(樹(shù)的可視化)。如果可能的話，則彈出一個(gè)圖形化的界面來(lái)描述分類器模型的結(jié)構(gòu)(這只有一部分分類器才有的)。右鍵單擊空白區(qū)域彈出一個(gè)菜單，在面板中拖動(dòng)鼠標(biāo)并單擊，就可以看見(jiàn)每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的訓(xùn)練實(shí)例。Visualize margin curve(邊際曲線的可視化)。產(chǎn)生一個(gè)散點(diǎn)圖來(lái)描述預(yù)測(cè)邊際的情況。邊際被定義為預(yù)測(cè)為真實(shí)值的概率和預(yù)測(cè)為真實(shí)值之外的其它某類的最高概率之差。例如加速算法通過(guò)增加訓(xùn)練數(shù)據(jù)集的邊際來(lái)更好地完成測(cè)試數(shù)據(jù)集的任務(wù)。2022/7/2276Visualize threshold curve(閾曲線的可視化)。產(chǎn)生一個(gè)散點(diǎn)圖來(lái)描述預(yù)測(cè)

32、中的權(quán)衡問(wèn)題，其中權(quán)衡是通過(guò)改變類之間閾值來(lái)獲取的。例如，缺省閾值為0.5，一個(gè)實(shí)例預(yù)測(cè)為positive的概率必須要大于0.5，因?yàn)?.5時(shí)實(shí)例正好預(yù)測(cè)為positive。而且圖表可以用來(lái)對(duì)精確率/反饋率權(quán)衡進(jìn)行可視化，如ROC 曲線分析(正確的正比率和錯(cuò)誤的正比率)和其它的曲線。Visualize cost curve(成本曲線的可視化)。產(chǎn)生一個(gè)散點(diǎn)圖，來(lái)確切描述期望成本，正如Drummond 和Holte 所描述的一樣。 2022/7/2277Visualize classifier errors. 可視化分類錯(cuò)誤實(shí)際類與預(yù)測(cè)類的散布圖。其中正確分類的結(jié)果用叉表示，分錯(cuò)的結(jié)果用方框表示

33、。2022/7/2278Visualize tree可視化樹(shù)2022/7/22792022/7/22802022/7/2281可視化邊際曲線 （Visualize margin curve）創(chuàng)建一個(gè)散點(diǎn)圖來(lái)顯示預(yù)測(cè)邊際值。四個(gè)變量Margin: 預(yù)測(cè)邊際值Instance_number: 檢驗(yàn)實(shí)例的序號(hào)Current: 具有當(dāng)前預(yù)測(cè)邊際值的實(shí)例個(gè)數(shù)Cumulative: 小于或等于預(yù)測(cè)邊際值的實(shí)例個(gè)數(shù) （與Instance_number一致）2022/7/22822022/7/2283單擊8號(hào)檢驗(yàn)實(shí)例，顯示該點(diǎn)的邊際值為0.5，有7個(gè)實(shí)例的邊際值小于0.5。2022/7/2284可視化閾值曲線

34、（基于類）閾值是將檢驗(yàn)實(shí)例歸為當(dāng)前類的最小概率，使用點(diǎn)的顏色表示閾值曲線上的每個(gè)點(diǎn)通過(guò)改變閾值的大小生成可以進(jìn)行ROC分析X軸選假正率Y軸選真正率2022/7/22852022/7/22862022/7/2287ROC曲線ROC曲線（Receiver Operating Characteeristic Curve）是顯示Classification模型真正率和假正率之間折中的一種圖形化方法。假設(shè)樣本可分為正負(fù)兩類，解讀ROC圖的一些概念定義:真正（True Positive , TP），被模型預(yù)測(cè)為正的正樣本 假負(fù)（False Negative , FN）被模型預(yù)測(cè)為負(fù)的正樣本假正（False

35、 Positive , FP）被模型預(yù)測(cè)為正的負(fù)樣本 真負(fù)（True Negative , TN）被模型預(yù)測(cè)為負(fù)的負(fù)樣本真正率（True Positive Rate , TPR）或靈敏度（sensitivity） TPR = TP /（TP + FN） 正樣本預(yù)測(cè)結(jié)果數(shù) / 正樣本實(shí)際數(shù)假正率（False Positive Rate , FPR） FPR = FP /（FP + TN） 被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù) /負(fù)樣本實(shí)際數(shù) ( TPR=1,FPR=0 ) 是理想模型 一個(gè)好的分類模型應(yīng)該盡可能靠近圖形的左上角。2022/7/2288IRIS分類示例 2022/7/2289在weka的Exp

36、lorer中打開(kāi)Iris.arff文件2022/7/2290在weka的Explorer中打開(kāi)Iris.arff文件2022/7/22912022/7/2292選擇分類（Classify）數(shù)據(jù)挖掘任務(wù)2022/7/2293選擇分類算法2022/7/2294選擇決策樹(shù)算法Trees-J482022/7/2295設(shè)置相關(guān)參數(shù)2022/7/22962022/7/22972022/7/2298選擇檢驗(yàn)方法2022/7/22992022/7/221002022/7/221012022/7/221022022/7/221032022/7/22104執(zhí)行分類算法，建立決策樹(shù)模型2022/7/22105查看算

37、法執(zhí)行的輸出信息2022/7/221062022/7/22107查看決策樹(shù)分類模型2022/7/221082022/7/221092022/7/22110查看分類錯(cuò)誤散點(diǎn)圖2022/7/221112022/7/22112選擇其他的分類算法2022/7/221132022/7/22114選擇貝葉斯分類算法bayes-Naive bayes2022/7/22115選擇檢驗(yàn)方法2022/7/22116執(zhí)行分類算法，建立貝葉斯模型2022/7/22117進(jìn)行ROC分析2022/7/221182022/7/221192022/7/22120選擇其他的分類算法2022/7/22121選擇決策樹(shù)用戶自分類法

38、trees-UserClssifier2022/7/22122選擇檢驗(yàn)方法2022/7/22123執(zhí)行算法2022/7/221242022/7/22125數(shù)據(jù)散點(diǎn)圖2022/7/22126但擊鼠標(biāo)，確定分類邊界2022/7/22127查看相應(yīng)的分類樹(shù) 2022/7/22128預(yù)測(cè)指定屬性值 2022/7/22129選擇預(yù)測(cè)屬性2022/7/221302022/7/22131選擇算法2022/7/221322022/7/22133執(zhí)行算法2022/7/22134觀察輸出信息2022/7/221352022/7/22136查看分類錯(cuò)誤散點(diǎn)圖2022/7/221372022/7/22138點(diǎn)擊實(shí)例，

39、察看詳細(xì)信息2022/7/22139該實(shí)例petallength的實(shí)際值為5.1，預(yù)測(cè)值為5.892022/7/22140訓(xùn)練BANK-DATA分類模型示例bank-data數(shù)據(jù)各屬性的含義如下： id: a unique identification number age: age of customer in years (numeric) sex: MALE / FEMALE region:inner_city/rural/suburban/town income: income of customer (numeric) married:is the customer married

40、(YES/NO) children: number of children (numeric) car: does the customer own a car (YES/NO) save_act: does the customer have a saving account (YES/NO) current_act:does the customer have a current account (YES/NO) mortgage: does the customer have a mortgage (YES/NO) pep （目標(biāo)變量） : did the customer buy a

41、PEP (Personal Equity Plan，個(gè)人參股計(jì)劃) after the last mailing (YES/NO)2022/7/22141瀏覽bank-data. xls數(shù)據(jù)2022/7/22142數(shù)據(jù)準(zhǔn)備將數(shù)據(jù)另存為.csv格式2022/7/221432022/7/22144數(shù)據(jù)準(zhǔn)備在WEKA中打開(kāi)bank-data. csv2022/7/221452022/7/221462022/7/221472022/7/22148數(shù)據(jù)準(zhǔn)備在WEKA中瀏覽數(shù)據(jù)2022/7/221492022/7/22150數(shù)據(jù)準(zhǔn)備將數(shù)據(jù)另存為.arff格式2022/7/22151在寫(xiě)字板中瀏覽bank-

42、data.arff文件2022/7/221522022/7/22153數(shù)據(jù)預(yù)處理去除無(wú)用屬性 通常對(duì)于數(shù)據(jù)挖掘任務(wù)來(lái)說(shuō)，ID這樣的信息是無(wú)用的，我們將之刪除。勾選屬性“id”，并點(diǎn)擊“Remove”。將新的數(shù)據(jù)集保存為“bank-data.arff”，重新打開(kāi)。離散化在這個(gè)數(shù)據(jù)集中有3個(gè)變量是數(shù)值型的，分別是“age”，“income”和“children”。 其中“children”只有4個(gè)取值：0，1，2，3。這時(shí)我們直接修改ARFF文件，把 attribute children numeric 改為 attribute children 0,1,2,3 就可以了。 在“Explorer”

43、中重新打開(kāi)“bank-data.arff”，看看選中“children”屬性后，顯示的“Type” 變成“Nominal”了。2022/7/22154數(shù)據(jù)預(yù)處理“age”和“income”的離散化可借助WEKA中名為“Discretize”的Filter來(lái)完成。點(diǎn)“Choose”，出現(xiàn)一棵“Filter樹(shù)”，逐級(jí)找到“weka.filters.unsupervised.attribute.Discretize”，點(diǎn)擊?，F(xiàn)在“Choose”旁邊的文本框應(yīng)該顯示“Discretize -B 10 -M -0.1 -R first-last”。 點(diǎn)擊這個(gè)文本框會(huì)彈出新窗口以修改離散化的參數(shù)。 我們不

44、打算對(duì)所有的屬性離散化，只是針對(duì)對(duì)第1個(gè)和第4個(gè)屬性（見(jiàn)屬性名左邊的數(shù)字），故把a(bǔ)ttributeIndices右邊改成“1,4”。計(jì)劃把這兩個(gè)屬性都分成3段，于是把“bins”改成“3”。其它框里不用更改。點(diǎn)“OK”回到“Explorer”，可以看到“age”和“income”已經(jīng)被離散化成分類型的屬性。若想放棄離散化可以點(diǎn)“Undo”。經(jīng)過(guò)上述操作得到的數(shù)據(jù)集我們保存為bank-data-final.arff。2022/7/22155數(shù)據(jù)預(yù)處理-去除無(wú)用屬性 2022/7/221562022/7/22157數(shù)據(jù)預(yù)處理children數(shù)據(jù)離散化2022/7/22158數(shù)據(jù)預(yù)處理childre

45、n數(shù)據(jù)離散化用寫(xiě)字板打開(kāi)bank-data.arff文件2022/7/221592022/7/22160在WEKA中重新打開(kāi)bank-data.arff文件。2022/7/221612022/7/22162觀察 children屬性。2022/7/22163數(shù)據(jù)預(yù)處理離散化“age”和“income” 2022/7/22164數(shù)據(jù)預(yù)處理數(shù)據(jù)離散化2022/7/221652022/7/221662022/7/221672022/7/221682022/7/221692022/7/221702022/7/22171在寫(xiě)字板中重新觀察bank-data.arff數(shù)據(jù)2022/7/22172訓(xùn)練分類模

46、型2022/7/221732022/7/221742022/7/22175評(píng)估分類模型2022/7/22176選擇不同的分類算法或參數(shù)2022/7/221772022/7/22178選擇模型2022/7/221792022/7/221802022/7/221812022/7/221822022/7/221836、 聚類 cluster聚類分析是把對(duì)象分配給各個(gè)簇，使同簇中的對(duì)象相似，而不同簇間的對(duì)象相異。WEKA在“Explorer”界面的“Cluster”提供聚類分析工具選擇聚類算法2022/7/22184WEKA中的聚類算法2022/7/22185主要算法包括：SimpleKMeans 支

47、持分類屬性的K均值算法DBScan 支持分類屬性的基于密度的算法EM 基于混合模型的聚類算法FathestFirst K中心點(diǎn)算法OPTICS 基于密度的另一個(gè)算法Cobweb 概念聚類算法sIB 基于信息論的聚類算法，不支持分類屬性XMeans 能自動(dòng)確定簇個(gè)數(shù)的擴(kuò)展K均值算法，不支持分類屬性2022/7/22186參數(shù)設(shè)置SimpleKMeans重要參數(shù)N 簇個(gè)數(shù)DBScan重要參數(shù)E Eps半徑M MinPts， Eps半徑內(nèi)點(diǎn)個(gè)數(shù)2022/7/22187SimpleKMeans重要參數(shù)2022/7/22188displayStdDevs：是否顯示數(shù)值屬性標(biāo)準(zhǔn)差和分類屬性個(gè)數(shù)distan

48、ceFunction：選擇比較實(shí)例的距離函數(shù)(默認(rèn): weka.core.EuclideanDistance)dontReplaceMissingValues：是否不使用均值/眾數(shù)（mean/mode）替換缺失值。maxIterations：最大迭代次數(shù)numClusters：聚類的簇?cái)?shù)preserveInstancesOrder：是否預(yù)先排列實(shí)例的順序Seed：設(shè)定的隨機(jī)種子值2022/7/22189聚類模式Cluster Mode2022/7/22190使用訓(xùn)練集 (Use training set) 報(bào)告訓(xùn)練對(duì)象的聚類結(jié)果和分組結(jié)果使用附加的檢驗(yàn)集 (Supplied test set)

49、 報(bào)告訓(xùn)練對(duì)象的聚類結(jié)果和附加的檢驗(yàn)對(duì)象的分組結(jié)果百分比劃分 (Percentage split) 報(bào)告全部對(duì)象的聚類結(jié)果、訓(xùn)練對(duì)象的聚類結(jié)果，以及檢驗(yàn)對(duì)象的分組結(jié)果監(jiān)督評(píng)估 (Classes to clusters evaluation) 報(bào)告訓(xùn)練對(duì)象的聚類結(jié)果和分組結(jié)果、類/簇混淆矩陣和錯(cuò)誤分組信息2022/7/22191執(zhí)行聚類算法點(diǎn)擊“Start”按鈕，執(zhí)行聚類算法2022/7/22192觀察聚類結(jié)果觀察右邊“Clusterer output”給出的聚類結(jié)果。也可以在左下角“Result list”中這次產(chǎn)生的結(jié)果上點(diǎn)右鍵，“View in separate window”在新窗口中瀏

50、覽結(jié)果。2022/7/22193= Run information = %運(yùn)行信息Scheme:weka. clusterers. SimpleKMeans -N 3 -A “weka. core. EuclideanDistance -R first-last” -I 500 -S 10% 算法的參數(shù)設(shè)置：-N 3 -A “weka. core. EuclideanDistance -R first-last” -I 500 -S 10;% 各參數(shù)依次表示：% -N 3 聚類簇?cái)?shù)為3；% -A “weka. core. EuclideanDistance 中心距離為歐氏距離；% - I 50

51、0 -最多迭代次數(shù)為500；% -S 10 -隨機(jī)種子值為10。Relation: iris %數(shù)據(jù)集名稱Instances: 150 %數(shù)據(jù)集中的實(shí)例個(gè)數(shù)2022/7/22194Attributes: 5 %數(shù)據(jù)集中的屬性個(gè)數(shù)及屬性名稱 sepallength sepalwidth petallength petalwidthIgnored: %忽略的屬性 classTest mode:Classes to clusters evaluation on training data %測(cè)試模式= Model and evaluation on taining set = %基于訓(xùn)練數(shù)據(jù)集的模型

52、與評(píng)價(jià)kMeans %使用kMeans算法=Number of iterations: 6 kMeans %迭代次數(shù)Winthin cluster sum of squared errors: 6.998114004826762 % SSE(誤差的平方和)Missing values globally replaced with mean/mode %用均值/眾數(shù)替代缺失值2022/7/22195Cluster centroids: %各個(gè)簇的質(zhì)心 Cluster#Attribute Full Data 0 1 2 (150) (61) (60) (39)=sepallength 5.8433

53、 5.8885 5.006 6.8462sepalwidth 3.064 2.7377 3,418 3.0821petallength 3.7587 4,3967 1,464 5.7026petalwidth 1.1987 1.418 0.244 2.0795Time taken to build model (full training data) : 0.03 seconds %建模用的時(shí)間= Modal and evaluation on training set =Clustered Instances %各個(gè)簇中的實(shí)例個(gè)數(shù)及百分比。0 61 (41%)1 50 (33%)2 39 (

54、26%)2022/7/22196注意：采用有監(jiān)督聚類（即已知建模數(shù)據(jù)集的類標(biāo)號(hào)）， 才會(huì)出現(xiàn)以下執(zhí)行信息。Class attribute: class %類標(biāo)號(hào)屬性名稱Classes to Clusters: %類簇混淆矩陣 0 1 2 - assigned to cluster 0 50 0 | Iris-setosa 47 0 3 | Iris-versicolor 14 0 36 | Iris-virginisaCluster 0 - Iris-versicolorCluster 1 - Iris-setosaCluster 2 另存為，在彈出的對(duì)話框中，文件名輸入“bank-data”

55、，保存類型選擇“CSV（逗號(hào)分隔）”，保存，我們便可得到“bank-data.csv”文件；然后，打開(kāi)Weka的Exporler，點(diǎn)擊Open file按鈕，打開(kāi)剛才得到的“bank-data.csv”文件;點(diǎn)擊“save”按鈕，在彈出的對(duì)話框中，文件名輸入“bank-data.arff”，文件類型選擇“Arff data files（*.arff）”，這樣得到的數(shù)據(jù)文件為“bank-data.arff”。 2022/7/22216K均值算法只能處理數(shù)值型的屬性，遇到分類型的屬性時(shí)要把它變?yōu)槿舾蓚€(gè)取值0和1的屬性。WEKA將自動(dòng)實(shí)施這個(gè)分類型到數(shù)值型的變換，而且WEKA會(huì)自動(dòng)對(duì)數(shù)值型的數(shù)據(jù)作標(biāo)

56、準(zhǔn)化。因此，對(duì)于ARFF格式的原始數(shù)據(jù)“bank-data.arff”，我們所做的預(yù)處理只是刪去屬性“id”，修改屬性“children”為分類型。 修改過(guò)程如下：打開(kāi)“bank-data.arff”，將attribute children numeric改成如下： 2022/7/22217使用WEKA聚類用“Explorer”打開(kāi)包含600條實(shí)例“bank-data.arff”，并切換到“Cluster”。點(diǎn)擊“Choose”按鈕,選擇“SimpleKMeans” 。點(diǎn)擊旁邊的文本框，修改參數(shù)“numClusters”為6，說(shuō)明我們希望把這600條實(shí)例聚成6類，即K=6。下面的“seed”參

57、數(shù)是要設(shè)置一個(gè)隨機(jī)種子，依此產(chǎn)生一個(gè)隨機(jī)數(shù)，用來(lái)得到K均值算法中第一次給出的K個(gè)簇中心的位置。我們暫時(shí)讓它就為10。選中“Cluster Mode”的“Use training set”點(diǎn)擊“Start”按鈕觀察右邊“Clusterer output”給出的聚類結(jié)果。 2022/7/222182022/7/222192022/7/222202022/7/22221結(jié)果分析 當(dāng)前Within cluster sum of squared errors: 1604.7416693522332，調(diào)整“seed”參數(shù)，觀察Within cluster sum of squared errors（SSE

58、）變化。采納SSE最小的一個(gè)結(jié)果?！癈luster centroids:”之后列出了各個(gè)簇中心的位置。對(duì)于數(shù)值型的屬性，簇中心就是它的均值（Mean），如cluster0的數(shù)值型變量age的均值37.1299；分類型的就是它的眾數(shù)（Mode），如cluster0的分類型變量children的眾數(shù)為3，也就是說(shuō)這個(gè)屬性上取值為眾數(shù)值3（有3個(gè)孩子）的實(shí)例最多。為了觀察可視化的聚類結(jié)果，在左下方“Result list”列出的結(jié)果上右擊，點(diǎn)“Visualize cluster assignments”。彈出的窗口給出了各實(shí)例的散點(diǎn)圖。最上方的兩個(gè)框是選擇橫坐標(biāo)和縱坐標(biāo)，第二行的”color”是散點(diǎn)

59、圖著色的依據(jù)，默認(rèn)是根據(jù)不同的簇“Cluster”給實(shí)例標(biāo)上不同的顏色。例如，橫坐標(biāo)選擇Instance_number，縱坐標(biāo)選擇income。2022/7/222222022/7/22223點(diǎn)擊“Save”，把聚類結(jié)果保存成bank_Cluster.arff文件。可以在寫(xiě)字板中打開(kāi)觀察聚類結(jié)果文件。在這個(gè)新的ARFF文件中，“instance_number”屬性表示某實(shí)例的編號(hào)，“Cluster”屬性表示聚類算法給出的該實(shí)例所在的簇。2022/7/222247、 關(guān)聯(lián)規(guī)則associationsWEKA關(guān)聯(lián)規(guī)則學(xué)習(xí)能夠發(fā)現(xiàn)屬性組之間的依賴關(guān)系:例如，milk, butter bread, e

60、ggs (置信度 0.9 and 支持?jǐn)?shù) 2000)對(duì)于關(guān)聯(lián)規(guī)則L-R支持度（support） 同時(shí)觀察到前件和后件的概率 support = Pr(L,R)置信度（confidence） 出現(xiàn)前件時(shí)同時(shí)出現(xiàn)后件的概率 confidence = Pr(L,R)/Pr(L)2022/7/22225關(guān)聯(lián)規(guī)則挖掘的主要算法WEKA數(shù)據(jù)挖掘平臺(tái)上的關(guān)聯(lián)規(guī)則挖掘的主要算法有：Apriori-能夠得出滿足最小支持度和最小支持度的所有關(guān)聯(lián)規(guī)則。PredictiveApriori-將置信度和支持度合并為預(yù)測(cè)精度而成為單一度測(cè)量法，找出經(jīng)過(guò)預(yù)測(cè)精度排序的關(guān)聯(lián)規(guī)則。Terius-根據(jù)確認(rèn)度來(lái)尋找規(guī)則，它與Apri