第7章 常用的數(shù)據(jù)挖掘軟件

1、1 做中國領(lǐng)先的科研資源提供商做中國領(lǐng)先的科研資源提供商總課時(shí)總課時(shí)：6 6小時(shí)小時(shí)（實(shí)驗(yàn)（實(shí)驗(yàn)：4 4小時(shí)）小時(shí)）2提綱提綱數(shù)據(jù)挖掘軟件介紹WekaRapidMinerKnime3數(shù)據(jù)挖掘軟件數(shù)據(jù)挖掘軟件介紹介紹nWeka：名氣最大的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘軟件n高級(jí)用戶可以通過Java編程和命令行來調(diào)用其分析組件n為普通用戶提供了圖形化界面n在Weka論壇有大量的擴(kuò)展包n很多其它開源數(shù)據(jù)挖掘軟件也支持調(diào)用Weka的分析功能4數(shù)據(jù)挖掘軟件數(shù)據(jù)挖掘軟件介紹介紹nRapidMiner：耶魯大學(xué)的研究成果n免費(fèi)提供數(shù)據(jù)挖掘技術(shù)和庫n數(shù)據(jù)挖掘過程簡單，強(qiáng)大和直觀n多層次的數(shù)據(jù)視圖，確保有效和透明的數(shù)據(jù)n4

2、00多個(gè)數(shù)據(jù)挖掘運(yùn)營商支持n強(qiáng)大的可視化引擎n耶魯大學(xué)已成功地應(yīng)用在許多不同的應(yīng)用領(lǐng)域，包括文本挖掘，多媒體挖掘，功能設(shè)計(jì)，數(shù)據(jù)流挖掘，集成開發(fā)的方法和分布式數(shù)據(jù)挖掘5數(shù)據(jù)挖掘軟件數(shù)據(jù)挖掘軟件介紹介紹nKnime：數(shù)據(jù)流模式的挖掘軟件n類似數(shù)據(jù)流（data flow）的方式來建立分析挖掘流程n用戶可選擇性地運(yùn)行一些或全部的分析步驟n用Java開發(fā)的，可以擴(kuò)展使用Weka中的挖掘算法n通過插件的方式，用戶可以加入自己的處理模塊，并可以集成到其它各種各樣的開源項(xiàng)目中6數(shù)據(jù)挖掘軟件數(shù)據(jù)挖掘軟件介紹介紹nIBM Intelligent Miner：IBM的商業(yè)級(jí)產(chǎn)品n簡單易用n能處理大數(shù)據(jù)量的挖掘n功

3、能一般，沒有數(shù)據(jù)探索功能n與其他軟件接口差，只能用DB2，連接DB2以外的數(shù)據(jù)庫時(shí)，如Oracle, SAS, SPSS需要安裝DataJoiner作為中間軟件7提綱提綱數(shù)據(jù)挖掘軟件介紹WekaRapidMinerKnime8WekaWeka簡介簡介nWEKA的全名是懷卡托智能分析環(huán)境（Waikato Environment for Knowledge Analysis），它的源代碼可通過http:/www.cs.waikato.ac.nz/ml/weka得到。n同時(shí)weka也是新西蘭的一種鳥名，而WEKA的主要開發(fā)者來自新西蘭。 nWEKA作為一個(gè)公開的數(shù)據(jù)挖掘工作平臺(tái)，集合了大量能承擔(dān)數(shù)據(jù)

4、挖掘任務(wù)的機(jī)器學(xué)習(xí)算法，包括對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，分類，回歸、聚類、關(guān)聯(lián)規(guī)則以及在新的交互式界面上的可視化。 n2005年8月，在第11屆ACM SIGKDD國際會(huì)議上，懷卡托大學(xué)的Weka小組榮獲了數(shù)據(jù)挖掘和知識(shí)探索領(lǐng)域的最高服務(wù)獎(jiǎng)，Weka系統(tǒng)得到了廣泛的認(rèn)可，被譽(yù)為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)歷史上的里程碑，是現(xiàn)今最完備的數(shù)據(jù)挖掘工具之一（已有11年的發(fā)展歷史）。Weka的每月下載次數(shù)已超過萬次。10WekaWeka的數(shù)據(jù)格式的數(shù)據(jù)格式nWEKA所處理的數(shù)據(jù)集是一個(gè)二維的表格 11WekaWeka的數(shù)據(jù)格式的數(shù)據(jù)格式nWEKA存儲(chǔ)數(shù)據(jù)的格式是ARFF（Attribute-Relation File F

5、ormat）文件，這是一種ASCII文本文件。n整個(gè)ARFF文件可以分為兩個(gè)部分。第一部分給出了頭信息（Head information），包括了對(duì)關(guān)系的聲明和對(duì)屬性的聲明。第二部分給出了數(shù)據(jù)信息（Data information），即數(shù)據(jù)集中給出的數(shù)據(jù)。從“data”標(biāo)記開始，后面的就是數(shù)據(jù)信息了。 Code:% ARFF file for the weather data with some numric features % relation weather attribute outlook sunny, overcast, rainy attribute temperature re

6、al attribute humidity real attribute windy TRUE, FALSE attribute play yes, no data % % 14 instances % sunny,85,85,FALSE,no sunny,80,90,TRUE,no overcast,83,86,FALSE,yes rainy,70,96,FALSE,yes rainy,68,80,FALSE,yes rainy,65,70,TRUE,no overcast,64,65,TRUE,yes sunny,72,95,FALSE,no sunny,69,70,FALSE,yes r

7、ainy,75,80,FALSE,yes sunny,75,70,TRUE,yes overcast,72,90,TRUE,yes overcast,81,75,FALSE,yes rainy,71,91,TRUE,no 12WekaWeka的數(shù)據(jù)格式的數(shù)據(jù)格式n關(guān)系聲明 關(guān)系名稱在ARFF文件的第一個(gè)有效行來定義，格式為 relation 是一個(gè)字符串。如果這個(gè)字符串包含空格，它必須加上引號(hào)（指英文標(biāo)點(diǎn)的單引號(hào)或雙引號(hào)）。 n屬性聲明 屬性聲明用一列以“attribute”開頭的語句表示。數(shù)據(jù)集中的每一個(gè)屬性都有它對(duì)應(yīng)的“attribute”語句，來定義它的屬性名稱和數(shù)據(jù)類型。 attrib

8、ute 13數(shù)據(jù)準(zhǔn)備數(shù)據(jù)準(zhǔn)備n使用WEKA作數(shù)據(jù)挖掘，面臨的第一個(gè)問題往往是數(shù)據(jù)不是ARFF格式的。nWEKA還提供了對(duì)CSV文件的支持，而這種格式是被很多其他軟件所支持的。n此外，WEKA還提供了通過JDBC訪問數(shù)據(jù)庫的功能。 14“Explorer”界面界面15數(shù)據(jù)屬性數(shù)據(jù)屬性n例如，bank-data數(shù)據(jù)各屬性的含義如下： id a unique identification number age age of customer in years (numeric) sex MALE / FEMALE region inner_city/rural/suburban/town incom

9、e income of customer (numeric) married is the customer married (YES/NO) children number of children (numeric) car does the customer own a car (YES/NO) save_acct does the customer have a saving account (YES/NO) current_acct does the customer have a current account (YES/NO) mortgage does the customer

10、have a mortgage (YES/NO) pep did the customer buy a PEP (Personal Equity Plan) after the last mailing (YES/NO)16數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理n有些算法，只能處理所有的屬性都是分類型的情況。這時(shí)候就需要對(duì)數(shù)值型的屬性進(jìn)行離散化。n在這個(gè)數(shù)據(jù)集中有3個(gè)變量是數(shù)值型的，分別是“age”，“income”和“children”。 其中“children”只有4個(gè)取值：0，1，2，3。n在UltraEdit中直接修改ARFF文件，把a(bǔ)ttribute children numeric 改為 attri

11、bute children 0,1,2,317數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理n“age”和“income”的離散化需要借助WEKA中名為“Discretize”的Filter來完成 n點(diǎn)擊“choose”后，出現(xiàn)一顆“Filter樹” ，逐級(jí)找到“weka.filters.unsupervised.attribute.Discretize”，點(diǎn)擊后進(jìn)行離散化，例如“bins=3”則會(huì)將屬性分成三段 18用用WekaWeka進(jìn)行分類進(jìn)行分類n選擇分類器n在 classify 頁面的頂部是Classifier 欄。這一欄中有一個(gè)文本框，給出了分類器的名稱和選項(xiàng)。左鍵點(diǎn)擊文本框會(huì)打開一個(gè)GenericObje

12、ctEditor，可以配置當(dāng)前的分類器。Choose 按鈕用來選擇 WEKA 中可用的分類器。19用用WekaWeka進(jìn)行分類進(jìn)行分類n測試選項(xiàng) 應(yīng)用選定的分類器后得到的結(jié)果會(huì)根據(jù) Test Option 一欄中的選擇來進(jìn)行測試。共有四種測試模式： Using training set. 根據(jù)分類器在用來訓(xùn)練的實(shí)例上的預(yù)測效果來評(píng)價(jià)它。 Supplied test set. 從文件載入的一組實(shí)例，根據(jù)分類器在這組實(shí)例上的預(yù)測效果來評(píng)價(jià)它。點(diǎn)擊 Set 按鈕將打開一個(gè)對(duì)話框來選擇用來測試的文件。 Cross-validation. 使用交叉驗(yàn)證來評(píng)價(jià)分類器，所用的折數(shù)填在Folds 文本框中。

13、Percentage split. 從數(shù)據(jù)集中按一定百分比取出部分?jǐn)?shù)據(jù)放在一邊作測試用，根據(jù)分類器這些實(shí)例上預(yù)測效果來評(píng)價(jià)它。取出的數(shù)據(jù)量由% 一欄中的值決定。20用用WekaWeka進(jìn)行分類進(jìn)行分類nClass屬性設(shè)置nWEKA 中的分類器被設(shè)計(jì)成經(jīng)過訓(xùn)練后可以預(yù)測一個(gè) class 屬性，也就是預(yù)測的目 標(biāo)。默認(rèn)的，數(shù)據(jù)集中的最后一個(gè)屬性被看作 class 屬性。如果想訓(xùn)練一個(gè)分類器，讓它預(yù)測一個(gè)不同的屬性，點(diǎn)擊Test options 欄下方的那一欄，會(huì)出現(xiàn)一個(gè)屬性的下拉列表以供選擇。21用用WekaWeka進(jìn)行分類進(jìn)行分類n分類器、測試選項(xiàng)和class屬性都設(shè)置好后，點(diǎn)擊Start 按鈕

14、就可以開始學(xué)習(xí)過程。右邊的Classifier output 區(qū)域會(huì)被填充一些文本，描述訓(xùn)練和測試的結(jié)果。n輸出結(jié)果分為幾個(gè)部分nRun information. 給出了學(xué)習(xí)算法各選項(xiàng)的一個(gè)列表。包括了學(xué)習(xí)過程中涉及到的關(guān)系名稱，屬性，實(shí)例和測試模式。nClassifier model (full training set). 用文本表示的基于整個(gè)訓(xùn)練集的分類模型 所選測試模式的結(jié)果可以分解為以下幾個(gè)部分nSummary. 一列統(tǒng)計(jì)量，描述了在指定測試模式下，分類器預(yù)測 class 屬性的準(zhǔn)確程度。nDetailed Accuracy By Class. 更詳細(xì)地給出了關(guān)于每一類的預(yù)測準(zhǔn)確度的

15、描述nConfusion Matrix. 給出了預(yù)測結(jié)果中每個(gè)類的實(shí)例數(shù)。其中矩陣的行是實(shí)際的類，矩陣的列是預(yù)測得到的類，矩陣元素就是相應(yīng)測試樣本的個(gè)數(shù)。22用用WekaWeka進(jìn)行分類進(jìn)行分類n結(jié)果列表在訓(xùn)練了若干分類器之后，結(jié)果列表中也就包含了若干個(gè)條目。左鍵點(diǎn)擊這些條目可以在生成的結(jié)果之間進(jìn)行切換瀏覽。右鍵點(diǎn)擊某個(gè)條目則會(huì)彈出一個(gè)菜單，包括如下的選項(xiàng)：nView in main window. 在主窗口中顯示輸出該結(jié)果.nView in separate window. 打開一個(gè)獨(dú)立的新窗口來顯示結(jié)果。nSave result buffer. 彈出一個(gè)對(duì)話框，使得輸出結(jié)果的文本可以保存成

16、一個(gè)文本文件。nLoad model. 從一個(gè)二進(jìn)制文件中載入以前訓(xùn)練得到的模型對(duì)象。nSave model. 把模型對(duì)象保存到一個(gè)二進(jìn)制文件中。對(duì)象是以 Java“序列化”的形式保存的nRe-evaluate model on current test set. 通過 Supplied test set 選項(xiàng)下的nSet 按鈕指定一個(gè)數(shù)據(jù)集，已建立的分類模型將在這個(gè)數(shù)據(jù)集上測試它的表現(xiàn)。nVisualize classifier errors. 彈出一個(gè)可視化窗口，把分類結(jié)果做成一個(gè)散點(diǎn)圖。其中正確分類的結(jié)果用叉表示，分錯(cuò)的結(jié)果用方框表示。nVisualize tree or Visuali

17、ze graph. 如果可能的話，把分類模型的結(jié)構(gòu)用圖形來表示（決策樹和貝葉斯網(wǎng)絡(luò)）。nVisualize margin curve. 創(chuàng)建一個(gè)散點(diǎn)圖來顯示預(yù)測邊際值。這個(gè)邊際值的定義為：預(yù)測為真實(shí)值的概率與預(yù)測為真實(shí)值之外其它某類的最高概率之差。nVisualize threshold curve. 生成一個(gè)散點(diǎn)圖，以演示預(yù)測時(shí)改變各類之間的閥值后取得的平衡。nVisualize cost curve. 生成一個(gè)散點(diǎn)圖。23用用WekaWeka進(jìn)行分類進(jìn)行分類分類模型生成結(jié)果24提綱提綱數(shù)據(jù)挖掘軟件介紹WekaRapidMinerKnime25RapidMinerRapidMiner簡介簡介

18、nRapidMiner，以前叫YALE (Yet Another Learning Environment) 。nRapidMinder提供的實(shí)驗(yàn)由大量的算子組成，而這些算子由詳細(xì)的XML文件記錄，并被圖形化的用戶接口表現(xiàn)出來。nRapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計(jì)和評(píng)價(jià)。n下載地址：http:/rapid- process)中n設(shè)置算子相關(guān)參數(shù) (parameter)n進(jìn)行算子連接n執(zhí)行流程以得到結(jié)果29用用RapidMinerRapidMiner進(jìn)行關(guān)聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則

19、挖掘n回顧一下關(guān)聯(lián)規(guī)則挖掘中最經(jīng)典的例子啤酒與尿布的關(guān)聯(lián)。沃爾瑪通過對(duì)原始交易數(shù)據(jù)的分析，發(fā)現(xiàn)跟尿布一起購買最多的商品竟是啤酒！調(diào)查顯示，美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們?cè)谫I尿布后又隨手帶回了他們喜歡的啤酒。對(duì)于隱藏在啤酒和尿布這類表面上風(fēng)馬牛不相及的商品背后的關(guān)聯(lián)，如果不通過數(shù)據(jù)挖掘的技術(shù)，是沒有辦法靠拍腦袋的辦法想出來的。30用用RapidMinerRapidMiner進(jìn)行關(guān)聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則挖掘n例如對(duì)軟件自帶的Transactions數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘nTransactions數(shù)據(jù)記錄了一組人的經(jīng)濟(jì)統(tǒng)計(jì)數(shù)據(jù)，我們?cè)噲D發(fā)現(xiàn)一個(gè)人是否富有和他的車房特征間的關(guān)聯(lián)

20、數(shù)據(jù)表字段解釋：CAR：是否有車Appartement：是否住宿舍公寓Villa：是否住別墅Poor：是否是窮人Average：是否是中產(chǎn)階級(jí)Rich：是否是富人31用用RapidMinerRapidMiner進(jìn)行關(guān)聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則挖掘n導(dǎo)入原始數(shù)據(jù)n在左側(cè)的Repository Access下面找到Retrieve組件，將其拖到Process區(qū)，選中Retrieve結(jié)點(diǎn)，在右側(cè)的repository entry處，單擊目錄圖標(biāo)，選擇Transactions數(shù)據(jù)表后點(diǎn)擊OK32用用RapidMinerRapidMiner進(jìn)行關(guān)聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則挖掘n對(duì)原始數(shù)據(jù)進(jìn)行二值化n在左側(cè)的Da

21、ta Transformation下面找到Nominal to Binominal組件，將其拖到Process區(qū)，并連接到Retrieve結(jié)點(diǎn)后面33用用RapidMinerRapidMiner進(jìn)行關(guān)聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則挖掘n按屬性過濾n在左側(cè)的Data Transformation下面找到Select Attributes組件，將其拖到Process區(qū)，并連接到Nominal to Binominal結(jié)點(diǎn)后面，然后在右側(cè)選擇過濾類型為“regular_expression”，regular expression處填寫“.*true.*”34用用RapidMinerRapidMiner進(jìn)行關(guān)

22、聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則挖掘n生成頻繁子項(xiàng)，為關(guān)聯(lián)規(guī)則生成做準(zhǔn)備n在左側(cè)的Modeling下面找到FP-Growth組件，將其拖到Process區(qū)，并連接到Select Attributes結(jié)點(diǎn)后面35用用RapidMinerRapidMiner進(jìn)行關(guān)聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則挖掘n生成關(guān)聯(lián)規(guī)則n在左側(cè)的Modeling下面找到Create Association Rules組件，將其拖到Process區(qū)，并連接到FP-Growth結(jié)點(diǎn)后面36用用RapidMinerRapidMiner進(jìn)行關(guān)聯(lián)規(guī)則挖掘進(jìn)行關(guān)聯(lián)規(guī)則挖掘n運(yùn)行工程得到關(guān)聯(lián)規(guī)則挖掘結(jié)果如果某人住別墅，可以推斷出他有車如果某人貧窮，可以推

23、斷出他在住宿舍或公寓37提綱提綱數(shù)據(jù)挖掘軟件介紹WekaRapidMinerKnime38KnimeKnime簡介簡介nKNIME是基于Eclipse環(huán)境的開源商業(yè)智能工具。nKNIME是通過工作流來控制數(shù)據(jù)的集成、清洗、轉(zhuǎn)換、過濾，再到統(tǒng)計(jì)、數(shù)據(jù)挖掘，最后是數(shù)據(jù)的可視化。整個(gè)開發(fā)都在可視化的環(huán)境下進(jìn)行，通過簡單的拖曳和設(shè)置就可以完成一個(gè)流程的開發(fā)。nKNIME的全稱是The Konstanz Information Miner。它的設(shè)計(jì)目的是用于教學(xué)、研究以及協(xié)同工作的平臺(tái)。 39KnimeKnime界面界面40KnimeKnime架構(gòu)特點(diǎn)架構(gòu)特點(diǎn)n在KNIME中，數(shù)據(jù)分析流程由一系列結(jié)點(diǎn)及

24、連接結(jié)點(diǎn)的邊組成。待處理的數(shù)據(jù)或模型在結(jié)點(diǎn)之間進(jìn)行傳遞。每個(gè)結(jié)點(diǎn)都有一個(gè)或多個(gè)輸入端和輸出端。數(shù)據(jù)或模型從結(jié)點(diǎn)的輸入端進(jìn)入經(jīng)結(jié)點(diǎn)處理后從結(jié)點(diǎn)的輸出端輸出。41KnimeKnime結(jié)點(diǎn)的狀態(tài)結(jié)點(diǎn)的狀態(tài)n結(jié)點(diǎn)上有三盞燈，就像紅黃綠交通燈一樣。當(dāng)結(jié)點(diǎn)剛被拖入工作區(qū)的時(shí)候，紅燈亮起表示數(shù)據(jù)無法通過，這時(shí)需要對(duì)結(jié)點(diǎn)進(jìn)行配置，讓它可以執(zhí)行。右鍵單擊結(jié)點(diǎn)選擇“Configure”對(duì)結(jié)點(diǎn)進(jìn)行配置；配置完成并且正確的話，便會(huì)亮起黃燈，表示準(zhǔn)備就緒數(shù)據(jù)可以通過；再次右鍵單擊結(jié)點(diǎn)選擇“Execute”運(yùn)行這個(gè)結(jié)點(diǎn)，當(dāng)綠燈亮起時(shí)表示結(jié)點(diǎn)執(zhí)行成功，數(shù)據(jù)已經(jīng)通過并傳給下一個(gè)結(jié)點(diǎn)。42KnimeKnime結(jié)點(diǎn)的分類結(jié)點(diǎn)的分類nIO類結(jié)點(diǎn)，用于文件、表格、數(shù)據(jù)模型的輸入和輸出操作；n數(shù)據(jù)庫操作類結(jié)點(diǎn)，