數(shù)據(jù)挖掘工具

R語言在數(shù)據(jù)挖掘中的運用進行數(shù)據(jù)挖掘之前數(shù)據(jù)集成數(shù)據(jù)集成：將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放一個一致的數(shù)據(jù)存儲的過程數(shù)據(jù)集成包括數(shù)據(jù)集成和模式集成。例如：在一個企業(yè)的兩個數(shù)據(jù)源中我們分別以cust-id和customer-no來標識用戶，數(shù)據(jù)集成時，把標識相同的客戶和在一起A.cust-id==B.customer-no用戶標識的定義不同A表：ID=”23442”B表：ID=”SH23442”String(A.cust-id)==String(B.customer-no).Substr(2,length-2)進行數(shù)據(jù)挖掘之前-數(shù)據(jù)預處理數(shù)據(jù)預處理數(shù)據(jù)預處理原因：①現(xiàn)實世界的數(shù)據(jù)是“雜亂的”。②數(shù)據(jù)挖掘需要高質(zhì)量的數(shù)據(jù)。如何對數(shù)據(jù)進行預處理◆數(shù)據(jù)清理◆數(shù)據(jù)轉(zhuǎn)換◆數(shù)據(jù)的規(guī)約數(shù)據(jù)清理格式標準化異常數(shù)據(jù)清除錯誤糾正重復數(shù)據(jù)的清除處理缺失數(shù)據(jù)處理重復數(shù)據(jù)處理噪聲數(shù)據(jù)處理異常數(shù)據(jù)目標：提高數(shù)據(jù)質(zhì)量的四個環(huán)節(jié)數(shù)據(jù)轉(zhuǎn)換分類：常規(guī)數(shù)據(jù)轉(zhuǎn)換通常通過線性或非線性的數(shù)學變換方法等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。非常規(guī)數(shù)據(jù)的數(shù)據(jù)變換根據(jù)數(shù)據(jù)的特性會有較多的形式各異的轉(zhuǎn)換方式。數(shù)據(jù)轉(zhuǎn)換常見轉(zhuǎn)換方法：為了減少數(shù)據(jù)復雜度，用高層概念替換底層概念。專注于數(shù)據(jù)規(guī)范化，是數(shù)據(jù)按比例縮放，落入特定區(qū)域。做屬性構(gòu)選，通過一個或多個屬性的變換計算構(gòu)造出新的屬性。數(shù)據(jù)轉(zhuǎn)換⑴標準差標準化所謂標準差標準化是將各個記錄值減去記錄值的平均值在除以記錄值的標準差X’=（Xij-Xia)/SinXia為平均值，表達式為Xia=1/n∑Xijj=1n設Sij是標準差有：Si=√1/n∑(Xij-Xia)j=1數(shù)據(jù)轉(zhuǎn)換(2)極差標準化極差標準化變換是將各個記錄值減去記錄值的平均值，在除以記錄值的極差。X’ij=(Xij-Xia))/(max(Xij)-min(Xij))(3)極差正規(guī)化

X’ij=(Xij-min(Xij))/(max(Xij)-min(Xij))將各個記錄值減去記錄值的極小值，在除以記錄值的極差。數(shù)據(jù)轉(zhuǎn)換最小—最大規(guī)范化處理將所有數(shù)據(jù)轉(zhuǎn)化到我們新設定的最小和最大值的區(qū)間內(nèi)。數(shù)據(jù)的規(guī)約更少的數(shù)據(jù)，提高挖掘效果更高的數(shù)據(jù)挖掘處理精度簡單的數(shù)據(jù)挖掘處理結(jié)果更少的數(shù)據(jù)特征刪除列刪除行減少列中的值效果：由于數(shù)據(jù)規(guī)約對原始數(shù)據(jù)通常都是有損的，盡量不使用規(guī)約?；静僮鳎篟語言簡介R語言基本語法結(jié)構(gòu)標準的和基于各種設備的輸入/輸出面向?qū)ο缶幊谭绞胶蛿?shù)學編程方式分布式計算結(jié)構(gòu)引用程序包數(shù)學和統(tǒng)計學各種函數(shù)包括：基本數(shù)學函數(shù)，模擬和隨數(shù)產(chǎn)生函數(shù)基本統(tǒng)計函數(shù)和概率分布函數(shù)機器語言學習功能信號處理功能統(tǒng)計學建模和測試功能靜態(tài)和動態(tài)的圖形展示R語言簡介R語言在數(shù)據(jù)挖掘中的優(yōu)勢：最廉價（免費）最全面的算法最完美多樣的數(shù)據(jù)展示最狂熱的愛好者社區(qū)R語言的整個語法結(jié)構(gòu)完全來自S語言，突出兩個特點是：函數(shù)或編程和向量化計算。背景特點簡介R語言常用的包CORElearn包：程序包集合了多種分類算法和回歸模型例如：樸素貝葉斯，隨機森林，決策樹，回歸分析等。E1071包：綜合了眾多數(shù)數(shù)據(jù)挖掘的包，其中被使用較多的SUM（）函數(shù)實現(xiàn)支持向量化。Rpart包：提供有效處理稀疏二元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，而且提供函數(shù)用Apriori算法和Edat算法來挖掘頻繁項集最大頻繁項集，閉頻繁項集合和關聯(lián)規(guī)則。Randomforest包：實現(xiàn)隨機森林算法。ROCR包：是專門用于做模型評估的，可以方便的繪出ROC圖。MATLAB（MATtrixLABoratary）矩陣實驗室功能：①MATLAB將數(shù)值分析，矩陣計算，科學數(shù)據(jù)可視化以及非線性動態(tài)系統(tǒng)的建模和仿真等諸多強大功能集成在一個易于使用的視窗環(huán)境中。②可以輕易地描繪二維和三維圖形。特點：高效的數(shù)學表達式表現(xiàn)方式，數(shù)值計算及符號計算功能。語言：MATLAB語言是簡化版的類C++語言。其他商用數(shù)據(jù)挖掘工具SPSSModeler

支持整個數(shù)據(jù)挖掘流程，包括從數(shù)據(jù)獲取，轉(zhuǎn)化，建模，評估到最終部署的全部過程。SASEnterMiner

可利用具有圖形化的模塊將數(shù)據(jù)挖掘單元組成處理流程圖并依此來組織數(shù)據(jù)挖掘的過程。IntellgentMinerforData

它是用來數(shù)據(jù)挖掘包含在數(shù)據(jù)庫，數(shù)據(jù)倉庫和數(shù)據(jù)中心中的隱含信息，幫助用戶利用傳統(tǒng)數(shù)據(jù)庫或普通文件中的結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)挖掘。開源數(shù)據(jù)挖掘工具WekaWeka（WaikatoEnvironmentforknowledgeAnalysis）——全名：懷卡托智能分析環(huán)境Weka是用Java語言開發(fā)和開源的數(shù)據(jù)挖掘軟件。Weka可以使用的數(shù)據(jù)挖掘算法:分類算法，聚類算法和并聯(lián)算法。Weka在R語言中時，使用RWeka程序包調(diào)用Weka中所有算法。開源數(shù)據(jù)挖掘工具Weka-四個組成部分Explorer，在該環(huán)境中，我們可以實現(xiàn)各種數(shù)據(jù)挖掘算法，并提供可視法結(jié)果。Experimenter：用來做算法實驗的環(huán)境，在該環(huán)境中，用戶可以創(chuàng)建比較，修改和分析算法。KnowledgeFlow:在“知識流”的環(huán)境中，用戶可以把不同組件按照一定順序連接起來，組成知識流用以處理和分析數(shù)據(jù)。SmpleCLI:簡單的命令行界面。一、SPSS軟件簡介軟件簡介SPSS是StatisticalProgramforSocialSciences的簡稱，即社會科學統(tǒng)計程序，由美國SPSS公司1970年代推出，迄今已有近30年的歷史。是國際著名三大社會科學統(tǒng)計軟件包之一（SAS、SPSS、Statis）。SPSS原是為大型計算機開發(fā)的，其版本為SPSSx，80年代初，微機開始普及以后，它率先推出了微機版本（版本為SPSS/PC+x.x），占領了微機市場，大大地擴大了自己的用戶量，我們現(xiàn)在使用的是SPSSforWindows12.0版。軟件簡介與以往的SPSSforDOS版本相比，SPSSforWindows顯得更加直觀易用。首先，它采用現(xiàn)今廣為流行的電子表格形式作數(shù)據(jù)管理器，使用戶變量命名、定義數(shù)據(jù)格式、數(shù)據(jù)