基于Microsoft R實(shí)現(xiàn)大數(shù)據(jù)機(jī)器學(xué)習(xí)

1、基于Microsoft R實(shí)現(xiàn)大數(shù)據(jù)機(jī)器學(xué)習(xí)技術(shù)創(chuàng)新，變革未來目錄Microsoft R介紹Microsoft R數(shù)據(jù)處理技術(shù) Microsoft R機(jī)器學(xué)習(xí)010203R是什么？01語言平臺(tái)專注于統(tǒng)計(jì)，分析和數(shù)據(jù)科學(xué)數(shù)據(jù)可視化的框架開源生態(tài)系統(tǒng)CRAN: 10000+ 免費(fèi)的算法, 測(cè)試數(shù)據(jù)和開發(fā)包許多包都可以應(yīng)用到大數(shù)據(jù)計(jì)算社區(qū)上百萬統(tǒng)計(jì)和分析學(xué)家，數(shù)據(jù)科學(xué)家正在使用R大學(xué)統(tǒng)計(jì)學(xué)的課程非?；钴S的社區(qū)開源R的問題01$?不確定的投入成本和收益穩(wěn)定的平臺(tái)產(chǎn)品支持的挑戰(zhàn)如何讓R和企業(yè)不斷改變 和發(fā)展的數(shù)據(jù)平臺(tái)整合規(guī)模和性能01大數(shù)據(jù)內(nèi)存綁定可擴(kuò)充性的混合內(nèi)存及磁盤對(duì)大數(shù)據(jù)集的處理分析速度單線程并

2、行線程和處理大大縮短分析時(shí)間企業(yè)準(zhǔn)備社區(qū)支持企業(yè)支持企業(yè)級(jí)的產(chǎn)品服務(wù)和支持分析的廣度&深度10000+ innovative analytic packages利用和優(yōu)化開放源包再加上準(zhǔn)備好的大 數(shù)據(jù)包企業(yè)級(jí)的R商業(yè)可行性開源軟件的部署風(fēng)險(xiǎn)商業(yè)化的授權(quán)和保障減少企業(yè)使用開源產(chǎn)品的投 入成本和風(fēng)險(xiǎn)好處Microsoft R Server 的好處微軟RMicrosoft R Server 簡(jiǎn)介Microsoft R Server 是一款基于R的企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)支持各種大數(shù)據(jù)統(tǒng)計(jì)分析，預(yù)測(cè)性模型和機(jī)器學(xué)習(xí)功能支持基于R的全套數(shù)據(jù)分析過程-探索、分析、可視化和建模等通過利用和擴(kuò)展開源R， R Se

3、rver 能在企業(yè)級(jí)規(guī)模下進(jìn)行數(shù)據(jù)分析，并 與開源 R 腳本、函數(shù)和CRAN軟件包，百分百兼容01Microsoft R Server 的革新01并行化& 模塊化數(shù)據(jù)源并行的算法并行的數(shù)據(jù) 訪問用戶透明的并行能力加速和規(guī)?；?jì)算“模塊化”的處理消除了內(nèi)存的限制兩個(gè)主要革新Microsoft R Server（RRE）技術(shù)架構(gòu)01在Hadoop里的大數(shù)據(jù)分析01Copyright Microsoft Corporation. All rights reserved.目錄Microsoft R介紹Microsoft R數(shù)據(jù)處理技術(shù)Microsoft R機(jī)器學(xué)習(xí)010203ScaleR 函數(shù)和算法0

4、2數(shù)據(jù)預(yù)處理Data import Delimited, Fixed, SAS, SPSS,OBDCVariable creation & transformationRecode variablesFactor variablesMissing value handlingSort, Merge, SplitAggregate by category (means, sums)描述性統(tǒng)計(jì)Min / Max, Mean, Median (approx.)Quantiles (approx.)Standard DeviationVarianceCorrelationCovarianceSum o

5、f Squares (cross product matrix for set variables)Pairwise Cross tabsRisk Ratio & Odds RatioCross-Tabulation of Data (standard tables & longform)Marginal Summaries of Cross Tabulations統(tǒng)計(jì)檢驗(yàn)Chi Square TestKendall Rank CorrelationFishers Exact TestStudents t-Test抽樣Subsample (observations & variables)Ra

6、ndom Sampling預(yù)測(cè)模型Sum of Squares (cross product matrix for set variables)Multiple Linear RegressionGeneralized Linear Models (GLM) exponential family distributions: binomial, Gaussian, inverse Gaussian, Poisson, Tweedie. Standard link functions: cauchit, identity, log, logit, probit. User defined dis

7、tributions & link functions.Covariance & Correlation MatricesLogistic RegressionClassification & Regression TreesPredictions/scoring for modelsResiduals for all models模擬Simulation (e.g. Monte Carlo)Parallel Random Number Generation聚類分析K-Means分類Decision TreesDecision ForestsGradient Boosted Decision

8、TreesNave Bayes結(jié)合PEMA-R APIrxDataSteprxExec變量選擇Stepwise Regression數(shù)據(jù)導(dǎo)入02rxImport函數(shù)可以從數(shù)據(jù)源（文本、SAS、SPSS、ODBC、）導(dǎo)入到R中保存為數(shù)據(jù)框；此外，如果是大數(shù)據(jù)集，MRS也提供了將數(shù) 據(jù)集先保存為.xdf格式（在硬盤中），在分布式文件系統(tǒng)（如Hadoop 的HDFS）上，XDF文件可以將數(shù)據(jù)存儲(chǔ)在多個(gè)物理文件中，以適應(yīng)非 常大的數(shù)據(jù)集rxGetInfo函數(shù)查看xdf文件的數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)導(dǎo)入例子02infile - file.path(D:/MRS/Data/ccFraud.csv) # 將csv數(shù)據(jù)保

9、存為.xdf文件ccFraud_xdf - rxImport(inData = infile,outFile = ccFraud.xdf,overwrite = TRUE)# 查看ccFraud.xdf的數(shù)據(jù)結(jié)構(gòu) rxGetInfo(ccFraud.xdf,getVarInfo = TRUE,numRows = 10)數(shù)據(jù)轉(zhuǎn)換02我們可以在保存.xdf文件時(shí)，利用rxImport函數(shù)stringsAsFactors，colClasses，和colInfo等參數(shù)改變變量的數(shù)據(jù)類型我們也可以rxDataStep函數(shù)的transforms 、varsToKeep、 varsToDrop、等參數(shù)進(jìn)行數(shù)

10、據(jù)轉(zhuǎn)換和子集選擇數(shù)據(jù)轉(zhuǎn)換例子02利用colInfo將變量gender從數(shù)值型變?yōu)橐蜃有?，且因子水平為“F”、“M”，利用colClasses將變量fraudRisk從數(shù)值型變成因子型# 改變變量的數(shù)據(jù)存儲(chǔ)類型 ccFraud_xdf - rxImport(inData = infile,outFile = ccFraud.xdf,colClasses = c(fraudRisk = factor),colInfo = list(gender = list(type = factor,levels = c(1,2),newLevels = c(F,M), overwrite = TRUE)# 查

11、看ccFraud.xdf的數(shù)據(jù)結(jié)構(gòu) rxGetInfo(ccFraud_xdf,getVarInfo = TRUE,numRows = 5)數(shù)據(jù)轉(zhuǎn)換例子02對(duì)航空飛行數(shù)據(jù)集，利用rxDataStep函數(shù)中的varsToKeep函數(shù)對(duì)所需變量進(jìn)行篩選，且通過transforms參數(shù)增加兩個(gè)新變量： flightDate和speedairlinesXdf - rxDataStep(inData = D:/MRS/Data/flights.csv, outFile = flights.xdf,varsToKeep = c(year,month,day,distance,air_time,carrie

12、r,arr_delay),transforms = list(flightDate = as.Date(paste(year, month, day, sep = -),speed = distance / (air_time / 60) rxGetInfo(airlinesXdf,getVarInfo = TRUE,numRows = 6)數(shù)據(jù)排序及合并02利用rxSort函數(shù)對(duì)數(shù)據(jù)框或者.xdf文件進(jìn)行排序利用rxSplit函數(shù)將.xdf文件或數(shù)據(jù)框分割成多個(gè).xdf文件或數(shù)據(jù)框 利用rxMerge函數(shù)使用各種合并類型合并兩個(gè).xdf文件或數(shù)據(jù)框數(shù)據(jù)排序例子02對(duì)信用卡欺詐數(shù)據(jù)，利用rxS

13、ort函數(shù)按照balance變量進(jìn)行降序排序head(rxSort(ccFraud_xdf,sortByVars = balance, decreasing = TRUE)描述性統(tǒng)計(jì)02可以利用rxSummary函數(shù)對(duì)數(shù)據(jù)進(jìn)行基本匯總統(tǒng)計(jì)，包括按組計(jì)算rxSummary(.,ccFraud_xdf) # 對(duì)全部變量進(jìn)行統(tǒng)計(jì)rxSummary(creditLine:fraudRisk,data = ccFraud_xdf) # 根據(jù)fraudRisk變量對(duì)creditLine變量進(jìn)行分組統(tǒng)計(jì)基本圖形功能02可以利用rxHistogram創(chuàng)建直方圖可以利用rxLinePlot創(chuàng)建線圖可以利用rxL

14、orenz計(jì)算可繪制的洛倫茲曲線可以利用rxRocCurve計(jì)算和繪制來自實(shí)際和預(yù)測(cè)數(shù)據(jù)的ROC曲線。目錄Microsoft R介紹Microsoft R數(shù)據(jù)處理技術(shù) Microsoft R機(jī)器學(xué)習(xí)010203機(jī)器學(xué)習(xí)算法03R有豐富的機(jī)器學(xué)習(xí)算法 ，MRS中的RevoScaleR包也包含了各種機(jī)器學(xué)習(xí)算法，常見算法如下表：rxLinMod線性回歸模型rxLogit邏輯回歸模型rxGlm廣義線性回歸模型rxDTree適用于數(shù)據(jù)分類或回 歸樹rxBTrees使用隨機(jī)梯度增強(qiáng)算 法對(duì)數(shù)據(jù)進(jìn)行分類或 回歸決策rxDForest隨機(jī)森林rxPredict計(jì)算擬合模型的預(yù)測(cè)。 輸出必須是XDF數(shù)據(jù)源rx

15、RocROC曲線邏輯回歸模型03利用rxLogit函數(shù)構(gòu)建邏輯回歸，summary函數(shù)查看模型結(jié)果# logitic回歸模型ccFraudglm - rxLogit(fraudRisk gender + cardholder + balance + numTrans+ numIntlTrans + creditLine,data = ccFraud_xdf)# 查看模型結(jié)果 summary(ccFraudglm)決策樹模型03使用rxDTree函數(shù)實(shí)現(xiàn)決策樹建模，如果響應(yīng)變量是因子型，構(gòu)建的是分類樹，如果是數(shù)值型則是回歸樹# 構(gòu)建決策樹模型ccFraudTree - rxDTree(fraud

16、Risk gender + cardholder + balance+ numTrans+ numIntlTrans + creditLine,data = ccFraud_xdf,blocksPerRead = 30, maxDepth = 5, cp = 1e-5)ccFraudTree查看cp信息03查看模型的cp等相關(guān)信息，其中cp是每次分類對(duì)應(yīng)的復(fù)雜度系數(shù)。隨著分割數(shù)的增加，交叉驗(yàn)證錯(cuò)誤（xerror）穩(wěn)步下降，注意到當(dāng)nsplit=12時(shí)，變化顯著減慢決策樹剪枝及可視化03我們可以使用prune.rxDTree函數(shù)進(jìn)行決策樹剪枝，利用RevoTreeView包中的createTre

17、eView函數(shù)對(duì)生成的樹進(jìn)行交互可視化# 對(duì)決策樹進(jìn)行剪枝ccFraudTree1 - prune.rxDTree(ccFraudTree,cp = 0.0037381672)# 對(duì)決策樹進(jìn)行可視化 library(RevoTreeView) plot(createTreeView(ccFraudTree1)03MicrosoftML包介紹MicrosoftML包提供了新的機(jī)器學(xué)習(xí)功能，具有更高的速度，性能和可 擴(kuò)展性，特別是處理大量的文本數(shù)據(jù)或高維分類數(shù)據(jù)。# 模型一：利用MicrosoftML包的rxFastTrees()函數(shù)構(gòu)建快速?zèng)Q策樹模型(a - Sys.time() #模型運(yùn)行前時(shí)

18、間treeModel - rxFastTrees(fraudRisk gender + cardholder + balance + numTrans+ + numIntlTrans + creditLine,data = ccFraud_xdf)(b - Sys.time() #模型運(yùn)行后時(shí)間b-a # 模型運(yùn)行時(shí)長(zhǎng)Time difference of 1.086313 mins# 模型二：利用MicrosoftML包的rxFastForest()函數(shù)構(gòu)建快速隨機(jī)森林模型(a - Sys.time() #模型運(yùn)行前時(shí)間forestModel - rxFastForest(fraudRisk gender + cardholder + balance + numTrans+ + numIntlTrans + creditLine,data = ccFraud_xdf)(b - Sys.time() #FastTrees模型運(yùn)行后時(shí)間b-a # 模型運(yùn)行時(shí)長(zhǎng)Time difference of 1.433823 mi