創(chuàng)智數(shù)據(jù)挖掘平臺(tái)手冊(cè).docx

1、創(chuàng)智數(shù)據(jù)挖掘平臺(tái)手冊(cè)1、平臺(tái)描述創(chuàng)智數(shù)據(jù)挖掘平臺(tái)是一個(gè)基于Hadoop2和Mahout開發(fā)的數(shù)據(jù)挖掘平臺(tái)，用于為客戶提供公共挖掘算法服務(wù)。目前平臺(tái)己支持推薦、聚類、分類算法，能支持常用大數(shù)據(jù)挖掘的服務(wù)。平臺(tái)作為在服務(wù)端運(yùn)行的一個(gè)服務(wù)，將有關(guān)數(shù)據(jù)挖掘方面的運(yùn)算放在了服務(wù)端的集群上運(yùn)行，僅將最終結(jié)果返回給用戶的客戶端。因此為用戶在只擁有少量運(yùn)算和存儲(chǔ)資源的客戶端上提供了大數(shù)據(jù)挖掘的可能。平臺(tái)與用戶的客戶端之間僅通過消息進(jìn)行通訊，極大程度上降低了客戶端和服務(wù)端之間的耦合，使客戶端幾乎不會(huì)感知到服務(wù)端集群的擴(kuò)展和更新。2、平臺(tái)架構(gòu)平臺(tái)設(shè)計(jì)分為接口層、業(yè)務(wù)邏輯層、數(shù)據(jù)層，架構(gòu)圖如下：平臺(tái)設(shè)計(jì)分為接口層、

2、業(yè)務(wù)邏輯層、數(shù)據(jù)層，架構(gòu)圖如下：客戶端故摳挖拐任務(wù)及布1客戶端哉*戶玲故&。詼2挖拇乎臺(tái)13心中心平臺(tái)戈掙院接口層用于與客戶端進(jìn)行消息交互。目前平臺(tái)采用Rest消息格式，消息參數(shù)支持Json格式。業(yè)務(wù)邏輯層是平臺(tái)進(jìn)行消息調(diào)度、系統(tǒng)資源監(jiān)控、實(shí)現(xiàn)數(shù)據(jù)挖掘運(yùn)算和進(jìn)行用戶管理的地方，平臺(tái)需要擴(kuò)展新的數(shù)據(jù)挖掘算法的時(shí)候，也是在這一層加入新算法。數(shù)據(jù)層用于持久保存數(shù)據(jù)，包括用戶提交的原始數(shù)據(jù)、作為挖掘運(yùn)算輸入的預(yù)處理數(shù)據(jù)以及挖掘運(yùn)算的結(jié)果。目前數(shù)據(jù)保存在Hadoop2的HDFS文件系統(tǒng)中，今后將支持?jǐn)?shù)據(jù)保存到HBase非關(guān)系型數(shù)據(jù)庫以及Oracle等關(guān)系型數(shù)據(jù)庫中。3、平臺(tái)已支持的算法目前平臺(tái)己支持推薦

3、、聚類、分類三類共六個(gè)數(shù)據(jù)挖掘算法，算法如下表描述:算法分類算法名稱算法介紹推薦算法協(xié)同過濾算法(DistributedItem-Based)屬于推薦算法的一種，根據(jù)用戶己有的信息推算出用戶可能會(huì)感興趣的信息。比如根據(jù)用戶在超市的購買記錄推算出該用戶可能會(huì)對(duì)其他感興趣的商品，并將這些商品推薦給該用戶。FP樹挖掘算法(FPTree)屬于推薦算法的一種，用于從大量數(shù)據(jù)集中發(fā)現(xiàn)有價(jià)值的項(xiàng)目之間的關(guān)聯(lián)。比如超市商家從產(chǎn)品銷售信息里找出一種產(chǎn)品的銷量會(huì)帶動(dòng)其他哪些產(chǎn)品的銷量。支持分布式計(jì)算。聚類算法Canopy算法屬于聚類算法的一種，用于將一組未分類的數(shù)據(jù)分成多組相似的數(shù)據(jù)，該算法不需要指定分成多少組數(shù)

4、據(jù)，適合對(duì)數(shù)據(jù)了解較少的情況。支持分布式計(jì)算。K-Means算法屬于聚類算法的一種，與Canopy算法一樣用于將一組數(shù)據(jù)分成多組相似的數(shù)據(jù)，該算法區(qū)分結(jié)果更精確，但需指定分組數(shù)量，這在一定程度上限制了算法的使用。平臺(tái)調(diào)用K-Means算法時(shí)將分為兩步，第一步調(diào)用Canopy算法計(jì)算出聚類中心(分組)個(gè)數(shù)，第二步再調(diào)用K-Means算法，有效提高了運(yùn)算效率。支持分布式計(jì)算。支持分布式計(jì)算。分類算法貝葉斯算法(Bayesian)統(tǒng)計(jì)學(xué)分類算法，是一種根據(jù)已有數(shù)據(jù)的分類信息來將新數(shù)據(jù)歸類的算法，分類準(zhǔn)確率高，速度快，通常用于數(shù)據(jù)預(yù)測方向。支持分布式計(jì)算。隨機(jī)森林算法(RandomForests)分類

5、算法的一種，通過創(chuàng)建決策樹的方式來根據(jù)現(xiàn)有數(shù)據(jù)的分類信息將新數(shù)據(jù)歸類，優(yōu)點(diǎn)是即使有很大一部分?jǐn)?shù)據(jù)遺失，該方法仍然能比較準(zhǔn)確的實(shí)現(xiàn)數(shù)據(jù)分類。通常也用于數(shù)據(jù)預(yù)測。支持分布式計(jì)算。4、平臺(tái)使用為減少平臺(tái)與客戶端之間的耦合，平臺(tái)僅支持通過Rest消息與客戶端進(jìn)行通訊，不需要向用戶提供sdk開發(fā)包。所有的交互均通過異步Rest消息實(shí)現(xiàn)，消息格式為：消息類型消息格式消息說明數(shù)據(jù)挖掘消息ip:8080/DMP/rest/DMPImplService/dm/消息名稱/消息參數(shù)用于調(diào)用對(duì)應(yīng)的數(shù)據(jù)挖掘算法數(shù)據(jù)使用消ip:8080/DMP/rest/DMPImplService/query/用于獲取挖掘結(jié)果，需要該

6、預(yù)處息消息名稱/消息參數(shù)理數(shù)據(jù)已執(zhí)行過對(duì)應(yīng)的數(shù)據(jù)挖掘算法并己經(jīng)產(chǎn)生了挖掘結(jié)果數(shù)據(jù)分類消息ip:8080/DMP/rest/DMPImplService/classify/消息名稱/消息參數(shù)僅分類算法提供，用于根據(jù)己有分類結(jié)果將新數(shù)據(jù)歸類平臺(tái)調(diào)用挖掘算法的方式首先是通過接口將數(shù)據(jù)保存到平臺(tái)。因?yàn)橛脩魧?duì)數(shù)據(jù)要求各不相同，因此平臺(tái)暫時(shí)沒有提供數(shù)據(jù)預(yù)處理的處理，這需要用戶先將數(shù)據(jù)預(yù)處理后再保存到平臺(tái)，作為算法的輸入數(shù)據(jù)，然后再調(diào)用挖掘算法消息進(jìn)行計(jì)算。由于目前平臺(tái)數(shù)據(jù)輸入接曰尚未實(shí)現(xiàn)，因此目前平臺(tái)主要是通過Ftp方式將預(yù)處理數(shù)據(jù)存放到平臺(tái)。預(yù)處理數(shù)據(jù)存放到平臺(tái)后，就可以開始挖掘算法調(diào)用了。平臺(tái)各個(gè)挖掘

7、算法使用方式如下:算法名稱消息名稱和參數(shù)消息使用說明協(xié)同過濾算法(DistributedItem-Based)/dm/dib/ds&(para)協(xié)同過濾算法調(diào)用接口，用于啟動(dòng)推薦該推薦算法ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字就是預(yù)處理數(shù)據(jù)所在的文件央路徑para-協(xié)同過濾算法參數(shù)/query/dib/(ds&(numRec|&userFeature)&userStart&userStop協(xié)同過濾算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱numRec-每條記錄推薦的物品個(gè)數(shù)userFeature-用戶特征（包含指定名字的用戶）userStart-起始用戶號(hào)（從0開始）userStop-結(jié)束用戶

8、號(hào)（包含該下標(biāo)的用戶）FP樹挖掘算法（FPTree）/dm/fp/(ds)¶FP樹挖掘算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para-算法參數(shù)/query/fp/(ds)&(numRe1ation&feature)&(type)&numRecordersFP樹挖掘算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱nuniRelation-每條記錄返回的關(guān)聯(lián)組個(gè)數(shù)，-1表小全部feature-記錄特征（選取記錄的Key的包含了指定字符串的記錄），NULL表示參數(shù)為空type-返回記錄方式，ALL|MAX|MIN（ALL-返問全部關(guān)聯(lián)信息，此時(shí)numRela

9、lion不起作用;MAX-從關(guān)聯(lián)度最大的開始返回;MIN-從關(guān)聯(lián)度最小的開始返回）numRecorders返叵1記錄條數(shù)Canopy算法/dm/canopy/ds¶Canopy算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para-算法參數(shù)/query/canopy/ds¶mCanopy算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱paraM查詢參數(shù)，格式為:-op:true/false,-cn:聚類中心名稱,p:true/falseop表示是否只查詢聚類中心點(diǎn)，默認(rèn)為真；-cn為null時(shí)表示查詢?nèi)烤垲愔行?-op為false時(shí)，查詢聚類中心全匹

10、配設(shè)定字符串的類別下的所有記錄,-op為nie時(shí)，查詢聚類中心全匹配設(shè)定字符串的聚類中心；-P表示是否返回記錄屬性，默認(rèn)為false;K-Means算法/dm/kmcans/ds)¶1¶2K-Means算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑paral-用來計(jì)算聚類中心個(gè)數(shù)的Canopy算法的參數(shù)paral-K-Means算法的參數(shù)/query/kmeans/(ds¶mK-Means算法挖掘結(jié)果獲取ds-需要獲取的預(yù)處理數(shù)據(jù)集名稱para查詢參數(shù)，格式為-op:true/false,cn:聚類中心名稱，-p:lrue/false-op表示

11、是否只查詢聚類中心點(diǎn)，默認(rèn)為真；-cn為null時(shí)表示查詢?nèi)烤垲愔行?-op為false時(shí)，查詢聚類中心全匹配設(shè)定字符串的類別下的所有記錄,-op為true時(shí)，查詢聚類中心全匹配設(shè)定字符串的聚類中心；-P表示是否返回記錄屬性，默認(rèn)為false;貝葉斯算法(Bayesian)/dm/bayes/ds)¶3貝葉斯算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑para3-算法參數(shù)/classify/bayes/model&ds)貝葉斯算法分類新數(shù)據(jù)消息，這條消息在調(diào)用貝葉斯挖掘算法后調(diào)用，作用是根據(jù)挖掘算法結(jié)果來分類新數(shù)據(jù)model-已按貝葉斯算法分類的數(shù)據(jù)集名稱ds-待分類的數(shù)據(jù)集名稱/query/bayes/ds&nstart&nstop貝葉斯算法挖掘結(jié)果獲取ds-需要獲取的數(shù)據(jù)集名稱nstart-待查詢的數(shù)據(jù)起始行，如果該項(xiàng)值為0,表示從最開始查詢nstop-待查詢的數(shù)據(jù)結(jié)束行，如果該項(xiàng)值為0,表示一直查到分類結(jié)果結(jié)束隨機(jī)森林算法(RandomForests)/dm/rf/(ds&pdesc)&(pbuild隨機(jī)森林算法調(diào)用接口ds-需要運(yùn)算的預(yù)處理數(shù)據(jù)，名字同預(yù)處理數(shù)據(jù)所在的文件夾路徑pdesc-輸入生成描述文件的參數(shù)pbuild-輸入建立隨機(jī)森林模型的參數(shù)/classify/rf/(model&ds隨機(jī)森林算法分類新數(shù)據(jù)消息，這條消息