MLLib在淘寶的使用和改進(jìn)

MLlib在淘寶的應(yīng)用和改進(jìn)淘寶技術(shù)部數(shù)據(jù)挖掘與計算——高性能計算洪奇明風(fēng)MLlib在淘寶分類&回歸樸素貝葉斯決策樹線性模型協(xié)同過濾ALS聚類KMeans關(guān)聯(lián)規(guī)則FPGrowth降維優(yōu)化特征提取L-BFGS梯度下降基本統(tǒng)計相關(guān)性分層抽樣假設(shè)檢驗SVDPCATF-IDFWord2VecStandardScalerNormalizer主要內(nèi)容決策樹多分類決策樹基本算法應(yīng)用場景——用戶識別購買頻率女男男購買化妝品高低多少根節(jié)點葉節(jié)點內(nèi)部節(jié)點deftree_growth(instances):

#如果滿足終止條件，返回葉子結(jié)點

ifshould_stop(instances):leaf=newNode(isleaf=True)leaf.label=classify(instances)

returnleaf

#計算每一個split的信息增量

forsplitinpossible_splits:infogains[split]=calculate_infogain(split)

#得到具有最大信息增量的splitbest_split=infogains.index(max(infogains))

#按照最優(yōu)split劃分樣本，遞歸構(gòu)建樹root=newNode(isLeaf=False)

for(split_outcome,split_sublists)in

split_instances(instances,best_split):child=tree_growth(split_sublists)root.add_child(split_outcome,split_sublists)

returnroot決策樹的構(gòu)建決策樹在Spark的實現(xiàn)劃分特征每一個樣本應(yīng)該被分到哪個桶聚合每一個桶的統(tǒng)計信息計算每次分割的信息增量找到該層所有節(jié)點的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342劃分特征：連續(xù)特征的分割點SPARK-3207&PR-2780原來的實現(xiàn)：抽樣之后排序，選擇分位點作為分割點會有重復(fù)的分割點222222223分隔1分隔21劃分特征：連續(xù)特征的分割點現(xiàn)在的實現(xiàn)：統(tǒng)計每一個值的次數(shù)選擇累加次數(shù)最接近分位次數(shù)的值作為分割點不會有重復(fù)的分割點112222222233（1,2）（2,8）（3,2）48分位次數(shù)21012累計次數(shù)每一個詞的次數(shù)12分隔點1劃分特征：連續(xù)特征的分割點valstride:Double=featureSamples.length.toDouble/

(numSplits+1)valsplits=newArrayBuffer[Double]varindex=1varcurrentCount=valueCounts(0)._2vartargetCount=stridewhile(index<valueCounts.length){

valpreviousCount=currentCountcurrentCount+=valueCounts(index)._2

valpreviousGap=math.abs(previousCount-targetCount)

valcurrentGap=math.abs(currentCount-targetCount)

if(previousGap<currentGap){splits.append(valueCounts(index-1)._1)targetCount+=stride

}index+=1}1樣本分桶：一次FindBinsForLevelSPARK-3022&PR-1941FindBinsForLevel：樣本到bin的映射確定分隔之后，映射已經(jīng)確定在開始時計算一次和社區(qū)工作重合（PR-1950）valtreeInput=TreePoint.convertToTreeRDD(

retaggedInput,bins,metadata)2決策樹在Spark的實現(xiàn)劃分特征每一個樣本應(yīng)該被分到哪個桶聚合每一個桶的統(tǒng)計信息計算每次分割的信息增量找到該層所有節(jié)點的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342樣本分桶：一次FindBinsForLevelSPARK-3022&PR-1941FindBinsForLevel：樣本到bin的映射確定分隔之后，映射已經(jīng)確定在開始時計算一次和社區(qū)工作重合（PR-1950）valtreeInput=TreePoint.convertToTreeRDD(

retaggedInput,bins,metadata)2信息增益：并行計算BestSplitsSPARK-3366&PR-2595原先實現(xiàn)在Driver上計算每一個節(jié)點的BestSplitsDriver會成為計算和通信的瓶頸分布式計算BestSplitsReduceByKey把聚合信息Shuffle到Executor在Executor上進(jìn)行計算3決策樹在Spark的實現(xiàn)劃分特征每一個樣本應(yīng)該被分到哪個桶聚合每一個桶的統(tǒng)計信息計算每次分割的信息增量找到該層所有節(jié)點的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342信息增益：并行計算BestSplitsSPARK-3366&PR-2595原先實現(xiàn)在Driver上計算每一個節(jié)點的BestSplitsDriver會成為計算和通信的瓶頸分布式計算BestSplitsReduceByKey把聚合信息Shuffle到Executor在Executor上進(jìn)行計算3最好分割：前向剪枝SPARK-2207&PR-2332停止分隔的兩個參數(shù)minInfoGain:分隔造成的最小信息增量minInstancesPerNode：分隔出左右兒子最少的樣本數(shù)已經(jīng)合并進(jìn)master，1.2版本發(fā)布4決策樹在Spark的實現(xiàn)劃分特征每一個樣本應(yīng)該被分到哪個桶聚合每一個桶的統(tǒng)計信息計算每次分割的信息增量找到該層所有節(jié)點的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342最好分割：前向剪枝SPARK-2207&PR-2332停止分隔的兩個參數(shù)minInfoGain:分隔造成的最小信息增量minInstancesPerNode：分隔出左右兒子最少的樣本數(shù)已經(jīng)合并進(jìn)master，1.2版本發(fā)布4最好分割：避免葉結(jié)點的計算SPARK-3158&PR-2708葉節(jié)點不需要再去尋找最優(yōu)分隔：最后一層的節(jié)點Impurity為0的節(jié)點4決策樹在Spark的實現(xiàn)劃分特征每一個樣本應(yīng)該被分到哪個桶聚合每一個桶的統(tǒng)計信息計算每次分割的信息增量找到該層所有節(jié)點的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342最好分割：避免葉結(jié)點的計算SPARK-3158&PR-2708葉節(jié)點不需要再去尋找最優(yōu)分隔：最后一層的節(jié)點Impurity為0的節(jié)點4決策樹的展望梯度提升樹（GradientBoosting）AdaBoostSpark1.2版本多分類

多分類應(yīng)用場景對戰(zhàn)預(yù)測（勝(0)、負(fù)(2)、平(1)）球隊屬性1球隊屬性2球隊屬性3結(jié)果0.000.280.55610.00-0.02-0.00320.330.050.20…………多分類訓(xùn)練器（Estimator）輸入多分類預(yù)測器（Predictor）球隊屬性1球隊屬性2球隊屬性30.23-0.33-0.660.730.00-0.33………訓(xùn)練結(jié)果輸入結(jié)果21…多分類的實現(xiàn)使用One-VS-All策略，組合二分類器實現(xiàn)多分類訓(xùn)練數(shù)據(jù)訓(xùn)練器1訓(xùn)練器2訓(xùn)練器3…訓(xùn)練標(biāo)簽二值化預(yù)測器1預(yù)測器2預(yù)測器3…預(yù)測測試數(shù)據(jù)概率1概率1概率3…選擇概率最大的為結(jié)果多分類器的實現(xiàn)-訓(xùn)練deffit(input:RDD[LabeledPoint]):MultiClasssficationModel[M]={

valpredictors=newArray[M](numClasses)

varcls=0

while(cls<numClasses){

valcurrentLabel=cls

valbinaryInput=input.map(p=>{

vallabel=if(p.label==currentLabel)1.0else0.0

LabeledPoint(label,p.features)

})

valmodel:M=baseEstimator.fit(binaryInput)estimators(cls)=model

cls+=1

}

newMultiClassificationModel[M](predictors)

}多分類器的實現(xiàn)-預(yù)測classMultiClassificationModel[M<:ClassificationWithProbModel]

(valbasePredictors:Array[M])extendsSerializable{defpredict(x:Vector):Int={

valprobs=predictProb(x)probs.zipWithIndex.maxBy(_._1)._2

}defpredictProb(x:Vector):Array[Double]={

basePredictor