機(jī)器學(xué)習(xí)模型評(píng)估指標(biāo)總結(jié)

本文對機(jī)器學(xué)習(xí)模型評(píng)估指標(biāo)進(jìn)行了完整總結(jié)。機(jī)器學(xué)習(xí)的數(shù)據(jù)集一般被劃分為訓(xùn)練集和測試集，訓(xùn)練集用于訓(xùn)練模型，測試集則用于評(píng)估模型。針對不同的機(jī)器學(xué)習(xí)問題（分類、排序、回歸、序列預(yù)測等），評(píng)佔(zhàn)指標(biāo)決定了我們?nèi)绾魏饬磕Ｐ偷暮脡?。~、Accuracy準(zhǔn)確率是最簡單的評(píng)價(jià)指標(biāo)，公式如下：NfOTTECtNiat/if但是存在明顯的缺陷：?當(dāng)樣本分布不均勻時(shí)，指標(biāo)的結(jié)果山占比大的類別決定。比如正樣本占99%,只要分類器將所有樣本都預(yù)測為正樣本就能獲得99%的準(zhǔn)確率。?結(jié)果太籠統(tǒng)，實(shí)際應(yīng)用中，我們可能更加關(guān)注某一類別樣本的情況。比如搜索時(shí)會(huì)關(guān)心“檢索出的信息有多少是用戶感興趣的”，“用戶感興趣的信息有多少被檢測出來了”等等。相應(yīng)地還有錯(cuò)誤率：分類錯(cuò)誤的樣本占總樣本的比例。eTTor{f]Q)=(怎)/eTTor{f]Q)=acc(J;acc(J;D)=1—€rrar(f;7?)fromsklearn,metricshnportaccuracy_scorey_pred=[0,0,1,11y_true=[1,0,L0]——PrecisionRecall——PrecisionRecall和Fl精準(zhǔn)率預(yù)測正確的召回率測為正例。（Precision）也叫查準(zhǔn)率，衡量的是所有預(yù)測為正例的結(jié)果中,（為真正例）比例。（Recall）也叫査全率，衡量的是實(shí)際的正例有多少被模型預(yù)在排序問題中，一般以TopN的結(jié)果作為正例，然后計(jì)算前N個(gè)位置上的精準(zhǔn)率Precision@N和召回率Recall@NO精確率和召回率是一對相互矛盾的指標(biāo)，一般來說高精準(zhǔn)往往低召回,相反亦然。其實(shí)這個(gè)是比較直觀的，比如我們想要一個(gè)模型準(zhǔn)確率達(dá)到100%,那就意味著要保證每一個(gè)結(jié)果都是真正例，這就會(huì)導(dǎo)致有些正例被放棄；相反，要保證模型能將所有正例都預(yù)測為正例，意味著有些反例也會(huì)混進(jìn)來。這背后的根本原因就在于我們的數(shù)據(jù)往往是隨機(jī)、且充滿噪聲的，并不是非黑即白。精準(zhǔn)率和召回率與混淆矩陣密切相關(guān)，混淆矩陣是將分類（二分類）結(jié)果通過矩陣的形式直觀展現(xiàn)出來：真實(shí)情況預(yù)測結(jié)果正例預(yù)測結(jié)果反例正例TP（真正例）FN（假反例）

真實(shí)情況預(yù)測結(jié)果正例預(yù)測結(jié)果反例反例FP（假正例）TN（真反例）然后,很容易就得到精準(zhǔn)率（P）和召回率（R）TP的計(jì)算公式:TP+FN得到P和R真實(shí)情況預(yù)測結(jié)果正例預(yù)測結(jié)果反例反例FP（假正例）TN（真反例）然后,很容易就得到精準(zhǔn)率（P）和召回率（R）TP的計(jì)算公式:TP+FN為召回率，縱坐標(biāo)是精準(zhǔn)率。繪制方法如下：?對模型的學(xué)習(xí)結(jié)果進(jìn)行排序（一般都有一個(gè)概率值）?按照上面的順序逐個(gè)把樣本作為正例進(jìn)行預(yù)測，每次都可以得到一個(gè)PR值?將得到的PR值按照R為橫坐標(biāo)，P為縱坐標(biāo)繪制曲線圖。fromtypingimportList.Tupleimportmatplotlib.pyplotaspitdefget_confusion_matrix(y_pred:Lisi[inl],y_true:List[int])—>Tuple[]:length=len(y_pred)assertlength==len(y_true)tp,fp?fn.tn=0,0.0,0foriinrange(Ienglh):ify_pred[i]==y_irue[i]andy_pred[i]==I:tp+=1elify_pred[i]==y_true(ilandy_pred(i]==0:tn+=1elify_pred(i]==1andy_lrue[i]==0:fp+=Ielify_pred[i]==0andy_irue[i]==I:fn+=1return(tp,fp.tn.fn)defcalc_p(lp:int,fp:int)—>float:returntp/(tp+fp)defcalc_r(tp:int,fn:int)—>float:returntp/(tp+fn)defget_pr_pairs(y_pred_prob:List[float],y_true:List[inr])—>Tuple[List[int3.List[ini]]:ps=[1]rs=[0]forprobliny_pred_prob:y—Pred」=[]forprob2iny_pred_prob:ifprob2<probl:y_pred_i.append(O)else:y_pred_i.append(i)tp?Ip.in.in=get_coniusion_matrix(y_pred」，y_irue)p=calc_p(tp?fp)r=calc_r(tp,fn)ps.append(p)rs.appcnd(r)ps.appcnd(O)rs.append(l)returnps.rsy_pred_prob=[0.9,0.8,0704.0.53,0,52,05,040.39.038,O?37,5.034,O.33.030.1]y_true=|L1,0.1.L1.00.L.,0.L0]y_prcd=[1]*10+[0]*10ps.rs=get_pr_pairs(y_prcd_prob.y_true)fig.ax=plt.subplots(nrows=Lncols=Lfigsize=(12,5))如果有多個(gè)模型就可以繪制多條P-R曲線：?如果某個(gè)模型的曲線完全被另外一個(gè)模型“包住"（即后者更加凹向原點(diǎn)）.那么后者的性能一定優(yōu)于前?者。?如果多個(gè)模型的曲線發(fā)生交義，此時(shí)不好判斷哪個(gè)模型較優(yōu)，一個(gè)較為合理的方法是計(jì)算曲線下面積，但這個(gè)值不太好估算。為了獲得模型優(yōu)劣，需要綜合P和R,平衡點(diǎn)BEP（Break-EvenPoint）就是這樣一個(gè)度量，它是P=R時(shí)的取值，BPE越遠(yuǎn)離原點(diǎn)，說明模型效果越好。山于BPE過于簡單，實(shí)際中常用F1值衡量：F1有更一般的形式:儼）與〃（02XP）+斤當(dāng)P>1時(shí)，更偏好召回當(dāng)當(dāng)P<1時(shí)，更偏好精準(zhǔn)當(dāng)P=1時(shí)，平衡精準(zhǔn)和召回，即為F1口F其實(shí)來自精準(zhǔn)和召回的加權(quán)調(diào)和平均：Har7nomcMean{(ii,<2).--,0n)==Fp儼y+（1一a）KHar7nomcMean{(ii,<2).--,0n)==Fp儼y+（1一a）K當(dāng)有多個(gè)混淆矩陣（多次訓(xùn)練、多個(gè)數(shù)據(jù)集、方式佔(zhàn)算macro方法：micro方法：種多分類任務(wù)）時(shí)，有兩“全局”性能：:—F=—；--古+T+…+十a(chǎn)>+(l-c)F==2八儼二1二^Fl先計(jì)算每個(gè)pR，取平均后，再計(jì)?算先計(jì)算混淆矩陣元素的平均，再計(jì)?算PR和Fl三、RHSE均方根誤差RMSE〈RootMearnSquareError）王要用在回歸模型，也就是俗稱的R方。計(jì)算公式為：RMSE=刀戸丄仏"仏尸但是如果有非常嚴(yán)重的離群點(diǎn)時(shí)，那些點(diǎn)會(huì)影響RMSE的結(jié)果，針對這個(gè)問題:?如果離群點(diǎn)為噪聲，則去除這些點(diǎn)?如果離群點(diǎn)為正常樣本，可以重新建模?換一個(gè)評(píng)佔(zhàn)指標(biāo)，比如平均絕對百分比誤差MAPE（MeanAbsolutePercentError）,MAPE對每個(gè)誤差進(jìn)行了歸一化，一定程度上降低了離群點(diǎn)的影響。工AdAPE="lyil00X工AdAPE="lyil00Xn四、R0C和AUC受試者工作特征ROC〈ReceiverOperatingCharacteristic)曲線FPR(False是另一個(gè)重要的二分類指標(biāo)。它的橫坐標(biāo)是“假正例率”PositiveRate),縱坐標(biāo)是"真正例率”TPR(TruePositiveRate),計(jì)算公式如下：FPTPTPR=FPRTPR=FP十FP十TNTP十FN繪制方法和上面的P-R曲線類似，不再贅述。defcalc_fpr(fp:im.tn:ini)->float:returnfp/(fp+tn)defcalc_tpr(tp:int.fn:ini)->float:returntp/(Ip+fn)defget』pr.pairs(y_pred_prob:Listffloat],y_true:List[int])->TuplefLisl[int].List[int]]:fprs=[0ltprs=[0]forprobliny_pred_prob:y-Pred」=[]forprob2iny_pred_prob:ifprob2<probl:y_pred_i.append(O)else:y_pred_i.append(l)tp?fp?in.fn=get_confusion_matrix(y_prcd_Ly_irue)fpr=calc_fpr(fp?tn)tpr=calc_ipr(lp?fn)fprs.appcnd(fpr)tprs.append(tpr)fprs.append(l)tprs.appcnd(l)returnfprs,iprsfprs.tprs=gei_ftpr_pairs(y_prcd_prob.y_true)fig,ax=plt.subplots(nrows=Lncols=Lfigsizc=(12,5))ax?plot(fprs?tprs);OB—06—04—0200—0810—QO&20406除此之外，還有一種繪制ROC曲線的方法：?假設(shè)有m+個(gè)正例，m-個(gè)負(fù)例，對模型輸出的預(yù)測概率按從高到低排序?然后依次將每個(gè)樣本的預(yù)測值作為閾值(即將該樣本作為正例)，假設(shè)前一個(gè)坐標(biāo)為(X,y),若當(dāng)前為真正例，對應(yīng)標(biāo)記點(diǎn)為(X,y+l/in+)，若當(dāng)前為假正例，則對應(yīng)標(biāo)記點(diǎn)為(x+l/m—y)?將所有點(diǎn)相連即可得到R0C曲線該方法和這種做法是一樣的：將縱坐標(biāo)的刻度間隔設(shè)為l/ni+，橫坐標(biāo)的刻度間隔設(shè)為l/m-.從(0,0)開始，每遇到一個(gè)真正例就沿著縱軸繪制一個(gè)刻度間隔的曲線，假正例就沿著橫軸繪制一個(gè)刻度間隔的曲線，最終就可以得到ROC曲線。defget』pr.pairs2(y_pred_prob:List[float].y_true:List[int])—>Tuple(Lisl[intl.List[int]]:mplus=sum(y_irue)msub=len(y_true)—mpluspairs=[(0?0)]prev=(0,0)length=len(y_pred_prob)assertlength==len(y_true)foriinrange(Ienglh):ify_true(i]==1:pair=(prev[0],prev(1]+1/niplus)else;pair=(prev(0]+1/msub.prev(l])pairs.appcnd(pair)prcv=pairpairs,appcnd((l?1))fprs?tprs=[]?[]f???forpairinpairs:fprs.appcnd(pair[0])tprs.appcnd(pair[lj)returnfprs,iprsfprs.tprs=gel_ftpr_pairs2(y_prcd_prob,y_true)fig.ax=plLsubplots(nrows=l,ncols=)T1igsizc=(12?5))ax.plot(fprs,tprs);Q.O02€404'll1!）該方法和上面第一種方法得到的曲線完全一致。多個(gè)模型時(shí)，與P-R曲線也是類似，如果某個(gè)模型的曲線完全“包住”另一個(gè)，則前者性能好于后者。如果曲線相互交義，則比較曲線下面積：AUC（AreaUnderROCCurve)。AUC取值一般在0.5-1之間，處于y=x直線的上方（如果不是的話，把預(yù)測概率翻轉(zhuǎn)成1-P就能獲得更好的模型）。AUC值越大，說明模型越可能把真正例排在前面，性能越好。此時(shí)，假正例率很低同時(shí)真正例率很高，意味著召回高并且誤判率小。對角線對應(yīng)著隨機(jī)模型（各占50%）.<0.1）點(diǎn)對應(yīng)的是理想模型，即所有正例100%召回且沒有一個(gè)負(fù)例被判別為正例。AUC面積可以通過以下公式進(jìn)行佔(zhàn)算：m■1工仗訐1一xj,（笑十M+1）AUC考慮的是樣本預(yù)測的排序質(zhì)fi,與排序誤差緊密相連，排序“損失”loss可定義為：該式子的意思是，如果正例預(yù)測值小于負(fù)例，計(jì)1個(gè)罰分，如果相等則計(jì)0.5個(gè)罰分。顯然，該式對應(yīng)的就是R0C曲線上面的面積。因此有：?41/C=1—trankP-R曲線相比，R0C曲線有一個(gè)特點(diǎn)：當(dāng)正負(fù)樣本的分布發(fā)生變化時(shí)，R0C曲線形狀能基本保持不變，而P-R曲線的形狀一般會(huì)發(fā)生比較劇烈的變化。因此，當(dāng)數(shù)據(jù)不均勻時(shí)，R0C曲線更能夠反映模型好壞。而這背后的原因是：P-R曲線關(guān)注的是真實(shí)的正例和預(yù)測的正例中(分別對應(yīng)Recall和Precision),實(shí)際是正例的比例R0C曲線關(guān)注的是真實(shí)的正例和負(fù)例中(分別對應(yīng)TPR和FPR),被預(yù)測為正例的比例五.KS作為一個(gè)工程師，看到KS我們的第一反應(yīng)應(yīng)該是：既然已經(jīng)有了PR、ROC等評(píng)價(jià)指標(biāo)，為什么還需要KS?它解決了前面指標(biāo)解決不了的什么問題？它究竟有什么特點(diǎn)？KSTest(Kolmogorov-Smirnov)是由兩位辦聯(lián)數(shù)學(xué)家A.N.Kolmogorov和X.V.Smirnov提出的，用于比較樣本與參考概率分布或比較兩個(gè)樣本的非參數(shù)檢驗(yàn)。我們以兩樣本為例，假設(shè)m個(gè)sample來自分布F(x),n個(gè)來自G(x),定義KS統(tǒng)計(jì)量(KS距離)為：=sup\F"(x)—(if)I其中F(x)和G(x其中F(x)和G(x)都是經(jīng)驗(yàn)累積分布函數(shù)distributionfunction),定義如下；1刃凡仗)二一工彳-兀詞(xMXiV勺ECDF<empirical/(JCf)=1，else0sup表示上確界，也是最小上界。原始假設(shè)H0：兩組samplesup表示上確界，也是最小上界。原始假設(shè)H0：兩組sample來自統(tǒng)一分布,在大樣本上，在置信水平a下如果滿足下面的條件則拒絕零假設(shè)(認(rèn)為兩組樣本來自不同分布)：Dg宛>c(a)Vc{a)=V-My)-代入后得到：常用的值如下：ALPHAALPHA0100.050-010.005da)1224135816281.7314da)1224135816281.7314fromscipyimportstatsrvsl=siatsjiorm.rvs(size=200.loc=0.,scale=l)rvs2=slats.norm.rvs(size=300.loc=0.5,scale=L5)stats.ks_2samp(rvslrvs2)#在宜信度005水平下:1.358*HfKsqrti500/60000)=0J24#Ks_2santpResult(statistic=0,265.p\*alue=7J2640l3357l0852e-08)#0.265>0J24所以拒絕原假設(shè)即認(rèn)為兩組樣本來自不同分布#事實(shí)上,即便是0.005的宜信水平下依然要拒絕原假設(shè)fig.ax=plt.subplots(nrows=Lncols=Lfigsize=(12.5))ax.hisl(rvsLdensity=False.histtype='stepfilled\alpha=0.2,color='rcdj;ax.hisl(rvs2.density=False,hisiiype='siepfilled\alpha=0.2,color—blue');其中statistic就是ks統(tǒng)i|?量?！鉟202那這乂和評(píng)價(jià)指標(biāo)有啥關(guān)聯(lián)呢？我們考慮這么一種悄況，假設(shè)數(shù)據(jù)集的Label并不是離散的（如二分類的0-1）,而是可能滿足一定分布，也就是說標(biāo)簽有很多灰色地帶。其實(shí)這在實(shí)際生活中倒是更加常見，以金融風(fēng)控為例，不少特征都是基于某個(gè)時(shí)間點(diǎn)做劃分的，比如逾期還款X天，這個(gè)X是非常靈活的，而且也很難說X-1天的就一定比X+1天的信用好。這就意味著給定特征下，我們的標(biāo)簽最好能夠有一定〃彈性〃0那么，怎么去體現(xiàn)這個(gè)〃彈性”呢？因?yàn)镵S正好是衡量兩個(gè)“分布〃的“距離”，我們可以構(gòu)造一個(gè)函數(shù)：fcs=\TPRFPR\然后我們可以畫出KS曲線，可以證明，KS和ROC等價(jià)，且滿足如下公式:AUCnoc=0.5+AUCKSKS的最大值就用來評(píng)佔(zhàn)模型的區(qū)分度。而所謂的區(qū)分度正可以看作是正負(fù)例的差異9具體而言，如果正負(fù)例對于標(biāo)簽沒有區(qū)分度，說明兩個(gè)樣本重疊較大；區(qū)分度越大，說明兩個(gè)概率分布相隔越遠(yuǎn)。回到KS土：?如果KS的最大值很小，說明TPR和FPR接近同一分布，也就意味著真實(shí)的正例和負(fù)例被預(yù)測為正例的比例相似，說明模型很差。?如果KS的最大值很大，說明TPR和FPR區(qū)別很大，意味著真實(shí)的正例被預(yù)測為正例和真實(shí)的負(fù)例被預(yù)測為正例相差很大，說明模型效果較好（能夠區(qū)分真實(shí)正例和真實(shí)負(fù)例）。事實(shí)上，KS的確常用在金融風(fēng)控中，用來評(píng)佔(zhàn)模型的區(qū)分度，區(qū)分度越大說明模型的風(fēng)險(xiǎn)排序能力越強(qiáng)。但值太大也有問題（可能過擬合），一般超過0.75就認(rèn)為過高，而低于0.2則過低。關(guān)于這個(gè)我們可以看圖我們假設(shè)曲線光滑，那么AUC_KSQ我們假設(shè)曲線光滑，那么AUC_KSQ1/2Xniax_KS,根據(jù)前面的公式:他5心