分類器的評估

1、分類器的評估張英張英混淆矩陣與分類準(zhǔn)確率多分類問題多分類問題的混淆矩陣的混淆矩陣預(yù)測結(jié)果類預(yù)測結(jié)果類c1c2ck總總實(shí)實(shí)際際類類c1c2ck總總n準(zhǔn)確率準(zhǔn)確率誤分類率誤分類率分類模型的評價指標(biāo)1. 準(zhǔn)確率與誤分類率準(zhǔn)確率與誤分類率準(zhǔn)確率準(zhǔn)確率 =(tp+tn) )/(tp+fn+fp+tn)誤分類率誤分類率=(fn+fp)/(tp+fn+fp+tn)真正率（靈敏度）真正率（靈敏度） =tp/(tp+fn)真負(fù)率（特指度）真負(fù)率（特指度） =tn/(fp+tn) 假正率假正率 =fp/(fp+tn) 假負(fù)率假負(fù)率 =fn/(tp+fn)二分類問題二分類問題的混淆矩陣的混淆矩陣預(yù)測結(jié)果類預(yù)測結(jié)果類

2、+-總總實(shí)實(shí)際際類類+ tp fntp+fn- fp tnfp+tn總總tp+fpfn+tntp+fn+fp+tn不平衡分布類二類分類問題的混淆矩陣預(yù)測結(jié)果類+10-90實(shí)際類+5+(tp)3+-(fn)2-95-+(fp)7(tn)88誤分類率：誤分類率：9% 真正率：真正率：60%評估指標(biāo)評估指標(biāo)2. 精度精度 P=tp / (tp+fp) 3. 召回率（真正率、靈敏召回率（真正率、靈敏度）度） R=tp/(tp+fn)4.FSCORE 精度和召回率精度和召回率 的調(diào)和均值：的調(diào)和均值：召回率和精度的權(quán)重相同：召回率和精度的權(quán)重相同： F = 2RP/(R+P)將召回率的權(quán)重設(shè)為精度的將召

3、回率的權(quán)重設(shè)為精度的倍倍：二分類問題的二分類問題的混淆矩陣混淆矩陣預(yù)測結(jié)果類預(yù)測結(jié)果類+-總總實(shí)實(shí)際際類類+ tp fntp+fn- fp tnfp+tn總總tp+fpfn+tntp+fn+fp+tn評估指標(biāo)二分類問二分類問題的誤分題的誤分類代價類代價預(yù)測結(jié)果類預(yù)測結(jié)果類+-總總實(shí)際實(shí)際類類+C(+,+) C(+,-) C(+,+)*TP+C(+,-)*FN-C(-,+) C(-,-) C(-,+)*FP+C(-,-)*TN誤分類代價誤分類代價 （成本或收益）（成本或收益） 誤分類代價對稱誤分類代價對稱C(+,+)=C(-,-)=0C(+,-)=C(-,+)=1誤分類代價不對稱誤分類代價不對稱

4、關(guān)注預(yù)測為正類 成本角度 收益角度二分類問題的二分類問題的混淆矩陣混淆矩陣預(yù)測結(jié)果類預(yù)測結(jié)果類+-總總實(shí)實(shí)際際類類+ tp fntp+fn- fp tnfp+tn預(yù)測性能評估指標(biāo)的選擇預(yù)測性能評估指標(biāo)的選擇 平衡分布類，對稱誤分類代價 準(zhǔn)確率、誤分類率，精度誤分類率，精度 不平衡分布類，對稱誤分類代價 精度，召回率，精度，召回率，F(xiàn)SCORE 不對稱誤分類代價 成本或收益成本或收益模型評估方法Hold方法方法將數(shù)據(jù)分成訓(xùn)練集和驗(yàn)證（測試）集，一般按照將數(shù)據(jù)分成訓(xùn)練集和驗(yàn)證（測試）集，一般按照2:1比例劃分，以驗(yàn)證集指標(biāo)進(jìn)行評估；比例劃分，以驗(yàn)證集指標(biāo)進(jìn)行評估；多次隨機(jī)采樣多次隨機(jī)采樣進(jìn)行進(jìn)行N

5、次上述（次上述（1）的隨機(jī)采樣，然后計算）的隨機(jī)采樣，然后計算N個測個測試精度的平均值試精度的平均值自助法（自助法（bootstrap)（最常用的（最常用的.632自助法）自助法）進(jìn)行進(jìn)行N次有放回的均勻采樣，獲得的數(shù)據(jù)集作為訓(xùn)次有放回的均勻采樣，獲得的數(shù)據(jù)集作為訓(xùn)練集，原數(shù)據(jù)集中未被抽中的其它觀測形成驗(yàn)證練集，原數(shù)據(jù)集中未被抽中的其它觀測形成驗(yàn)證集?？芍貜?fù)集?？芍貜?fù)K次，計算準(zhǔn)確率：次，計算準(zhǔn)確率：模型評估方法交叉驗(yàn)證交叉驗(yàn)證 數(shù)據(jù)集小的時候，可將數(shù)據(jù)集分成數(shù)據(jù)集小的時候，可將數(shù)據(jù)集分成K個不相個不相交的等大數(shù)據(jù)子集，每次將交的等大數(shù)據(jù)子集，每次將K-1個數(shù)據(jù)集作為訓(xùn)個數(shù)據(jù)集作為訓(xùn)練集，將練

6、集，將1個數(shù)據(jù)集作為驗(yàn)證（測試）集，得個數(shù)據(jù)集作為驗(yàn)證（測試）集，得到到K個測試精度，然后計算個測試精度，然后計算K個測試指標(biāo)的平均個測試指標(biāo)的平均值。值。留一交叉驗(yàn)證：留一交叉驗(yàn)證：K=N；分層交叉驗(yàn)證：每個部分中保持目標(biāo)變量的分分層交叉驗(yàn)證：每個部分中保持目標(biāo)變量的分布。布。不同分類器預(yù)測準(zhǔn)確度差異的顯不同分類器預(yù)測準(zhǔn)確度差異的顯著性檢驗(yàn)著性檢驗(yàn) T檢驗(yàn)（自由度為檢驗(yàn)（自由度為K-1）以交叉驗(yàn)證為例（以交叉驗(yàn)證為例（k為驗(yàn)證集觀測分折數(shù)）：為驗(yàn)證集觀測分折數(shù)）：相同驗(yàn)證集：相同驗(yàn)證集：不同驗(yàn)證集：不同驗(yàn)證集：分類器預(yù)測準(zhǔn)確度分類器預(yù)測準(zhǔn)確度置信區(qū)間置信區(qū)間分類器預(yù)測分類器預(yù)測真正真正準(zhǔn)確度

7、準(zhǔn)確度p=其中：N：驗(yàn)證集觀測個數(shù)； acc：基于當(dāng)前驗(yàn)證集分類器的準(zhǔn)確度；ROC曲線（receiver operating characteristic) 曲線下方面積越大，模型越好，即曲線與曲線下方面積越大，模型越好，即曲線與y軸正向的夾角越小軸正向的夾角越小越好。越好。真正率真正率假正率假正率二分類問題二分類問題的混淆矩陣的混淆矩陣預(yù)測結(jié)果類預(yù)測結(jié)果類+-總總實(shí)實(shí)際際類類+ tp fntp+fn- fp tnfp+tn總總tp+fpfn+tntp+fn+fp+tn制作ROC曲線驗(yàn)證集共有驗(yàn)證集共有10個觀測，其中正類（個觀測，其中正類（P類）類）5個，負(fù)類（個，負(fù)類（N類）類）5個個將驗(yàn)

8、證集各觀測按照預(yù)測為正類的概率降序排列，每個觀測計算對應(yīng)將驗(yàn)證集各觀測按照預(yù)測為正類的概率降序排列，每個觀測計算對應(yīng)的真正率和假正率，形成一個點(diǎn)。的真正率和假正率，形成一個點(diǎn)。提升圖假定：假定： 目標(biāo)變量的取值為目標(biāo)變量的取值為GOOD 和和BAD N 為驗(yàn)證集觀測個數(shù)；為驗(yàn)證集觀測個數(shù)； RGOOD為驗(yàn)證集目標(biāo)變量取為驗(yàn)證集目標(biāo)變量取 值為值為GOOD的觀測個數(shù)；的觀測個數(shù)； p_good為驗(yàn)證集目標(biāo)變量為驗(yàn)證集目標(biāo)變量 預(yù)測為預(yù)測為GOOD的概率值；的概率值；驗(yàn)證集的混驗(yàn)證集的混淆矩陣淆矩陣預(yù)測預(yù)測結(jié)果類結(jié)果類goodbad總總實(shí)實(shí)際際類類good tp fnRGOODbad fp tnR

9、bad總總N繪制提升圖1.將驗(yàn)證集各觀測按照將驗(yàn)證集各觀測按照p_good降序排列降序排列,等分成等分成10組。組。2.以以10個分組為橫坐標(biāo)個分組為橫坐標(biāo) 以下指標(biāo)分別為縱坐標(biāo)：以下指標(biāo)分別為縱坐標(biāo)：%response：每組中實(shí)際為：每組中實(shí)際為GOOD的觀測個數(shù)占本組總的觀測個數(shù)占本組總個數(shù)的比例個數(shù)的比例;%captured response:每組中實(shí)際為每組中實(shí)際為GOOD的觀測個數(shù)的觀測個數(shù)占占RGOOD的比例的比例;%cumulative response:前面各組中實(shí)際為前面各組中實(shí)際為GOOD的觀測的觀測個數(shù)占前面各組總個數(shù)的比例個數(shù)占前面各組總個數(shù)的比例%cumulative

10、 captured response:前面各組中實(shí)際為前面各組中實(shí)際為GOOD的觀測個數(shù)占的觀測個數(shù)占RGOOD的比例。的比例。lift value=使用模型以后的使用模型以后的% response/ 不使用任何模不使用任何模型進(jìn)行決策的型進(jìn)行決策的% response提升圖某公司發(fā)送了某公司發(fā)送了1000封廣告郵件，有封廣告郵件，有200個客戶響應(yīng)了郵件（即由于個客戶響應(yīng)了郵件（即由于收到郵件而在該公司產(chǎn)生了消費(fèi)行為）。每個收到郵件而在該公司產(chǎn)生了消費(fèi)行為）。每個10分位（分位（100個觀測）的個觀測）的響應(yīng)者個數(shù)根據(jù)對驗(yàn)證數(shù)據(jù)集的計算得到。響應(yīng)者個數(shù)根據(jù)對驗(yàn)證數(shù)據(jù)集的計算得到。決策閾值選擇 根據(jù)每個觀測預(yù)測為每個目標(biāo)類的根據(jù)每個觀測預(yù)測為每個目標(biāo)類的概率決定該觀測的目標(biāo)類值。概率決定該觀測的目標(biāo)類值。 對二分類：對二分類： 理論閾值理論閾值p=1/(1+1/B) B=C（-，+）/C（+，-）根據(jù)提升圖和實(shí)際業(yè)務(wù)背景選擇根據(jù)提升圖和實(shí)際業(yè)務(wù)背景選擇合適的分組比例。合適的分組比例。 根據(jù)分組比例決定最終決策閾根據(jù)分組比例決定最終決策閾值。值。提高分類準(zhǔn)確率技術(shù)組合分類組合分類方法 有放回抽樣產(chǎn)生多個樣本 裝袋：多數(shù)表決決定最終結(jié)果 提升（ada boost) 隨機(jī)森林：多顆決策樹，隨機(jī)屬性選擇組合方法 聯(lián)合方法