模型評估與優(yōu)化

模型評估與優(yōu)主講：湯淑寧化01評估方法02性能度量03模型優(yōu)化目錄評估方法1評估方法留出法直接將數(shù)據(jù)集D劃分為兩個(gè)互斥的集合，其中一個(gè)集合作為訓(xùn)練集S，另一個(gè)作為測試集T。交叉驗(yàn)證法先將數(shù)據(jù)集D劃分為K個(gè)大小相似的互斥子集，然后，每次用k—1個(gè)子集的并集作為訓(xùn)練集，余下的那個(gè)子集作為測試集。在留出法和交叉驗(yàn)證法中，由于保留了一部分樣本用于測試，因此實(shí)際評估的模型所使用的訓(xùn)練集比D小，這必然會引入一些因訓(xùn)練樣本規(guī)模不同而導(dǎo)致的估計(jì)偏差。評估方法自助法“自助法”(bootstrapping)是一個(gè)比較好的解決方案，它直接以自助采樣法為基礎(chǔ)。給定包含m個(gè)樣本的數(shù)據(jù)集D，我們對它進(jìn)行采樣產(chǎn)生數(shù)據(jù)集D'：每次隨機(jī)從D中挑選一個(gè)樣本，將其拷貝放入D',然后再將該樣本放回初始數(shù)據(jù)集D中，使得該樣本在下次采樣時(shí)仍有可能被采到。調(diào)參與最終模型現(xiàn)實(shí)中常用的做法是對每個(gè)參數(shù)選定一個(gè)范圍和變化步長，例如在[0,0.2]范圍內(nèi)以0.05為步長，則實(shí)際要評估的候選參數(shù)值有5個(gè)，最終是從這5個(gè)候選值中產(chǎn)生選定值。性能度量2性能度量錯(cuò)誤率與精度錯(cuò)誤率是分類錯(cuò)誤的樣本數(shù)占樣本總數(shù)的比例，精度則是分類正確的樣本數(shù)占樣本總數(shù)的比例。查準(zhǔn)率、查全率與F1對于二分類問題，可將樣例根據(jù)其真實(shí)類別與學(xué)習(xí)器預(yù)測類別的組合劃分為真正例(truepositive)、假正例(falsepositive)、真反例(truenegative)、假反例(falsenegative)四種情形，令TP、FP、TN、FN分別表示其對應(yīng)的樣例數(shù)，則顯然有TP+FP+TN+FN=樣例總數(shù)。性能度量ROC與AUCROC全稱是“受試者工作特征”，我們根據(jù)學(xué)習(xí)器的預(yù)測結(jié)果對樣例進(jìn)行排序，按此順序逐個(gè)把樣本作為正例進(jìn)行預(yù)測，每次計(jì)算出兩個(gè)重要量的值，分別以它們?yōu)闄M、縱坐標(biāo)作圖，就得到了“ROC曲線”。性能度量代價(jià)敏感錯(cuò)誤率與代價(jià)曲線在現(xiàn)實(shí)任務(wù)中常會遇到這樣的情況：不同類型的錯(cuò)誤所造成的后果不同。為權(quán)衡不同類型錯(cuò)誤所造成的不同損失，可為錯(cuò)誤賦予“非均等代價(jià)”。如下圖所示，正確判斷的代價(jià)顯然應(yīng)該為