模型評估與方法課件

第2章模型評估與選擇模型評估與方法2.1經(jīng)驗(yàn)誤差與過擬合2.2評估方法2.3性能度量2.4比較檢驗(yàn)2.5偏差與方差模型評估與方法2.1經(jīng)驗(yàn)誤差與過擬合經(jīng)驗(yàn)誤差VS泛化誤差過擬合VS欠擬合模型評估與方法模型評估與方法2.2評估方法2.2.1、留出法（hold-out）直接將數(shù)據(jù)集D劃分為兩個互斥的集合。2.2.2交叉驗(yàn)證法（crossvalidation）將數(shù)據(jù)集D劃分為K個大小相似的互斥子集，每次用K-1個子集的并集作為訓(xùn)練集，余下的子集作為測試集。

缺點(diǎn)比較：我們希望評估的是用D訓(xùn)練的模型。但在留出法和交叉驗(yàn)證法中，由于保留了一部分樣本用于測試，因此實(shí)際評估的模型所使用的訓(xùn)練集比D小，這必然會引入一些因訓(xùn)練樣本規(guī)模不同而導(dǎo)致的估計(jì)偏差。

模型評估與方法2.2.3自助法“自助法”是針對上述缺點(diǎn)的一個比較好的解決方案，它直接以自助采樣法為基礎(chǔ)。給定包含m個樣本的數(shù)據(jù)集D，我們對它進(jìn)行采樣產(chǎn)生數(shù)據(jù)集D’：每次隨機(jī)從D中挑選一個樣本，將其拷貝放入D’，然后再將該樣本放回初始數(shù)據(jù)集D中，使得該樣本在下次采樣時仍有可能被采到；這個過程重復(fù)執(zhí)行m次后，我們就得到了包含m個樣本的數(shù)據(jù)集D’，這就是自助采樣的結(jié)果。

于是我們可將D’用作訓(xùn)練集，D\D’用作測試集；這樣，實(shí)際評估的模型與期望評估的模型都使用m個訓(xùn)練樣本，而我們?nèi)杂袛?shù)據(jù)總量約1/3的、沒在訓(xùn)練集中出現(xiàn)的樣本用于測試。模型評估與方法2.2.4調(diào)參與最終模型

現(xiàn)實(shí)中常見的做法，是對每個參數(shù)選擇一個范圍和變化步長，例如在[0,0.2]范圍內(nèi)以0.05為步長，則實(shí)際要評估的候選參數(shù)值是5個，最終從這5個值中產(chǎn)生選定值。模型評估與方法2.3性能度量衡量模型泛化能力的評價標(biāo)準(zhǔn)2.3.1錯誤率與精度錯誤率是分類錯誤的樣本數(shù)占樣本總數(shù)的比例精度是分類正確的樣本數(shù)占樣本總數(shù)的比例模型評估與方法

真實(shí)情況預(yù)測結(jié)果正例反例正例TP（真正例）FN（假反例）反例FP（假正例）TN（真反例）模型評估與方法“平衡點(diǎn)”（Break-EventPoint，簡稱BEP）,就是查準(zhǔn)率與查全率時的取值。模型評估與方法

模型評估與方法2.3.3ROC和AUC根據(jù)實(shí)值或概率預(yù)測結(jié)果，我們可以將測試樣本進(jìn)行排序，“最可能”是正例的排在前面“最不可能”是正例的排在最后面。分類過程相當(dāng)于在這個排序中以某個“截?cái)帱c(diǎn)”將樣本分為兩個部分，前一部分判做正例，后一部分則判作反例。在不同的應(yīng)用任務(wù)中，我們可根據(jù)任務(wù)需求來采用不同的截?cái)帱c(diǎn)。排序本身質(zhì)量的好壞，體現(xiàn)了綜合考慮學(xué)習(xí)器在不同任務(wù)下的“期望泛化性能”的好壞，或者說“一般情況下”泛化性能的好壞。ROC曲線則是從排序本身質(zhì)量的好壞的角度來研究學(xué)習(xí)器泛化性能。模型評估與方法ROC全名“受試者工作特征”曲線，以“真正例率”為縱軸，以“假正例率”為橫軸。真正例率TPR：真正例樣本數(shù)/真實(shí)情況是正例的樣本數(shù)（查全率）假正例率FPR：假正例樣本數(shù)/真實(shí)情況是是反例的樣本數(shù)基于ROC曲線的學(xué)習(xí)器性能評價規(guī)則

1.當(dāng)曲線沒有交叉的時候：外側(cè)曲線的學(xué)習(xí)器性能優(yōu)于內(nèi)側(cè)；2.當(dāng)曲線有交叉的時候：比較ROC曲線下的面積即AUC(AreaUnderROCCurve)模型評估與方法2.3.4代價敏感錯誤率與代價曲線

在現(xiàn)實(shí)任務(wù)匯總常會遇到這樣的情況：不同類型的錯誤所造成的后果不同。為權(quán)衡不同類型錯誤所造成的的不同損失，可為錯誤賦予“非均等代價”(unequalcost)。如下圖所示，正確判斷的代價顯然應(yīng)該為0，錯誤判斷的代價之間的比值會影響我們對學(xué)習(xí)器的改造。

可令costij為把i類樣本錯判為j類樣本的代價，對所有類型錯誤的數(shù)量與其錯誤代價的乘積求和，再除以樣本總數(shù)量，就得到代價敏感（cost-sensitive）錯誤率。模型評估與方法在非均等代價下，ROC曲線不能直接反映出學(xué)習(xí)器的期望總體代價，而“代價曲線”則可以達(dá)到目的。代價曲線的橫軸是正例概率代價P(+)cost，縱軸是歸一化代價cost—normp是樣例為正例的概率FPR是假正例率，F(xiàn)NR=1-TPR模型評估與方法2.4比較檢驗(yàn)2.4.1假設(shè)檢驗(yàn)

假設(shè)檢驗(yàn)的基本思想是小概率反證法思想。小概率思想是指小概率事件（P<0.01或P<0.05）在一次試驗(yàn)中基本上不會發(fā)生。反證法思想是先提出假設(shè)(檢驗(yàn)假設(shè)H0)，再用適當(dāng)?shù)慕y(tǒng)計(jì)方法確定假設(shè)成立的可能性大小，如可能性小，則認(rèn)為假設(shè)不成立，若可能性大，則還不能認(rèn)為不假設(shè)成立。模型評估與方法2.4.2交叉驗(yàn)證t檢驗(yàn)

基本思想：若兩個學(xué)習(xí)器的性能相同，則使用相同的訓(xùn)練/測試集得到的測試錯誤率應(yīng)相同。假設(shè)檢驗(yàn)的前提：測試錯誤率均為泛化錯誤率的獨(dú)立采樣。k折交叉驗(yàn)證產(chǎn)生的K對測試錯誤率：先對每對結(jié)果求差，若兩個學(xué)習(xí)器性能相同則差值均值應(yīng)為0。因此根據(jù)差值對“學(xué)習(xí)器AB性能相同”做t檢驗(yàn)，計(jì)算差值的均值和方差，在顯著度確定條件下，判斷變量是否小于臨界值，若小于則無顯著差別，否則可判斷平均錯誤率較小的學(xué)習(xí)器性能較優(yōu)。因樣本有限，加查驗(yàn)證不同輪次訓(xùn)練集有重疊，測試錯誤率實(shí)際上不獨(dú)立，會導(dǎo)致過高估計(jì)假設(shè)成立的概率。

模型評估與方法2.4.3McNemar檢驗(yàn)McNemar主要用于二分類問題，與成對t檢驗(yàn)一樣也是用于比較兩個學(xué)習(xí)器的性能大小。主要思想是：若兩學(xué)習(xí)器的性能相同，則A預(yù)測正確B預(yù)測錯誤數(shù)應(yīng)等于B預(yù)測錯誤A預(yù)測正確數(shù)，即e01=e10，且|e01-e10|服從N（1，e01+e10）分布。模型評估與方法2.4.4Friedman檢驗(yàn)和Nemenyi后續(xù)檢驗(yàn)上述的三種檢驗(yàn)都只能在一組數(shù)據(jù)集上，F(xiàn)檢驗(yàn)則可以在多組數(shù)據(jù)集進(jìn)行多個學(xué)習(xí)器性能的比較，基本思想是在同一組數(shù)據(jù)集上，根據(jù)測試結(jié)果（例：測試錯誤率）對學(xué)習(xí)器的性能進(jìn)行排序，賦予序值1,2,3…，相同則平分序值，如下圖所示：模型評估與方法若學(xué)習(xí)器的性能相同，則它們的平均序值應(yīng)該相同，且第i個算法的平均序值ri服從正態(tài)分布N（（k+1）/2，（k+1）(k-1)/12），則有：

模型評估與方法

模型評估與方法2.5偏差與方差偏差-方差分解(bias-variancedecomposition)是解釋學(xué)習(xí)算法泛化性能的一種重要工具。算法的期望泛化誤差進(jìn)行分解，得到E(f;D)=bi