機(jī)器學(xué)習(xí)課次10~11-模型評(píng)估

彭輝94031097（QQ）機(jī)器學(xué)習(xí)MachineLearning模型評(píng)估任務(wù)目標(biāo)能力目標(biāo)使用模型評(píng)估與性能度量方法評(píng)價(jià)模型性能度量的基本方法模型評(píng)估的基本原理任務(wù)目標(biāo)素質(zhì)目標(biāo)團(tuán)隊(duì)協(xié)作學(xué)會(huì)學(xué)習(xí)實(shí)踐創(chuàng)新模型評(píng)估背景機(jī)器學(xué)習(xí)是對(duì)未來的預(yù)測，如何有效評(píng)學(xué)習(xí)器的性能呢？性能不佳的原因有哪些？使用哪些指標(biāo)呢？使用哪些手段可以合理的對(duì)模型性能進(jìn)行評(píng)估？錯(cuò)誤率與誤差模型評(píng)估誤差：樣本真實(shí)輸出與預(yù)測輸出之間的差異由于事先并不知道新樣本的特征，我們只能努力使經(jīng)驗(yàn)誤差最小化；很多時(shí)候雖然能在訓(xùn)練集上做到分類錯(cuò)誤率為零，但多數(shù)情況下這樣的學(xué)習(xí)器并不好錯(cuò)誤率:錯(cuò)分樣本的占比：訓(xùn)練(經(jīng)驗(yàn))誤差：訓(xùn)練集上測試誤差：測試集泛化誤差：新樣本上的誤差欠擬合&過擬合模型評(píng)估過擬合:

學(xué)習(xí)器把訓(xùn)練樣本學(xué)習(xí)的“太好”，將訓(xùn)練樣本本身的特點(diǎn)

當(dāng)做所有樣本的一般性質(zhì)，導(dǎo)致泛化性能下降優(yōu)化目標(biāo)加正則項(xiàng)欠擬合：

對(duì)訓(xùn)練樣本的一般性質(zhì)尚未學(xué)好決策樹:拓展分支神經(jīng)網(wǎng)絡(luò):增加訓(xùn)練輪數(shù)模型評(píng)估通常將包含個(gè)樣本的數(shù)據(jù)集拆分成訓(xùn)練集和測試集：樣本ID發(fā)型喉結(jié)胡須性別10.210.5男20.700.1女30.110.6男40.610.2男50.200.2女訓(xùn)練集測試集訓(xùn)練誤差測試誤差

我們假設(shè)測試集是從樣本真實(shí)分布中獨(dú)立采樣獲得，將測試集上的“測試誤差”作為泛化誤差的近似，所以測試集要和訓(xùn)練集中的樣本盡量互斥?，F(xiàn)實(shí)任務(wù)中往往會(huì)對(duì)學(xué)習(xí)器的泛化性能、時(shí)間開銷、存儲(chǔ)開銷、可解釋性等方面的因素進(jìn)行評(píng)估并做出選擇誤差的測量模型評(píng)估通常將包含個(gè)樣本的數(shù)據(jù)集拆分成訓(xùn)練集和測試集：留出法交叉驗(yàn)證自助法測試誤差與泛化誤差-評(píng)估方法：誤差的測量-續(xù)模型評(píng)估留出法：直接將數(shù)據(jù)集D劃分為兩個(gè)互斥集合：訓(xùn)練集S、測試集T訓(xùn)練/測試集劃分要盡可能保持?jǐn)?shù)據(jù)分布的一致性一般若干次隨機(jī)劃分、重復(fù)實(shí)驗(yàn)取平均值訓(xùn)練/測試樣本比例通常為2:1~4:1以二分類任務(wù)為例，假定D包含1000個(gè)樣本，將其劃分為S包含700個(gè)樣本，T包含300個(gè)樣本，用S進(jìn)行訓(xùn)練后，如果模型在T上有90個(gè)樣本分類錯(cuò)誤，那么其錯(cuò)誤率和精度分別為多少？錯(cuò)誤率：

(90/300)x100%=

30%精度：1-30%=70%.交叉驗(yàn)證法：將數(shù)據(jù)集D分層采樣劃分為k個(gè)大小相似的互斥子集，每次用k-1個(gè)子集的并集作為訓(xùn)練集，余下的子集作為測試集，最終返回k個(gè)測試結(jié)果的均值，k最常用的取值是10.模型評(píng)估模型評(píng)估與留出法類似，將數(shù)據(jù)集D劃分為k個(gè)子集同樣存在多種劃分方式，為了減小因樣本劃分不同而引入的差別，k折交叉驗(yàn)證通常隨機(jī)使用不同的劃分重復(fù)p次，最終的評(píng)估結(jié)果是這p次k折交叉驗(yàn)證結(jié)果的均值，例如常見的“10次10折交叉驗(yàn)證”多次交叉驗(yàn)證法：模型評(píng)估假設(shè)數(shù)據(jù)集D包含m個(gè)樣本，若令，則得到留一法：不受隨機(jī)樣本劃分方式的影響結(jié)果往往比較準(zhǔn)確當(dāng)數(shù)據(jù)集比較大時(shí)，計(jì)算開銷難以忍受留一法：模型評(píng)估自助法：以自助采樣法為基礎(chǔ)，對(duì)有m個(gè)樣本的數(shù)據(jù)集D，有放回采樣m次得到訓(xùn)練集

,用做測試集。實(shí)際模型與預(yù)期模型都使用m個(gè)訓(xùn)練樣本約有1/3的樣本沒在訓(xùn)練集中出現(xiàn)

樣本在m次采樣中不被采到的概率為:,取極值=約為0.368從初始數(shù)據(jù)集中產(chǎn)生多個(gè)不同的訓(xùn)練集，對(duì)集成學(xué)習(xí)有很大的好處自助法在數(shù)據(jù)集較小、難以有效劃分訓(xùn)練/測試集時(shí)很有用；由