版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
彭輝94031097(QQ)機(jī)器學(xué)習(xí)MachineLearning模型評(píng)估任務(wù)目標(biāo)能力目標(biāo)使用模型評(píng)估與性能度量方法評(píng)價(jià)模型性能度量的基本方法模型評(píng)估的基本原理任務(wù)目標(biāo)素質(zhì)目標(biāo)團(tuán)隊(duì)協(xié)作學(xué)會(huì)學(xué)習(xí)實(shí)踐創(chuàng)新模型評(píng)估背景機(jī)器學(xué)習(xí)是對(duì)未來的預(yù)測,如何有效評(píng)學(xué)習(xí)器的性能呢?性能不佳的原因有哪些?使用哪些指標(biāo)呢?使用哪些手段可以合理的對(duì)模型性能進(jìn)行評(píng)估?錯(cuò)誤率與誤差模型評(píng)估誤差:樣本真實(shí)輸出與預(yù)測輸出之間的差異由于事先并不知道新樣本的特征,我們只能努力使經(jīng)驗(yàn)誤差最小化;很多時(shí)候雖然能在訓(xùn)練集上做到分類錯(cuò)誤率為零,但多數(shù)情況下這樣的學(xué)習(xí)器并不好錯(cuò)誤率:錯(cuò)分樣本的占比:訓(xùn)練(經(jīng)驗(yàn))誤差:訓(xùn)練集上測試誤差:測試集泛化誤差:新樣本上的誤差欠擬合&過擬合模型評(píng)估過擬合:
學(xué)習(xí)器把訓(xùn)練樣本學(xué)習(xí)的“太好”,將訓(xùn)練樣本本身的特點(diǎn)
當(dāng)做所有樣本的一般性質(zhì),導(dǎo)致泛化性能下降優(yōu)化目標(biāo)加正則項(xiàng)欠擬合:
對(duì)訓(xùn)練樣本的一般性質(zhì)尚未學(xué)好決策樹:拓展分支神經(jīng)網(wǎng)絡(luò):增加訓(xùn)練輪數(shù)模型評(píng)估通常將包含個(gè)樣本的數(shù)據(jù)集拆分成訓(xùn)練集和測試集:樣本ID發(fā)型喉結(jié)胡須性別10.210.5男20.700.1女30.110.6男40.610.2男50.200.2女訓(xùn)練集測試集訓(xùn)練誤差測試誤差
我們假設(shè)測試集是從樣本真實(shí)分布中獨(dú)立采樣獲得,將測試集上的“測試誤差”作為泛化誤差的近似,所以測試集要和訓(xùn)練集中的樣本盡量互斥?,F(xiàn)實(shí)任務(wù)中往往會(huì)對(duì)學(xué)習(xí)器的泛化性能、時(shí)間開銷、存儲(chǔ)開銷、可解釋性等方面的因素進(jìn)行評(píng)估并做出選擇誤差的測量模型評(píng)估通常將包含個(gè)樣本的數(shù)據(jù)集拆分成訓(xùn)練集和測試集:留出法交叉驗(yàn)證自助法測試誤差與泛化誤差-評(píng)估方法:誤差的測量-續(xù)模型評(píng)估留出法:直接將數(shù)據(jù)集D劃分為兩個(gè)互斥集合:訓(xùn)練集S、測試集T訓(xùn)練/測試集劃分要盡可能保持?jǐn)?shù)據(jù)分布的一致性一般若干次隨機(jī)劃分、重復(fù)實(shí)驗(yàn)取平均值訓(xùn)練/測試樣本比例通常為2:1~4:1以二分類任務(wù)為例,假定D包含1000個(gè)樣本,將其劃分為S包含700個(gè)樣本,T包含300個(gè)樣本,用S進(jìn)行訓(xùn)練后,如果模型在T上有90個(gè)樣本分類錯(cuò)誤,那么其錯(cuò)誤率和精度分別為多少?錯(cuò)誤率:
(90/300)x100%=
30%精度:1-30%=70%.交叉驗(yàn)證法:將數(shù)據(jù)集D分層采樣劃分為k個(gè)大小相似的互斥子集,每次用k-1個(gè)子集的并集作為訓(xùn)練集,余下的子集作為測試集,最終返回k個(gè)測試結(jié)果的均值,k最常用的取值是10.模型評(píng)估模型評(píng)估與留出法類似,將數(shù)據(jù)集D劃分為k個(gè)子集同樣存在多種劃分方式,為了減小因樣本劃分不同而引入的差別,k折交叉驗(yàn)證通常隨機(jī)使用不同的劃分重復(fù)p次,最終的評(píng)估結(jié)果是這p次k折交叉驗(yàn)證結(jié)果的均值,例如常見的“10次10折交叉驗(yàn)證”多次交叉驗(yàn)證法:模型評(píng)估假設(shè)數(shù)據(jù)集D包含m個(gè)樣本,若令,則得到留一法:不受隨機(jī)樣本劃分方式的影響結(jié)果往往比較準(zhǔn)確當(dāng)數(shù)據(jù)集比較大時(shí),計(jì)算開銷難以忍受留一法:模型評(píng)估自助法:以自助采樣法為基礎(chǔ),對(duì)有m個(gè)樣本的數(shù)據(jù)集D,有放回采樣m次得到訓(xùn)練集
,用做測試集。實(shí)際模型與預(yù)期模型都使用m個(gè)訓(xùn)練樣本約有1/3的樣本沒在訓(xùn)練集中出現(xiàn)
樣本在m次采樣中不被采到的概率為:,取極值=約為0.368從初始數(shù)據(jù)集中產(chǎn)生多個(gè)不同的訓(xùn)練集,對(duì)集成學(xué)習(xí)有很大的好處自助法在數(shù)據(jù)集較小、難以有效劃分訓(xùn)練/測試集時(shí)很有用;由
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- DB13-T 5999-2024 公路路基剛性樁復(fù)合地基應(yīng)用技術(shù)規(guī)范
- 人教版初中信息技術(shù)教案
- 2024年心血管支架行業(yè)現(xiàn)狀分析:我國心血管支架使用量為190萬根
- 2024年LED路燈行業(yè)前景分析:我國LED路燈產(chǎn)量約為3795.77萬盞
- 2024-2025學(xué)年小學(xué)信息技術(shù)(信息科技)五年級(jí)上冊(cè)桂教版教學(xué)設(shè)計(jì)合集
- 2024年幼兒園垃圾分類工作計(jì)劃
- 2024奧運(yùn)征文800字模板
- 2024-2025學(xué)年中職中職專業(yè)課語言類-旅游外語77 教育與體育大類教學(xué)設(shè)計(jì)合集
- 2024-2025學(xué)年初中地理七年級(jí)下冊(cè)人教版(新課程標(biāo)準(zhǔn))(2024)教學(xué)設(shè)計(jì)合集
- 2024年08月金華事業(yè)單位公開招聘浙江大學(xué)金華研究院家庭教育中心公開招聘1人筆試歷年典型考點(diǎn)解題思路附帶答案詳解
- 重慶大學(xué)《應(yīng)用數(shù)值分析》(王開榮 楊大地)課后參考答案_助教版
- 陶喆那個(gè)女孩歌詞-陶喆那個(gè)女孩歌詞分配
- 人員素質(zhì)辭典(通用類)
- 氣管鏡檢查應(yīng)急預(yù)案-咯血
- 人工挖孔樁危險(xiǎn)源及預(yù)防措施,辨識(shí)
- JJF 1834-2020非自動(dòng)衡器通用技術(shù)要求
- 醫(yī)藥行業(yè)員工手冊(cè)范本
- 典型化工生產(chǎn)技術(shù)PPT學(xué)習(xí)教案
- 貝多芬《鋼琴三重奏》演奏探究
- 混合痔痔的護(hù)理查房.ppt
- 生物化學(xué)實(shí)驗(yàn)
評(píng)論
0/150
提交評(píng)論