機(jī)器學(xué)習(xí)課次12-性能度量

彭輝94031097（QQ）機(jī)器學(xué)習(xí)MachineLearning性能度量任務(wù)目標(biāo)能力目標(biāo)使用模型評(píng)估與性能度量方法評(píng)價(jià)模型性能度量的基本方法測(cè)試性能的基本指標(biāo)任務(wù)目標(biāo)素質(zhì)目標(biāo)團(tuán)隊(duì)協(xié)作學(xué)會(huì)學(xué)習(xí)實(shí)踐創(chuàng)新模型評(píng)估背景機(jī)器學(xué)習(xí)是對(duì)未來(lái)的預(yù)測(cè)，如何能有效評(píng)估其性能呢，有哪些指標(biāo)可以衡量其性能？性能度量性能度量是衡量模型泛化能力的評(píng)價(jià)標(biāo)準(zhǔn)，反映了任務(wù)需求；使用不同的性能度量往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果在預(yù)測(cè)任務(wù)中，給定樣例集評(píng)估學(xué)習(xí)器的性能也即把預(yù)測(cè)結(jié)果和真實(shí)標(biāo)記比較.

性能度量回歸任務(wù)最常用的性能度量是“均方誤差”：回歸任務(wù)性能度量指標(biāo)性能度量對(duì)于分類(lèi)任務(wù),錯(cuò)誤率和精度是最常用的兩種性能度量：錯(cuò)誤率：分錯(cuò)樣本占樣本總數(shù)的比例精度：分對(duì)樣本占樣本總數(shù)的比率分類(lèi)錯(cuò)誤率精度（

accuracy精確程度

）分類(lèi)任務(wù)性能度量指標(biāo)——錯(cuò)誤率和精度sklearn.metrics

accuracy_score性能度量信息檢索、Web搜索等場(chǎng)景中經(jīng)常需要衡量正例被預(yù)測(cè)出來(lái)的比率或者預(yù)測(cè)出來(lái)的正例中正確的比率，此時(shí)查準(zhǔn)率和查全率比錯(cuò)誤率和精度更適合。統(tǒng)計(jì)真實(shí)標(biāo)記和預(yù)測(cè)結(jié)果的組合可以得到“混淆矩陣”查準(zhǔn)率查全率查準(zhǔn)率與查全率性能度量查準(zhǔn)率／準(zhǔn)確率（precision-精確）：P=TP/(TP+FP)查全率／召回率／靈敏度（recall）：R=TP/(TP+FN)“1”代表正例，“0”代表反例

預(yù)測(cè)值實(shí)際值

10121002

預(yù)測(cè)值實(shí)際值

101TPFN0FPTN樣本IDrealpre1男男2女女3男男4男女5女女查準(zhǔn)率與查全率查準(zhǔn)率查全率查準(zhǔn)率與查全率-練習(xí)查準(zhǔn)率／準(zhǔn)確率（precision）：P=TP/(TP+FP)fromsklearn.metricsimportprecision_scorey_true=[1,0,1,1,0]y_pred=[1,0,1,0,0]precision_score(y_true,y_pred,average=None)Out[22]:array([0.66666667,1.])

預(yù)測(cè)值實(shí)際值

10121002

預(yù)測(cè)值實(shí)際值

101TPFN0FPTN性能度量既考慮查全率，也考慮查準(zhǔn)率，可以使用F1度量：比F1更一般的形式, :標(biāo)準(zhǔn)F1 :偏重查全率(逃犯信息檢索)

：偏重查準(zhǔn)率(商品推薦系統(tǒng))性能度量F1度量：其中

為正數(shù)，度量了查全率對(duì)查準(zhǔn)率的相對(duì)重要性

先分后總：先分別計(jì)算各混淆矩陣的查準(zhǔn)率和查全率，再以均值匯總先總后分：先將各混淆矩陣的對(duì)應(yīng)元素（TP、FP、TN、FN）進(jìn)行匯總平均，再求P、R、F1值多次訓(xùn)練／測(cè)試時(shí)