2023學(xué)年完整公開課版性能度量

數(shù)據(jù)挖掘技術(shù)與應(yīng)用1經(jīng)驗(yàn)誤差與過擬合2評(píng)估方法3性能度量4偏差與方差目錄回歸任務(wù)的評(píng)價(jià)標(biāo)準(zhǔn)：均方誤差性能度量評(píng)價(jià)方法與評(píng)價(jià)標(biāo)準(zhǔn)錯(cuò)誤率：分類錯(cuò)誤樣本數(shù)占總樣本數(shù)比例精度：1－錯(cuò)誤率，分類正確樣本數(shù)占總樣本數(shù)比例性能度量錯(cuò)誤率與精度犯錯(cuò)的代價(jià)：2004年12月26日印尼海嘯與1999年“弗洛伊德”颶風(fēng)，真正率、假正率，印尼海嘯的災(zāi)難預(yù)報(bào)與保險(xiǎn)公司。性能度量錯(cuò)誤率與精度查準(zhǔn)率／準(zhǔn)確率（precision）：P=TP/(TP+FP)查全率／召回率／靈敏度（recall）：R=TP/(TP+FN)“1”代表正例，“0”代表反例性能度量查準(zhǔn)率與查全率

預(yù)測(cè)值實(shí)際值

10121002

預(yù)測(cè)值實(shí)際值

101TPFN0FPTN樣本IDrealpre1男男2女女3男男4男女5女女查準(zhǔn)率／準(zhǔn)確率（precision）：P=TP/(TP+FP)fromsklearn.metricsimportprecision_scorey_true=[1,0,1,1,0]y_pred=[1,0,1,0,0]precision_score(y_true,y_pred,average=None)Out[22]:array([0.66666667,1.])性能度量查準(zhǔn)率與查全率

預(yù)測(cè)值實(shí)際值

10121002

預(yù)測(cè)值實(shí)際值

101TPFN0FPTN綜合查準(zhǔn)率與查全率：更一般的形式：

其中

為正數(shù)，度量了查全率對(duì)查準(zhǔn)率的相對(duì)重要性

：標(biāo)準(zhǔn)的F1系數(shù)

：查全率有更大影響

：查準(zhǔn)率有更大影響性能度量F1系數(shù)

先分后總：先分別計(jì)算各混淆矩陣的查準(zhǔn)率和查全率，再以均值匯總先總后分：先將各混淆矩陣的對(duì)應(yīng)元素（TP、FP、TN、FN）進(jìn)行匯總平均，再求P、R、F1值性能度量多次訓(xùn)練／測(cè)試時(shí)的F1系數(shù)fromsklearn.model_selectionimportcross_val_scorefromsklearn.datasetsimportload_irisfromsklearn.svmimportSVCiris=load_iris()clf=SVC(kernel=‘linear’,C=1)scores=cross_val_score(clf,iris.data,iris.target,cv=5)更多內(nèi)容詳見：/stable/m