計算機視覺與應(yīng)用 課件 9.5 機器學習模型評估的方法

9.5機器學習模型評估的方法CONTENTS目錄分類模型評估01回歸模型的評估02CONTENTS目錄分類模型評估指標01回歸模型的評估021、分類模型評估指標對于分類模型的評價指標主要有錯誤率、準確率、查準率、查全率、混淆矩陣、F1值、AUC和ROC等。1)準確率對于給定的測試集，分類模型正確分類的樣本數(shù)與總樣本數(shù)之比。sklearn實現(xiàn)方法：fromsklearn.metricsimportaccuracy_scoreaccuracy_score(y_true,y_pred,normalize=True,sample_weight=None)分類模型評估2)精確率（Precision）對于給定測試集的某一個類別，分類模型預(yù)測正確的比例，或者說：分類模型預(yù)測的正樣本中有多少是真正的正樣本。sklearn實現(xiàn)方法：fromsklearn.metricsimportprecision_scoreprecision_score(y_true,y_pred,labels=None,pos_label=1,average='binary')3)召回率（Recall）對于給定測試集的某一個類別，樣本中的正類有多少被分類模型預(yù)測正確召回率的定義為：對于給定測試集的某一個類別，樣本中的正類有多少被分類模型預(yù)測正確。sklearn實現(xiàn)方法：fromsklearn.metricsimportrecall_scoresklearn.metrics.recall_score(y_true,y_pred,labels=None,pos_label=1,average='binary',sample_weight=None)分類模型評估4)F1_score在理想情況下，希望模型的精確率越高越好，同時召回率也越高越高，但是，現(xiàn)實情況往往事與愿違，在現(xiàn)實情況下，精確率和召回率像是坐在蹺蹺板上一樣，往往出現(xiàn)一個值升高，另一個值降低，那么，有沒有一個指標來綜合考慮精確率和召回率了，這個指標就是F值。F值的計算公式為：式中：P:Precision，R:Recall,a：權(quán)重因子。當a=1時，F(xiàn)值便是F1值，代表精確率和召回率的權(quán)重是一樣的，是最常用的一種評價指標。F1的計算公式為：sklearn實現(xiàn)方法：fromsklearn.metricsimportf1_scoref1_score(y_true,y_pred,labels=None,pos_label=1,average=’binary’,sample_weight=None)分類模型評估5)ROC和AUCROC曲線指受試者工作特征曲線/接收器操作特性曲線(receiveroperatingcharacteristiccurve),是反映敏感性和特異性連續(xù)變量的綜合指標,是用構(gòu)圖法揭示敏感性和特異性的相互關(guān)系，它通過將連續(xù)變量設(shè)定出多個不同的臨界值，從而計算出一系列敏感性和特異性，再以敏感性為縱坐標、特異性為橫坐標繪制成曲線，曲線下面積越大，診斷準確性越高。在ROC曲線上，最靠近坐標圖左上方的點為敏感性和特異性均較高的臨界值。有了ROC曲線需要對模型有一個定量的分析，這里就需要引入AUC（AreaunderROCCurve）面積，AUC指的就是ROC曲線下方的面積，計算AUC只需要沿著ROC的橫軸做積分即可，真實場景下ROC曲線一般在y=x直線的上方，所以AUC的取值一般在0.5~1之間，AUC值越大說明模型的性能越好。分類模型評估sklearn實現(xiàn)方法：fromsklearn.metricsimportroc_curve,aucimportmatplotlib.pyplotasplty_label=([1,1,1,2,2,2])y_pre=([0.3,0.5,0.9,0.8,0.4,0.6])fpr,tpr,thersholds=roc_curve(y_label,y_pre,pos_label=2)roc_auc=auc(fpr,tpr)plt.plot(fpr,tpr,'y--',label='ROC(area={0:.2f})'.format(roc_auc),lw=3)plt.legend(loc='lowerright')plt.plot([0,1],[0,1],'b--',lw=3)plt.xlim([-0.1,1.1])plt.ylim([-0.1,1.1])plt.xlabel('FalsePositiveRate')plt.ylabel('TruePositiveRate')plt.title('Receiveroperatingcharacteristiccurve’)plt.show()分類模型評估6)混淆矩陣混淆矩陣也稱誤差矩陣，是表示精度評價的一種標準格式，用n行n列的矩陣形式來表示。具體評價指標有總體精度、制圖精度、用戶精度等，這些精度指標從不同的側(cè)面反映了圖像分類的精度。在人工智能中，混淆矩陣（confusionmatrix）是可視化工具，特別用于監(jiān)督學習，在無監(jiān)督學習一般叫做匹配矩陣。在圖像精度評價中，主要用于比較分類結(jié)果和實際測得值，可以把分類結(jié)果的精度顯示在一個混淆矩陣里面?；煜仃囀峭ㄟ^將每個實測像元的位置和分類與分類圖像中的相應(yīng)位置和分類相比較計算的。分類模型評估CONTENTS目錄分類模型評估01回歸模型的評估022.回歸模型的評估回歸模型的評估指標包括：解釋方差（explained_variance）、平均絕對值誤差（MAE）、平均絕對百分比誤差（MAPE）、均方誤差（MSE）、均方根誤差（RMSE）、可決系數(shù)（R2）。（1）平均絕對誤差（MeanAbsoluteError，MAE）平均絕對誤差MAE(MeanAbsoluteError),又稱為L1范數(shù)損失(L1-normloss)。取真實值與預(yù)測值差的絕對值的和，然后求平均。平均絕對誤差就是指預(yù)測值與真實值之間平均相差多大，平均絕對誤差能更好地反映預(yù)測值誤差的實際情況。（2）均方誤差（MeanSquaredError，MSE）觀測值與真值偏差的平方和與觀測次數(shù)的比值：這也是線性回歸中最常用的損失函數(shù)，線性回歸過程中盡量讓該損失函數(shù)最小。那么模型之間的對比也可以用它來比較。MSE可以評價數(shù)據(jù)的變化程度，MSE的值越小，說明預(yù)測模型描述實驗數(shù)據(jù)具有更好的精確度?；貧w模型的評估（3）R-square(決定系數(shù))數(shù)學理解：分母理解為原始數(shù)據(jù)的離散程度，分子為預(yù)測數(shù)據(jù)和原始數(shù)據(jù)的誤差，二者相除可以消除原始數(shù)據(jù)離散程度的影響其實“決定系數(shù)”是通過數(shù)據(jù)的變化來表征一個擬合的好壞。理論上取值范圍（-∞，1],正常取值范圍為[01]------實際操作中通常會選擇擬合較好的曲線計算R2，因此很少出現(xiàn)-∞越接近1，表明方程的變量對y的解釋能力越強，這個模型對數(shù)據(jù)擬合的也較好越接近0，表明模型擬合的越差經(jīng)驗值：>0.4，擬合效果好缺點：數(shù)據(jù)集的樣本越大，R2越大，因此，不同數(shù)據(jù)集的模型結(jié)果比較會有一定的誤差（4）AdjustedR-Square(校正決定系數(shù)）n為樣本數(shù)量，p為特征數(shù)量消除了樣本數(shù)量和特征數(shù)量的影響回歸模型的評估3.回歸模型的驗證交叉驗證是在機器學習建立模型和驗證模型參數(shù)時常用的辦法，一般被用于評估一個機器學習模型的表現(xiàn)。交叉驗證，有的時候也稱作循環(huán)估計（RotationEstimation），是一種統(tǒng)計學上將數(shù)據(jù)樣本切割成較小子集的實用方法，該理論是由SeymourGeisser提出的。在給定的建模樣本中，拿出大部分樣本進行建模型，留小部分樣本用剛建立的模型進行預(yù)報，并求這小部分樣本的預(yù)報誤差，記錄它們的平方加和。這個過程一直進行，直到所有的樣本都被預(yù)報了一次而且僅被預(yù)報一次。把每個樣本的預(yù)報誤差平方加和，稱為PRESS(predictedErrorSumofSquares)。交叉驗證的基本思想是把在某種意義下將