第2章 2.5 性能評估

性能評估1評估基于CNN的貓狗分類模型性能目錄評估指標(biāo)2神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用大致可以分成回歸問題和分類問題。在回歸問題中，常用的評估指標(biāo)有平均絕對值誤差、均方誤差、均方根誤差等。其計算方式與損失的計算方式大致相同。在分類問題中，常用的評估指標(biāo)有混淆矩陣（也稱誤差矩陣，ConfusionMatrix）、ROC曲線、AUC面積3種。其中，混淆矩陣是繪制ROC曲線的基礎(chǔ)，同時它也是衡量分類模型準(zhǔn)確度中最基本、最直觀、計算過程常用方法之一。評估指標(biāo)一個簡單的二分類問題的混淆矩陣如下圖所示。評估指標(biāo)

實際結(jié)果正例負(fù)例預(yù)測結(jié)果正例TPFN負(fù)例FPTN混淆矩陣中TP、TN、FP和FN的含義如下。TP（TruePositives）：正確地將正例預(yù)測為正例的分類數(shù)。TN（TrueNegatives）：正確地將負(fù)例預(yù)測為負(fù)例的分類數(shù)。FP（FalsePositives）：錯誤地將負(fù)例預(yù)測為正例的分類數(shù)。FN（FalseNegatives）：錯誤地將正例預(yù)測為負(fù)例的分類數(shù)。由于混淆矩陣中統(tǒng)計的是個數(shù)，在面對大量的數(shù)據(jù)，光憑算個數(shù)，很難衡量模型的優(yōu)劣。因此在混淆矩陣的統(tǒng)計結(jié)果上提出了4個指標(biāo)：準(zhǔn)確率、精確度、召回率和F1值。評估指標(biāo)4個指標(biāo)的解釋及其計算公式如下。一是準(zhǔn)確率（Accuracy）為預(yù)測正確的結(jié)果占總樣本的百分比，計算公式如下所示。精確度（Precision）是指在一定實驗條件下多次測定的平均值與真實值相符合的程度，以誤差來表示，用于表示系統(tǒng)誤差的大小，計算公式如下。評估指標(biāo)二是召回率（Recall）是廣泛用于信息檢索和統(tǒng)計學(xué)分類領(lǐng)域的度量值，用于評價結(jié)果的質(zhì)量，計算公式如下所示。F-Measure又稱為F-Score，綜合考慮精確度與召回率，計算公式如下。評估指標(biāo)1評估基于CNN的貓狗分類模型性能目錄評估指標(biāo)2以貓狗分類任務(wù)為例演示模型的性能評估，此處的評估指標(biāo)采用的是準(zhǔn)確率。評估基于CNN的貓狗分類模型性能在設(shè)置好了最佳學(xué)習(xí)率之后，將迭代次數(shù)從3次改為200次，讓訓(xùn)練次數(shù)充分，訓(xùn)練完之后的結(jié)果，訓(xùn)練效果并不理想。由訓(xùn)練結(jié)果可以看出，CNN網(wǎng)絡(luò)的準(zhǔn)確率僅僅只有61%，這顯然是不理想的。經(jīng)典CNN模型性能評估設(shè)置與經(jīng)典CNN網(wǎng)絡(luò)相同的迭代次數(shù)，得到VGG網(wǎng)絡(luò)訓(xùn)練結(jié)果。VGG網(wǎng)絡(luò)的訓(xùn)練效果比之經(jīng)典的CNN網(wǎng)絡(luò)要好很多，準(zhǔn)確率達到了83%。VGG模型性能評估AlexNet網(wǎng)絡(luò)訓(xùn)練結(jié)果。AlexNet網(wǎng)絡(luò)的訓(xùn)練效果比之經(jīng)典的CNN網(wǎng)絡(luò)要好，但是不如VGG網(wǎng)絡(luò)效果，準(zhǔn)確率為74%。綜上來看，顯然VGG網(wǎng)絡(luò)的訓(xùn)練效果更好，最終的網(wǎng)絡(luò)便選定為VGG，并在原基礎(chǔ)上進行相關(guān)優(yōu)化即可。AlexNet模型性能評估在本章中展示了在PyTorch框架下深度學(xué)習(xí)的通用流程，并使用貓狗分類進行流程的演示。首先介紹了加載和預(yù)處理數(shù)據(jù)的方法，然后介紹了兩種構(gòu)建網(wǎng)絡(luò)的方法和常用的