機器學(xué)習(xí)(十)機器學(xué)習(xí)模型的評價

1、模型不理想機時，器怎學(xué)么調(diào)習(xí)整（模十型？）是機要更器多學(xué)樣習(xí)本？模是型要更的多評或者價少的附加其他特征或者多項式特征？正規(guī)化的 倉數(shù)應(yīng)該更大或者更?。吭趺丛u價模型是否理想？欠擬合或者過擬合？將數(shù)據(jù)分為訓(xùn)練集70% 、測試集30% 。通過訓(xùn)練集得到可能的 E矩陣，然后根據(jù)測試集的結(jié)果選擇誤差最小的 那種模型。因為根據(jù)測試集的結(jié)果選擇誤差最小是挑選過的，所以測試集的效果評價相對未知的測試數(shù)據(jù)來說可能是過于樂觀的估計。故通常將數(shù)據(jù)集分 成三類：訓(xùn)練集 Train 60%驗證集 CV cross validation 20%測試集 Test 20%通過訓(xùn)練集得到可能的E矩陣，然后根據(jù)驗證集測試的結(jié)果選

2、擇所有模 型中誤差最小的那種模型。最后再根據(jù)測試集的結(jié)果說明當(dāng)前模型的效 果。評價欠擬合：代價函數(shù)都很大 稱為偏差 bias 大 評價過擬合：訓(xùn)練集的代價函數(shù)很小，而驗證集、測試集的代價函數(shù)非 常大 稱為方差 variance 大 1、正規(guī)化的 倉數(shù)與偏差和方差的關(guān)系A(chǔ) 誼入注：？非常大時，參數(shù)影響力變小，則肯定是欠擬合2、屬性參數(shù)數(shù)目多少或者屬性參數(shù)多項式的最高指數(shù)項的高低與偏差 和方差的關(guān)系degree of polynomial d屬性參數(shù)多或者多項式最高指數(shù)項的指數(shù)很高時，對于訓(xùn)練樣本，比較 容易滿足；但是對于檢驗樣本，因為之前沒有匹配，所以可能非常大的 誤差（過擬合）。相反，如果參數(shù)

3、項少或者參數(shù)的多項式最高指數(shù)項比 較低，則容易導(dǎo)致對于訓(xùn)練樣本都無法滿足，則對于檢測樣本也一樣（欠擬合）。3、樣本數(shù)與偏差和方差的關(guān)系在其他條件不變的情況下，樣本數(shù)增多時，訓(xùn)練樣本的錯誤都會增加比 較多，再增多時，可能達(dá)到飽和，誤差的平均值沒有太大變化；而樣本 比較少時，雖然訓(xùn)練樣本的錯誤會比較低，但是因為欠擬合，檢驗樣本 的錯誤均值反而比較高。High biasA如果有高偏差，則增加樣本數(shù)沒有什么作用，因為高偏差意味著欠擬 合，現(xiàn)有的樣本也沒用到。High variancetn (training set size)如果有高方差，意味著過擬合，增加樣本，則比較能優(yōu)化、趨同。所以 增加樣本是一種減小高方差的方法。4、 Jtrain曲線和Jcv曲線通常不會重合，因為神經(jīng)模型是根據(jù)Jtrain取 的，所以相對之前未知的cv檢驗樣本，擬合得更合適。所以以誤差表示 縱軸時，Jcv通常在Jtrain的上方。但是由于取樣本點的隨機性，可能導(dǎo) 致Jcv與Jtrain有交叉，即Jcv小于Jtrain的情況。5、神經(jīng)網(wǎng)絡(luò)方面，使用更多的隱藏層和結(jié)點數(shù)，通常傾向于過擬合 （高方差），反之，如果更少的隱藏層和結(jié)點數(shù)，通常傾向于欠擬合 （高偏差）。與屬性參數(shù)多少導(dǎo)致學(xué)習(xí)曲線的變化基本是一致的。綜上