05-模型選擇和評(píng)價(jià)

模型選擇和評(píng)價(jià)王秋月中國人民大學(xué)信息學(xué)院如何選擇模型？對(duì)一個(gè)給定的有監(jiān)督學(xué)習(xí)任務(wù)，應(yīng)該選擇哪個(gè)學(xué)習(xí)模型？如何選擇該模型的最優(yōu)參數(shù)？如何估計(jì)訓(xùn)練好的模型在學(xué)習(xí)樣例之外的數(shù)據(jù)上可能的性能？模型評(píng)價(jià)（1）訓(xùn)練精度（trainingaccuracy）在整個(gè)數(shù)據(jù)集上訓(xùn)練模型并在同一個(gè)數(shù)據(jù)集上測(cè)試模型，得到模型的預(yù)測(cè)結(jié)果，和真實(shí)結(jié)果做比較，計(jì)算模型的精度問題：機(jī)器學(xué)習(xí)的目標(biāo)是期望模型能在學(xué)習(xí)樣例之外的數(shù)據(jù)上有好的表現(xiàn)（面向未來，而不是過去）最大化訓(xùn)練精度，通常會(huì)產(chǎn)生過于復(fù)雜的模型，從而導(dǎo)致過擬合，模型不能很好地泛化010 20NumberofMalignantNodes6040200K=160402010 20NumberofMalignantNodes4K=34K值會(huì)影響判定邊界XYModelTrue

FunctionSamplesXYX5YPolynomialDegree

=

1 PolynomialDegree=

4PolynomialDegree=

15不同復(fù)雜度的模型YModelTrue

FunctionSamplesXYYPolynomialDegree

=

1 PolynomialDegree=

4PolynomialDegree=

15XPooratTrainingPoorat

PredictingJust

RightXGoodatTrainingPoorat

Predicting6不同模型的泛化能力XYModelTrue

FunctionSamplesXYXYPolynomialDegree=

1PolynomialDegree=

4PolynomialDegree=

15UnderfittingJust

RightOverfitting7欠擬合與過擬合欠擬合和過擬合都會(huì)導(dǎo)致較大的泛化誤差。監(jiān)督學(xué)習(xí)中的誤差來源Error=Bias2+Variance+Noise偏差（Bias）：模型的期望輸出值（即用不同數(shù)據(jù)集訓(xùn)練出的所有模型輸出的平均值）與真實(shí)值之間的差異。即學(xué)習(xí)算法的期望預(yù)測(cè)與真實(shí)結(jié)果的偏離程度，刻畫了學(xué)習(xí)算法本身的擬合能力。方差（Variance）：用不同數(shù)據(jù)集訓(xùn)練出的模型的輸出值之間的差異。即數(shù)據(jù)的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能的變化，刻畫了學(xué)習(xí)算法的穩(wěn)定性。偏差與方差偏差-方差權(quán)衡YModelTrue

FunctionSamplesXYYPolynomialDegree=

1PolynomialDegree=

4PolynomialDegree=

15XHighBiasLow

VarianceJust

RightXLowBiasHigh

Variance11偏差-方差權(quán)衡模型評(píng)價(jià)（2）測(cè)試精度（testingaccuracy)把數(shù)據(jù)集劃分成兩個(gè)子集：訓(xùn)練集和測(cè)試集在訓(xùn)練集上訓(xùn)練模型在測(cè)試集上測(cè)試模型，并計(jì)算精度劃分訓(xùn)練集和測(cè)試集測(cè)試數(shù)據(jù)14劃分訓(xùn)練集和測(cè)試集訓(xùn)練數(shù)據(jù)訓(xùn)練模型訓(xùn)練數(shù)據(jù)

評(píng)價(jià)模型

-用模型預(yù)測(cè)類別標(biāo)簽-和真實(shí)值比較-計(jì)算誤差15測(cè)試數(shù)據(jù)使用訓(xùn)練集和測(cè)試集0.01.02.00.01.02.0x108x1081.0162.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)使用訓(xùn)練集和測(cè)試集0.01.02.00.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)1.0 2.0訓(xùn)練模型17使用訓(xùn)練集和測(cè)試集0.01.0 2.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)預(yù)測(cè)18使用訓(xùn)練集和測(cè)試集0.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)1.0 2.0計(jì)算誤差（或精度）19使用訓(xùn)練集和測(cè)試集20導(dǎo)入劃分訓(xùn)練集和測(cè)試集的函數(shù)：fromsklearn.model_selectionimporttrain_test_split劃分?jǐn)?shù)據(jù)集，測(cè)試集數(shù)據(jù)占全集的30%：train,test=train_test_split(data,test_size=0.3)劃分訓(xùn)練集和測(cè)試集的語法/stable/modules/generated/sklearn.model_selection.train_test_split.html21超越單個(gè)測(cè)試集：交叉驗(yàn)證驗(yàn)證數(shù)據(jù)訓(xùn)練數(shù)據(jù)0.0 1.0 2.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測(cè)試數(shù)據(jù)對(duì)這個(gè)測(cè)試集的最優(yōu)模型22超越單個(gè)測(cè)試集：交叉驗(yàn)證23超越單個(gè)測(cè)試集：交叉驗(yàn)證驗(yàn)證數(shù)據(jù)1訓(xùn)練數(shù)據(jù)124驗(yàn)證數(shù)據(jù)2訓(xùn)練數(shù)據(jù)2超越單個(gè)測(cè)試集：交叉驗(yàn)證25超越單個(gè)測(cè)試集：交叉驗(yàn)證驗(yàn)證數(shù)據(jù)3訓(xùn)練數(shù)據(jù)326超越單個(gè)測(cè)試集：交叉驗(yàn)證驗(yàn)證數(shù)據(jù)4訓(xùn)練數(shù)據(jù)427超越單個(gè)測(cè)試集：交叉驗(yàn)證error????????crossvalidation

error??????????????training

error28模型復(fù)雜度與誤差error????????crossvalidation

error??????????????training

error29模型復(fù)雜度與誤差YModelTrue

FunctionSamplesPolynomialDegree=

1error????????crossvalidation

error??????????????training

error30模型復(fù)雜度與誤差欠擬合：訓(xùn)練誤差和交叉驗(yàn)證誤差都很高YPolynomialDegree=

15ModelTrue

FunctionSamples31模型復(fù)雜度與誤差error????????crossvalidation

error??????????????training

error過擬合：訓(xùn)練誤差低，交叉驗(yàn)證誤差高error????????crossvalidation

error??????????????training

errorYPolynomialDegree=

4ModelTrue

FunctionSamples32模型復(fù)雜度與誤差33導(dǎo)入劃分訓(xùn)練集和測(cè)試集的函數(shù)：fromsklearn.model_selectionimport

cross_val_score用一個(gè)給定的模型執(zhí)行交叉驗(yàn)證：cross_val=cross_val_score(KNN,X_data,y_data,

cv=4,scoring='neg_mean_squared_error')交叉驗(yàn)證的語法/stable/modules/generated/sklearn.model_selection.cross_val_score.html34導(dǎo)入劃分訓(xùn)練集和測(cè)試集的函數(shù)：fromsklearn.model_selectionimport

cross_val_score用一個(gè)給定的模型執(zhí)行交叉驗(yàn)證：cross_val=cross_val_score(KNN,X_data,y_data,

cv=4,scoring='neg_mean_squared_error')交叉驗(yàn)證的語法其他CVsplitter：

LeaveOneOut,ShuffleSplit,StratifiedShuffleSplit……/stable/modules/cross_validation.htmlcv的可能取值：None,tousethede