深度學(xué)習(xí)案例教程 課件6.4交叉驗(yàn)證原理

第四節(jié)

交叉驗(yàn)證交叉驗(yàn)證是一種強(qiáng)大的模型驗(yàn)證技術(shù)，它能幫助我們更好地理解模型對(duì)未知數(shù)據(jù)的預(yù)測(cè)性能。在數(shù)據(jù)量不足或希望盡可能減小數(shù)據(jù)分割帶來的隨機(jī)性影響時(shí)，交叉驗(yàn)證尤其有用。交叉驗(yàn)證的含義第四節(jié)

交叉驗(yàn)證交叉驗(yàn)證的基本思想是將數(shù)據(jù)集分為幾個(gè)部分(通常稱為“折”或“折疊”)，然后進(jìn)行多輪訓(xùn)練和驗(yàn)證，每輪中，選擇一個(gè)折作為驗(yàn)證數(shù)據(jù)，其余折作為訓(xùn)練數(shù)據(jù)。最終模型性能的評(píng)估基于各輪驗(yàn)證結(jié)果的平均值。交叉驗(yàn)證的基本思想這是最常見的交叉驗(yàn)證類型。首先將數(shù)據(jù)集劃分為K個(gè)大小相等的互斥子集，然后進(jìn)行K輪訓(xùn)練和測(cè)試，每輪中用K-1個(gè)子集的并集作為訓(xùn)練集，剩下的那個(gè)子集作為驗(yàn)證集。K-折交叉驗(yàn)證(K-FoldCross

Validation)類型交叉驗(yàn)證

這是最常見的交叉驗(yàn)證類型。首先將數(shù)據(jù)集劃分為K個(gè)大小相等的互斥子集，然后進(jìn)行K輪訓(xùn)練和測(cè)試，每輪中用K-1個(gè)子集的并集作為訓(xùn)練集，剩下的那個(gè)子集作為驗(yàn)證集。K-折交叉驗(yàn)證(K-FoldCross

Validation)類型這是一種極端的情況，K-折交叉驗(yàn)證中K等于樣本數(shù)量。對(duì)于每一輪，選擇一個(gè)樣本作為驗(yàn)證數(shù)據(jù)，其余樣本作為訓(xùn)練數(shù)據(jù)。留一交叉驗(yàn)證(Leave-One-OutCross)交叉驗(yàn)證

這是最常見的交叉驗(yàn)證類型。首先將數(shù)據(jù)集劃分為K個(gè)大小相等的互斥子集，然后進(jìn)行K輪訓(xùn)練和測(cè)試，每輪中用K-1個(gè)子集的并集作為訓(xùn)練集，剩下的那個(gè)子集作為驗(yàn)證集。K-折交叉驗(yàn)證(K-FoldCross

Validation)類型這是一種極端的情況，K-折交叉驗(yàn)證中K等于樣本數(shù)量。對(duì)于每一輪，選擇一個(gè)樣本作為驗(yàn)證數(shù)據(jù)，其余樣本作為訓(xùn)練數(shù)據(jù)。留一交叉驗(yàn)證(Leave-One-OutCross)每次都隨機(jī)選取訓(xùn)練集和測(cè)試集，可以進(jìn)行多次。隨機(jī)劃分交叉驗(yàn)證(ShuffleSplitCross)交叉驗(yàn)證

第四節(jié)

交叉驗(yàn)證交叉驗(yàn)證的主要優(yōu)點(diǎn)是通過平均多輪驗(yàn)證的結(jié)果，我們可以獲得模型性能的一個(gè)更準(zhǔn)確的估計(jì)。這減少了評(píng)估結(jié)果的方差，因此模型性能的估計(jì)更可靠。交叉驗(yàn)證的主要缺點(diǎn)是計(jì)算成本較高，因?yàn)樾枰M(jìn)行多次訓(xùn)練和驗(yàn)證。此外，如果數(shù)據(jù)不能很好地劃分，交叉驗(yàn)證可能不是很有效。交叉驗(yàn)證的優(yōu)缺點(diǎn)交叉驗(yàn)證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標(biāo)簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進(jìn)行5折交叉驗(yàn)證scores=cross_val_score(model,X,y,cv=5)print("交叉驗(yàn)證分?jǐn)?shù):",scores)print("交叉驗(yàn)證平均分?jǐn)?shù):",scores.mean())代碼實(shí)現(xiàn)交叉驗(yàn)證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標(biāo)簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進(jìn)行5折交叉驗(yàn)證scores=cross_val_score(model,X,y,cv=5)print("交叉驗(yàn)證分?jǐn)?shù):",scores)print("交叉驗(yàn)證平均分?jǐn)?shù):",scores.mean())代碼實(shí)現(xiàn)交叉驗(yàn)證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標(biāo)簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進(jìn)行5折交叉驗(yàn)證scores=cross_val_score(model,X,y,cv=5)print("交叉驗(yàn)證分?jǐn)?shù):",scores)print("交叉驗(yàn)證平均分?jǐn)?shù):",scores.mean())代碼實(shí)現(xiàn)交叉驗(yàn)證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標(biāo)簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進(jìn)行5折交叉驗(yàn)證scores=cross_val_score(model,X,y,cv=5)print("交叉驗(yàn)證分?jǐn)?shù):",scores)print("交叉驗(yàn)證平均分?jǐn)?shù):",scores.mean())代碼實(shí)現(xiàn)交叉驗(yàn)證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標(biāo)簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進(jìn)行5折交叉驗(yàn)證scores=cross_val_score(model,X,y,cv=5)print("交叉驗(yàn)證分?jǐn)?shù):",scores)print("交叉驗(yàn)證平均分?jǐn)?shù):",scores.mean())代碼實(shí)現(xiàn)交叉驗(yàn)證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標(biāo)簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進(jìn)行5折交叉驗(yàn)證scores=cross_val_score(model,X,y,cv=5)print("交叉驗(yàn)證分?jǐn)?shù):",scores)print("交叉驗(yàn)證平均分?jǐn)?shù):",scores.mean())代碼實(shí)現(xiàn)交叉驗(yàn)證代碼實(shí)現(xiàn)在PyTorch中，實(shí)現(xiàn)交叉驗(yàn)證需要一些手動(dòng)操作，因?yàn)镻yTorch并沒有像scikit-learn那樣的內(nèi)置交叉驗(yàn)證函數(shù)。然而，通過使用數(shù)據(jù)集劃分和數(shù)據(jù)加載器，我們可以相對(duì)容易地實(shí)現(xiàn)。交叉驗(yàn)證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設(shè)我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實(shí)現(xiàn)交叉驗(yàn)證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設(shè)我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實(shí)現(xiàn)交叉驗(yàn)證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設(shè)我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實(shí)現(xiàn)交叉驗(yàn)證#定義k折數(shù)k_folds=5#定義k折交叉驗(yàn)證對(duì)象kfold=KFold(n_splits=k_folds,shuffle=True)#開始交叉驗(yàn)證forfold,(train_ids,test_ids)inenumerate(kfold.split(dataset)):#打印當(dāng)前折數(shù)print(f'FOLD{fold}')print('--------------------------------')代碼實(shí)現(xiàn)交叉驗(yàn)證#定義k折數(shù)k_folds=5#定義k折交叉驗(yàn)證對(duì)象kfold=KFold(n_splits=k_folds,shuffle=True)#開始交叉驗(yàn)證forfold,(train_ids,test_ids)inenumerate(kfold.split(dataset)):#打印當(dāng)前折數(shù)print(f'FOLD{fold}')print('--------------------------------')代碼實(shí)現(xiàn)交叉驗(yàn)證#定義訓(xùn)練和驗(yàn)證數(shù)據(jù)子集train_subsampler=torch.utils.data.SubsetRandomSampler(train_ids)test_subsampler=torch.utils.data.SubsetRandomSampler(test_ids)#定義數(shù)據(jù)加載器train_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=train_subsampler)test_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=test_subsampler)#初始化模型和優(yōu)化器model=...optimizer=...代碼實(shí)現(xiàn)交叉驗(yàn)證#定義訓(xùn)練和驗(yàn)證數(shù)據(jù)子集train_subsampler=torch.utils.data.SubsetRandomSampler(train_ids)test_subsampler=torch.utils.data.SubsetRandomSampler(test_ids)#定義數(shù)據(jù)加載器train_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=train_subsampler)test_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=test_subsampler)#初始化模型和優(yōu)化器model=...optimizer=...代碼實(shí)現(xiàn)交叉驗(yàn)證#訓(xùn)練過程...forepochinrange(0,num_epochs):#在訓(xùn)練集上進(jìn)行訓(xùn)練model.train()train_loss=0.0fori,datainenumerate(train_loader,0):

inputs,targets=data

optimizer.zero_grad()outputs=model(inputs)loss=criterion(outputs,targets)loss.backward()optimizer.step()train_loss+=loss.item()代碼實(shí)現(xiàn)交叉驗(yàn)證#在驗(yàn)證集上進(jìn)行驗(yàn)證model.eval()valid_loss=0.0fori,datainenumerate(test_loader,0):inputs