深度學(xué)習(xí)應(yīng)用開發(fā) 課件 第7章 遷移學(xué)習(xí)

目錄1遷移學(xué)習(xí)概念01任務(wù)遷移學(xué)習(xí)的基本問題02任務(wù)遷移學(xué)習(xí)的應(yīng)用領(lǐng)域03任務(wù)1遷移學(xué)習(xí)概念1遷移學(xué)習(xí)概念對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，不同深度的卷積層能夠識(shí)別的特征會(huì)有所不同。簡單來說，較淺的卷積主要負(fù)責(zé)提取圖像的邊緣或線條等特征，較深的卷積層基于淺層提取到的特征，進(jìn)一步提取特征，例如鼻子、眼睛或耳朵等。淺層網(wǎng)絡(luò)提取的特征具有一定的共性，舉一個(gè)經(jīng)典的例子：使用擁有數(shù)萬筆訓(xùn)練數(shù)據(jù)的ImageNet數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，可以學(xué)習(xí)到非常多樣的特征，這種網(wǎng)絡(luò)模型稱為預(yù)訓(xùn)練模型(Pre-TrainedModel)。1遷移學(xué)習(xí)概念當(dāng)完成新數(shù)據(jù)集的分類任務(wù)時(shí)，不必搭建一個(gè)全新的網(wǎng)絡(luò)模型從頭訓(xùn)練，可以在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行微調(diào)訓(xùn)練模型，以得到適用于新數(shù)據(jù)的分類的模型。這種訓(xùn)練方式被稱為遷移學(xué)習(xí)（TransferLearning)。在圖像處理任務(wù)中，使用ImageNet的預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，能夠獲得更好的模型，且模型訓(xùn)練時(shí)間更短。2遷移學(xué)習(xí)的基本問題2遷移學(xué)習(xí)的基本問題（1）何時(shí)遷移給定待學(xué)習(xí)的目標(biāo)，首先要做的便是判斷任務(wù)是否適合進(jìn)行遷移學(xué)習(xí)。（2）何處遷移判斷任務(wù)適合遷移學(xué)習(xí)之后，第二步要解決的是從何處進(jìn)行遷移。包括要遷移什么知識(shí)，從那個(gè)地方進(jìn)行遷移。（3）如何遷移如何遷移要求學(xué)習(xí)最優(yōu)的遷移學(xué)習(xí)方法，遷移學(xué)習(xí)根據(jù)學(xué)習(xí)方法可以分為：基于實(shí)例的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)、基于模型的遷移學(xué)習(xí)以及基于關(guān)系的遷移學(xué)習(xí)。3遷移學(xué)習(xí)的應(yīng)用領(lǐng)域3遷移學(xué)習(xí)的應(yīng)用領(lǐng)域（1）雖然有大量的數(shù)據(jù)樣本，但是大部分?jǐn)?shù)據(jù)樣本是無標(biāo)注的，而且想要繼續(xù)增加更多的數(shù)據(jù)標(biāo)注，需要付出巨大的成本。在這種場(chǎng)景下，利用遷移學(xué)習(xí)思想，可以尋找一些和目標(biāo)數(shù)據(jù)相似而且已經(jīng)有標(biāo)注的數(shù)據(jù)，利用數(shù)據(jù)之間的相似性對(duì)知識(shí)進(jìn)行遷移，提高對(duì)目標(biāo)數(shù)據(jù)的預(yù)測(cè)效果或者標(biāo)注精度。（2）想要獲取具有更強(qiáng)泛化能力，但是數(shù)據(jù)樣本較少。機(jī)器學(xué)習(xí)的成功應(yīng)用依賴于大量有標(biāo)簽數(shù)據(jù)的可用性。然而，高質(zhì)量有標(biāo)簽數(shù)據(jù)總是供不應(yīng)求。傳統(tǒng)的機(jī)器學(xué)習(xí)算法常常因?yàn)閿?shù)據(jù)量小而產(chǎn)生過擬合問題，因而無法很好地泛化到新的場(chǎng)景中。（3）數(shù)據(jù)來自不同的分布。傳統(tǒng)的機(jī)器學(xué)習(xí)算法假設(shè)訓(xùn)練和測(cè)試數(shù)據(jù)來自相同的數(shù)據(jù)分布。然而，這種假設(shè)對(duì)于許多實(shí)際應(yīng)用場(chǎng)景來說無法滿足。在許多情況下，數(shù)據(jù)分布不僅會(huì)隨著時(shí)間和空間而變化，也會(huì)隨著不同的情況而變化，因此我們可能無法使用相同的數(shù)據(jù)分布來對(duì)待新的訓(xùn)練數(shù)據(jù)。在不同于訓(xùn)練數(shù)據(jù)的新場(chǎng)景下，已經(jīng)訓(xùn)練完成的模型需要在使用前進(jìn)行調(diào)整。ThankYOU!目錄1遷移學(xué)習(xí)方法依據(jù)01任務(wù)四種遷移學(xué)習(xí)方法02任務(wù)1遷移學(xué)習(xí)方法依據(jù)1遷移學(xué)習(xí)方法依據(jù)遷移學(xué)習(xí)的訓(xùn)練方法和技巧主要依據(jù)兩種情況：（1）新數(shù)據(jù)集的大小如果新數(shù)據(jù)集的數(shù)據(jù)量為幾萬筆數(shù)據(jù)，就屬于大數(shù)據(jù)集；如果新數(shù)據(jù)集的數(shù)據(jù)量為幾千或幾百筆數(shù)據(jù)，就屬于小數(shù)據(jù)集。（2）數(shù)據(jù)集的相似程度新數(shù)據(jù)集與預(yù)訓(xùn)練模型所使用的數(shù)據(jù)集之間的相似程度。例如，貓與老虎屬于相似度高的數(shù)據(jù)，而貓與桌子則屬于相似度低的數(shù)據(jù)。2四種遷移學(xué)習(xí)方法2四種遷移學(xué)習(xí)方法根據(jù)新數(shù)據(jù)集的大小和數(shù)據(jù)集的相似程度，可以將遷移學(xué)習(xí)方法分為四種情況：（1）小數(shù)據(jù)集&相似數(shù)據(jù)（2）小數(shù)據(jù)集&不相似數(shù)據(jù)（3）大數(shù)據(jù)集&相似數(shù)據(jù)（4）大數(shù)據(jù)集&不相似數(shù)據(jù)2四種遷移學(xué)習(xí)方法（1）小數(shù)據(jù)集&相似數(shù)據(jù)小數(shù)據(jù)集在龐大的網(wǎng)絡(luò)架構(gòu)上訓(xùn)練時(shí)容易發(fā)生過擬合問題，因此預(yù)訓(xùn)練模型的權(quán)重必須保持不變。由于新數(shù)據(jù)集與預(yù)訓(xùn)練模型使用的數(shù)據(jù)集相似性高，新數(shù)據(jù)集在每一層卷積層都有相似的特征，尤其是更高層的卷積層，因此提取特征的卷積層不需要改變，只對(duì)處理特征分類的全連接層進(jìn)行改變即可。故而我們將最后幾層全連接層刪除，并加上新的全連接層。2四種遷移學(xué)習(xí)方法步驟如下：(1）刪除全連接層：可以選擇刪除最后一層的全連接層或刪除多層的全連接層。(2）新增全連接層：將新增加的全連接層接在原來的網(wǎng)絡(luò)架構(gòu)后面，且最后一層全連接層的輸出與新數(shù)據(jù)集的類別數(shù)一樣。只訓(xùn)練新增的全連接層。(3）固定卷積層的權(quán)重：在訓(xùn)練新的網(wǎng)絡(luò)架構(gòu)時(shí)，將大部分網(wǎng)絡(luò)層的權(quán)重固定。不進(jìn)行訓(xùn)練。2四種遷移學(xué)習(xí)方法（2）小數(shù)據(jù)集&不相似數(shù)據(jù)因?yàn)樾?shù)據(jù)集在龐大的網(wǎng)絡(luò)架構(gòu)上訓(xùn)練時(shí)容易發(fā)生過擬合問題，所以預(yù)訓(xùn)練模型的權(quán)重必須保持不變。由于新數(shù)據(jù)集與預(yù)訓(xùn)練模型使用的數(shù)據(jù)集相似度低，新數(shù)據(jù)集只有在低層卷積層有相似特征，更高層卷積層的特征大多不相似，因此只需要保留低層卷積層，其他卷積層和全連接層都刪除，并加入新的全連接層，2四種遷移學(xué)習(xí)方法步驟如下：(1）刪除全連接層：刪除大部分網(wǎng)絡(luò)，只保留前面小部分網(wǎng)絡(luò)層（提取線條、顏色或紋路的網(wǎng)絡(luò)層）。(2）新增全連接層：將新增加的全連接層接在原來的網(wǎng)絡(luò)架構(gòu)后面，且最后一層全連接層輸出與新數(shù)據(jù)集的類別一樣。(3）固定卷積層的權(quán)重：在訓(xùn)練新的網(wǎng)絡(luò)架構(gòu)時(shí)，將大部分網(wǎng)絡(luò)層的權(quán)重固定，不進(jìn)行訓(xùn)練，只訓(xùn)練新增的全連接層。2四種遷移學(xué)習(xí)方法（3）大數(shù)據(jù)集&相似數(shù)據(jù)擁有大數(shù)據(jù)集一般不需要擔(dān)心在訓(xùn)練過程中發(fā)生過擬合問題，因此可以對(duì)整個(gè)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練。由于新數(shù)據(jù)集與預(yù)訓(xùn)練模型使用的數(shù)據(jù)集相似度高，新數(shù)據(jù)集在每一層卷積層都有相似的特征，因此提取特征的卷積層不必改變，只改變處理特征分類的全連接層即可。2四種遷移學(xué)習(xí)方法步驟如下：(1）刪除全連接層：可以選擇刪除最后或多層的全連接層。(2）新增全連接層：在網(wǎng)絡(luò)最后添加新的全連接層，最后全連接層的輸出與新數(shù)據(jù)集的類別數(shù)一樣。(3）固定卷積層的權(quán)重：在訓(xùn)練新的網(wǎng)絡(luò)架構(gòu)時(shí)，將大部分網(wǎng)絡(luò)層的權(quán)重固定，不進(jìn)行訓(xùn)練，只訓(xùn)練新增的全連接層。2四種遷移學(xué)習(xí)方法（4）大數(shù)據(jù)集&不相似數(shù)據(jù)擁有大量的數(shù)據(jù)集一般不需要擔(dān)心在訓(xùn)練過程中發(fā)生過擬合問題，因此可以對(duì)整個(gè)預(yù)訓(xùn)練模型或全新的隨機(jī)初始化權(quán)重的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，由于新數(shù)據(jù)集與預(yù)訓(xùn)練模型使用的數(shù)據(jù)集相似度低，新數(shù)據(jù)集與大多數(shù)網(wǎng)絡(luò)層的特征都不相似，因此我們先將最后幾層全連接層刪除，并加上新的全連接層，再對(duì)整個(gè)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練。2四種遷移學(xué)習(xí)方法步驟如下：(1）刪除全連接層：可以選擇刪除最后一層的全連接層或刪除多層的全連接層。(2）新增全連接層：將新增加的全連接層接在原來的網(wǎng)絡(luò)架構(gòu)后面，且最后一層全連接層輸出與新數(shù)據(jù)集的類別一樣。(3）訓(xùn)練整個(gè)網(wǎng)絡(luò)模型：重新微調(diào)整個(gè)網(wǎng)絡(luò)模型。ThankYOU!目錄1案例目標(biāo)01任務(wù)環(huán)境配置02任務(wù)案例實(shí)施04任務(wù)案例分析02任務(wù)03任務(wù)1案例目標(biāo)案例目標(biāo)理解遷移學(xué)習(xí)的原理，掌握遷移學(xué)習(xí)的主要技術(shù)方法；理解預(yù)訓(xùn)練模型的概念，掌握調(diào)用預(yù)訓(xùn)練模型的方法；掌握數(shù)據(jù)的加載以及生成數(shù)據(jù)集的方法；掌握使用matplotlib工具繪制訓(xùn)練曲線的方法；掌握keras函數(shù)式模型搭建方法；掌握模型初始化訓(xùn)練和微調(diào)訓(xùn)練的方法。12案例分析2案例分析本案例運(yùn)用遷移學(xué)習(xí)的方法實(shí)現(xiàn)貓狗圖像分類；本案例從指定網(wǎng)址中下載貓狗圖像數(shù)據(jù)，數(shù)據(jù)包含約3000張圖像。本案例使用preprocessing.image_dataset_from_directory從圖像文件中加載數(shù)據(jù)并生成數(shù)據(jù)集；本案例基于預(yù)訓(xùn)練模型mobilenetV2搭建網(wǎng)絡(luò)模型；2案例分析數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，訓(xùn)練集包含2000張圖像，其中，狗1000張，貓1000張；驗(yàn)證集包含1000張圖像，其中，狗500張，貓500張。圖像大小不一，在數(shù)據(jù)處理時(shí)，需要將圖像大小標(biāo)準(zhǔn)化。下圖展示了訓(xùn)練集部分貓的圖像和狗的圖像。3環(huán)境配置3環(huán)境配置Windows10tensorflow=2.10.0matplotlib=3.6.1numpy=1.23.44案例實(shí)施4案例實(shí)施部分代碼展示：1、導(dǎo)入庫