《深度學(xué)習(xí)項(xiàng)目案例開(kāi)發(fā)》課件-任務(wù)五：使用遷移學(xué)習(xí)完成垃圾分類

任務(wù)五：使用遷移學(xué)習(xí)完成垃圾分類搭建遷移學(xué)習(xí)模型人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)五：使用遷移學(xué)習(xí)完成垃圾分類工作任務(wù)-定義數(shù)據(jù)生成器人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)五：使用遷移學(xué)習(xí)完成垃圾分類工作任務(wù)——讀取數(shù)據(jù)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)五：使用遷移學(xué)習(xí)完成垃圾分類工作任務(wù)-訓(xùn)練遷移學(xué)習(xí)模型人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)五：使用遷移學(xué)習(xí)完成垃圾分類任務(wù)知識(shí)——遷移學(xué)習(xí)人工智能學(xué)院—任務(wù)導(dǎo)入/01任務(wù)導(dǎo)入垃圾分類是對(duì)垃圾收集處置傳統(tǒng)方式的改革，將垃圾分類與人工智能圖形識(shí)別技術(shù)相結(jié)合，是對(duì)垃圾進(jìn)行有效處置的一種科學(xué)管理方法。本任務(wù)基于預(yù)訓(xùn)練模型ResNet101網(wǎng)絡(luò)，使用ImageNet網(wǎng)絡(luò)權(quán)重參數(shù)，應(yīng)用遷移學(xué)習(xí)方法進(jìn)行垃圾圖片分類。使用遷移學(xué)習(xí)提高模型特征表達(dá)的能力，改進(jìn)并選擇合適的損失函數(shù)和優(yōu)化方案，使得模型能夠區(qū)分不同種類的垃圾，訓(xùn)練完畢的模型導(dǎo)出后可以部署在嵌入式系統(tǒng)或者APP中。任務(wù)目標(biāo)/02了解遷移學(xué)習(xí)的基本原理掌握預(yù)訓(xùn)練模型的作用知識(shí)目標(biāo)掌握根據(jù)任務(wù)的需求凍結(jié)預(yù)訓(xùn)練模型的層拓展能力能調(diào)用預(yù)訓(xùn)練模型完成模型的搭建能按照需求完成模型凍結(jié)的操作能基于需求添加新的模型層能力目標(biāo)任務(wù)目標(biāo)任務(wù)導(dǎo)學(xué)/03針對(duì)任務(wù)搭建了深度學(xué)習(xí)模型，使用給定的數(shù)據(jù)集訓(xùn)練模型，然后將數(shù)據(jù)輸入模型得到預(yù)測(cè)結(jié)果。隨著深度學(xué)習(xí)的發(fā)展，一些優(yōu)秀的模型模型例如VGG、inception、MobileNet、ResNet等持續(xù)發(fā)布，這些模型都有完整的模型和權(quán)重參數(shù)，同時(shí)深度學(xué)習(xí)在新領(lǐng)域應(yīng)用不斷涌現(xiàn)。但是在一些新出現(xiàn)的領(lǐng)域中的大量訓(xùn)練數(shù)據(jù)非常難得到，這時(shí)可以把這些已經(jīng)訓(xùn)練好模型的參數(shù)和結(jié)構(gòu)遷移到新建的模型中幫助新模型訓(xùn)練，這個(gè)過(guò)程就是遷移學(xué)習(xí)（TransferLearning）。任務(wù)導(dǎo)學(xué)什么是遷移學(xué)習(xí)任務(wù)知識(shí)點(diǎn)/044.任務(wù)知識(shí)訓(xùn)練有了一個(gè)ResNet101預(yù)訓(xùn)練模型，它可以識(shí)別1000種物體?，F(xiàn)在有一個(gè)新的任務(wù)希望訓(xùn)練一個(gè)模型來(lái)識(shí)別40種不同類別的生活垃圾。這時(shí)就凍結(jié)ResNet101預(yù)訓(xùn)練模型的卷積核池化層的參數(shù)，定義識(shí)別垃圾的全連接層，然后使用采集的垃圾圖片訓(xùn)練加入的全連接層，最后得到一個(gè)新的模型。任務(wù)知識(shí)點(diǎn)遷移學(xué)習(xí)4.任務(wù)知識(shí)節(jié)省資源和時(shí)間：在某些情況下，數(shù)據(jù)的獲取和標(biāo)注是非常昂貴和耗時(shí)的。通過(guò)使用遷移學(xué)習(xí)，可以使用在大數(shù)據(jù)集上預(yù)訓(xùn)練的模型，減少在目標(biāo)任務(wù)上訓(xùn)練模型所需的數(shù)據(jù)量和時(shí)間。在圖像識(shí)別任務(wù)中，使用在ImageNet上訓(xùn)練好的模型進(jìn)行遷移學(xué)習(xí)，可以極大地減少所需的計(jì)算資源和時(shí)間。任務(wù)知識(shí)點(diǎn)為什么要使用遷移學(xué)習(xí)?4.任務(wù)知識(shí)提高模型性能：遷移學(xué)習(xí)可以在數(shù)據(jù)量有限的情況下提高模型的泛化能力。預(yù)訓(xùn)練模型中已經(jīng)學(xué)習(xí)到的特征可以幫助提升在目標(biāo)任務(wù)上的表現(xiàn)。尤其是在目標(biāo)任務(wù)和源任務(wù)有相似特征時(shí)，遷移學(xué)習(xí)效果更為顯著。解決小樣本學(xué)習(xí)問(wèn)題：對(duì)于那些無(wú)法獲取大量標(biāo)注數(shù)據(jù)的任務(wù)，遷移學(xué)習(xí)提供了一種可行的解決方案。通過(guò)利用其他任務(wù)的知識(shí)，可以在小樣本情況下獲得較好的模型表現(xiàn)。任務(wù)知識(shí)點(diǎn)為什么要使用遷移學(xué)習(xí)?4.任務(wù)知識(shí)應(yīng)對(duì)跨領(lǐng)域問(wèn)題：在某些場(chǎng)景中，目標(biāo)任務(wù)和源任務(wù)可能是不同的領(lǐng)域，但共享某些通用特征。遷移學(xué)習(xí)能夠在不同領(lǐng)域之間實(shí)現(xiàn)知識(shí)轉(zhuǎn)移，提升模型的適應(yīng)能力。利用深度學(xué)習(xí)模型的優(yōu)勢(shì)：許多深度學(xué)習(xí)模型（如卷積神經(jīng)網(wǎng)絡(luò)）在大數(shù)據(jù)集上的訓(xùn)練能夠?qū)W習(xí)到較為通用的特征表示，遷移學(xué)習(xí)能夠充分利用這些預(yù)訓(xùn)練模型，特別是在卷積層的遷移上效果顯著。任務(wù)知識(shí)點(diǎn)為什么要使用遷移學(xué)習(xí)?4.任務(wù)知識(shí)節(jié)省數(shù)據(jù)和計(jì)算資源：減少對(duì)大量標(biāo)注數(shù)據(jù)的需求：遷移學(xué)習(xí)可以使用預(yù)訓(xùn)練模型來(lái)減少在目標(biāo)任務(wù)上訓(xùn)練模型所需的數(shù)據(jù)量。尤其是當(dāng)標(biāo)注數(shù)據(jù)稀缺或昂貴時(shí)，遷移學(xué)習(xí)能大幅降低數(shù)據(jù)收集和標(biāo)注的成本。降低計(jì)算成本和訓(xùn)練時(shí)間：通過(guò)在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行微調(diào)，而不是從頭開(kāi)始訓(xùn)練整個(gè)模型，遷移學(xué)習(xí)可以顯著減少計(jì)算成本和時(shí)間。提升模型的適應(yīng)能力：應(yīng)對(duì)不同但相關(guān)的任務(wù)，遷移學(xué)習(xí)能夠讓模型在相關(guān)但不同的任務(wù)上表現(xiàn)更佳。例如，從自然圖像識(shí)別遷移到醫(yī)學(xué)圖像分類。任務(wù)知識(shí)點(diǎn)遷移學(xué)習(xí)的優(yōu)點(diǎn)4.任務(wù)知識(shí)提高模型性能：更好的泛化能力：遷移學(xué)習(xí)能提高模型在小數(shù)據(jù)集上的泛化能力，因?yàn)轭A(yù)訓(xùn)練模型已經(jīng)學(xué)習(xí)到了許多有用的特征。處理小樣本學(xué)習(xí)問(wèn)題：即使在數(shù)據(jù)量不足的情況下，遷移學(xué)習(xí)也能幫助模型取得較好的性能。加速模型開(kāi)發(fā)：快速原型設(shè)計(jì)，利用現(xiàn)成的預(yù)訓(xùn)練模型可以快速建立初步的模型原型，并進(jìn)行快速迭代和優(yōu)化。減少實(shí)驗(yàn)復(fù)雜度：由于遷移學(xué)習(xí)利用了已有的特征表示和結(jié)構(gòu)，開(kāi)發(fā)者可以專注于更高層次的特征設(shè)計(jì)和調(diào)優(yōu)。任務(wù)知識(shí)點(diǎn)遷移學(xué)習(xí)的優(yōu)點(diǎn)4.任務(wù)知識(shí)例如使用ResNet101模型實(shí)現(xiàn)遷移學(xué)習(xí)，首先下載預(yù)訓(xùn)練模型，可以直接從tensorflow源碼中獲取此模型的權(quán)重參數(shù)文件。本任務(wù)使用的是ResNetV1101模型的預(yù)訓(xùn)練權(quán)重參數(shù)，文件名為resnet_v1_101.ckpt任務(wù)知識(shí)點(diǎn)遷移學(xué)習(xí)實(shí)現(xiàn)步驟-下載預(yù)訓(xùn)練模型4.任務(wù)知識(shí)遷移學(xué)習(xí)的核心就是使用已經(jīng)預(yù)訓(xùn)練模型的參數(shù)，在使用需要對(duì)模型的參數(shù)進(jìn)行凍結(jié)，在新任務(wù)中被凍結(jié)的參數(shù)不參加模型的訓(xùn)練?？梢栽O(shè)置model.trainable=False凍結(jié)全部參數(shù)。但是如果模型在前幾輪的準(zhǔn)確率很低，可以嘗試解凍更多的層，例如凍結(jié)基礎(chǔ)模型的前所有層，只解凍最后5層，這樣可以利用預(yù)訓(xùn)練模型的低級(jí)特征，同時(shí)允許模型在新數(shù)據(jù)上調(diào)整高級(jí)特征。任務(wù)知識(shí)點(diǎn)遷移學(xué)習(xí)實(shí)現(xiàn)步驟-凍結(jié)預(yù)訓(xùn)練模型4.任務(wù)知識(shí)任務(wù)知識(shí)點(diǎn)遷移學(xué)習(xí)實(shí)現(xiàn)步驟-添加一個(gè)新的層ResNet101模型的最后一層是包含1000個(gè)單元的密集連接層，用來(lái)表達(dá)數(shù)據(jù)集中的1000個(gè)可能的分類。1垃圾分類中，有40種垃圾圖片，所以分類數(shù)量不同，因此將除去預(yù)訓(xùn)練模型的最后一層。2添加自己模型的分類層34.任務(wù)知識(shí)可以在下載該模型時(shí)通過(guò)設(shè)置標(biāo)記include_top=False來(lái)執(zhí)行此操作。移除頂層后，可以添加一個(gè)1024個(gè)神經(jīng)單元的全連接層，最后新增一個(gè)40個(gè)神經(jīng)單元的層，激活函數(shù)選擇softmax，最終得到分類的概率，如圖所示。任務(wù)知識(shí)點(diǎn)遷移學(xué)習(xí)實(shí)現(xiàn)步驟-添加一個(gè)新的層4.任務(wù)知識(shí)訓(xùn)模型的新層經(jīng)過(guò)訓(xùn)練后，我們還有一個(gè)可選的技巧，用于進(jìn)一步改進(jìn)模型。這個(gè)技巧稱為微調(diào)。要執(zhí)行此操作，我們需要先解凍整個(gè)模型，然后以極小的學(xué)習(xí)率重新訓(xùn)練模型。這會(huì)讓預(yù)訓(xùn)練的基礎(chǔ)層以非常小的步伐進(jìn)行微調(diào)，從而進(jìn)一步改進(jìn)模型的性能。任務(wù)知識(shí)點(diǎn)遷移模型的微調(diào)4.任務(wù)知識(shí)只有在包含凍結(jié)層和新層的模型經(jīng)過(guò)充分訓(xùn)練后才能執(zhí)行此步驟，這一點(diǎn)很重要。否則，由于我們先前添加到模型中的新的池化層和分類層是隨機(jī)地初始化的，我們需要對(duì)它們的參數(shù)進(jìn)行大量的更新才能實(shí)現(xiàn)準(zhǔn)確的圖像分類。而通過(guò)反向傳播過(guò)程，在整個(gè)模型解凍的狀態(tài)下，這種對(duì)最后兩層的大量更新也可能導(dǎo)致預(yù)訓(xùn)練層中出現(xiàn)大量更新，從而破壞那些重要的預(yù)訓(xùn)練特征?，F(xiàn)在這最后2層已經(jīng)過(guò)訓(xùn)練且已收斂，因此再次訓(xùn)練時(shí)對(duì)模型整體的更新都要小得多（尤其是學(xué)習(xí)率非常小時(shí)），不會(huì)破