現(xiàn)代機(jī)器學(xué)習(xí) 課件 第17章 遷移學(xué)習(xí)

第17章遷移學(xué)習(xí)17.1遷移學(xué)習(xí)概述17.2遷移學(xué)習(xí)17.3深度遷移學(xué)習(xí)17.4遷移學(xué)習(xí)的應(yīng)用本章小結(jié)

17.1遷移學(xué)習(xí)概述

17.1.1遷移學(xué)習(xí)的歷史

傳統(tǒng)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法通過使用之前收集到的帶標(biāo)記的數(shù)據(jù)或者不帶標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練,進(jìn)而對將來的數(shù)據(jù)進(jìn)行預(yù)測。半監(jiān)督分類通過利用大量未標(biāo)記數(shù)據(jù)和少量已標(biāo)記的樣本數(shù)據(jù),解決了由于標(biāo)記數(shù)據(jù)過少而無法構(gòu)建一個(gè)良好分類器的問題。

圖17.1展示了傳統(tǒng)機(jī)器學(xué)習(xí)和遷移學(xué)習(xí)的學(xué)習(xí)過程之間的不同。傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)試圖從頭學(xué)習(xí)每個(gè)任務(wù);而遷移學(xué)習(xí)在目標(biāo)任務(wù)缺少高質(zhì)量的訓(xùn)練數(shù)據(jù)時(shí),試圖將一些先前任務(wù)的知識遷移到目標(biāo)任務(wù)。圖17.1傳統(tǒng)機(jī)器學(xué)習(xí)和遷移學(xué)習(xí)的學(xué)習(xí)過程

17.1.2遷移學(xué)習(xí)的本質(zhì)

根據(jù)目前已有的遷移學(xué)習(xí)

方法,可大致將遷移學(xué)習(xí)劃分如下:

1.根據(jù)源域和目標(biāo)域分類

根據(jù)源域和目標(biāo)域的不同情況,可將遷移學(xué)習(xí)分為三類,分別是歸納式遷移學(xué)習(xí)、直推式遷移學(xué)習(xí)和無監(jiān)督遷移學(xué)習(xí)。

1)歸納式遷移學(xué)習(xí)

當(dāng)源域中有大量標(biāo)簽數(shù)據(jù)時(shí),歸納式遷移學(xué)習(xí)與多任務(wù)學(xué)習(xí)類似。然而,歸納式遷移學(xué)習(xí)通過從源任務(wù)遷移知識來實(shí)現(xiàn)目標(biāo)任務(wù)的高性能,而多任務(wù)學(xué)習(xí)試圖同時(shí)學(xué)習(xí)目標(biāo)任

務(wù)和源任務(wù)。當(dāng)源域中沒有可用的標(biāo)簽數(shù)據(jù)時(shí),歸納式遷移學(xué)習(xí)相當(dāng)于自學(xué)習(xí)。在自學(xué)習(xí)中,源域和目標(biāo)域之間的標(biāo)簽空間可能不同,這意味著源域的輔助信息不能直接使用。因此,自學(xué)習(xí)類似于源域中沒有可用的標(biāo)簽數(shù)據(jù)的歸納式遷移學(xué)習(xí)。

2)直推式遷移學(xué)習(xí)

在直推式遷移學(xué)習(xí)中,源任務(wù)和目標(biāo)任務(wù)相同,但源域和目標(biāo)域是不同的。在這種情況下,目標(biāo)域中沒有可用的標(biāo)簽數(shù)據(jù),而源域中有許多標(biāo)簽數(shù)據(jù)。此外,根據(jù)源域和目標(biāo)域

之間的不同情況,直推式遷移學(xué)習(xí)可以進(jìn)一步分為以下兩種情況進(jìn)行討論:

①源域和目標(biāo)域之間的特征空間不同,即ΞS≠ΞT;

②特征空間相同,即ΞS=ΞT,但邊緣分布概率不同,即P(XS)≠P(XT)。

3)無監(jiān)督遷移學(xué)習(xí)

無監(jiān)督遷移學(xué)習(xí)集中解決目標(biāo)域中的無監(jiān)督學(xué)習(xí)任務(wù),如聚類、降維和密度估計(jì)等。在這種情況下,訓(xùn)練中的源域和目標(biāo)域都沒有可用的標(biāo)記數(shù)據(jù)。

2.根據(jù)遷移知識的形式分類

1)基于實(shí)例的遷移學(xué)習(xí)

2)基于特征的遷移學(xué)習(xí)

3)基于參數(shù)的遷移學(xué)習(xí)

4)基于關(guān)系的遷移學(xué)習(xí)

17.2遷移學(xué)習(xí)

遷移學(xué)習(xí)的目的是解決學(xué)習(xí)任務(wù)中目標(biāo)域標(biāo)記樣本數(shù)量很少甚至可能沒有的問題。根據(jù)遷移知識的形式不同,遷移學(xué)習(xí)可以分為基于實(shí)例的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)、基于參數(shù)的遷移學(xué)習(xí)和基于關(guān)系的遷移學(xué)習(xí)。

17.2.1基于實(shí)例的遷移學(xué)習(xí)

基于實(shí)例的遷移學(xué)習(xí)是指在源域和目標(biāo)域的分布不同的情況下,在源域中依然存在部分?jǐn)?shù)據(jù)適合被利用并有益于目標(biāo)域的學(xué)習(xí)。簡言之,通過在源域中找到與目標(biāo)域相似的數(shù)

據(jù),對數(shù)據(jù)的權(quán)值進(jìn)行調(diào)整,將這些數(shù)據(jù)與目標(biāo)域的數(shù)據(jù)進(jìn)行匹配,然后進(jìn)行訓(xùn)練學(xué)習(xí)并獲得適用于目標(biāo)域的模型。如圖17.2所示。圖17.2基于實(shí)例的遷移學(xué)習(xí)

目前主要采用以下兩種方法來學(xué)習(xí)權(quán)重。

種是基于Boosting的遷移學(xué)習(xí)算法,其目的是通過迭代更新其權(quán)重來識別具有誤導(dǎo)性的源域?qū)嵗?。Boosting算法的核心思想是將多個(gè)弱學(xué)習(xí)器組合成一個(gè)強(qiáng)分類器。目前使用較多的基于Boosting的遷移學(xué)習(xí)算法是TrAdaBoost算法,該算法是Dai等人在2007年提出的,它是第一個(gè)基于實(shí)例的歸納遷移學(xué)習(xí)算法。

在TrAdaBoost算法中,通常假設(shè)源域和目標(biāo)域的分布是不同的,但其數(shù)據(jù)的特征維數(shù)和標(biāo)簽空間是相同的。鑒于源域和目標(biāo)域數(shù)據(jù)分布的差異,源域中存在部分有益于目標(biāo)

域?qū)W習(xí)的數(shù)據(jù),也存在一些無益甚至有害的數(shù)據(jù)。因此,通過TrAdaBoost算法能夠在迭代中對源域數(shù)據(jù)進(jìn)行加權(quán),增加有益數(shù)據(jù),同時(shí)降低無益數(shù)據(jù)對目標(biāo)域?qū)W習(xí)的作用,進(jìn)而提高目標(biāo)域的學(xué)習(xí)性能。具體算法流程如下:

另一種基于實(shí)例的歸納遷移學(xué)習(xí)方法是通過生成模型為目標(biāo)域生成新的實(shí)例,從而學(xué)習(xí)出精確的目標(biāo)域預(yù)測模型。這種生成模型通常需要足夠的源域數(shù)據(jù)和少量的目標(biāo)域數(shù)據(jù)

作為輸入?？傊?基于實(shí)例的遷移學(xué)習(xí)方法簡單,容易實(shí)現(xiàn),但較為注重源域與目標(biāo)域之間的相似性。若二者的相似性較高,則可以通過較低的時(shí)間復(fù)雜度獲取更好的學(xué)習(xí)效果;若二者的相似性較低,則往往會造成負(fù)遷移現(xiàn)象。

17.2.2基于特征的遷移學(xué)習(xí)

在許多真實(shí)場景中,源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)無法實(shí)現(xiàn)較高的相似或相同的分布。圖17.3所示,在基于特征的遷移學(xué)習(xí)中,需要從源域和目標(biāo)域中的特征出發(fā),考慮數(shù)據(jù)樣本中潛在的共同特征。值得注意的是,特征并不受目標(biāo)域和源域的限制,也可引入輔助特征進(jìn)行學(xué)習(xí)。此類方法的核心在于尋找更好的特征表示,從而達(dá)到提高學(xué)習(xí)性能的目的。圖17.3基于特征的遷移學(xué)習(xí)

對于不同類型的源域數(shù)據(jù),尋找“好的”特征表示的策略是不同的。如果源域中有大量標(biāo)記數(shù)據(jù),則可以使用監(jiān)督學(xué)習(xí)方法構(gòu)造特征表示,這類似于多任務(wù)學(xué)習(xí)領(lǐng)域的共同特征學(xué)習(xí)。如果源域中沒有標(biāo)記數(shù)據(jù),則采用無監(jiān)督學(xué)習(xí)方法來構(gòu)造特征表示?；谟斜O(jiān)督的特征遷移學(xué)習(xí)類似于多任務(wù)學(xué)習(xí),通過分析源任務(wù)和目標(biāo)任務(wù)的共有特征,將其在多個(gè)任

務(wù)中聯(lián)合優(yōu)化,同時(shí)提高多任務(wù)的學(xué)習(xí)性能。該方法的基本思想是:首先學(xué)習(xí)出一個(gè)目標(biāo)域與源域相關(guān)任務(wù)共享的特征表示,然后利用這個(gè)特征表示來提高每個(gè)任務(wù)的學(xué)習(xí)性能。

特別地,在特征學(xué)習(xí)過程中,挖掘源域與目標(biāo)域的共同特征可被轉(zhuǎn)化為最優(yōu)化問題來進(jìn)行求解。

需要注意的是,基于特征的遷移學(xué)習(xí)方法和基于實(shí)例的遷移學(xué)習(xí)方法的不同之處是:基于特征的遷移學(xué)習(xí)需要進(jìn)行特征變換將源域和目標(biāo)域的數(shù)據(jù)變換到同一特征空間進(jìn)行學(xué)

習(xí),而基于實(shí)例的遷移學(xué)習(xí)從源域數(shù)據(jù)中找出相似的或有益的數(shù)據(jù)用于目標(biāo)域的學(xué)習(xí)。

17.2.3基于參數(shù)的遷移學(xué)習(xí)

基于參數(shù)的遷移學(xué)習(xí)方法也叫基于模型的遷移方法,該方法從源域和目標(biāo)域中找到它們之間共享的模型參數(shù)或經(jīng)驗(yàn)知識,以實(shí)現(xiàn)遷移。這種遷移方法假設(shè)源域中的數(shù)據(jù)與目標(biāo)

域中的數(shù)據(jù)可以共享一些模型的參數(shù),也就是將之前在源域中通過大量數(shù)據(jù)訓(xùn)練好的模型應(yīng)用到目標(biāo)域上進(jìn)行預(yù)測?；谀Ｐ偷倪w移學(xué)習(xí)方法比較直接,其優(yōu)點(diǎn)是可以充分利用模

型之間存在的相似性,缺點(diǎn)在于模型參數(shù)不易收斂。

例如,利用成千上萬個(gè)圖像來訓(xùn)練好一個(gè)圖像識別的系統(tǒng),當(dāng)遇到一個(gè)新的圖像領(lǐng)域問題的時(shí)候,就不用再去找?guī)浊兹f個(gè)圖像來訓(xùn)練了,只需要把原來訓(xùn)練好的模型遷移到新的領(lǐng)域,在新的領(lǐng)域往往只需幾萬張圖片,同樣可以得到很高的精度,如圖17.4所示。圖17.4基于參數(shù)的遷移學(xué)習(xí)

17.2.4基于關(guān)系的遷移學(xué)習(xí)

基于關(guān)系的遷移學(xué)習(xí)方法與上述三種方法具有截然不同的思路。該方法側(cè)重于源域和目標(biāo)域樣本之間的關(guān)系。若兩個(gè)域相似,則它們之間會共享相似關(guān)系,并將源域中學(xué)習(xí)到

的邏輯網(wǎng)絡(luò)關(guān)系應(yīng)用到目標(biāo)域上來進(jìn)行遷移,如生物病毒傳播規(guī)律到計(jì)算機(jī)病毒傳播規(guī)律的遷移,如圖17.5所示。圖17.5基于關(guān)系知識的遷移學(xué)習(xí)

目前,基于關(guān)系的遷移學(xué)習(xí)有兩種機(jī)制:一種是基于一階關(guān)系的遷移學(xué)習(xí);另一種是基于二階關(guān)系的遷移學(xué)習(xí)。一階關(guān)系假設(shè)兩個(gè)關(guān)系域是相關(guān)的,那么它們可能在跨域傳輸?shù)臄?shù)據(jù)實(shí)例之間共享一些相似的關(guān)系。二階關(guān)系則假設(shè)兩個(gè)相關(guān)的關(guān)系域共享一些相似的通用結(jié)構(gòu)規(guī)則,這些規(guī)則可以從源域中提取出來,然后在目標(biāo)域上使用。目前已有的方法主要是采用馬爾可夫網(wǎng)絡(luò)實(shí)現(xiàn)遷移。

四種遷移方式中,基于實(shí)例的遷移學(xué)習(xí)算法是最直觀的,可以通過對源域樣本進(jìn)行重加權(quán)和將目標(biāo)域樣本結(jié)合來改善目標(biāo)域的學(xué)習(xí)性能。但是,值得注意的是,當(dāng)源域樣本數(shù)據(jù)較少時(shí),其數(shù)據(jù)偏差較大可能會對遷移效果產(chǎn)生一定的負(fù)面作用?；趨?shù)的遷移學(xué)習(xí)和基于關(guān)系的遷移學(xué)習(xí)分別為兩種遷移思路:前者注重學(xué)習(xí)任務(wù)的整體相似性,源域和目標(biāo)域具有不同分布,但具有相似的知識和特性;而后者假設(shè)源域和目標(biāo)域相互獨(dú)立,但具有統(tǒng)一的樣本分布。

共享屬性的遷移學(xué)習(xí)更側(cè)重于源域和目標(biāo)域任務(wù)的相似性,忽略了對樣本屬性的歸納,那么當(dāng)樣本較少且共享屬性不明顯時(shí)該方法并不合適?；谔卣鞯倪w移學(xué)習(xí)側(cè)重于獲得能夠?qū)υ从蚝湍繕?biāo)域進(jìn)行表示的最優(yōu)屬性,強(qiáng)調(diào)域與域之間的映射關(guān)系,并不局域于某個(gè)指定的域,因此比其他三種遷移方式更實(shí)用。

17.3深度遷移學(xué)習(xí)

深度學(xué)習(xí)的概念是由Hilton等人于2006年初次提出的。近些年,深度學(xué)習(xí)在各個(gè)領(lǐng)域大放異彩,成為人工智能領(lǐng)域的熱門研究之一。深度學(xué)習(xí)的主要思想是模擬人類大腦的神經(jīng)結(jié)構(gòu),希望機(jī)器能夠像人一樣將接收的數(shù)據(jù)進(jìn)行處理,實(shí)現(xiàn)過程是通過多個(gè)非線性層對數(shù)據(jù)進(jìn)行特征抽取。深度卷積網(wǎng)絡(luò)目前已在語音、圖像識別等任務(wù)中展現(xiàn)出了突破性的成果,應(yīng)用數(shù)量呈爆炸式增加,目前被大量應(yīng)用在無人駕駛汽車、癌癥檢測、人工智能(ArtificialIntelligence,AI)游戲等實(shí)際問題中。

如前所述,遷移學(xué)習(xí)能夠通過充分利用過期數(shù)據(jù),保證目標(biāo)模型具有更好的效果,從而降低了新目標(biāo)任務(wù)中收集數(shù)據(jù)的成本。它充分利用源域數(shù)據(jù)訓(xùn)練得到的參數(shù)和模型,將其用在另外一個(gè)具有共同因素但又不同的目標(biāo)域,從而對之前學(xué)習(xí)到的知識進(jìn)行充分利用。目前,深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)占據(jù)了主導(dǎo)地位,隨著深度神經(jīng)網(wǎng)絡(luò)在圖像、語音識別領(lǐng)域的優(yōu)秀表現(xiàn),深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)也慢慢成為了遷移學(xué)習(xí)中的研究熱點(diǎn)。深度神經(jīng)網(wǎng)絡(luò)的遷移是應(yīng)用目標(biāo)數(shù)據(jù)在相似領(lǐng)域中經(jīng)過大量數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)模型,根據(jù)目標(biāo)要求對模型中學(xué)習(xí)的架構(gòu)和參數(shù)進(jìn)行微調(diào),構(gòu)建滿足要求的深度神經(jīng)網(wǎng)絡(luò)。它的主要流程如圖17.6所示。圖17.6深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)

17.3.1基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)

基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)是指將源域中預(yù)先訓(xùn)練好的部分網(wǎng)絡(luò)(包括其網(wǎng)絡(luò)結(jié)構(gòu)和連接參數(shù))重新使用,將其轉(zhuǎn)換為目標(biāo)域中使用的深層神經(jīng)網(wǎng)絡(luò)的一部分。它基于這樣一個(gè)假設(shè):神經(jīng)網(wǎng)絡(luò)與人腦的處理機(jī)制相似,是一個(gè)迭代的、連續(xù)的抽象過程。網(wǎng)絡(luò)的前幾層可以看作一個(gè)特征提取器,所提取的特征是通用的?；诰W(wǎng)絡(luò)的深度遷移學(xué)習(xí)示意圖如圖17.7所示。圖17.7基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)

最簡單基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)是微調(diào)(Finetune),主要是利用別人已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)微調(diào),然后針對自己的任務(wù)進(jìn)行調(diào)整。其好處是不用完全重新訓(xùn)練模型,從而提高了效率。微調(diào)主要包括參數(shù)或者全連接層神經(jīng)元個(gè)數(shù)的變動(dòng),需要針對自己的任務(wù),固定原始網(wǎng)絡(luò)的相關(guān)層,修改網(wǎng)絡(luò)的輸出層,以使結(jié)果更符合需求。當(dāng)目標(biāo)域的數(shù)據(jù)集數(shù)量很小時(shí),我們可以僅僅改變最后一層全連接層的神經(jīng)元的個(gè)數(shù);當(dāng)目標(biāo)域的數(shù)據(jù)集數(shù)量很大時(shí),我們可以選擇訓(xùn)練網(wǎng)絡(luò)模型的后幾層參數(shù)。

VGG網(wǎng)絡(luò)是由Oxford的VisualGeometryGroup提出的。該網(wǎng)絡(luò)獲得了2014年ImageNet大型視覺識別挑戰(zhàn)比賽的亞軍和定位項(xiàng)目的冠軍,其主要工作是證明了增加網(wǎng)絡(luò)

的深度能夠在一定程度上影響網(wǎng)絡(luò)最終的性能。VGG有兩種結(jié)構(gòu),分別是VGG16和VGG19,兩者并沒有本質(zhì)上的區(qū)別,只是網(wǎng)絡(luò)深度不一樣。

與AlexNet網(wǎng)絡(luò)相比,VGG網(wǎng)絡(luò)的一個(gè)改進(jìn)是采用連續(xù)的幾個(gè)3×3的卷積核代替AlexNet中的較大卷積核,如11×11。對于給定的感受野(與輸出有關(guān)的輸入圖片的局部大小),采用堆積的小卷積核優(yōu)于采用大的卷積核,因?yàn)槎鄬臃蔷€性層可以增加網(wǎng)絡(luò)深度來保證學(xué)習(xí)更復(fù)雜的模式,而且代價(jià)比較小。簡單來說,在VGG中,使用了3個(gè)3×3卷積核來代替7×7卷積核,使用了2個(gè)3×3卷積核來代替5×5卷積核,這樣做的主要目的是在保證具有相同感知野的條件下提升網(wǎng)絡(luò)的深度,在一定程度上提升神經(jīng)網(wǎng)絡(luò)的效果。VGG16包括5個(gè)卷積組和3個(gè)全連接層,5個(gè)卷積組分別有2,2,3,3,3個(gè)卷積層,因此網(wǎng)絡(luò)共

有16層。網(wǎng)絡(luò)結(jié)構(gòu)如圖17.8所示。圖17.8VGG16網(wǎng)絡(luò)結(jié)構(gòu)圖

17.3.2基于生成對抗網(wǎng)絡(luò)的深度遷移學(xué)習(xí)

生成對抗網(wǎng)絡(luò)(GenerativeAdversarialNetworks,GAN)是目前人工智能領(lǐng)域最炙手可熱的概念之一。由此發(fā)展而來的對抗網(wǎng)絡(luò)也成了提升網(wǎng)絡(luò)性能的利器,被成功引入若干領(lǐng)域并發(fā)揮重要的作用。著名的圍棋程序AlphaGo戰(zhàn)勝人類頂級選手李世石引起了人們對深度學(xué)習(xí)的廣泛關(guān)注,而AlphaGo中的策略網(wǎng)絡(luò)(PolicyNetwork,PN)在訓(xùn)練過程中正是

采取了兩個(gè)網(wǎng)絡(luò)相互對抗的方式,最終的策略網(wǎng)絡(luò)獲得棋局狀態(tài)之后才能返回相應(yīng)的策略和對應(yīng)回報(bào),并用博弈回報(bào)的期望函數(shù)的最大化作為最后的目標(biāo)函數(shù)。

生成對抗網(wǎng)絡(luò)模型包含兩部分:一部分是生成網(wǎng)絡(luò)(GenerativeNetwork),負(fù)責(zé)生成盡可能以假亂真的樣本,被稱為生成器(Generator);另一部分是判別網(wǎng)絡(luò)(Discriminative

Network),負(fù)責(zé)判斷樣本是否真實(shí),被稱為判別器(Discriminator)。該模型通過生成器和判別器之間的互相博弈來實(shí)現(xiàn)對抗訓(xùn)練,最終生成器能夠生成擬合真實(shí)數(shù)據(jù)的分布的樣本,以至于判別器也無法正確區(qū)分生成數(shù)據(jù)和真實(shí)數(shù)據(jù)。生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)如圖17.9所示。圖17.9生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)

在目標(biāo)域中,有標(biāo)簽的數(shù)據(jù)通常很難獲取,同時(shí)其標(biāo)記

成本也很高,通過生成模型則可以解決這一難題,生成有標(biāo)

簽的目標(biāo)域數(shù)據(jù)。目前主要有兩種模型:第一種是從源域數(shù)

據(jù)到目標(biāo)域數(shù)據(jù)的映射,用于生成有標(biāo)簽的目標(biāo)域數(shù)據(jù);另一種模型是在兩個(gè)域之間建立雙向映射。處理雙向映射的經(jīng)

典模型是CycleGAN。其網(wǎng)絡(luò)架構(gòu)如圖17.10所示。該模型主要包括兩個(gè)生成器和兩個(gè)判別器。圖17.10CycleGAN網(wǎng)絡(luò)框架

基于特征的對抗遷移學(xué)習(xí)是將源域和目標(biāo)域中的數(shù)據(jù)映射到共享空間,然后利用兩個(gè)域的數(shù)據(jù)來完成學(xué)習(xí)任務(wù)。此時(shí),生成器的作用將不再是生成新樣本,而是提取特征,通過

不斷學(xué)習(xí)領(lǐng)域數(shù)據(jù)的特征,使得判別器無法對兩個(gè)領(lǐng)域進(jìn)行區(qū)分。那么,原來的生成器也被稱為特征提取器。深度對抗網(wǎng)絡(luò)的損失由網(wǎng)絡(luò)訓(xùn)練的損失lc和領(lǐng)域判別損失ld兩部分構(gòu)

成,即圖17.11DANN網(wǎng)絡(luò)框架

17.4遷移學(xué)習(xí)的應(yīng)用

近年來,遷移學(xué)習(xí)技術(shù)已經(jīng)成功運(yùn)用于各類領(lǐng)域,這些領(lǐng)域包括但不限于計(jì)算機(jī)視覺、文本分類、行為識別、自然語言處理、室內(nèi)定位、視頻監(jiān)控、輿情分析、人機(jī)交互等。圖17.12展示了遷移學(xué)習(xí)潛在的應(yīng)用領(lǐng)域。下面針對當(dāng)前的一些研究熱點(diǎn),對遷移學(xué)習(xí)在這些領(lǐng)域的應(yīng)用場景進(jìn)行簡單介紹。圖17.12遷移學(xué)習(xí)的應(yīng)用

1.生物信息學(xué)與生物成像

在生物學(xué)中,許多實(shí)驗(yàn)不僅代價(jià)高,數(shù)據(jù)也非常少,如醫(yī)生試圖使用計(jì)算機(jī)發(fā)現(xiàn)潛在疾病的生物成像實(shí)驗(yàn)。當(dāng)前,遷移學(xué)習(xí)越來越多地被用來將知識從一個(gè)領(lǐng)域遷移到另一個(gè)領(lǐng)域,以解決生物學(xué)中獲取標(biāo)記數(shù)據(jù)成本高的難題。

在生物醫(yī)學(xué)圖像分析中,一個(gè)難題是收集新的數(shù)據(jù)來識別指定疾病,如從醫(yī)學(xué)圖像中識別癌癥的類型等。這類識別需要大量的訓(xùn)練數(shù)據(jù),然而獲得這些數(shù)據(jù)通常非常昂貴,因

為它們需要專家標(biāo)記。此外,預(yù)訓(xùn)練模型和未來模型的數(shù)據(jù)往往來自不同的分布。這些問題激勵(lì)著許多研究工作應(yīng)用遷移學(xué)習(xí)將預(yù)訓(xùn)練模型遷移到新的任務(wù)中?？梢灶A(yù)見,遷移學(xué)

習(xí)在那些不易獲取標(biāo)注數(shù)據(jù)的領(lǐng)域?qū)l(fā)揮越來越重要的作用。

2.圖像理解

從物體識別到行為識別的許多圖像理解任務(wù)需要大量標(biāo)記數(shù)據(jù)來訓(xùn)練模型,然而當(dāng)計(jì)算機(jī)視覺情況稍微有變化(如從室內(nèi)到室外,從靜止攝像機(jī)到移動(dòng)攝像機(jī))時(shí),模型需要適應(yīng)新的情況。遷移學(xué)習(xí)就是解決這些適應(yīng)問題的常用技術(shù)。室內(nèi)定位與傳統(tǒng)的室外用的GPS定位不同,它通過WiFi、藍(lán)牙等設(shè)備研究人在室內(nèi)的位置。不同用戶、不同環(huán)境、不同時(shí)刻采集的信號分布不同。圖17.13展示了不同時(shí)間、不同設(shè)備的WiFi信號變化。圖17.13室內(nèi)定位由于時(shí)間和設(shè)備變化導(dǎo)致的信號變化

3.文本挖掘