基于半監(jiān)督的SVM遷移學(xué)習(xí)開題PPT

論文題目：基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法研究

姓名：***年級(jí)：專業(yè)：指導(dǎo)教師：碩士研究生開題報(bào)告開題內(nèi)容1算法的提出及研究意義2國(guó)內(nèi)外同類技術(shù)研究現(xiàn)狀3研究?jī)?nèi)容與研究方法4技術(shù)路線5算法簡(jiǎn)易描述碩士研究生開題報(bào)告

我們生活在大量數(shù)據(jù)日積月累的年代。每天，來(lái)自網(wǎng)絡(luò)、商業(yè)、社會(huì)、科學(xué)和工程、醫(yī)學(xué)以及我們?nèi)粘Ｉ畹姆椒矫婷娴臄?shù)兆兆字節(jié)或數(shù)千兆兆字節(jié)的數(shù)據(jù)注入我們的計(jì)算機(jī)網(wǎng)絡(luò)、萬(wàn)維網(wǎng)和各種數(shù)據(jù)存儲(chǔ)設(shè)備。世界范圍的商業(yè)活動(dòng)產(chǎn)生了巨大的數(shù)據(jù)集，包括銷售事務(wù)、股票交易記錄、產(chǎn)品描述、促銷、公司利潤(rùn)和業(yè)績(jī)以及顧客反饋?？茖W(xué)和工程實(shí)踐持續(xù)不斷地從遙感、過程測(cè)量、科學(xué)實(shí)驗(yàn)、系統(tǒng)實(shí)施、工程觀測(cè)和環(huán)境監(jiān)測(cè)中產(chǎn)生多達(dá)數(shù)千兆兆字節(jié)的數(shù)據(jù)。數(shù)據(jù)的爆炸式增長(zhǎng)、廣泛可用和巨大數(shù)量使得我們的時(shí)代成為真正的數(shù)據(jù)時(shí)代。而將數(shù)據(jù)轉(zhuǎn)換成有價(jià)值的信息的其中一個(gè)重要的步驟是分類。分類可以從內(nèi)容豐富、蘊(yùn)含大量信息的數(shù)據(jù)庫(kù)中提取描述重要信息的數(shù)據(jù)類，從而作出智能的商務(wù)決策，其應(yīng)用非常廣泛。然而針對(duì)不同類型的數(shù)據(jù)，分類的方法卻有很多，如貝葉斯分類，支持向量機(jī)(SVM)分類，C4.5等。

SVM是機(jī)器學(xué)習(xí)中的重要算法，近年來(lái)也得到了廣闊的發(fā)展，特別是在生物信息、文本分類等領(lǐng)域中。而基本的SVM算法是有監(jiān)督的的學(xué)習(xí)算法，它是基于統(tǒng)計(jì)學(xué)習(xí)理論的原理性方法。其主要思想是：建立一個(gè)最優(yōu)決策超平面，使得該平面兩側(cè)距平面最近的兩類樣本之間的距離最大化。從而

1算法的提出及研究意義碩士研究生開題報(bào)告1.1算法的提出

對(duì)分類問題提供良好的泛化能力，所采用的數(shù)據(jù)往往都需要滿足一定條件。

然而在傳統(tǒng)的SVM分類方法中，大部分都是有監(jiān)督的，即用帶標(biāo)簽的數(shù)據(jù)來(lái)訓(xùn)練分類模型，并且只局限于目標(biāo)數(shù)據(jù)域。然而，收集帶標(biāo)簽的實(shí)例是非常困難且要耗費(fèi)巨大的，不帶標(biāo)簽的數(shù)據(jù)卻是相當(dāng)巨大，很容易獲取。如果只有少量的帶標(biāo)簽的數(shù)據(jù)和大量未標(biāo)記的數(shù)據(jù)可用，那么半監(jiān)督學(xué)習(xí)在一定程度上便能彌補(bǔ)因訓(xùn)練數(shù)據(jù)不足而導(dǎo)致過擬化的分類誤區(qū)。很多機(jī)器學(xué)習(xí)的方法，無(wú)論是傳統(tǒng)的機(jī)器學(xué)習(xí)還是半監(jiān)督學(xué)習(xí)問題，都是建立在一個(gè)共同假設(shè)：測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)屬于統(tǒng)一數(shù)據(jù)分布與同一特征空間。一旦數(shù)據(jù)分布有差異，很多學(xué)習(xí)方法便無(wú)法表現(xiàn)的很好。重新標(biāo)記大量數(shù)據(jù)，這樣的代價(jià)是昂貴的。基于這個(gè)局限，我們便引入了遷移學(xué)習(xí)，目的是從其他相關(guān)輔助數(shù)據(jù)域中遷移知識(shí)去幫助目標(biāo)域中解決學(xué)習(xí)任務(wù)。因此，遷移學(xué)習(xí)的出現(xiàn)使的這些問題可以迎刃而解。遷移學(xué)習(xí)(TransferLearning)的目標(biāo)是將從一個(gè)環(huán)境中學(xué)習(xí)的知識(shí)用來(lái)幫助新環(huán)境中的學(xué)習(xí)任務(wù)。如QiangYang等人遷移學(xué)習(xí)對(duì)于文本挖掘的應(yīng)用。遷移學(xué)習(xí)不但解決了訓(xùn)練數(shù)據(jù)匱乏的問題，而且在某種程度上可能充分的利用了數(shù)據(jù)的價(jià)值。于是我們提出了基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法。碩士研究生開題報(bào)告首先，相對(duì)于傳統(tǒng)SVM算法，基于SVM的半監(jiān)督遷移學(xué)習(xí)算法很好的利用相關(guān)領(lǐng)域數(shù)據(jù)大量帶標(biāo)簽的數(shù)據(jù)來(lái)幫助我們目標(biāo)領(lǐng)域數(shù)據(jù)的分類萬(wàn)挖掘，在某種程度上既提高了SVM分類器的準(zhǔn)確率，又節(jié)約了大量的人力物力去標(biāo)記樣本來(lái)滿足分類器訓(xùn)練的要求。在Web領(lǐng)域方面，還能充分利用過時(shí)的數(shù)據(jù)來(lái)幫助新形成的領(lǐng)域進(jìn)行分析。避免了數(shù)據(jù)的浪費(fèi)。其次，結(jié)合半監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí)的算法是現(xiàn)今比較缺乏的研究方向，遷移學(xué)習(xí)方法理論上可以使得很多傳統(tǒng)的分類器的準(zhǔn)確率得到進(jìn)一步的提升，因而遷移學(xué)習(xí)的研究可以擴(kuò)展到其他比較經(jīng)典的數(shù)據(jù)挖掘算法中，來(lái)提高數(shù)據(jù)分析的準(zhǔn)確率。

碩士研究生開題報(bào)告1.2研究意義2國(guó)內(nèi)外研究現(xiàn)狀及分析碩士研究生開題報(bào)告

近幾年來(lái)，基于SVM分類算法的擴(kuò)展越來(lái)越受到研究者的關(guān)注，隨著相關(guān)研究的不斷深入，與其他學(xué)習(xí)方法結(jié)合的SVM算法應(yīng)運(yùn)而生。目前，人們?cè)诨赟VM算法與各種學(xué)習(xí)技術(shù)相結(jié)合，提出了不同類型的基于SVM分類方法，以解決不同的實(shí)際問題。其方法也陸續(xù)被提了出來(lái)，像自訓(xùn)練半監(jiān)督SVM算法、局部化SVM優(yōu)化方法以及跨域SVM算法方法等。目前遷移學(xué)習(xí)技術(shù)的發(fā)展勢(shì)頭強(qiáng)勁，不乏大量遷移學(xué)習(xí)分類的算法，如TrAdaboost、CDSVM已證實(shí)了這一點(diǎn)。究其原因主要是遷移學(xué)習(xí)在現(xiàn)實(shí)中有著廣泛的應(yīng)用前景，如文本分類、Web挖掘、社交網(wǎng)絡(luò)分析、生物信息學(xué)等。SVM算法的難點(diǎn)在于優(yōu)化SVM分類器目標(biāo)函數(shù)找到支持向量來(lái)構(gòu)建最優(yōu)超平面。V.Vapnik提出了基本的SVM分類網(wǎng)絡(luò)，利用帶標(biāo)簽數(shù)據(jù)進(jìn)行有監(jiān)督的訓(xùn)練分類器，最終得到最優(yōu)分類超平面。由于訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的分布不一致，訓(xùn)練得到的分類器可能效果不怎么好。碩士研究生開題報(bào)告

傳統(tǒng)的SVM是有監(jiān)督的學(xué)習(xí)方法。由于半監(jiān)督學(xué)習(xí)方法的流行，于是半監(jiān)督SVM的研究也被提出。如C.G.YuanqingLi、HuiqiLi和ZhengyangChin提出了半監(jiān)督SVM算法，便很好的利用了測(cè)試集的未標(biāo)記數(shù)據(jù)與帶標(biāo)簽的訓(xùn)練數(shù)據(jù)結(jié)合一起訓(xùn)練分類器，不僅在一定程度上解決了訓(xùn)練數(shù)據(jù)匱乏的問題，而且使分類器對(duì)測(cè)試數(shù)據(jù)分類更加準(zhǔn)確。同時(shí)，YongMa和LiZhao[在此基礎(chǔ)上提出了一種改進(jìn)的半監(jiān)督SVM算法，它就是在SVM分類器目標(biāo)函數(shù)優(yōu)化時(shí)引入了類散度矩陣，使分類平面更加精確，但是計(jì)算量大大增大了。半監(jiān)督SVM的簡(jiǎn)易原理圖如下：帶標(biāo)簽訓(xùn)練集SVM分類器未標(biāo)記測(cè)試集碩士研究生開題報(bào)告

遷移學(xué)習(xí)的出現(xiàn)，使的各類分類算法對(duì)于所面臨的數(shù)據(jù)匱乏問題得到了一種很好解決方案，由于半監(jiān)督學(xué)習(xí)也只是在稍微緩解了帶標(biāo)簽訓(xùn)練數(shù)據(jù)不足的問題。遷移學(xué)習(xí)可以從其他相關(guān)數(shù)據(jù)域遷移大量帶標(biāo)簽數(shù)據(jù)來(lái)幫助目標(biāo)任務(wù)訓(xùn)練分類器。遷移學(xué)習(xí)的出現(xiàn)吸引了越來(lái)越多研究人員的目光，也相繼在相關(guān)領(lǐng)域提出了基于傳統(tǒng)算法的遷移學(xué)習(xí)方法。對(duì)于傳統(tǒng)的SVM算法，出現(xiàn)了基于SVM的遷移學(xué)習(xí)方法。也相繼提出了有關(guān)基于SVM的遷移學(xué)習(xí)的相關(guān)理論與方法。目前，基于SVM的遷移學(xué)習(xí)已經(jīng)被廣泛應(yīng)用于文本分類、圖像識(shí)別和視頻識(shí)別等應(yīng)用領(lǐng)域，這些應(yīng)用領(lǐng)域都存在一個(gè)共同點(diǎn)：就是存在大量的未標(biāo)簽數(shù)據(jù)或者很容易收集到海量的無(wú)標(biāo)簽數(shù)據(jù)集，但標(biāo)簽數(shù)據(jù)樣本卻往往異常匱乏，而且這些數(shù)據(jù)都是不斷自增的?；赟VM的遷移學(xué)習(xí)的研究有很多，像QiangYang等人遷移學(xué)習(xí)對(duì)于文本挖掘的應(yīng)用，利用以前的文本數(shù)據(jù)對(duì)現(xiàn)在不斷出現(xiàn)的新的文本域數(shù)據(jù)進(jìn)行分類。Jain.A等人提出的遷移學(xué)習(xí)利用合適的支持向量對(duì)圖像進(jìn)行分類。近幾年，半監(jiān)督學(xué)習(xí)方法和遷移學(xué)習(xí)方法也不斷被提出。像基于SVM的半監(jiān)督學(xué)習(xí)方法提出了一種自訓(xùn)練方式，這種方式使未標(biāo)記的測(cè)試數(shù)據(jù)帶上初始標(biāo)簽，可以與訓(xùn)練集一起迭代訓(xùn)練。使分類器的泛化誤差最小。而遷移學(xué)習(xí)也在不同的算法上都有應(yīng)用，但是半監(jiān)督與遷移學(xué)習(xí)結(jié)合在一起的方法較少，YuanShi等人提出了一種在半監(jiān)督學(xué)習(xí)中擴(kuò)展共同訓(xùn)練的方法(COITL)，COITL很好的將半監(jiān)督學(xué)習(xí)擴(kuò)展到直導(dǎo)式遷移學(xué)習(xí)中。

碩士研究生開題報(bào)告下面對(duì)比一下傳統(tǒng)機(jī)器學(xué)習(xí)與遷移學(xué)習(xí)不同的學(xué)習(xí)過程，如下圖所示：

3研究?jī)?nèi)容與研究方法碩士研究生開題報(bào)告基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法，我們研究的內(nèi)容及方法分為以下幾點(diǎn)：通過局部和全局的一致性學(xué)習(xí)(LLGC)方法完成對(duì)SVM分類器的構(gòu)造；對(duì)輔助數(shù)據(jù)域進(jìn)行預(yù)處理，選取能代表其數(shù)據(jù)域分類信息的一組支持向量；對(duì)傳統(tǒng)的SVM方法結(jié)合遷移過來(lái)的一組支持向量，利用近鄰影響權(quán)重構(gòu)成基于SVM的遷移學(xué)習(xí)分類器；然后對(duì)此遷移分類器進(jìn)行半監(jiān)督迭代處理，形成我們提出的基于SVM的半監(jiān)督遷移學(xué)習(xí)方法的分類器。碩士研究生開題報(bào)告再優(yōu)化獲取構(gòu)建最優(yōu)分類超平面的支持向量；構(gòu)建最終的分類決策函數(shù)，對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)，得到最終的預(yù)測(cè)準(zhǔn)確率；碩士研究生開題報(bào)告4技術(shù)路線我們提出的基于SVM的半監(jiān)督遷移學(xué)習(xí)算法的原理圖如下：

碩士研究生開題報(bào)告對(duì)于所提出的方法的目標(biāo)優(yōu)化函數(shù)定義如下：