一種自適應(yīng)的dela參數(shù)設(shè)置方法

一種自適應(yīng)的dela參數(shù)設(shè)置方法

0基于局部和全局一致性的方法由于需要購(gòu)買帶有標(biāo)記的樣本，因此所需的成本遠(yuǎn)高于無(wú)標(biāo)記樣本，且簽名樣本通常罕見(jiàn)。而半監(jiān)督學(xué)習(xí)的優(yōu)越性就體現(xiàn)在能同時(shí)利用大量的無(wú)標(biāo)簽樣本和少量的有標(biāo)記樣本進(jìn)行學(xué)習(xí),因此深入研究半監(jiān)督學(xué)習(xí)有重要意義。半監(jiān)督學(xué)習(xí)問(wèn)題一般分為兩個(gè)方面:半監(jiān)督分類問(wèn)題和半監(jiān)督聚類問(wèn)題。前者是利用大量非標(biāo)簽的數(shù)據(jù)輔助監(jiān)督的學(xué)習(xí);后者則是利用少部分標(biāo)簽的數(shù)據(jù)輔助非監(jiān)督的學(xué)習(xí)。文中主要研究半監(jiān)督分類問(wèn)題。在半監(jiān)督學(xué)習(xí)中,如何利用未標(biāo)簽數(shù)據(jù)提供的信息是個(gè)非常重要的問(wèn)題。根據(jù)學(xué)習(xí)的機(jī)理不同,半監(jiān)督分類可分為生成模型、低密度分割和基于圖的方法等。生成式模型算法使用概率條件p(x,y)=p(y)p(x|y)來(lái)描述樣本的分布模型,其推斷主要通過(guò)對(duì)條件概率密度函數(shù)p(x,y)的估計(jì)進(jìn)行。生成式模型算法的主要優(yōu)點(diǎn)是可以很容易地把采樣數(shù)據(jù)的結(jié)構(gòu)知識(shí)整合進(jìn)生成式模型,缺點(diǎn)在于該類算法學(xué)習(xí)效果嚴(yán)重依賴于模型的選擇,而初始模型的正確性很難確定?；诘兔芏确指畹乃惴ㄖ饕ㄖ蓖浦С窒蛄繖C(jī)、高斯過(guò)程模型等,這類算法的主要特點(diǎn)是在目標(biāo)函數(shù)里加入了空余最大化約束,以避免分界區(qū)域落在密集點(diǎn)內(nèi)部?；趫D的半監(jiān)督分類方法首先基于已標(biāo)簽樣本和無(wú)標(biāo)簽樣本建立了一個(gè)圖,節(jié)點(diǎn)代表所有樣本,而邊的權(quán)重則反應(yīng)的是樣本間的相似度。然后,定義所需優(yōu)化的目標(biāo)函數(shù),并使用能量函數(shù)在圖上的光滑性作為正則化項(xiàng)來(lái)求取最優(yōu)分類結(jié)果,如基于局部和全局一致性算法(LearningwithLocalandGlobalConsistency,LGC)、高斯隨機(jī)場(chǎng)和諧波函數(shù)(GaussianFieldsandHarmonicFunctions)、基于線性鄰域的標(biāo)簽傳播(LinearNeighborhoodPropagation,LNP)等。DengyongZhou等人提出了基于局部和全局一致性算法(LearningwithLocalandGlobalConsistency,LGC),它是一種典型的基于圖的半監(jiān)督學(xué)習(xí)算法。它的基本思想是基于所有樣本建立一個(gè)圖,圖上的節(jié)點(diǎn)表示樣本,邊上的權(quán)值代表樣本之間的相似度,每個(gè)樣本的標(biāo)記信息迭代地向其鄰近樣本傳播,直到達(dá)到全局穩(wěn)定狀態(tài)?；诰植亢腿忠恢滦运惴ū旧韼в幸欢〝?shù)量的參數(shù),對(duì)這些參數(shù)本身的研究雖然比較多,但是對(duì)于參數(shù)的優(yōu)化還是較為困難,這個(gè)是丞待解決的一個(gè)問(wèn)題。在LGC算法中的迭代過(guò)程中,參數(shù)delta的取值制約著迭代過(guò)程的好壞,而通常對(duì)該參數(shù)的選擇都是采用手動(dòng)的方式進(jìn)行設(shè)置,為了提高該算法應(yīng)用推廣的方便性,減少參數(shù)設(shè)置的耗時(shí)問(wèn)題,文中針對(duì)該問(wèn)題對(duì)圖像進(jìn)行分類實(shí)驗(yàn),找出了參數(shù)delta最佳取值范圍。1基于局部分類和局部約束的qp算法算法描述已知數(shù)據(jù)樣本集{x1,?,xl,xl+1,?,xn}?RΝ{x1,?,xl,xl+1,?,xn}?RN,標(biāo)記樣本集合為L(zhǎng)={1,?,c}L={1,?,c},樣本集合中前l(fā)個(gè)樣本集xi(i≤l)被標(biāo)記為yi∈L,而剩余的樣本集xu(l+1≤u≤n)是未標(biāo)記的樣本。而半監(jiān)督學(xué)習(xí)的目的則是預(yù)測(cè)未標(biāo)記樣本的標(biāo)簽。定義Γ表示一個(gè)n×c維的元素為非負(fù)的矩陣。矩陣F=[F1T,…,FnT]T∈Γ中的向量Fi表示元素xi針對(duì)各個(gè)標(biāo)號(hào)的歸屬度,顯然yi=argmaxj≤cFij表示元素xi的分類標(biāo)號(hào),定義一個(gè)n×c維的初始標(biāo)號(hào)矩陣Y∈Γ并且當(dāng)xi被標(biāo)記為yi=j時(shí),Yij=1;否則,Yij=0。算法步驟如下:(1)構(gòu)造鄰接矩陣W。當(dāng)i≠j時(shí),Wij=exp(-∥xi-xj∥2/2σ2)Wij=exp(?∥xi?xj∥2/2σ2);否則,Wii=0。(2)計(jì)算矩陣S=D-1/2WD1/2。其中,D是一個(gè)對(duì)角矩陣,Dii=∑jWijDii=∑jWij。(3)迭代計(jì)算F(t+1)=αSF(t)+(1-α)Y,α∈(0,1)F(t+1)=αSF(t)+(1?α)Y,α∈(0,1),直到收斂。(4)記F*為序列{F(t)}{F(t)}的極限。對(duì)每個(gè)點(diǎn)進(jìn)行標(biāo)注yi=argmaxj≤cF*ij。基于局部和全局一致性算法的基本思想是基于所有樣本建立一個(gè)圖,然后定義一個(gè)正則化框架,即能量函數(shù),最后最小化能量函數(shù)以求取最佳分類結(jié)果。基于圖的分類可以視為在圖上定義一個(gè)基于流行假設(shè)的能量函數(shù)F。F需要滿足以下兩個(gè)條件:(1)最相鄰的元素的分類的標(biāo)簽也應(yīng)該相似,即該函數(shù)在整個(gè)圖上應(yīng)該盡量光滑,或者說(shuō),函數(shù)在局部變化比較平緩;(2)樣本的分類結(jié)果不能和已有的標(biāo)簽偏離太遠(yuǎn),對(duì)于已標(biāo)記的頂點(diǎn),其函數(shù)值應(yīng)盡量地接近其目標(biāo)值。這兩個(gè)條件可以表示為一個(gè)正則化(即能量函數(shù))優(yōu)化的框架,其中第一部分為正則項(xiàng)(regularizer),第二部分為損失函數(shù)(lossfunction),見(jiàn)下式。E(F)=正則項(xiàng)+損失項(xiàng)在這個(gè)學(xué)習(xí)框架下,最小化能量函數(shù)即求得最佳分類結(jié)果。目前,大多數(shù)基于圖的半監(jiān)督學(xué)習(xí)都是基于這個(gè)正則化(能量函數(shù))優(yōu)化框架來(lái)定義的,它們彼此都相似,只是損失函數(shù)和正則化項(xiàng)各不相同。基于局部與全局一致性(LocalandGlobalConsistency)(ZhouDY,2004)算法的正則化框架(即為能量函數(shù))如下:E(F)=12(n∑i,j=1Wij∥1√DiiFi-1√DjjFj∥2+μn∑i=1∥Fi-Yi∥2)E(F)=12(∑i,j=1nWij∥1Dii√Fi?1Djj√Fj∥2+μ∑i=1n∥Fi?Yi∥2)2基于局部和全局一致性的圖像分類在基于局部和全局一致性算法的第三步,迭代F(t+1)=αSF(t)+(1-α)Y,α∈(0,1)?FF(t+1)=αSF(t)+(1?α)Y,α∈(0,1)?F不斷迭代計(jì)算,當(dāng)求得的F和前一次F的差值大于參數(shù)delta時(shí),迭代就停止。文中將基于局部和全局一致性算法運(yùn)用于圖像分類中,并對(duì)參數(shù)delta的取值進(jìn)行實(shí)驗(yàn)驗(yàn)證,找出最佳的取值范圍。參數(shù)delta的取值不同,LGC算法的迭代過(guò)程的迭代次數(shù)就不相同,所用的時(shí)間也不同,對(duì)圖像的分類效果也有影響。因此delta的取值直接影響算法的分類性能,找出delta的最佳取值范圍對(duì)算法的應(yīng)用提供了方便性。3圖像分類結(jié)果σ的取值為0.076,α的取值為0.959,實(shí)驗(yàn)結(jié)果圖如圖1所示。對(duì)基于局部和全局一致性算法中的參數(shù)delta對(duì)算法的敏感度進(jìn)行了實(shí)驗(yàn),分別對(duì)該參數(shù)取不同的值進(jìn)行實(shí)驗(yàn)。當(dāng)delta分別取1.0e-1,1.0e-5,1.0e-15,1.0e-25,1.0e-30等值時(shí)的圖像分類結(jié)果及所用時(shí)間如表1所示。從上面當(dāng)delta分別取1.0e-1,1.0e-5,1.0e-15,1.0e-25,1.0e-30等值時(shí)的圖像分類結(jié)果和所用時(shí)間的結(jié)果可以看出,當(dāng)delta的取值介于1.0e-30到1.0e-25時(shí),圖像的分類正確率和所用時(shí)間趨于穩(wěn)定,因此對(duì)于LGC算法來(lái)說(shuō),delta取的值介于這個(gè)范圍時(shí),算法的性能