低秩線(xiàn)性回歸模型的魯棒性分析

低秩線(xiàn)性回歸模型的魯棒性分析

1影響高維數(shù)據(jù)回歸模型的因素回歸模型方法是解決計(jì)算機(jī)視覺(jué)問(wèn)題的重要方法之一。回歸模型旨在通過(guò)擬合方法建立線(xiàn)性關(guān)系來(lái)得到投影矩陣從而觀(guān)測(cè)數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行分類(lèi)。線(xiàn)性回歸模型有兩大受制約的因素:1)分析高維數(shù)據(jù)的能力不足。樣本和標(biāo)簽不易采集,除此之外,通常會(huì)遇到curse-of-dimensionality問(wèn)題最小二乘回歸(LeastSquareRegression,LSR)公式簡(jiǎn)單、求解容易,在計(jì)算機(jī)視覺(jué)和模式識(shí)別中應(yīng)用廣泛低秩方法可以有效地恢復(fù)圖像,減少圖像的噪聲和陰影,并使算法的運(yùn)算速度大大提高?；诘椭茸钚』梢愿玫亓私獾讓訑?shù)據(jù)的關(guān)聯(lián)結(jié)構(gòu)。魯棒性主成分分析(RobustPrincipalComponentAnalysis,RPCA)2線(xiàn)性回歸與低秩線(xiàn)性回歸模型假設(shè)有K類(lèi)訓(xùn)練樣本,其中每類(lèi)訓(xùn)練樣本數(shù)為N2.1線(xiàn)性回歸模型傳統(tǒng)的用于分類(lèi)的線(xiàn)性回歸模型是通過(guò)解決式(1)問(wèn)題,將訓(xùn)練樣本的特征盡可能地逼近目標(biāo)矩陣:其中,Y∈R2.2正則化參數(shù)低秩線(xiàn)性回歸LRLR假設(shè)D=AB(A∈R式(2)由于引入了低秩的限制,因此是一個(gè)非凸、非光滑的目標(biāo)函數(shù),文獻(xiàn)其中正則化參數(shù)λ(λ>0)起到使解更加穩(wěn)定以及平衡矩陣D的秩和線(xiàn)性回歸目標(biāo)矩陣關(guān)系的作用。與LRLR相比,Low-rankridgeregression(LRRR)在LRLR的基礎(chǔ)上加入了對(duì)投影矩陣D的正則化,從而有效地緩解了LRLR中的過(guò)擬合現(xiàn)象。LRRR目標(biāo)函數(shù)如下:理論上LRRR模型也可以寫(xiě)成:從式(6)可以看出,LRRR在一定程度上與文獻(xiàn)3性別低度線(xiàn)性回歸3.1判別性低秩線(xiàn)性回歸雖然LRRR,SLRR,DENLR和MENLR等方法在一定程度上減小了過(guò)擬合現(xiàn)象帶來(lái)的影響,但是其只是針對(duì)投影矩陣(模型輸出系數(shù)矩陣)的正則化。而且,上述幾種方法都只考慮樣本點(diǎn)之間的關(guān)聯(lián)性,忽視了樣本類(lèi)與類(lèi)之間的整體性,從而導(dǎo)致待測(cè)樣本在投影子空間極可能錯(cuò)誤逼近。從圖1可以更直觀(guān)地看出測(cè)試樣本投影到子空間后,得到的數(shù)據(jù)為[0000.20.40.4]。我們很難判斷出測(cè)試樣本屬于第5類(lèi)還是第6類(lèi),這就導(dǎo)致測(cè)試樣本很難選擇正確的類(lèi)別。針對(duì)以上不足,本文提出了判別性低秩線(xiàn)性回歸。其目標(biāo)函數(shù)如下:由于式(7)是一個(gè)NP-hard問(wèn)題,我們用和函數(shù)替代低秩限制條件,得到:3.2判別性低秩線(xiàn)性回歸分類(lèi)算法因?yàn)槭?9)附有低秩D=AB的限制,因此屬于非凸、非光滑問(wèn)題。我們利用增廣拉格朗日乘子ALM其中,〈M,D-AB〉=tr(M更新矩陣A。假設(shè)除矩陣A外的其他變量固定不變,式(9)變?yōu)榈湫偷恼齽t化最小二乘問(wèn)題:通過(guò)求導(dǎo),可得到優(yōu)化后的矩陣A。即A更新矩陣B。假設(shè)除矩陣B外的其余變量固定不變,式(9)可寫(xiě)成:對(duì)f(B)求導(dǎo):更新矩陣D。假設(shè)除矩陣D以外的其余變量均保持不變,式(9)可變?yōu)?對(duì)f(D)求導(dǎo):更新后得到:算法的流程如圖2所示。判別性低秩線(xiàn)性回歸分類(lèi)算法對(duì)某一測(cè)試樣本y的分類(lèi)步驟如算法1所示。將待測(cè)試樣本映射到子空間y4實(shí)驗(yàn)?zāi)M為了驗(yàn)證本文算法的有效性,將其與LRC4.1低秩線(xiàn)性回歸方法識(shí)別結(jié)果AR人臉數(shù)據(jù)共有126個(gè)類(lèi)別。每人有26張人臉圖片,其中有14張圖片包含光照、表情,有12張為遮擋圖片(圍巾、墨鏡遮擋)。本文選取了50個(gè)男性和50個(gè)女性的所有圖片,共計(jì)100個(gè)類(lèi)別,圖片像素調(diào)整為32×32。實(shí)驗(yàn)中從每一類(lèi)分別隨機(jī)選取4,6,8,10張圖片作為訓(xùn)練樣本,剩余的作為測(cè)試樣本,實(shí)驗(yàn)參數(shù)為:λ為了清楚地觀(guān)察低秩的大小對(duì)實(shí)驗(yàn)結(jié)果的影響,以AR26數(shù)據(jù)庫(kù)6Train為例,給出基于低秩線(xiàn)性回歸方法的識(shí)別率曲線(xiàn),如圖4所示。從圖中可以清楚地看出,隨著低秩大小s的改變,本文方法與其他幾種低秩線(xiàn)性回歸方法相比識(shí)別率是最高的。4.2圖像像素大小FERET數(shù)據(jù)庫(kù)是人臉識(shí)別領(lǐng)域應(yīng)用最廣泛的人臉數(shù)據(jù)庫(kù)之一。其包含200人,每人7張共計(jì)1400張多姿態(tài)、光照的灰度人臉圖像。本文選取的圖片像素大小為80×80。實(shí)驗(yàn)中從每一類(lèi)隨機(jī)選取5張和6張作為訓(xùn)練樣本,剩余的用于測(cè)試。實(shí)驗(yàn)參數(shù)為:λ4.3實(shí)驗(yàn)數(shù)據(jù)集的選擇Stanford40Actions數(shù)據(jù)庫(kù)包含40種動(dòng)作(刷牙、掃地、讀書(shū)等),本文選取每一個(gè)動(dòng)作樣本100張,共計(jì)4000張作為實(shí)驗(yàn)數(shù)據(jù)集。每張圖片采用VGG-verydeep-194.4圖像數(shù)據(jù)庫(kù)設(shè)計(jì)Caltech-UCSDBirds數(shù)據(jù)庫(kù)是由加利福尼亞理工學(xué)院采集的鳥(niǎo)類(lèi)數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)包含了200種鳥(niǎo)類(lèi)的11788張圖片。由于鳥(niǎo)類(lèi)之間有高度的相似性,因此該數(shù)據(jù)庫(kù)是模式識(shí)別領(lǐng)域中極具挑戰(zhàn)性的。本文實(shí)驗(yàn)選取了每種鳥(niǎo)類(lèi)的40張,共計(jì)4000張圖片作為數(shù)據(jù)集,并用VGG-verydeep-19提取了VGG19特征,作為數(shù)據(jù)向量。實(shí)驗(yàn)分別選取每種鳥(niǎo)類(lèi)的5,10,15張圖片作為訓(xùn)練樣本,剩余的用于測(cè)試。實(shí)驗(yàn)參數(shù)如下:λ4.5實(shí)驗(yàn)數(shù)據(jù)集的構(gòu)建Oxford102Flowers數(shù)據(jù)庫(kù)是圖像識(shí)別領(lǐng)域的重要數(shù)據(jù)庫(kù)之一,其包含了102種花,共計(jì)8189張圖片,每種花至少40張圖片。其中每種花具有不同的大小、光照、樣式。本文實(shí)驗(yàn)選取每種花40張圖片作為數(shù)據(jù)集,共計(jì)4080張圖片;并用VGG-verydeep-19提取了VGG19特征,作為數(shù)據(jù)向量。實(shí)驗(yàn)分別選取每種鳥(niǎo)類(lèi)的5,10,15張圖片作為訓(xùn)練,剩余的用于測(cè)試。實(shí)驗(yàn)參數(shù)如下:λ4.6在運(yùn)行時(shí)間上測(cè)試從上述5個(gè)數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果來(lái)看,在A(yíng)R數(shù)據(jù)庫(kù)上4Train時(shí)本文方法的識(shí)別率低于DENLR,不過(guò)本文方法依然比另外9種方法的識(shí)別率要高。本文方法除了在A(yíng)R數(shù)據(jù)庫(kù)4Train時(shí)的識(shí)別率不是最佳的,在其他的14次實(shí)驗(yàn)中整體上識(shí)別率比對(duì)比的10類(lèi)方法都更高。為了便于觀(guān)測(cè)最佳實(shí)驗(yàn)結(jié)果,我們?cè)趯?shí)驗(yàn)結(jié)果中用黑體表示該實(shí)驗(yàn)中的最佳識(shí)別率。由于引入了類(lèi)別之間的判別信息,因此算法不僅可以更好地緩解過(guò)擬合現(xiàn)象,而且能夠降低迭代次數(shù),減少運(yùn)行時(shí)間,實(shí)驗(yàn)中一般迭代2~3次就能達(dá)到優(yōu)化的效果;值得注意的是,低秩線(xiàn)性回歸方法運(yùn)行的時(shí)間總體上快于基于稀疏表示的分類(lèi)方法。這是由于稀疏表示需要將每一個(gè)待測(cè)試的樣本由所有訓(xùn)練樣本線(xiàn)性表示求得稀疏表示的系數(shù)值,而低秩線(xiàn)性回歸方法類(lèi)似于求一種低維的子空間,通過(guò)將數(shù)據(jù)投影到子空間進(jìn)行分類(lèi)識(shí)別。從表5的各類(lèi)方法的運(yùn)行時(shí)間來(lái)看,本文方法的運(yùn)行速度最快,不僅遠(yuǎn)快于基于稀疏表示的分類(lèi)方法,而且與其他幾類(lèi)基于低秩線(xiàn)性回歸的方法相比,運(yùn)行