基于子空間的魯棒射影重建方法

基于子空間的魯棒射影重建方法

1射影重建因子化方法3d歐構(gòu)是對(duì)未標(biāo)準(zhǔn)圖像序列的恢復(fù)場(chǎng)景的3d結(jié)構(gòu)，主要用于場(chǎng)景幾何結(jié)構(gòu)的重建和虛擬場(chǎng)景的整合。這一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究重點(diǎn)。在這個(gè)問(wèn)題上，研究人員提出了幾種方法，直接使用測(cè)量約束來(lái)估計(jì)攝像機(jī)的數(shù)量和場(chǎng)景的歐狀結(jié)構(gòu)。近幾年來(lái),使用因子化方法求解射影重建問(wèn)題得到了重視.射影重建因子化方法可以同時(shí)考慮所有圖像,且不需要指定參考圖像,其形式化為將一個(gè)由未知射影深度值縮放的測(cè)量矩陣因式分解為投影矩陣和結(jié)構(gòu)矩陣的乘積.因此,射影深度的估計(jì)是射影重建因子化方法中待解決的關(guān)鍵問(wèn)題之一.現(xiàn)有方法主要有使用對(duì)極幾何關(guān)系估計(jì)射影深度的非迭代方法,其需要估計(jì)多視點(diǎn)幾何關(guān)系,例如:基本矩陣、三焦張量或四焦張量等,該類(lèi)方法對(duì)噪聲是敏感的在本文中,將以文獻(xiàn)[9,13]提出的方法為基礎(chǔ),對(duì)其進(jìn)行擴(kuò)展,使得新方法可以處理丟失數(shù)據(jù)項(xiàng)和局外點(diǎn).為了確保其收斂,本文將因子化方法形式化為一個(gè)極小化問(wèn)題序列,在不同步驟上,針對(duì)所關(guān)注的子問(wèn)題,對(duì)同一個(gè)目標(biāo)函數(shù)關(guān)于不同參量進(jìn)行極小化.由于在場(chǎng)景中可能存在遮擋現(xiàn)象,測(cè)量矩陣中僅含有有效數(shù)據(jù)項(xiàng)的假定條件不能得到滿(mǎn)足.因此,對(duì)于一個(gè)實(shí)用的因子化方法,必須處理丟失數(shù)據(jù)項(xiàng)的問(wèn)題.另外,由于特征跟蹤算法的局限性,使得在測(cè)量矩陣中存在一定比例的局外點(diǎn),消除局外點(diǎn)對(duì)因子化方法的影響是需要解決的問(wèn)題.當(dāng)測(cè)量矩陣中都是有效數(shù)據(jù)項(xiàng)時(shí),射影結(jié)構(gòu)和投影矩陣可使用SVD關(guān)于一個(gè)未知的4×4變換矩陣求得.但由于丟失數(shù)據(jù)項(xiàng)和局外點(diǎn)的存在,不能直接使用SVD.因此,在本文算法中,需要一個(gè)魯棒的PCA算法.本文使用廣義Lagrange乘子法(ALM)極小化一個(gè)由核范數(shù)和L本文第2節(jié)給出子空間的包含性度量;第3節(jié)給出消除局外點(diǎn)和丟失數(shù)據(jù)項(xiàng)影響的秩約束RPCA方法;第4節(jié)給出能夠處理丟失數(shù)據(jù)項(xiàng)和局外點(diǎn)數(shù)據(jù)的基于子空間的射影重建因子化方法;第5節(jié)給出本文算法的詳細(xì)分析,使用人工合成數(shù)據(jù)、恐龍網(wǎng)格數(shù)據(jù)和真實(shí)圖像數(shù)據(jù)以驗(yàn)證本文算法的有效性和魯棒性;第6節(jié)給出結(jié)論及將來(lái)的工作方向.2結(jié)構(gòu)矩陣s的行向量張成空間與pans的相關(guān)定義場(chǎng)景中n個(gè)3D點(diǎn)S其中W由式(2)可知,W其中span(S)表示由S的行向量張成的子空間.由式(1)可知,結(jié)構(gòu)矩陣S的行向量張成的4D子空間與縮放測(cè)量矩陣W的行向量張成的空間之間存在式(4)所示的關(guān)系.2.1qp/ws轉(zhuǎn)換方程不失一般性,假定結(jié)構(gòu)矩陣S是行滿(mǎn)秩的,規(guī)范化其行向量,使其是span(S)的正交基,并構(gòu)造滿(mǎn)足式(5)的正交矩陣[S如果W很明顯,要使式(3)是滿(mǎn)足的,當(dāng)且僅當(dāng)O(W2.2問(wèn)題的形式給定圖像坐標(biāo)x3魯棒主成分分析由于丟失數(shù)據(jù)項(xiàng)和局外點(diǎn)的存在,式(1)不再滿(mǎn)足.為了魯棒地估計(jì)出由正確射影深度縮放的測(cè)量矩陣其中,其中權(quán)數(shù)λ是一個(gè)正值.在矩陣中存在丟失數(shù)據(jù)項(xiàng)和局外點(diǎn)的情況下,由觀測(cè)數(shù)據(jù)準(zhǔn)確地恢復(fù)本質(zhì)上的低維線性子空間被稱(chēng)為魯棒主成分分析(RPCA)在本小節(jié)算法中使用廣義Lagrange乘子技術(shù)(ALM)求解式(10),用于消除局外點(diǎn)和丟失數(shù)據(jù)項(xiàng)的影響.ALM方法已經(jīng)被證明具有令人滿(mǎn)意的Q-線性收斂速度3.1求解rpca的廣義lagrange乘子法對(duì)于式(10)表示的RPCA問(wèn)題,其相應(yīng)的廣義Lagrange函數(shù)如式(11)所示.在算法1中描述了求解RPCA問(wèn)題的廣義Lagrange乘子法,下標(biāo)k表示迭代次數(shù).3.2估計(jì)主異化空間的維度在求解RPCA問(wèn)題(式(11))的算法1中,由于僅需要大于指定閾值的奇異值及相應(yīng)的奇異向量,所以需要估計(jì)主奇異空間的維度且計(jì)算完整的奇異值分解(SVD)是沒(méi)有必要的.在算法1中,外層循環(huán)的預(yù)測(cè)規(guī)則是sv其中,d=min(m,n);sv4魯棒射影重建算法極小化問(wèn)題(8)的一次迭代內(nèi)嵌2個(gè)極小化問(wèn)題,分別對(duì)應(yīng)交替估計(jì)結(jié)構(gòu)矩陣S和射影深度λ算法2.基于子空間的魯棒射影重建方法.1.設(shè)k=0,丟失數(shù)據(jù)項(xiàng){x2.k=k+1,固定M3.對(duì)每個(gè)i(=1,…,m),固定M本步計(jì)算的誤差如4.1結(jié)構(gòu)矩陣子矩陣在本文算法2的步2中,需要估計(jì)秩為4的結(jié)構(gòu)矩陣S.假定矩陣M上式中奇異值沿Σ的對(duì)角線降序排列,通過(guò)設(shè)S是V的前4個(gè)列向量組成的子矩陣和S4.2輻射的深度假定M為了極大化f(Λ如式(18)所示,ue003由本文算法2的實(shí)驗(yàn)證實(shí),一般經(jīng)過(guò)5次迭代式(19),射影深度λ5實(shí)驗(yàn)數(shù)據(jù)的實(shí)驗(yàn)配置在本節(jié),將算法2與Tang子空間方法進(jìn)行比較,使用3類(lèi)不同數(shù)據(jù)檢測(cè)算法2的有效性和魯棒性.第1類(lèi)實(shí)驗(yàn)數(shù)據(jù)是人工合成數(shù)據(jù),如圖1所示;第2類(lèi)實(shí)驗(yàn)數(shù)據(jù)是恐龍的三角網(wǎng)格在20個(gè)視點(diǎn)處投影,共有315個(gè)特征點(diǎn),人為設(shè)置每一視點(diǎn)處的攝像機(jī)矩陣,如圖2所示;第3類(lèi)實(shí)驗(yàn)數(shù)據(jù)是取自于牛津大學(xué)的視覺(jué)幾何研究組的房子模型圖像集,如后面圖10所示.在實(shí)驗(yàn)數(shù)據(jù)中含有一定比例的丟失數(shù)據(jù)項(xiàng)和局外點(diǎn),在這種實(shí)驗(yàn)環(huán)境下,Tang子空間方法不適用.在前兩類(lèi)數(shù)據(jù)的實(shí)驗(yàn)配置中,高斯噪聲級(jí)別變化范圍是(0~7),局外點(diǎn)占總特征點(diǎn)數(shù)的比率的變化范圍是(0~15%).在不同噪聲級(jí)別下,針對(duì)不同局外點(diǎn)比率,在每個(gè)實(shí)驗(yàn)環(huán)境下重復(fù)實(shí)驗(yàn)50次,取平均值為結(jié)果,以驗(yàn)證算法2的魯棒性,即消除丟失數(shù)據(jù)項(xiàng)和局外點(diǎn)影響的能力.在不同噪聲級(jí)別下,使用完整的測(cè)量矩陣(不含有丟失數(shù)據(jù)項(xiàng)和局外點(diǎn))估計(jì)射影深度值,分析算法2的射影深度的估計(jì)值與噪聲級(jí)別的相關(guān)性,以驗(yàn)證算法2的有效性.實(shí)驗(yàn)表明當(dāng)實(shí)驗(yàn)數(shù)據(jù)中含有較多局外點(diǎn)和丟失數(shù)據(jù)項(xiàng)時(shí),需要使用非線性方法完成丟失數(shù)據(jù)項(xiàng)的恢復(fù)和局外點(diǎn)數(shù)據(jù)的修正,算法2為其提供較好的初始值.5.13d誤差性能首先確定將在射影空間中重建的3D點(diǎn)X其中,S5.2算法2類(lèi),多次迭代在不同噪聲級(jí)別下,算法2是收斂的.在使用人工合成數(shù)據(jù)的情況下,噪聲級(jí)別不影響迭代次數(shù),均小于10次迭代,可求出可接受的結(jié)果.ALM的收斂性質(zhì)在文獻(xiàn)[14,20]有詳細(xì)推導(dǎo).在算法2的外層循環(huán)中,除施加秩4約束的ALM方法之外的其它部分,一次迭代的時(shí)間復(fù)雜度是O(mn),與測(cè)量矩陣的大小成正比,保證了算法2的收斂.5.3tag子空間方法與nd-pcr誤差關(guān)系設(shè)置50個(gè)特征點(diǎn)在一個(gè)邊長(zhǎng)范圍為[-0.5,0.5]的立方體內(nèi),在20個(gè)視點(diǎn)處放置攝像機(jī),攝像機(jī)的內(nèi)部參數(shù)矩陣為在不同噪聲級(jí)別下,將本文算法2與Tang子空間方法在各局外點(diǎn)比率下的誤差值比較,以驗(yàn)證當(dāng)測(cè)量矩陣中存在局外點(diǎn)時(shí)算法2的魯棒性,算法2要好于Tang子空間方法.在圖3中,子圖(a)~(c)分別是Tang子空間方法在X、Y、Z坐標(biāo)估計(jì)值的RMS誤差,其范圍是(0~70),多數(shù)情況下在(0~20)之間;僅在局外點(diǎn)比率是7%和11%,噪聲級(jí)別是4和5時(shí),X、Y、Z坐標(biāo)估計(jì)值的RMS誤差達(dá)到70左右.子圖(d)~(f)分別是算法2在X、Y、Z坐標(biāo)估計(jì)值的RMS誤差,其范圍是(0~2),多數(shù)情況下在(0~0.8)之間;僅在局外點(diǎn)比率是15%,噪聲級(jí)別是11時(shí),X、Y、Z坐標(biāo)估計(jì)值的RMS誤差在(1.8~2)之間.由圖3的上下子圖比較看出,算法2的RMS誤差遠(yuǎn)小于Tang子空間方法的RMS誤差.在不同局外點(diǎn)比率下,算法2與Tang子空間方法在各噪聲級(jí)別下的誤差值比較,驗(yàn)證當(dāng)測(cè)量矩陣中存在局外點(diǎn)時(shí),算法2抑制噪聲的能力,本文算法2與Tang子空間方法相似.在圖4中,子圖(d)~(f)分別是算法2在X、Y、Z坐標(biāo)估計(jì)值的RMS誤差,其范圍是(0~0.4),遠(yuǎn)小于Tang子空間方法的RMS誤差范圍(0~60).在不同噪聲級(jí)別下,算法2的坐標(biāo)估計(jì)值的RMS誤差大致呈線性發(fā)散,且在局外點(diǎn)比率大致小于7%時(shí),X、Y、Z坐標(biāo)估計(jì)值的RMS誤差是相近的.由圖4的子圖(a)~(c)可知,在局外點(diǎn)比率是15%時(shí),Tang子空間方法的RMS誤差在不同噪聲級(jí)別下會(huì)聚到相近的數(shù)據(jù)附近,說(shuō)明Tang子空間方法坐標(biāo)估計(jì)值的RMS誤差主要由局外點(diǎn)引起,對(duì)不同級(jí)別噪聲的抑制效果良好.在圖5中,子圖5(a)和(b)分別是算法2與Tang子空間方法在不同局外點(diǎn)比率下所用時(shí)間比較.當(dāng)測(cè)量矩陣含有局外點(diǎn),Tang子空間方法在各局外點(diǎn)比率下,所用時(shí)間范圍是(20~60)ms;當(dāng)測(cè)量矩陣無(wú)局外點(diǎn),Tang子空間方法在噪聲級(jí)別0~3上所用時(shí)間變化不大,在噪聲級(jí)別4~11上所用時(shí)間與噪聲級(jí)別大致呈線性關(guān)系.在局外點(diǎn)比率是15%、噪聲級(jí)別為2情況下,算法2所用時(shí)間為3300ms左右;其它情況算法2所用時(shí)間均在500ms以下,但比Tang子空間方法所用時(shí)間大10倍左右.子圖5(c)和(d)分別是算法2與Tang子空間方法在不同噪聲級(jí)別下所用時(shí)間比較.算法2在不同噪聲級(jí)別下所用時(shí)間相近,Tang子空間方法也是如此;但前者所用時(shí)間大致十倍于后者所用時(shí)間.由子圖5(c)和(d)可知,兩個(gè)方法的所用時(shí)間與噪聲級(jí)別相關(guān)性較弱,算法2比Tang子空間方法多出的時(shí)間主要用于處理局外點(diǎn).5.4方法的估計(jì)值對(duì)比該類(lèi)實(shí)驗(yàn)數(shù)據(jù)是恐龍三角網(wǎng)格在20個(gè)視點(diǎn)處投影,人為設(shè)置每一視點(diǎn)處的攝像機(jī)矩陣,共有315個(gè)特征點(diǎn),數(shù)據(jù)點(diǎn)的X、Y、Z坐標(biāo)的RMS分別是74.24969、36.83906和24.12055.為了突顯局外點(diǎn)的影響,在實(shí)驗(yàn)結(jié)果顯示時(shí),使用網(wǎng)格的邊面顯示模式.在該類(lèi)數(shù)據(jù)實(shí)驗(yàn)中,在每個(gè)實(shí)驗(yàn)配置下重復(fù)50次,取平均值為結(jié)果,算法2和Tang子空間方法在X、Y、Z坐標(biāo)估計(jì)值的RMS誤差,如表1所示.在顯示恢復(fù)的模型和X、Y、Z坐標(biāo)值的RMS誤差時(shí),僅選擇其中一次實(shí)驗(yàn)結(jié)果顯示.如表1所示,在無(wú)局外點(diǎn),無(wú)噪聲的實(shí)驗(yàn)配置下,算法2與Tang子空間方法差別較小,兩種方法效果均良好.在圖6中,子圖6(b)~(d)分別是算法2在X、Y、Z坐標(biāo)上的估計(jì)值與真值比較,子圖6(f)~(h)分別是Tang子空間方法在X、Y、Z坐標(biāo)上的估計(jì)值與真值比較.在X、Y坐標(biāo)值上,兩種方法的估計(jì)值與真值幾乎沒(méi)有差別;如子圖6(d)和(h)所示,在Z坐標(biāo)值上,兩種方法在Z=0的位置處,有一些波動(dòng),但幅度不大.如表1所示,在無(wú)局外點(diǎn)的各噪聲級(jí)別下,兩種方法抑制噪聲的效果較好.為了檢測(cè)算法2的魯棒性,分別在局外點(diǎn)比率為(5%~15%),高斯噪聲級(jí)別為(0~7)實(shí)驗(yàn)配置下實(shí)驗(yàn).限于篇幅的原因,在此僅給出局外點(diǎn)比率為5%和10%,噪聲級(jí)別為7情況下的實(shí)驗(yàn)結(jié)果,分別如圖7和圖8所示.本文算法2的X、Y、Z坐標(biāo)估計(jì)值的RMS誤差遠(yuǎn)低于Tang子空間方法的X、Y、Z坐標(biāo)估計(jì)值的RMS誤差,表明本文方法消除局外點(diǎn)影響的能力要好于Tang子空間方法.但局外點(diǎn)比率10%情況下的坐標(biāo)估計(jì)值的RMS誤差不如在局外點(diǎn)比率為5%時(shí)明顯.各坐標(biāo)估計(jì)值的波動(dòng)幅度隨噪聲級(jí)別增加而增加,Z坐標(biāo)估計(jì)值尤其如此.由于噪聲級(jí)別的增加,某些局外點(diǎn)沒(méi)有被處理,如圖8的子圖(a)和(e)所示,表明噪聲級(jí)別對(duì)局外點(diǎn)處理有一定影響,其相關(guān)性研究是我們將來(lái)工作的方向.在局外點(diǎn)比率為15%,噪聲級(jí)別為0配置下的實(shí)驗(yàn)結(jié)果分別如圖9所示,兩種方法消除局外點(diǎn)影響的能力均在減弱,在該局外點(diǎn)比率下,本文算法2生成的結(jié)果已不能直接用于歐氏重建升級(jí),但可以用于捆綁調(diào)整方法之類(lèi)的非線性?xún)?yōu)化方法的初始值.如表1所示,本文算法2在X、Y、Z坐標(biāo)估計(jì)值的RMS誤差明顯低于Tang子空間方法在X、Y、Z坐標(biāo)估計(jì)值的RMS誤差,且兩者之間的比值相比局外點(diǎn)比率為5%和10%時(shí)都要高,表明在這種實(shí)驗(yàn)配置下,本文算法2的魯棒性要遠(yuǎn)好于Tang子空間方法的魯棒性.由表1可知,隨著局外點(diǎn)比率的增大,在不同噪聲級(jí)別下本文算法2消除局外點(diǎn)的能力大致呈線性關(guān)系,而Tang子空間方法估計(jì)值的RMS誤差增加較快,說(shuō)明其消除局外點(diǎn)影響的能力較弱.5.5實(shí)驗(yàn)結(jié)果和討論該類(lèi)實(shí)驗(yàn)數(shù)據(jù)是來(lái)自于牛津大學(xué)的視覺(jué)幾何研究組的房子模型圖像集,由10幅圖像組成,圖10給出其中的第1、4、7和10幀.由于該類(lèi)圖像序列沒(méi)有真值數(shù)據(jù),本文算法2的重建結(jié)果沒(méi)有像前兩類(lèi)人工合成數(shù)據(jù)一樣,計(jì)算3D估計(jì)值和真值之間的誤差.本文算法2對(duì)該類(lèi)數(shù)據(jù)的重建結(jié)果如圖11所示,其中圖11(a)是將在第1幀上檢測(cè)的特征點(diǎn)附加到第1幀上,使用“+”表示其位置;圖11(b)是重建3D點(diǎn)在第1幀處的重投影點(diǎn)附加到第1幀上,同樣使用“+”表示其位置;圖11(c)和(d)分別是實(shí)際恢復(fù)3D點(diǎn)云數(shù)據(jù)在模型的右上方30°角和左下方45°角的觀測(cè)視圖.在該類(lèi)實(shí)驗(yàn)中,實(shí)際恢復(fù)的3D點(diǎn)有672個(gè).由圖11的子圖(a)和(b)對(duì)比可知,重投影點(diǎn)與對(duì)應(yīng)的特征點(diǎn)位置基本沒(méi)有差別,表明重投影誤差較小.由圖11(c)和(d)可知,本文算法2處理該類(lèi)實(shí)驗(yàn)數(shù)據(jù)是有效的.在該類(lèi)實(shí)驗(yàn)中,重投影點(diǎn)和特征點(diǎn)比較結(jié)果如圖12所示.圖12(a)是在各幀處重投影點(diǎn)與特征點(diǎn)坐標(biāo)誤差的RMS,均小于1;圖12(b)和(c)分別是在第5幀上重投影點(diǎn)和特征點(diǎn)的X和Y坐標(biāo)值比較,在X和Y坐標(biāo)值上,兩者相差很小,幾乎重合在一起;表明基于重投影誤差的本文算法2的有效性.6消除局外點(diǎn)影響本文貢獻(xiàn):(1)在算法2中將射影重建因子化問(wèn)題表示為同一個(gè)目標(biāo)函數(shù)關(guān)于2組不同參量交替估計(jì)秩4結(jié)構(gòu)矩陣和射影深度,且兩個(gè)估計(jì)子問(wèn)題在同一個(gè)子空間框架中,先后對(duì)同一個(gè)目標(biāo)函數(shù)的極小化保證了迭代解的收斂.(2)在算法2中使用施加秩4約束的基于ALM的RPCA方法估計(jì)秩4結(jié)構(gòu),不僅可以恢復(fù)丟失數(shù)據(jù)項(xiàng)而且還消除了局外點(diǎn)的影響.(3)算法2中的射影深度的迭代估計(jì)方法依賴(lài)于上一步魯棒估計(jì)的結(jié)構(gòu),所以用較少的迭代就可收斂到當(dāng)前結(jié)構(gòu)下的射影深度優(yōu)化值.本文算法2的恢復(fù)丟失數(shù)據(jù)項(xiàng)和消除局外點(diǎn)影響的能力增強(qiáng)了因子化方法的適用能力.與Tang因子化方法相比,本文算法2生成的重建結(jié)果優(yōu)于Tang因子化方法的結(jié)果.由實(shí)驗(yàn)可知,在低局外點(diǎn)比率下,例如:局外點(diǎn)比率小于10%,即使局外點(diǎn)比率為10%,且在無(wú)噪聲級(jí)別情況下,算法2具有較強(qiáng)的消除局外點(diǎn)影響和抑制噪聲的能力,其結(jié)果可直接用于歐氏重建升級(jí);但在高局外點(diǎn)比率,尤其是高噪聲級(jí)別情況下,例如:局外點(diǎn)比率為10%或15%,且噪聲級(jí)別為7,算法2的結(jié)果可用于捆綁調(diào)整算法的初始值,以極小化2D重投影誤差.由表1所示,在X、Y、Z坐標(biāo)值下,本文算法2的RMS誤差相比Tang子空間方法的RMS誤差小得多.另外本文方法在X、Y、Z坐標(biāo)上的RMS誤差相差不大,位于最優(yōu)化值鄰域的可能性較高;本文算法2的結(jié)果作為捆綁調(diào)整算法的初始值,應(yīng)當(dāng)具有良好的效果,收斂到全局優(yōu)化值可能性較大;其驗(yàn)證是我們將來(lái)的工作之一.ehartiecterficitact為多價(jià)值的methodTheproblemconsideredinthispaperisStructurefrommotion(SFM)incomputervision.Thefactorizationmethodforsolvingthisproblemisoneoftheresearchhotspotinthisfield.Allthepointsarevisibleinallviewsandmismatcheddatum(outliers)arenotpresentedinmeasurematrixarenecessaryconditionsoftheexistingsubspacemethod.Toeliminatetheharmfuleffectofoutliersandmissingdatumtofactorizationmethod,arobustsubspaceprojectivereconstructionmethodisproposedinthispaper.Underlowerratiosofoutliers,reconstructionresultofthisalgorithmcandirectlyusedforupdatingofEuclideanreconstruction;butunderhigherratiosofoutli