聚焦型光場相機等效多相機模型及其運動恢復(fù)結(jié)構(gòu)應(yīng)用

1引言光場相機能夠同時捕捉光線的空間分布和角度分布信息，進(jìn)而可以記錄場景的深度信息，這使得光場相機能夠應(yīng)用于三維重建、速度距離測量以及運動恢復(fù)結(jié)構(gòu)(SFM)等諸多領(lǐng)域。相比于非聚焦型光場相機，聚焦型光場相機可以在相似的相機配置條件下實現(xiàn)更高的深度計算精度，因此更適用于運動恢復(fù)結(jié)構(gòu)(SFM)等領(lǐng)域。運動恢復(fù)結(jié)構(gòu)(SFM)的主要研究內(nèi)容是從一個移動相機拍攝得到的一系列二維圖像中恢復(fù)相機姿態(tài)和場景結(jié)構(gòu)。很多學(xué)者在SFM領(lǐng)域做了大量研究。目前較為流行的是Schonberger等提出的COLMAP方法。但是這些方法僅適用于針孔相機，難于直接應(yīng)用于聚焦型光場相機。近幾年，很多學(xué)者提出了適用于非聚焦型光場相機的SFM方法。Johannsen等首次提出了適用于光場相機的SFM算法—LF-SFM。Zhang等提出了基于直線和平面特征的SFM流程。Nousias等提出了基于大規(guī)模無序排列的非聚焦型光場圖像集合的場景重建算法。但是由于聚焦型光場相機和非聚焦型光場相機的結(jié)構(gòu)和參數(shù)不同，聚焦型光場相機無法像非聚焦型光場相機那樣便捷地提取子孔徑圖像，因此非聚焦型光場相機的SFM方法并不能直接應(yīng)用于聚焦型光場相機。為此，Zeller等提出了適用于聚焦型光場相機的場景重建算法，分析了聚焦型光場相機等效多目相機模型中相機的空間位置。但是該方法在計算相機位姿過程中，將光場相機退化為針孔相機模型，且利用全聚焦圖像對準(zhǔn)來進(jìn)行光場相機的位姿估計，故沒有充分利用多目相機模型相比于針孔模型的優(yōu)勢，并且Zeller等并沒有給出完整的聚焦型光場相機等效多目相機模型，尤其是沒有給出每個子相機的內(nèi)參矩陣。本文針對聚焦型光場的SFM問題，提出了完整準(zhǔn)確的聚焦型光場相機的等效多目相機模型。并基于等效多目相機模型，利用多目相機的SFM方法，給出了適用于聚焦型光場相機的位姿估計方法和點云三角化方法。最后，通過仿真實驗和真實場景重建實驗驗證了本文等效模型的正確性，證實了位姿估計方法和點云三角化方法的有效性，進(jìn)而表明聚焦型光場相機SFM問題可以等效為多目相機SFM問題。2聚焦型光場相機基本概念2.1相機結(jié)構(gòu)聚焦型光場相機可以劃分為均一焦距的聚焦型光場相機和多焦距聚焦型光場相機。本研究以多焦距聚焦型光場相機為例進(jìn)行說明，因為均一焦距可以視為多焦距的特例。聚焦型光場相機的成像平面可以位于微透鏡陣列(MLA)的前側(cè)或者后側(cè)，前者對應(yīng)開普勒結(jié)構(gòu)，后者對應(yīng)伽利略結(jié)構(gòu)，如圖1所示。目前的商用聚焦型光場相機(例如:Raytrix公司)多采用伽利略結(jié)構(gòu)，其通過使用3類不同焦距的微透鏡來增加景深范圍。圖1多焦距聚焦型光場相機結(jié)構(gòu)示意。(a)開普勒結(jié)構(gòu);(b)伽利略結(jié)構(gòu)2.2坐標(biāo)系建立為了方便后續(xù)的描述，首先建立坐標(biāo)系，并對相關(guān)符號進(jìn)行說明。光場相機坐標(biāo)系OXYZ的中心選在主透鏡的中心位置O點，其Z軸方向與相機光軸重合，方向朝外。圖像坐標(biāo)系ouv的坐標(biāo)原點選在傳感器的左上角o點。具體的坐標(biāo)系示意圖如圖2所示，圖中fL為主透鏡的焦距(mm)，b為傳感器相對于主透鏡的位移(mm)，B表示傳感器相對于MLA的位移(mm)。值得注意的是，這里fL為正數(shù)，而b和B為負(fù)數(shù)。

圖2光場相機坐標(biāo)系建立2.3光場相機標(biāo)定在計算聚焦型光場相機等效多目相機模型的具體參數(shù)之前，需要得到聚焦型光場相機的具體相機標(biāo)定參數(shù)。本研究采用Bok等提出的光場相機內(nèi)參{fx，fy，cu，cv，K1，K2}。這些內(nèi)參和本文相機模型中參數(shù)的具體對應(yīng)關(guān)系為式中:fx和fy分別為x和y方向的像素焦距;(sx，sy)為傳感器上像素的物理尺寸;(cu，cv)表示主鏡頭的中心O點在ouv中的像素坐標(biāo);K1，K2為光場相機區(qū)別于針孔相機的相機參數(shù)。3聚焦型光場相機等效多目相機模型聚焦型光場相機本質(zhì)上可以等價為多目相機陣列。假定在物空間存在物點P，其在相機坐標(biāo)系OXYZ內(nèi)的坐標(biāo)為(Px，Py，Pz)，那么根據(jù)薄透鏡成像公式，P點對應(yīng)的像點Q的坐標(biāo)滿足Qz=，(3)式中:Qz為Q點在相機坐標(biāo)系OXYZ中的Z軸坐標(biāo)值。進(jìn)一步，將微透鏡中心位置看作成像點，并根據(jù)薄透鏡成像公式將微透鏡中心坐標(biāo)投影到真實空間中，進(jìn)而得到Lz=，(4)式中:Lz為微透鏡中心投影后位置在OXYZ中的Z軸坐標(biāo)值。將所有投影后的微透鏡看作子相機的主鏡頭，就可以將聚焦型光場相機等效變換為虛擬的相機陣列。根據(jù)MLA平面距離主透鏡的距離b-B和主透鏡焦距fL的關(guān)系，可得Lz的取值有正負(fù)之分。因此可以得到圖3所示兩種等效多相機模型，即fL>|b-B|和fL<|b-B|兩種情況。圖3等效多目相機模型。(a)fL>|b-B|;(b)fL<|b-B|3.1子相機位置姿態(tài)在完成相機標(biāo)定后，可以根據(jù)相機內(nèi)參來確定等效多目相機模型中的子相機的物理空間位置和姿態(tài)。根據(jù)相似三角形關(guān)系，可以得到子相機中心坐標(biāo)(Lx，Ly，Lz)和ouv下微透鏡中心坐標(biāo)(lu，lv)的關(guān)系為根據(jù)(2)式中K1和K2，結(jié)合(4)式，可以得到Lz=-K2/K1。進(jìn)一步由(5)式可得

根據(jù)相似三角形關(guān)系，可以得到微透鏡中心像素坐標(biāo)(lu，lv)和微透鏡圖像中心像素坐標(biāo)(iu，iv)的關(guān)系為

根據(jù)(1)式、(6)式和(7)式可以得到虛擬相機陣列中每個子相機中心在OXYZ中的坐標(biāo)為

除了子相機的中心位置，子相機的朝向也是需要確定的重要參數(shù)。由于MLA平面的所有微透鏡共面且朝向統(tǒng)一，因此投影后得到的子相機中心位置也符合共面特性，且每個子相機的朝向相同。每個子相機的朝向與聚焦型光場相機的朝向保持一致。在此基礎(chǔ)上，建立子相機的相機坐標(biāo)系O'JKL，如圖4所示，其坐標(biāo)系中心選在子相機的中心位置，坐標(biāo)軸方向與相機坐標(biāo)系OXYZ的坐標(biāo)軸方向相同，與此同時，建立投影傳感器的像素坐標(biāo)系o'mn。對于空間內(nèi)任意一個點P，令其在相機坐標(biāo)系OXYZ內(nèi)坐標(biāo)為(Px，Py，Pz)，那么P在某一子相機坐標(biāo)系O'JKL內(nèi)的坐標(biāo)(Pj，Pk，Pl)為

這樣就得到了子相機坐標(biāo)O'JKL相對于相機坐標(biāo)系OXYZ的變換關(guān)系。

圖4子相機坐標(biāo)系建立示意圖3.2子相機內(nèi)參矩陣為了得到完整的多相機等效模型，需要推導(dǎo)出每個子相機的內(nèi)參矩陣。根據(jù)Bok等的工作，原始圖上像素點p在標(biāo)定后可以換算為相機外真實空間中的一根光線，該光線在OXYZ坐標(biāo)系中的方向向量(rx，ry，1)和點p在ouv中的坐標(biāo)(pu，pv)的關(guān)系為假定點P是和像素點p相關(guān)的三維空間點，并用(Pj，Pk，Pl)表示P點在子相機坐標(biāo)系O'JKL中的坐標(biāo)，那么(Pj，Pk，Pl)和光線方向向量(rx，ry，1)的關(guān)系為

根據(jù)(10)式，(11)式變?yōu)?/p>

(12)

式反映了(Pj，Pk，Pl)和原始圖中特征坐標(biāo)(pu，pv)的關(guān)系。為進(jìn)一步得到(Pj，Pk，Pl)和子相機圖像內(nèi)特征坐標(biāo)的關(guān)系，首先確定投影后傳感器的位置，并建立子相機圖像坐標(biāo)系o″αβ。

圖5子相機圖像和微透鏡圖像的對應(yīng)關(guān)系通過圖5可以看出，投影后傳感器上的圖像形狀和原始圖上的微透鏡圖像形狀是一致的。為了方便描述，本研究取投影后傳感器和投影后MLA之間的間距為單位1，同時令投影后傳感器的像素分辨率和原始圖分辨率保持一致。假設(shè)微透鏡圖像中任意一點p在坐標(biāo)系ouv下的坐標(biāo)為(pu，pv)，并且p點對應(yīng)的微透鏡圖像中心i點坐標(biāo)為(iu，iv)。令(pm，pn)和(im，in)表示p點和i點在投影后傳感器上對應(yīng)位置在坐標(biāo)系o'mn下的坐標(biāo)，則三者滿足

為了更清晰地進(jìn)行后續(xù)描述，建立子相機的圖像坐標(biāo)系o″αβ，如圖6所示。對于o'mn中的特征坐標(biāo)(pm，pn)，其在o″αβ中的坐標(biāo)(pα，pβ)為

式中:rmi為微透鏡圖像的像素半徑，其在數(shù)值上等于投影后子相機圓形圖像的像素半徑。根據(jù)(12)~(14)式，可以得到從(Pj，Pk，Pl)到(pα，pβ)的變換關(guān)系，即

式中:H為等效多目相機中子相機的內(nèi)參矩陣。值得注意的是，不同位置的子相機的內(nèi)參矩陣不是固定的，具體的變化體現(xiàn)在內(nèi)參矩陣H需要根據(jù)微透鏡圖像中心坐標(biāo)(iu，iv)的變化而變化。這是由于微透鏡中心和微透鏡圖像中心并不總在一條水平直線上，故導(dǎo)致投影得到的子相機中心和子相機圖像中心也并不總是在同一個水平直線上，如圖6所示。

圖6子相機圖像坐標(biāo)系建立示意圖3.3像素到光線的映射在等效多相機模型的基礎(chǔ)上，將不同子相機內(nèi)的特征轉(zhuǎn)換為光線坐標(biāo)，便于使用基于光線的傳統(tǒng)位姿估計算法和點云三角化算法。具體來講，本研究采用普呂克坐標(biāo)來進(jìn)行光線的坐標(biāo)表示。對于中心坐標(biāo)為(Lx，Ly，Lz)的子相機，令其圖像內(nèi)的像素點p在坐標(biāo)系o″αβ下的坐標(biāo)為(pα，pβ)。根據(jù)(13)式和(14)式，可以得到p點在微透鏡圖像內(nèi)對應(yīng)的特征坐標(biāo)(pu，pv)為

根據(jù)(10)式，可以得到像素坐標(biāo)為(pu，pv)的特征對應(yīng)的光線(相機外)在聚焦型光場相機相機坐標(biāo)系OXYZ下的方向向量為(rx，ry，1)。因為該光線必定通過子相機的中心(Lx，Ly，Lz)，所以光線彎矩(mr1，mr2，mr3)的計算公式為

對于中心坐標(biāo)為(Lx，Ly，Lz)的子相機，圖像坐標(biāo)為(pα，pβ)的特征點對應(yīng)的特征光線在OXYZ下的普呂克坐標(biāo)為4

基于多目相機等效模型的SFM方法本研究將聚焦型光場等效為多目相機陣列。對于多目相機，更一般的數(shù)學(xué)描述為非中心相機。這里的非中心相機指的不是傳統(tǒng)意義上的針孔相機，而是具有多個光線會聚中心的一般相機模型。非中心相機存在一個視點(viewpoint)，所有子相機相對于視點存在一定的旋轉(zhuǎn)和位移，且每個子相機都有經(jīng)過自己子相機中心的光線，具體的示意如圖7所示。在實際應(yīng)用過程中，非中心相機被當(dāng)作一個整體看待。

圖7非中心相機示意圖對于聚焦型光場相機，其視點位于主鏡頭中心O點，相機坐標(biāo)系OXYZ即為視點坐標(biāo)系，故3.1節(jié)中的坐標(biāo)系O'JKL即為子相機坐標(biāo)系。(9)式描述了視角坐標(biāo)系和子相機坐標(biāo)的位置關(guān)系，(10)式、(17)式和(18)式是將像素特征轉(zhuǎn)化為普呂克坐標(biāo)表示的光線。本節(jié)基于聚焦型光場相機的等效多目相機模型，利用非中心相機的SFM算法給出了適用于聚焦型光場相機的位姿估計算法和點云三角化算法示例，并以此證明聚焦型光場相機的SFM問題可以轉(zhuǎn)化為多目相機的SFM問題。傳統(tǒng)多目相機的SFM方法可以應(yīng)用于聚焦型光場相機的SFM問題中。4.1相對位姿估計在SFM過程中，往往要利用兩幀圖像進(jìn)行場景重建初始化，這其中涉及到兩幀圖像之間的相對位姿估計[9]。對于聚焦型光場相機，這一問題可以劃歸為非中心相機的相對位姿估計問題。本研究利用聚焦型光場相機的等效多相機模型，使用基于RANSAC方法[19]中的17點算法[20]進(jìn)行兩幀聚焦型光場相機圖像之間的相對位姿估計。具體來講，假定兩幀原始圖具有Nm組匹配的特征點。對于第i組匹配特征點i=1，2，…，Nm，假定其在第1幀有mrel個特征點，在第2幀有nrel個特征點，利用3.3節(jié)的方法可以將所有特征點都換算成由普呂克坐標(biāo)表示的光線，這樣可以得到個匹配的光線對。對于兩幀之間的任意匹配光線，其普呂克坐標(biāo)L1和L2滿足

式中:E為本質(zhì)矩陣;R為兩幀之間的旋轉(zhuǎn)矩陣。假定向量t表示兩幀之間的位移向量，那么本質(zhì)矩陣E在數(shù)值上滿足

式中:t1、t2和t3為向量t的元素分量。將個匹配的光線對作為基于RANSAC方法中17點算法的輸入，可以計算得出從第2幀相機坐標(biāo)系OXYZ到第1幀相機坐標(biāo)系OXYZ的變換矩陣R和t。4.2絕對位姿估計在場景重建過程中，基于已有的重建點，對新圖像幀進(jìn)行注冊的問題本質(zhì)上就是絕對位姿估計的問題。根據(jù)聚焦型光場相機的等效多目模型，其絕對位姿估計問題可以劃歸為非中心相機的絕對位姿求解問題，即利用nabs個二維點和三維點的對應(yīng)關(guān)系來得到已標(biāo)定非中心相機的位置和姿態(tài)。在非中心相機的絕對位姿求解問題上，gP3P算法具有較好的表現(xiàn)，故本研究采用基于RANSAC方法的gP3P算法進(jìn)行絕對位姿估計。在實際計算過程中，一個空間三維點在原始圖中對應(yīng)多個二維特征點。設(shè)共計有Nabs個三維特征點可以在當(dāng)前幀中找到匹配的二維特征，對于第j個三維特征點(j=1，2，…，Nabs)，在原始圖中存在njabs個二維特征點與之對應(yīng)，這樣共計存在個二維點-三維點的對應(yīng)關(guān)系。將所有二維點-三維點的對應(yīng)關(guān)系作為基于RANSAC[19]的gP3P算法[21]的輸入，就可以計算得到當(dāng)前幀相對于三維點所在世界坐標(biāo)系的絕對位置姿態(tài)。本研究在具體實現(xiàn)過程，利用文獻(xiàn)[18]中公開的OpenGV代碼庫中的代碼實現(xiàn)。4.3點云三角化在得到圖像幀位置姿態(tài)后，需要根據(jù)兩幀圖像的匹配特征通過三角化算法計算出空間三維點在世界坐標(biāo)系的坐標(biāo)。具體來講，對于一個任意的空間三維點，假設(shè)其在第1幀聚焦型光場相機原始圖中具有mtri個匹配特征點，在第2幀中具有ntri個匹配特征點，那么根據(jù)聚焦型光場相機的多目等效模型，可知該問題可以等效為多視角(mtri+ntri視角)三角化問題，其中每個相機的內(nèi)參矩陣可以通過(15)式得到，子相機的物理位置可以通過(8)式得到。本研究利用DLT算法得到重建的三維點，并進(jìn)一步利用Levenberg-Marquardt非線性優(yōu)化算法優(yōu)化重投影誤差，進(jìn)而優(yōu)化三維重建點的坐標(biāo)。5

實驗與驗證為了驗證本文等效多目相機模型和SFM算法的正確性，進(jìn)行相應(yīng)的仿真和真實實驗。實驗代碼在win7操作系統(tǒng)上的MATLAB軟件上運行。實驗所用計算機的CPU為英特爾公司的i7-7700(3.6GHz)。本研究首先通過仿真實驗驗證本文等效模型的正確性。具體的聚焦型光場相機仿真參數(shù)如表1所示。傳感器的分辨率為3000pixel×2000pixel。根據(jù)表1仿真參數(shù)可以計算出相機內(nèi)參{fx，fy，cu，cv，K1，K2}的具體取值，如表2所示。表2聚焦型光場相機標(biāo)定內(nèi)參取值根據(jù)表2所示的仿真參數(shù)以及(8)式，可以得到等效相機陣列中子相機的最小物理間距為1.269mm，最遠(yuǎn)的子相機物理間距能夠達(dá)到140.423mm。等效相機陣列呈六邊形排布，共計有71×92個子相機。在仿真相機的基礎(chǔ)上，測試了相對位姿估計、絕對位姿估計以及點云三角化算法的性能，進(jìn)而驗證了等效模型的正確性。隨后，使用Ratyrix公司的R29相機進(jìn)行真實場景的拍攝，并基于拍攝的場景進(jìn)行真實的場景重建實驗。這一真實實驗進(jìn)一步驗證了本文等效相機模型的正確性，并表明基于多目相機模型的SFM算法能夠成功應(yīng)用于聚焦型光場相機的場景重建中。5.1相對位姿仿真測試首先，基于仿真的聚焦型光場相機，測試4.1節(jié)中的相對位姿估計算法在不同噪聲水平下的性能表現(xiàn)。對于兩幀不同位置的聚焦型光場相機圖像，令第1幀圖像的相機坐標(biāo)系OXYZ和世界坐標(biāo)系OwXwYwZw重合，并隨機產(chǎn)生第2幀圖像的位置。具體來講，從[-0.2m，0.2m]范圍內(nèi)隨機產(chǎn)生第2幀圖像相對于OwXwYwZw的位移，并在[-18°，18°]的范圍內(nèi)隨機產(chǎn)生第2幀圖像相對于OwXwYwZw中3個坐標(biāo)軸的旋轉(zhuǎn)角度。與此同時，在距離相機0.5~8.5m的范圍內(nèi)，隨機產(chǎn)生200個空間三維點，并將三維點投影到光場原始圖中。對于投影后的二維特征點位置，加入均值為0、均方差為σ的高斯噪聲。實驗中，改變噪聲均方差σ的取值，觀察位姿估計結(jié)果的精度。為了增加實驗的一般性，對每個σ取值，共計進(jìn)行100次獨立實驗。每次實驗中，第2幀相機圖像的姿態(tài)和三維點云都隨機產(chǎn)生。實驗中，衡量相對位姿估計準(zhǔn)確度的評價指標(biāo)為100次獨立實驗的相機位移誤差和旋轉(zhuǎn)角度誤差的中值，具體計算結(jié)果如圖8圖8相對位姿估計結(jié)果。(a)位移誤差中值;(b)旋轉(zhuǎn)角度誤差中值從實驗結(jié)果可以看出，基于等效多目相機模型的相對位姿估計算法具有較好的精度，并且估計精度和噪聲水平大致呈線性關(guān)系，這驗證了本文提出的等效多目相機模型的正確性，也說明該算法能夠有效地解決聚焦型光場相機的相對位姿估計問題。5.2絕對位姿估計仿真測試在絕對位姿估計仿真實驗中，本研究采用的相機參數(shù)和仿真參數(shù)與5.1節(jié)中的參數(shù)一致。具體的區(qū)別在于:在絕對位姿估計實驗中，本研究根據(jù)三維空間點和第2幀圖像的二維特征之間的對應(yīng)關(guān)系，計算第2幀圖像在世界坐標(biāo)系中的位置和姿態(tài)，具體的計算結(jié)果如圖9所示。根據(jù)實驗結(jié)果，基于等效多目相機模型的絕對位姿估計算法具有較好的位姿估計結(jié)果，這再次驗證了本文提出的等效多目相機模型的正確性，也說明該算法能夠有效地解決聚焦型光場相機的絕對位姿估計問題。5.3點云三角化仿真測試在點云三角化仿真實驗中，本研究采用和5.1節(jié)中相同的仿真條件。具體的區(qū)別在于:點云三角化實驗利用兩幀光場圖像之間的已知位姿和二維特征匹配關(guān)系，來計算對應(yīng)的空間三維點，并通過三維點的空間誤差來衡量點云三角化的精度。實驗中三角化精度的評價指標(biāo)為100次獨立實驗中重建點云平均誤差的中值，具體的計算結(jié)果如圖10所示。該實驗結(jié)果驗證了本文提出的等效多目相機模型的正確性，也表明該三角化算法能夠有效地解決聚焦型光場相機的點云三角化問題。圖9絕對位姿估計結(jié)果。(a)位移誤差中值;(b)旋轉(zhuǎn)角度誤差中值圖10三角化結(jié)果5.4真實場景重建實驗為了進(jìn)一步驗證本文等效多目相機模型的正確性，進(jìn)行了真實場景重建實驗。具體來講，使用R29聚焦型光場相機搭配100mm焦距的主透鏡，拍攝了15張真實場景的光場圖像。實驗中