如何應(yīng)用陣列型光場相機實現(xiàn)圖像遮擋物移除

01引言在計算機視覺領(lǐng)域中，目標(biāo)物前出現(xiàn)遮擋與目標(biāo)物出現(xiàn)混疊時都會對數(shù)據(jù)采集造成影響。多數(shù)傳統(tǒng)相機設(shè)備采集數(shù)據(jù)時僅可以記錄場景的二維信息，當(dāng)目標(biāo)物前出現(xiàn)遮擋時，單視角成像設(shè)備在數(shù)據(jù)采集時由于遮擋物的影響，會造成信息的大量丟失。多視角的合成孔徑技術(shù)則可以同時記錄空間中光線的四維信息，包括方向信息與角度信息［1］，利用更高維度的信息量減少遮擋物帶來的影響。相機陣列法以斯坦福大學(xué)提出的128臺相機陣列為代表，相機采用不同的排列方式，獲得多種不同角度的子圖像陣列，同時利用相機陣列的景深特點，通過數(shù)字重聚焦技術(shù)與合成孔徑技術(shù)可實現(xiàn)類似“透視”的效果［2］。相機陣列相比于傳統(tǒng)相機多記錄了兩個維度的信息，為后續(xù)有效地移除遮擋物、獲得高還原度的目標(biāo)信息提供了理論基礎(chǔ)。近年來，去遮擋物算法被國內(nèi)外眾多學(xué)者廣泛研究，并提出了具有高參考價值的理論。劉嚴(yán)羊碩等［3］提出一種先利用EPI的邊緣特征估計景深范圍，再進行光場重建的算法。此方法需要遮擋物與目標(biāo)物存在明顯不同的深度特性，否則影響遮擋物的識別與移除。張世輝等［4］提出一種利用隨機森林檢測深度圖像中遮擋物的方法。其方法是基于機器學(xué)習(xí)思想，在圖像檢測時需要選擇通用性較好的夾角特性。陳先鋒等［5］提出一種基于先驗信息的去遮擋物算法。該方法對遮擋區(qū)域具有低敏感度，對于非遮擋區(qū)域具有高敏感度的特性。劉潤興等［6］提出一種聚焦式光場去混疊的方法移除遮擋。此方法對圖像合成有較為良好的改善，但計算量大，實時性還有待提高。Bobick等［7］提出了加入順序約束條件的動態(tài)規(guī)劃算法。該方法受限于物體的大小，無法有效處理孔狀和窄物體區(qū)域。Egnal等［8］基于唯一性約束條件提出交叉驗證算法，受限于唯一性約束，該方法無法使用在水平傾斜表面。遮擋物移除算法大多著重于遮擋物移除的完全性和精確性，忽略了重構(gòu)圖像的質(zhì)量，不利于圖像細(xì)節(jié)部分的還原。本文提出一種應(yīng)用相機陣列系統(tǒng)，基于光場數(shù)據(jù)采集與數(shù)字重聚焦技術(shù)，并通過SEEQ圖像質(zhì)量評價算法評估圖像質(zhì)量從而選擇最佳的傾斜因子，并利用最小誤差法分割遮擋物，最后通過圖像增強與形態(tài)學(xué)處理還原完整的目標(biāo)圖像的方法。遮擋物移除技術(shù)在國防軍事、公共安全、航天遙感等領(lǐng)域都有著很好的發(fā)展前景。02基于相機陣列的遮擋物移除算法本文首先利用數(shù)字重聚焦技術(shù)，根據(jù)遮擋物與目標(biāo)物體深度上的不同選擇合適的深度重聚焦，突出目標(biāo)物體細(xì)節(jié)信息。根據(jù)子圖像陣列與相機陣列的位置關(guān)系，利用幾何特征連續(xù)迭代選擇效果最佳的傾斜因子，得到重構(gòu)圖像。利用最小誤差法選擇合理的閾值進行遮擋區(qū)域的分割。最后移除遮擋區(qū)域像素，恢復(fù)目標(biāo)物圖像的細(xì)節(jié)信息，具體流程如圖1所示。

2.1光場成像與數(shù)字重聚焦如圖2所示，本文采用雙平面參數(shù)法來表征光場。該方法依據(jù)Levoy等［1］提出的光場渲染理論，分別在主透鏡與傳感器處建立兩個二維平面，設(shè)一條同時穿過兩個平面的光線，分別交兩個平面于（u，v）和（s，t）兩點，由（u，v）和（s，t）描述這條光線的二維位置信息與二維方向信息，光線與主透鏡平面和傳感器平面相交的兩坐標(biāo)點共同構(gòu)成了光場的四維函數(shù)L（u，v，s，t），其中函數(shù)值L是光線的輻射通量。

應(yīng)用光場數(shù)字重聚焦技術(shù)可以做到先利用陣列相機采集信息，再根據(jù)目標(biāo)物與遮擋物的深度特性進行數(shù)據(jù)重聚焦，利用相機的景深特性可以有效突出目標(biāo)物的細(xì)節(jié)信息，減小障礙物帶來的影響［9］。這里將光場成像系統(tǒng)中的光線用四維光場函數(shù)L（u，v，s，t）表征［10］，其中u-v面是光學(xué)系統(tǒng)主平面，s-t面是探測器所在平面，L（u，v，s，t）代表給定光線的光輻射量，下標(biāo)F代表上述兩平面間的距離，像面上接受到的輻射量可表示為

在此基礎(chǔ)上，通過積分求解可以得到一幅數(shù)字圖像。由于透鏡平面和探測器平面定義的光場函數(shù)與透鏡平面和重聚焦平面定義的光場函數(shù)之間的關(guān)系可以通過構(gòu)建相似三角形的幾何變換得到，四維光場函數(shù)在空間中的傳播可以表示為

在這里α為兩相似三角形的比例系數(shù)，調(diào)整比例系數(shù)的大小控制重聚焦的深度。2.2傾斜因子的確定單視角相機僅記錄二維信息，在面對感興趣區(qū)域被遮擋時具有較大的局限性［12］，面對動態(tài)的目標(biāo)物時可采用連續(xù)多次拍攝的方式來復(fù)現(xiàn)目標(biāo)物，但面對目標(biāo)物與遮擋物都為靜態(tài)的情況，應(yīng)用單視角相機移除遮擋物則十分困難。然而使用多視角合成孔徑技術(shù)可以利用光場成像獲得豐富的四維信息，為遮擋物的移除提供基礎(chǔ)。通過相機陣列采集子孔徑圖像集，選取中心圖像并使其他圖形根據(jù)視差的幾何關(guān)系進行平移。根據(jù)幾何關(guān)系選擇合適的傾斜因子重構(gòu)圖像，當(dāng)子圖像經(jīng)過聯(lián)合位移后，選擇不同傾斜因子的狀態(tài)會有所不同，導(dǎo)致重構(gòu)圖像輪廓不清晰。如圖3所示，本文假設(shè)同一排陣列相機鏡頭間距為Δm，其中第i的相機相對坐標(biāo)原點的位置為mi并建立坐標(biāo)系表征傾斜因子，根據(jù)幾何關(guān)系有

其中：θ為傾斜因子，Δθ為兩圖像沿n軸方向的間距，這里定義則有Δn=1，tanθn=Δm。

其中：σ為修正因子，本文中取σ=0.008多次迭代尋找重構(gòu)效果最好的傾斜因子。

2.3圖像重構(gòu)及其質(zhì)量分析劉利雄等［11］提出了一個有效的通用無參考（NR）圖像質(zhì)量評估（IQA）模型，該模型利用畸變圖像的局部空間和光譜熵特征。采用一個基于失真分類和質(zhì)量評估的兩階段框架，利用支持向量機（SVM）訓(xùn)練圖像失真和質(zhì)量預(yù)測引擎。被稱為基于空間光譜熵的質(zhì)量指數(shù)（SSEQ），能夠跨多個失真類別評估失真圖像的質(zhì)量。其中空間熵為

其中：x是塊內(nèi)的像素值，p（x）為經(jīng)驗概率密度。失真的引入會導(dǎo)致空間熵的變化，噪聲導(dǎo)致局部空間熵的降低，通過研究空間熵的變化特征可以反應(yīng)出圖像扭曲的類型。該模型利用下采樣響應(yīng)作為輸入，從輸入中提取12維局部熵特征向量，并從這些特征中學(xué)習(xí)預(yù)測圖像質(zhì)量分?jǐn)?shù)。按照如圖4所示的裝置圖進行數(shù)據(jù)采集，該實驗選擇室內(nèi)場景拍攝目標(biāo)物飛機模型，遮擋物為樹枝，構(gòu)建10×10的相機陣列，單次拍攝采集不同角度及不同位置子圖像100張。如圖5所示，本文選擇子圖像陣列中一行圖像進行圖像重構(gòu)，以第5張圖像為中心其余圖像分別向兩側(cè)平移。利用修正因子進行多次迭代，每次迭代后應(yīng)用SEEQ圖像質(zhì)量評估模型進行質(zhì)量評估，從而確定最適合此相機陣列的傾斜因子。觀察重構(gòu)圖像，雖然重構(gòu)后遮擋范圍變大，但經(jīng)過加權(quán)平均后，原被遮擋物完全覆蓋住的部分已經(jīng)被很好地復(fù)現(xiàn)與還原。2.4遮擋物區(qū)域標(biāo)記在計算機視覺中，圖像分割一直是一個熱門的研究方向，同時也是多數(shù)圖像處理問題的關(guān)鍵步驟。其中經(jīng)典的閾值分割算法有最小誤差法、最大熵法和最大類間方差法［12-14］等，本文應(yīng)用的是龍建武等提出的一種自適應(yīng)最小誤差閾值分割算法［19］。假設(shè)轉(zhuǎn)換為灰度圖像后由暗遮擋物和亮目標(biāo)物組成，且遮擋物與目標(biāo)物滿足高斯分布。其中，P0和P1分別為遮擋物C0和C1各自分布的先驗概率，且C0C1各自分布均服從均值為μj和方差為σJ2的正態(tài)分布，則有

其中：J(t)為最小誤差函數(shù)，最佳閾值在其取最小值時獲得。圖6所示為利用最小誤差閾值分割法，經(jīng)過圖像增強、形態(tài)學(xué)處理后得到的遮擋物標(biāo)記圖像。

2.5遮擋物區(qū)域移除與還原如圖7所示，應(yīng)用相機陣列采集數(shù)據(jù)后進行圖像重構(gòu)，移除目標(biāo)圖像前被標(biāo)記的圖像，并用重構(gòu)圖像進行還原。按本文2.3節(jié)所提出的重構(gòu)方式得到的重構(gòu)圖像整體質(zhì)量不高，因為我們只考慮了感興趣區(qū)域的重構(gòu)質(zhì)量。本文將2.4節(jié)所標(biāo)記的前景區(qū)域作為重點，只保留此區(qū)域重構(gòu)質(zhì)量優(yōu)秀的圖像組成新的子圖像陣列，提取相機陣列中心相機所拍攝的圖像并標(biāo)記前景區(qū)域。同時保留未被標(biāo)記區(qū)域的全部元素，只對被遮擋區(qū)域進行計算，本文提出的方法只對遮擋區(qū)域進行相關(guān)計算，在最大程度上保證了圖像質(zhì)量。將感興趣區(qū)域中每一個像素點進行替換，得到遮擋物移除后的重構(gòu)圖像。

03實驗結(jié)果分析本文實驗所使用的相機陣列中單相機型號為CanonEOS6D型，搭載了一個2020萬像素的CMOS感光組件與DIGIC5+圖像處理器核心，圖像感應(yīng)器尺寸為35.8mm×23.9mm，采集圖像最大尺寸為5472×3648。鏡頭型號為EF24~105mmf/4。如圖8所示，本文提出的應(yīng)用陣列型相機實現(xiàn)遮擋物移除的方法，對于不涉及目標(biāo)物細(xì)節(jié)處的圖像有較強的移除遮擋物的能力，并在移除后不會造成明顯的圖像重影與分辨率丟失。對于目標(biāo)物細(xì)節(jié)處的還原，利用基于相機陣列采集的大量數(shù)據(jù)有較強的還原細(xì)節(jié)能力。圖8（a）為未處理的原始圖像，部分細(xì)節(jié)信息完全被遮住且無法辨認(rèn)。圖8(b)為文獻［3］所提出的算法經(jīng)處理后則可以復(fù)現(xiàn)被遮擋部分細(xì)節(jié)信息，使得字體可以辨認(rèn)，但重構(gòu)圖像較為模糊，部分細(xì)節(jié)無法辨認(rèn)。圖8（c）為本文提出的遮擋物移除算法，通過合理的傾斜因子選擇很好地根據(jù)幾何關(guān)系消除了圖像的扭曲，同時還原了圖像的細(xì)節(jié)信息，保證了圖像質(zhì)量。

如表1所示，為證實本文所提出算法的優(yōu)勢，本文選取有參考的客觀評價指標(biāo)MSE、SNR、PSNR、MAE進行比較。在數(shù)值上，本文算法的MSE與MAE均小于文獻［3］的結(jié)果，在SNR與PSNR上分別提升了17.3%與77.6%。實驗證實了本文提出的算法在細(xì)節(jié)的還原度上優(yōu)于其他算法，同時有效提升的重構(gòu)圖像的信噪比。為了應(yīng)對實際應(yīng)用中無參考圖像的情況，我們對比了6組無參考的評級指標(biāo)，分別為EOG、Brenner、Robters算子與劉利雄等提出的基于空間光譜熵的質(zhì)量評價方法（SSEQ），Wang等提出的無參考的彩色圖像質(zhì)量評價方法（CCF）［16］以及AnushKrishnaMoorthy等提出的構(gòu)造盲圖像質(zhì)量指數(shù)的兩步框架（BIQI）［18］方法對3幅圖像進行質(zhì)量評價。其中分?jǐn)?shù)區(qū)間為0~50，0分為質(zhì)量最佳。對比10種客觀評價標(biāo)準(zhǔn)，本文算法相對文獻［3］在細(xì)節(jié)復(fù)現(xiàn)與圖像質(zhì)量上都有明顯改善，獲得了輪廓清晰、可信度高的重構(gòu)圖像。此外，同時采集圖像與光場數(shù)據(jù)的方案很好地解決了目標(biāo)物或遮擋物為動態(tài)物體的情況，但是應(yīng)用陣列型光場相機的遮擋物移除算法需要反復(fù)計算得到最佳的傾斜因子，這種方法的計算量較大，無法做到實時移除遮擋物。

04結(jié)論本文提出一種應(yīng)用陣列型光場相機的遮擋物移除算法。實驗結(jié)果證明該方法與文獻［3］提出的前景移除算法相比，不需要目標(biāo)物與遮擋物之間存在較為明顯的深度區(qū)別，而且僅對遮擋區(qū)域進行計算，減少了圖像重構(gòu)導(dǎo)致未被遮擋區(qū)域的像素?fù)p失。本算