基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端立體密集匹配研究

基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端立體密集匹配研究康俊華

長安大學地質(zhì)工程與測繪學院，陜西西安710064

立體匹配是計算機視覺的一項關(guān)鍵技術(shù)，它能夠模擬人類視覺的方法，通過左右影像匹配快速獲取三維場景深度信息。近年來，國內(nèi)外學者針對立體密集匹配開展了廣泛而深入的研究，但由于各種因素的影響，仍然存在著具有挑戰(zhàn)性的研究問題。論文針對傳統(tǒng)立體匹配方法，在弱紋理區(qū)域、視差不連續(xù)區(qū)域、遮擋區(qū)域存在的匹配困難和誤匹配問題，設(shè)計了一個基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端立體匹配網(wǎng)絡(luò)，將傳統(tǒng)密集立體匹配問題轉(zhuǎn)化成一個視差學習和優(yōu)化的任務(wù)問題。論文主要研究內(nèi)容和研究結(jié)論如下。

(1)基于擴張卷積的多尺度特征提取。為降低弱紋理或重復紋理區(qū)域匹配二義性問題所帶來的影響，引入擴張卷積進入特征提取模塊。與傳統(tǒng)的卷積相比，擴張卷積能夠在不增加學習參數(shù)的前提下，擴大卷積核的感受視野。采用多層并行的擴張卷積，設(shè)計基于擴張卷積的空間金字塔池化結(jié)構(gòu)，對圖像特征進行提取，獲取多尺度的特征圖，為網(wǎng)絡(luò)的視差預測提供豐富的上下文語義信息。包含大量弱紋理和重復紋理的試驗數(shù)據(jù)集(Monkaa)的測試結(jié)果顯示，增加擴張卷積的模型視差預測結(jié)果在該數(shù)據(jù)集上的誤匹配率降低28%，平均誤差降低18%，表明論文提出的多尺度特征提取方法能夠有效提高在弱紋理區(qū)域或重復紋理區(qū)域的視差預測精度。

(2)大視差范圍的匹配代價體構(gòu)建。為獲得左右影像匹配代價先驗信息，基于左右影像特征圖，利用特征移位、深度可分離卷積及逐視差堆疊步驟構(gòu)建三維匹配代價體，獲取左右影像在特征空間的先驗對應(yīng)關(guān)系。在計算左影像和移位的右影像特征圖深度可分離卷積結(jié)果時，增加右影像特征圖平移步長值，增大視差處理范圍。大視差范圍的試驗數(shù)據(jù)集(Sintel)的測試結(jié)果顯示，通過改進匹配代價體后的網(wǎng)絡(luò)模型視差預測結(jié)果在該數(shù)據(jù)集上的誤匹配率降低32%，平均誤差降低40%，表明論文提出的網(wǎng)絡(luò)能夠有效地處理更大視差范圍內(nèi)的視差預測。

(3)基于梯度信息的規(guī)則化視差估計。在網(wǎng)絡(luò)視差估計模塊，提出規(guī)則化視差估計方法，采用編碼-解碼的對稱結(jié)構(gòu)來恢復由粗到細的多尺度視差圖。引入視差梯度信息作為損失項，讓網(wǎng)絡(luò)不僅學習每一個像素點視差，同時也要約束當前像素點與周圍像素點視差的變化值，從而規(guī)則化視差不連續(xù)區(qū)域。定量和定性的試驗結(jié)果表明，論文基于梯度信息的規(guī)則化方法生成的視差圖能夠提高視差預測精度，同時保留清晰視差邊緣，避免深度不連續(xù)區(qū)域的過度平滑。

(4)幾何約束信息引導的視差精化。針對初始視差圖在局部細小區(qū)域預測不準確的問題，提出幾何約束信息引導的精化網(wǎng)絡(luò)來優(yōu)化初始視差圖。首先，利用與初始視差網(wǎng)絡(luò)共享的底層左右特征圖，在視差殘差范圍內(nèi)構(gòu)建殘差匹配代價體，為視差精化網(wǎng)絡(luò)提供更詳細的匹配點之間的對應(yīng)關(guān)系。其次，利用視差左右一致性原則，在左右特征圖之間構(gòu)建影像重建誤差體，為精化網(wǎng)絡(luò)提供視差改正信息。最后，利用這兩類幾何約束信息引導網(wǎng)絡(luò)學習視差的殘差值，優(yōu)化初始視差。試驗結(jié)果顯示，模型加入視差精化子網(wǎng)絡(luò)后，在多個測試數(shù)據(jù)集上的視差預測精度都有明顯提高，在大于1個像素的誤匹配率指標上最高能提高43%。這些結(jié)果表明論文提出的精化網(wǎng)絡(luò)能夠極大改正初始視差預測錯誤的區(qū)域，獲得亞像素級別的視差圖。

(5)不同遷移學習策略下的視差網(wǎng)絡(luò)泛化能力評估。為了能夠?qū)⒄撐奶岢龅囊暡顚W習網(wǎng)絡(luò)應(yīng)用于不同場景數(shù)據(jù)集，針對不同目標數(shù)據(jù)集是否包含可訓練標簽數(shù)據(jù)樣本，提出采用直接遷移、模型微調(diào)等遷移策略來評估模型的泛化能力，分別對網(wǎng)絡(luò)在街景數(shù)據(jù)集和航空影像數(shù)據(jù)集的立體匹配性能進行評估。試驗結(jié)果表明