基于深度學(xué)習(xí)的光場(chǎng)圖像深度估計(jì)ppt課件

1、基于深度學(xué)習(xí)的光場(chǎng)圖像深度估計(jì) 報(bào)告人：尹忠實(shí)2021年6月13日;研討背景和意義1主要內(nèi)容光場(chǎng)成像原理2 深度估計(jì)相關(guān)特征3 深度學(xué)習(xí)相關(guān)任務(wù)4 實(shí)驗(yàn)結(jié)果及未來任務(wù)5;研討背景和意義近年來，隨著光電技術(shù)及器件的開展新型成像設(shè)備不斷涌現(xiàn)，其中光場(chǎng)成像以其獨(dú)特成像過程及優(yōu)勢(shì)備受研討者關(guān)注。傳統(tǒng)成像方式記錄了光輻射在成像平面的二維位置信息，而光場(chǎng)成像記錄了光輻射在傳播過程中的四維位置和方向信息。由于光場(chǎng)成像較傳統(tǒng)成像多出2個(gè)自在度，因此在圖像重建過程中，可以獲得更加豐富的圖像信息。光場(chǎng)成像可以實(shí)現(xiàn)數(shù)字重聚焦、合成孔徑、獲取大景深圖像，以及重建三維立體圖。;研討背景和意義由于光場(chǎng)圖像包含豐富的圖像信

2、息，這為處理許多圖像處置的傳統(tǒng)問題提供了新的途徑。單幅圖像深度估計(jì)是病態(tài)問題，而光場(chǎng)圖像由于其特殊的成像方式，可以實(shí)現(xiàn)一次成像獲取同一場(chǎng)景在不同視角下的多視角圖像，且相鄰視角之間基線極短，這使得場(chǎng)景深度更容易準(zhǔn)確估計(jì)。目前，許多基于光場(chǎng)圖像估計(jì)場(chǎng)景深度的方法被提出。;研討背景和意義1主要內(nèi)容光場(chǎng)成像原理2 深度估計(jì)相關(guān)特征3 深度學(xué)習(xí)相關(guān)任務(wù)4 實(shí)驗(yàn)結(jié)果及未來任務(wù)5;光場(chǎng)成像原理 光場(chǎng)是空間中同時(shí)包含位置和方向信息的四維光輻射場(chǎng)的參數(shù)化表示，光場(chǎng)數(shù)據(jù)的獲取為計(jì)算成像提供了很多新的開展方向。 光場(chǎng)可以看作是同時(shí)捕獲場(chǎng)景的多視角圖像，從而提供視差及場(chǎng)景深度信息。;光場(chǎng)成像原理光場(chǎng)成像過程;光場(chǎng)成像

3、的特點(diǎn)1. 拍攝方便，拍攝條件約束少2. 對(duì)場(chǎng)景多視角的稠密采樣3. 允許將視差空間作為延續(xù)空間處置4. 在沒有聚焦的情況下，可以運(yùn)用基于外極平面分析的算法5. 可以實(shí)現(xiàn)數(shù)字重聚焦、合成孔徑、獲取大景深圖像，以及重建三維立體圖。光場(chǎng)成像原理;研討背景和意義1主要內(nèi)容光場(chǎng)成像原理2 深度估計(jì)相關(guān)特征3 深度學(xué)習(xí)相關(guān)任務(wù)4 實(shí)驗(yàn)結(jié)果及未來任務(wù)5;1EPI直線斜率線索alpha=0.5alpha=1alpha=1.5 這里取280,578坐標(biāo)處在不同聚焦參數(shù)alpha下的EPI圖像，當(dāng)該點(diǎn)為聚焦點(diǎn)時(shí)，EPI圖像斜率為零。EPI中直線斜率與場(chǎng)景深度成反比，且當(dāng)某像素點(diǎn)聚焦時(shí)，其EPI斜率為0。深度估計(jì)

4、相關(guān)特征;alpha=0.5alpha=1alpha=1.52聚焦線索用于反映圖像中部分區(qū)域的明晰度，當(dāng)某像素位于正確深度下時(shí)其部分最明晰。深度估計(jì)相關(guān)特征;3匹配線索alpha=0.5alpha=1alpha=1.5用于反映在不同視角下同一像素點(diǎn)的匹配程度。當(dāng)某像素位于正確深度下，其在不同視角下的像素值最接近。深度估計(jì)相關(guān)特征;研討背景和意義1主要內(nèi)容光場(chǎng)成像原理2 深度估計(jì)相關(guān)特征3 深度學(xué)習(xí)相關(guān)任務(wù)4 實(shí)驗(yàn)結(jié)果及未來任務(wù)5;深度學(xué)習(xí)相關(guān)任務(wù)深度估計(jì)Convolutional Networks for Shape from Light Field.CVPR.2021U-shaped Net

5、works for Shape from Light Field.BMVC.2021Deep Depth From Focus.CVPR.2021視角合成Learning-Based View Synthesis for Light Field Cameras.CVPR.2021;研討目的運(yùn)用CNN網(wǎng)絡(luò)估計(jì)給定光場(chǎng)數(shù)據(jù)的深度信息。主要奉獻(xiàn)提出了一種新的方法估計(jì)光場(chǎng)域下，圖像中每個(gè)場(chǎng)景點(diǎn)匹配的2D超平面方向。提供了合成LF數(shù)據(jù)集，該數(shù)據(jù)集提供高精度深度標(biāo)簽，并且其場(chǎng)景可以隨機(jī)生成。Convolutional Networks for Shape from Light Field.CVPR.202

6、1;運(yùn)用20個(gè)不同的三維物體，經(jīng)過前景、背景位置及遠(yuǎn)近的調(diào)整，生成了25張LF圖像，運(yùn)用20張作為訓(xùn)練，5張作為測(cè)試，圖像大小640 x480 x11x11;網(wǎng)絡(luò)構(gòu)造為4層卷積層和一個(gè)全銜接層，詳細(xì)參數(shù)如以下圖：名稱L1L2L3L4L5類型ConvConvConvConvFC卷積核7x77x75x55x5補(bǔ)0pad3pad0pad2pad0特征數(shù)64641281281;U-shaped Networks for Shape from Light Field.BMVC.2021主要奉獻(xiàn)采用全卷積網(wǎng)絡(luò)及U型網(wǎng)絡(luò)構(gòu)造對(duì)上一任務(wù)進(jìn)展改良，可以用于恣意尺度的EPI圖像的輸入，抑制了圖像塊帶來的局限性，且

7、可以快速估計(jì)整個(gè)4D視差場(chǎng)。全卷積網(wǎng)絡(luò)編碼網(wǎng)絡(luò)在EPI空間尺度上進(jìn)展緊縮提取特征，解碼網(wǎng)絡(luò)經(jīng)過跨層銜接的方式估計(jì)EPI上每個(gè)像素的斜率。;網(wǎng)絡(luò)構(gòu)造及詳細(xì)參數(shù)如以下圖：編碼網(wǎng)絡(luò)解碼網(wǎng)絡(luò)除了下采樣卷積及上采樣卷積層，卷積核為3x3，其它卷積層卷積核采用3x5，每個(gè)卷積層經(jīng)過補(bǔ)0堅(jiān)持特征圖大小不變。在編碼網(wǎng)絡(luò)特征圖個(gè)數(shù)每隔2層翻倍，分別為16,32,64，解碼網(wǎng)絡(luò)與之相反。網(wǎng)絡(luò)輸出與輸入維度一樣。;合成圖像上測(cè)試結(jié)果;真實(shí)圖像上測(cè)試結(jié)果;研討背景和意義1主要內(nèi)容光場(chǎng)成像原理2 深度估計(jì)相關(guān)特征3 深度學(xué)習(xí)相關(guān)任務(wù)4 實(shí)驗(yàn)結(jié)果及未來任務(wù)5;四層卷積，卷積核3x3，特征圖64;全銜接層128個(gè)神經(jīng)元;輸入為EPI(9x13)的RGB圖像，程度與垂直各一支路，輸出為該像素的視差分類0-14.雙支路網(wǎng)絡(luò)構(gòu)造;訓(xùn)練數(shù)據(jù)分布測(cè)試數(shù)據(jù)分布;迭代50萬次，batch size256，訓(xùn)練數(shù)據(jù)約55萬;ground truth訓(xùn)練集測(cè)試結(jié)果一切測(cè)試結(jié)果都是原圖1/4大小。;ground truth訓(xùn)練集測(cè)試結(jié)果;ground truth測(cè)試集測(cè)試結(jié)果;3.回歸實(shí)驗(yàn);實(shí)驗(yàn)結(jié)果及未來任務(wù)由于訓(xùn)練集數(shù)據(jù)分布不均勻