光場相機(jī)20算法課件

光場相機(jī)2.0算法yztian#主要內(nèi)容基本算法基于深度信息的算法積分算法混合算法補(bǔ)充內(nèi)容ThephasespacediagramBasicrenderingV是一個(gè)微透鏡尺寸,單位是像素.例如V=7.輸出圖像中給定的x，重構(gòu)算法需要在原始數(shù)據(jù)中尋找相應(yīng)的采樣點(diǎn)原始數(shù)據(jù)基本重構(gòu)算法Basicrendering計(jì)算x對應(yīng)的微透鏡

x處于v取整，給出微透鏡下標(biāo)計(jì)算x在對應(yīng)的M塊中的偏移量

因?yàn)镸的大小在最后的圖像中的比例是M/v,所以偏移量也要乘上因子Basicrendering偏移量q的表達(dá)式:聯(lián)合上面方程，計(jì)算出圖像的調(diào)整量，但上述計(jì)算是從左邊沿開始，需要中間對齊，所以還有調(diào)整因子實(shí)際偏移量q的表達(dá)式:Basicrendering

聯(lián)合上面方程，輸出圖像中一點(diǎn)x對應(yīng)的CCD圖像中的位置關(guān)系可以用函數(shù)f(x)表示：f(x)=pv+q’M圖像塊兩個(gè)方向上的位置偏移M內(nèi)的位移值exampleDepth-Basedrendering距離相機(jī)遠(yuǎn)→深度值大→小的圖像模塊距離相機(jī)近→深度值小→大的圖像模塊

選擇正確的圖像模塊聚焦需要計(jì)算相鄰兩個(gè)微圖像中重合的位移值，也就是說，不同微透鏡中所包括的同一個(gè)目標(biāo)需要對應(yīng)到輸出圖像中相同的位置。Depth-Basedrendering對于每個(gè)微透鏡,選擇一個(gè)最為合適的圖像塊的尺寸，和周圍的圖像融合最好。從每個(gè)微透鏡存儲(chǔ)的對應(yīng)的圖像塊重建圖像步驟：Depth-Basedrendering選取最合適的圖像塊來匹配實(shí)際上是圖像配準(zhǔn)問題第一，采集輻射強(qiáng)度的微圖像本身是嚴(yán)格對齊的；第二，相鄰微圖像只是在水平和垂直方向有過渡；第三，光學(xué)設(shè)計(jì)決定了最大移動(dòng)的邊界值；上述三個(gè)特點(diǎn)，讓深度估計(jì)算法變的簡單。Depth-Basedrendering

為重建最后圖像，基本算法調(diào)整為不是用同一個(gè)圖像塊尺寸，而是在深度值數(shù)組中查表來決定每處所用圖像塊大小。Depth-BasedrenderingDepth-BasedrenderingDepthestimationForeachN×Nmicrolensiamge:Selectanm×mwindowfromthecenterofthatmicrolensiamge.Fork=-N+m/2tok=N-m/2,computethecross-corrlationbetweenthem×mwindowandacorrespondingwindowcenteredatkxintheneighboringmicrolensimagealongthexaxisandrecordvalueofkxwiththebestcorrelation.Computethecross-correlationbetweenthem×mwindowandacorrespondingwindowcenteredatkyintheneighboringmicrolensiamgealongtheyaxisandrecordthevalueofkywith

thebestcorrelation.RecordavaluekequaltoaverageofkxontheleftandrightboundariesandkyonthetopandbottomboundariesReturnthearrayofrecordedvaluesofk;主要計(jì)算圖像塊的大小Blendingrendering雖然基于深度重建算法相對于基本算法可以克服偽影，做到所有的圖像都清晰，如圖12.但不能做到讓哪個(gè)深度的圖像重聚焦，為了獲得重聚焦功能，需要獲得該深度目標(biāo)的所有視角信息，也就是所有視角積分的過程。Blendingrendering

上述積分過程，就是對不同微透鏡中空間中同一點(diǎn)求平均。

傳統(tǒng)光場相機(jī)是同一個(gè)微透鏡下求平均，而此處是不同微透鏡中求平均。對于尺寸為v的微透鏡陣列，圖像塊尺寸為M，輸出圖像給定的一點(diǎn)像素值是原始圖像中像素點(diǎn)相隔(v-M)處的值求平均。Blendingrendering

圖像塊大小是和空間中光線的傾斜角相關(guān)的，圖像塊大小決定了圖像中的對焦準(zhǔn)確的平面（或者深度）。光場相機(jī)2.0可以選擇不同大小的圖像塊來產(chǎn)生不同的聚焦面。Becausethemicrolenseshaveaverysmallaperture,thereisasignificantdepthoffield,i.e.,portionsofthescenethatareinfocusforagivenvalueofthepitchsizewillextendforalargedepth.BlendingAlgorithm

實(shí)現(xiàn)積分過程，對于尺寸為v的微透鏡，M的圖像塊，被平均的像素值的間隔為(v-M),位置為f(x)的所有對應(yīng)像素被平均：Blendingrendering

因?yàn)関是一個(gè)常數(shù)，這意味著對于給定圖像塊尺寸M的采樣，i的絕對值有一個(gè)確定的上限值，lim

另外，不同視角的貢獻(xiàn)可以用權(quán)重來表示，可以把一個(gè)微透鏡每個(gè)像素規(guī)定一個(gè)權(quán)重值，稱為一個(gè)位置的方程，這個(gè)權(quán)重函數(shù)可以是v×v高斯濾波掩膜。Flowchartsoftheblendingtechnique查表確定該值的權(quán)重計(jì)算查表的索引值Blendingrendering

積分方向上斜率一點(diǎn)不匹配，最后圖像將產(chǎn)生光滑的模糊。左邊圖中斜率是垂直的，但一般不是垂直的，因?yàn)椴煌疃群涂臻g中的光線傾斜有關(guān)，和M有關(guān)。

如果斜率的不匹配程度變大，積分過程將沒有足夠的視角，將產(chǎn)生鬼影。Blendingrendering17Ablendingalgorithmwithasmallpitch(7pixels).背景清晰17Bblendingalgorithmwithalargerpitch(10pixels).前景清晰ComparisonBasicfullresolutionrenderingalgorithmArenderingwithblendingtechniqueCombiningDepth-BasedrenderingandRenderingwithblending

兩者相結(jié)合技術(shù)，blendingtechnique中M值是在循環(huán)前基于函數(shù)深度重建算法獲取的，因此，對于輸出的每個(gè)點(diǎn)是通過深度計(jì)算，然后選擇M，然后blending算法。對于不同點(diǎn)，M可以不同，但對于每個(gè)點(diǎn)都有一個(gè)積分值。Combiningdepth-basedrenderingandrenderingwithblendingCalibratingfocusedplenopticcamera

CalibratingfocusedplenopticcameraCalibratingfocusedplenopticcameraCalibratingfocusedplenopticcamera藍(lán)色，透鏡圖像，綠色，是傳感器圖像Resampletheimage,rotatingandscaling,lenseletcentersfallonpixelcenters.1→2CalibratingfocusedplenopticcameraAligningthelenseletimagestoanintegerpixelgrid:Thelightfieldisbrokenintoidenticallysized,overlappingrectanglescenteredonthelenseletimages.k,l→lenselet,i,j→pixelCalibratingfocusedplenopticcameraConvertinghexagonallysampleddatatoanorthogonalgrid.l.Condat,B.Forster-Heinlein,andD.VanDeVille.H2O:reversiblehexagonal-orthogonalgridconversionby1-Dfiltering.InImageProcessing,2007,ICIP2007,IEEEIntl.Conferenceon,volume2,pagesII-73,IEEE,2007.1DschemeinterpolatingonlyalongkAngle-sensitivepixel關(guān)鍵：傳感器測量強(qiáng)度的不同來獲取光場中角度信息

用一對衍射光柵放置在傳感器上來獲取角度信息。從上面照明，上層的光柵產(chǎn)生周期的衍射圖案，下面一個(gè)光柵用來選擇衍射光線傳播到光電探測器的方向。Awang,PGillandAMolnar.AppliedOptics48,5897-5905(2009)P.R.Gill,CLee,D.G,Lee,AWangandAMolnar.Opticsletters36,2949-2951(2011)AWangandAMolnar.IEEEJournalofSolid-StateCircuits,1-1(2012)Talboteffecttalbot效應(yīng)是一個(gè)近場效應(yīng)，即要求F大于等于一。在理想情況下，一束平面波通過一個(gè)周期性的衍射光柵，由惠更斯原理，我們可以給出經(jīng)過光柵后光場的分布。考慮Fresnel衍射，得到一個(gè)新的近似的光場分布。然后經(jīng)過傅里葉變換并利用像函數(shù)卷積可以發(fā)現(xiàn)這個(gè)新的光場分布與衍射光柵上的光柵分布只差一個(gè)相位。當(dāng)相位差滿足2PI的整數(shù)倍的時(shí)候就可以得到與衍射光柵上相同的光場分布，這一相位因子只與觀察點(diǎn)到光柵的垂直距離有關(guān)Angle-sensitivepixel要能滿足下面兩個(gè)條件：探測局部的入射角和入射強(qiáng)度探測角度的固有周期

可以用8個(gè)像素來全面獲取局部入射角信息Angle-sensitivepixel(a)ASP模型(b1)進(jìn)入ASP后光線均分(b2)進(jìn)入ASP光線的差異反演入射角度Angle-sensitivepixelwistheopeningsizeofindividualpixels.histhethicknessofthetoppassivationlayer.nistherefractionlayerindexofthepassivationlayer.WAngle-sensitivepixelTheFDTDsimulationofthefront-sideilluminatedASPdesignwithnormalincidence(a)and10degreeincidence(b).Thewavelengthischosentobe550nm,thecenterofvisiblespectrum.Angle