計算攝像學(xué)專題第12講.pptVIP

計算攝像學(xué)專題第十二講 DepthofField DoF 戴瓊海王雁剛清華大學(xué)自動化系 第十二講提綱 2 1多張圖像拍攝 2 2單張圖像拍攝 什么是DepthofField 什么是DepthofField反映透鏡或相機的屬性物平面的共軛像平面上呈清晰像的軸向深度思考DepthofField與上節(jié)課所講TimeofFilght ToF 獲取的深度有何異同 DepthofField的推導(dǎo) 主平面 主平面 物平面 象平面 DepthofField的推導(dǎo) DepthofField的推導(dǎo) 當極限分辨角確定后 允許的彌散斑大小還與眼睛到圖像的距離有關(guān)為了獲得正確的空間感覺 不發(fā)生景象的歪曲 必須要以適當?shù)木嚯x觀察圖像思考如何才能獲得正確的空間感覺 觀察距離到底如何確定 DepthofField的推導(dǎo) 我們說要獲得正確的空間感覺 應(yīng)當使得成像平面上個點對眼睛的張角與直接觀察空間時 各對應(yīng)點對眼睛的張角是相同的 入射光瞳 出射光瞳 A B B A E DepthofField的推導(dǎo) DepthofField的推導(dǎo) 什么會影響DepthofField 什么會影響DepthofField F數(shù)與DepthofField 此式說明 光圈的F數(shù)與景深呈線性關(guān)系 實際上 F數(shù)越小 表明光圈越大 F數(shù)與DepthofField F 2 8 F 32 思考 1 F 2 8與F 32對應(yīng)的光圈分別在何種情況下使用 2 如果迫不得已必須采用F 2 8的光圈 如何才能增大DepthofField 3 若我們可使用F 32的光圈采集 如何才能獲得F 2 8 突出重點 的效果 DepthofField的深入思考 光場的相關(guān)理論 光場采樣與圖像獲取 光場采樣與圖像獲取 三維空間的光場到二維平面光場的簡化處理與直觀感覺 光場采樣與圖像獲取 DepthofField的深入思考 DepthofField的問題及小結(jié) DepthofField與Defocus的關(guān)系存在的原因是 sensor 人眼等感光器都存在極限分辨率DepthofField造成的blur 本質(zhì)上是因為outoffocusDepthofField涉及的兩個重要問題增大DepthofField針對必須使用大光圈的拍攝情形獲得DepthofField 突出重點 的效果美學(xué)設(shè)計檢測 識別等領(lǐng)域 DepthofField的問題及小結(jié) DepthofField的正問題與逆問題 增大 減小 V S 第十二講提綱 2 1多張圖像拍攝 2 2單張圖像拍攝 DepthofField問題的解決思路 重新闡述DepthofField的兩大類問題 增大 DepthofField 減小 DepthofField增大DepthofField降低感光器的極限分辨率選取更小的光圈在不改變極限分辨率 不使用小光圈的情形下 通過計算攝像的技術(shù)手段來獲得更大的景深思考 如何 減小 DepthofField DepthofField問題的解決思路 在前面的討論中 我們已經(jīng)知道DepthofField存在的根本原因是 傳感器 人眼等感光器存在極限分辨率一些有意思的題外話眼大無珠賊眉鼠眼閃爍著智慧光芒的小眼睛 DepthofField問題的解決思路 由于極限分辨率的存在 原本清晰成像的焦平面可以擴展到成空間的深度范圍增大DepthofField的技術(shù)手段是否可以按照如下思考的方式多張圖像拍攝 相機分別聚焦于不同平面 然后融合拍攝的多組圖像 單張圖像拍攝 捕獲光場 重新積分不同角度的光線 得到圖像 想辦法使得單張圖像的整體模糊與深度關(guān)系可控 如 模糊核一致或模糊核清楚地知道 第十二講提綱 2 1多張圖像拍攝 2 2單張圖像拍攝 多張圖像拍攝相關(guān)文獻 USPatent1987DepthoffocusImagingprocessmethodIEEEConferenceonComputerVision1993EnhancedImageCaptureThroughFusion 多張圖像拍攝的關(guān)鍵技術(shù) 融合多幅圖像信息 以期望獲得更大景深的效果是一種很直觀的想法這里僅做簡要介紹 感興趣的同學(xué)可翻閱相關(guān)的視覺文章犧牲時間 換取景深 該想法關(guān)鍵問題是 如何融合不同焦距平面上的圖像 多張圖像拍攝的關(guān)鍵技術(shù) SIGGRAPH2004InteractiveDigitalPhotomontage 多張圖像拍攝的關(guān)鍵技術(shù) 此方法分為兩個步驟分割 Graph cut融合 梯度融合方案Graph cut可以用戶指定 也可全自動計算梯度融合則是保證圖像的視覺效果 第十二講提綱 2 1多張圖像拍攝 2 2單張圖像拍攝 單張圖像的DepthofField增強 多張圖像拍攝增加DepthofField 只能針對靜態(tài)場景如何實時地增加動態(tài)場景的DepthofField成為一個棘手的問題問題是 能否利用單張圖像增加DepthofField 答案是 這是可以做到的 我們將重點介紹幾類單張圖像DepthofField增強的方案 單張圖像的DepthofField增強 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture 單張圖像的DepthofField增強 光場相機 Version2 0Georgievetal 10 Version1 0N g Renetal 05 單張圖像的DepthofField增強 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture 光場相機與DepthofField 光場相機的目的是為了記錄光場的角度信息與位置信息傳統(tǒng)相機將所有的角度信息積分到固定位置處 前面我們已經(jīng)講到這個知識點 請同學(xué)們特別注意這個重要的觀點與思想光場相機需要犧牲空間分辨率來獲得角度分辨率因此 使用光場相機來獲得DepthofField可以說是將多張圖的技術(shù)移植到了單張圖像上 光場相機拍攝出的圖片 傳統(tǒng)相機與光場相機 光場相機原理 傳感器單元上 微透鏡陣列對應(yīng)位的像素值等效于主透鏡上同一位置的光線主透鏡平面可以用來刻畫不同角度的光線我們稱主透鏡平面為角度平面 傳感器平面為位置平面 思考 若把不同微透鏡陣列后的像素組合起來構(gòu)成一幅新的圖像 該圖像反映了什么 光場相機原理 Sub apertureImage這是一個很重要的成像觀點也就是說 圖像的形成過程可以如此思考假設(shè)我們所擁有的主透鏡可以任意地開不同位置的小孔顯然 每個小孔都會有成像 視差效應(yīng)對這些小孔所成的圖像進行疊加 構(gòu)成主透鏡的圖像 光場相機原理 網(wǎng)絡(luò)學(xué)堂 我給出一些Raw data 感興趣的同學(xué)可以用Matlab嘗試一下 光場相機的幾項關(guān)鍵技術(shù) 如何保證不發(fā)生混疊 光場相機的幾項關(guān)鍵技術(shù) 數(shù)字重聚焦 DigitalRefocusing 數(shù)字重聚焦 單張圖像的DepthofField增強 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture Depth InvariantBlur 波前編碼技術(shù) Wave frontCoding 設(shè)計合理的相位板靈活的景深采集技術(shù)不同深度的積分拍攝漫反射體編碼技術(shù) DiffusionCoding 設(shè)計有效的漫反射體使用一些傳統(tǒng)的去模糊方法來處理拍攝得到的圖像 波前編碼技術(shù) 技術(shù)難題在于如何設(shè)計合理的相位板使得拍攝的圖像與focus的敏感程度降低 兩個假設(shè)長方形的Aperture是可分離的拍攝到的圖像不是最終生成的圖像 而只是中間結(jié)果圖像 需要后續(xù)處理理論基礎(chǔ)AmbiguityfunctionWignerdistributionfunction 波前編碼的數(shù)學(xué)基礎(chǔ) 波前編碼的數(shù)學(xué)基礎(chǔ) 波前編碼的數(shù)學(xué)基礎(chǔ) 長方形Aperture的Ambiguity變換 波前編碼的數(shù)學(xué)基礎(chǔ) 波前編碼的數(shù)學(xué)基礎(chǔ) 波前編碼的數(shù)學(xué)基礎(chǔ) Depth InvariantBlur 波前編碼技術(shù) Wave frontCoding 設(shè)計合理的相位板靈活的景深采集技術(shù)不同深度的積分拍攝漫反射體編碼技術(shù) DiffusionCoding 設(shè)計有效的漫反射體使用一些傳統(tǒng)的去模糊方法來處理拍攝得到的圖像 靈活的景深采集技術(shù) 采集的圖像 去除blur后的結(jié)果 Depth InvariantBlur 波前編碼技術(shù) Wave frontCoding 設(shè)計合理的相位板靈活的景深采集技術(shù)不同深度的積分拍攝擴散編碼技術(shù) DiffusionCoding 設(shè)計有效的擴散板使用一些傳統(tǒng)的去模糊方法來處理拍攝得到的圖像 擴散編碼技術(shù) 擴散編碼技術(shù) 單張圖像的DepthofField增強 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture Depth VaryingBlur 此類方法不像Depth Invariant方法 要求圖像具有整體一致的模糊核圖像的模糊核可變保證選擇最優(yōu)的可變模糊核問題在于 如何選擇最優(yōu)的可變模糊核 透鏡以及離焦面的形成 透鏡 點擴散函數(shù) 點光源形成的圖像 焦平面 光圈 傳感器平面 透鏡以及離焦面的形成 透鏡 點光源形成的圖像 焦平面 光圈 傳感器平面 點擴散函數(shù) 透鏡以及離焦面的形成 透鏡 點光源形成的圖像 焦平面 光圈 傳感器平面 點擴散函數(shù) 透鏡以及離焦面的形成 透鏡 點光源形成的圖像 焦平面 光圈 傳感器平面 點擴散函數(shù) 透鏡以及離焦面的形成 透鏡 點光源形成的圖像 焦平面 光圈 傳感器平面 點擴散函數(shù) 局部去模糊處理 不同深度上已經(jīng)校準的模糊核 輸入待去模糊的圖像 局部去模糊處理 深度k 1 深度k 2 深度k 3 輸入待去模糊的圖像 局部子區(qū)域圖像 銳化的子區(qū)域圖像 深度校準后的模糊核 方法總述 大點的尺度 用不同尺度大小的濾波器處理 不管怎樣 選擇最合適的尺度 試 正確的尺度 小點的尺度 存在的問題 很難辨別正確的尺度 輸入 Richardson Lucy反卷積算法 即使模糊核已知 結(jié)果也不盡如人意 編碼光圈 光圈平面添加掩膜 Mask 使得不同深度的模糊核可以很好地進行區(qū)分 傳統(tǒng)光圈 編碼光圈 掩膜的設(shè)計 掩膜的設(shè)計 通過最大化不同尺度下的KL距離來選擇合理的掩膜 Sampledaperturepatterns Morediscriminat