基于各向異性擴散的深度圖像增強

摘要................................................1引言..................................................................2..2相關(guān)工作..............................................................3..2.1指導(dǎo)深度上采樣..............................2.2引導(dǎo)深度圖像修復(fù).......2.3各向異性擴散...............3方法論...........................................................3.1問題制定...................3.2數(shù)值方案...................4實驗...............................................................4.1實驗在Middlebury數(shù)據(jù)集上..............4.3實驗在雷達數(shù)據(jù)上.....................結(jié)論......................................1摘要:在本文中，當(dāng)對準(zhǔn)的彩色圖像被給出時我們對有缺陷的深度圖像進行修復(fù)，并進行采樣。這些任務(wù)被稱為引導(dǎo)深度增強。我們基于熱擴散模型擬訂該問題。已知深度值的像素被視為熱源并且深度增強是指通過將深度值從這些熱源擴散到深度缺失的區(qū)域這個過程。進一步將此擴散的穩(wěn)態(tài)問題放到著名的隨機游走模型中考慮，在這個模型中深度增強可以通過求解稀疏線性系統(tǒng)來有效地實現(xiàn)。該算法在米德爾伯里立體數(shù)據(jù)集上被定量的評估，并應(yīng)用于修復(fù)Kinect的數(shù)據(jù)同時也可以應(yīng)用于對由雷達獲得的距離數(shù)據(jù)進行采樣。與常用的雙邊濾波器和馬爾可夫基于隨機場的方法的比較也被提出，通過比較表明我們的算法是可以成功的。2雖然最新的距離傳感技術(shù)的革命發(fā)展在許多計算機視覺應(yīng)用領(lǐng)域獲得了快速發(fā)展，但是通過最新的距離傳感器捕獲的數(shù)據(jù)仍然有缺陷。例如，微軟的kinect[16]，一種室內(nèi)測距傳感器，產(chǎn)生的深度圖中含有大量由于遮擋和其他方面因素導(dǎo)致的深度信息缺失區(qū)域。激光雷達[25]適用于室內(nèi)和室外環(huán)境中，提供的距離信息比普通圖像的分辨率低得多。這些缺陷現(xiàn)在導(dǎo)致各種對深度圖像修復(fù)和采樣研究方面的問題。本文目的是當(dāng)對準(zhǔn)彩色圖被給出的情況下解決對深度圖像的修復(fù)和采樣問題。在這項工作中這些任務(wù)被稱為引導(dǎo)深度增強，該彩色圖像被當(dāng)作引導(dǎo)[9]。以前在引導(dǎo)深度增強方面的工作主要采用的是濾波器的方法[7][26][12][10]或依靠馬爾可夫隨機場(MRFs)[18][28][31][6]。像提供的顏色信息的引導(dǎo)，深度可以從源擴散到深度缺失的區(qū)域。平滑和修補[20][4][2][3]中被廣泛使用但是據(jù)我們所知，他們沒有為引導(dǎo)集成其他的圖像。此外，我們將引導(dǎo)向異性擴散的穩(wěn)態(tài)問題放到著名的隨機游走模型[8][30][11]中考慮而通過這個模型，引導(dǎo)深度增強問題能夠通過求解一個稀疏線性系統(tǒng)來解決。3它的目的是通過融合高分辨率視覺圖像和低分辨率深度數(shù)據(jù)來生成高清晰度深度圖。為此，馬爾可夫隨機域（回收設(shè)施）被首先使用[6]。它通過優(yōu)化一個能量函數(shù)來推斷深度，這個能量函數(shù)是由對已知測量結(jié)果的長期合理的評估和對深度平滑的長期正交化組成。之后，提出了幾個MRF的基礎(chǔ)方法，這個方法通過進一步考慮新的正交化來拓展這份先進的工作，例如，非局部平滑約束[28][18]和時間相干性[31]。另一組有關(guān)這個問題的方法是基于濾波技術(shù)。他們大多使用聯(lián)合雙邊濾波器或它們的變化[1][29][7]來整合深度采樣的顏色信息。引導(dǎo)深度圖像修復(fù)這個問題對于Kinect-like傳感器的發(fā)展很感興趣。在過去的兩年中，我們統(tǒng)的修補算法[2][5][23]拓展到引導(dǎo)案例中。具體地講，新的修補模式[14][21]和擴展命令[14][15]被設(shè)計用以歸納引導(dǎo)信息。這些方法僅限于其中無效區(qū)域被有效區(qū)域包圍的情況下，不適用于引導(dǎo)采樣。與他們相反，另一組研究中采用濾波器為引導(dǎo)深度進行修補。以至于他們[19][10]，這為采樣工作的同時，也各向異性擴散各向異性擴散此處主要指的是熱擴散框架，該框架通過偏微分方程（PDEs）來表示。基于偏微分方程的各向異性擴散被廣泛用于在圖像或表面平滑[20][4]，圖像修復(fù)[2][3]，分割[24][11]，以及其他圖像處理應(yīng)用[27]。最相關(guān)的工作是濾波和圖像修復(fù)技術(shù)。就我們所知，這些技術(shù)沒有集成高分辨率參考圖像來引導(dǎo)這個擴散過程。在這項工作中，我們將引導(dǎo)深度增強，包括修補和采樣，表述為一個線性各向異性擴散問題。我們的擴散是通過一個大的從穩(wěn)態(tài)中衍生出來的稀疏線性系統(tǒng)來進行的，而不是像傳統(tǒng)技術(shù)一樣反復(fù)的解決問題。4假設(shè)我們事先已經(jīng)給出了一個對準(zhǔn)的深度圖和彩色圖對。深度圖要么是包含無效的區(qū)域要么是分辨率比配對彩色圖像低。彩色圖像假定為無缺陷的。我們將一個像素p=(X，Y)中的深度果我們將種子像素作為熱源，些圖上是從熱源開始的。擴散過程由以下偏微分方程表示：那么深度增強就可以像熱源擴散一樣，在這『其中W(P;t)是點P在時間t的擴散系數(shù)并且DO(p)為初始狀態(tài)的深度值。擴散系數(shù)的空間變化取決于所給的彩色引導(dǎo)圖，從而使式(1)變成各向異性擴散。上述偏微分方程是一個初值問題[13]。在該方程所代表的擴散系統(tǒng)中，我們感興趣的只是深度值趨于穩(wěn)定的狀態(tài)[8][30][11]。因此，毫不猶豫，我們在式中舍棄t符號，并獲得下面的等式：00二方程(2)的解對應(yīng)于我們期待實現(xiàn)的深度圖增強。當(dāng)初始深度圖給出，大幅度的增強質(zhì)量依賴于W(P)的選擇。因此，我們探討的擴散系數(shù)的設(shè)計將表現(xiàn)在如下求解穩(wěn)態(tài)問題的方法中。我們已經(jīng)將深度圖像的增強問題制定成各向異性擴散的過程。擴散傳導(dǎo)系數(shù)是一個條件，它依賴于彩色引導(dǎo)圖像，但獨立于深度值。因此，我們引導(dǎo)的深度增強是一個線性各向異性擴散問題[11]。線性意味著現(xiàn)在，讓我們把線性各向異性擴散的穩(wěn)定狀態(tài)看成式(2)所描述的那樣。我們首先將離散的深度圖以圖形G=(V,E)來表示，其中V是一組頂點，即象素，并且E包含四鄰域。兩個頂點之間的擴散系數(shù)由高斯設(shè)計在顏色上相似。得到22這個傳導(dǎo)性意味著，當(dāng)兩點的顏色相似時，深度擴散就快。當(dāng)我們構(gòu)建完圖形后，離散的擴散過程就會退化為隨機游走模型[8][30][11]二如果我們把深度圖作為一列向量，方程(4)可以變?yōu)橐韵鹿?的始深度圖D0,D的非0解可以通過求解線性系l(P,q)ifS丄L-W)(p,q)otherwise這里，列向量D中的第p個和第q個元素對應(yīng)于像素p和q。請注意,陣。因此，引導(dǎo)深度增強可以轉(zhuǎn)變?yōu)槭且粋€能夠有效求解的稀疏線性系統(tǒng)。A是一個稀疏正定矩為了驗證所提出的方法，我們進行了一系列的實驗。定量評價并且與使用雙邊過濾器以及MRF方法進行比較首先在米德爾伯里數(shù)據(jù)集[22]上進行。然后，我們將算法運用在一個傳感器的修補應(yīng)用上，以及用于Velodyne64E雷達的上采樣應(yīng)用上。實驗的詳細(xì)情況如下。564.1實驗在Middlebury數(shù)據(jù)集上據(jù)集中的深度圖被用作實際值。這些圖使用不同的采樣因子，5X,10X,15X,20X，分別的去創(chuàng)造低分辨率深度圖。該彩色圖像被作為深度上采樣的引導(dǎo)。在所有的實驗中，我們將擴散電導(dǎo)率b設(shè)定為10。在不犧牲速度性能的情況下我們靠自己執(zhí)行原始雙邊濾波器。在雙邊濾波器中，鄰域的大小是41X41,bD=2，且強度bs=10。MRF方法也被用于實現(xiàn)比較，其中，所述加權(quán)系數(shù)為1,規(guī)范數(shù)據(jù)和平滑之間的權(quán)重。每個算法在每個采樣系數(shù)下所獲得的結(jié)果進行評價取決于根均方誤差（RMSE）,這個根均的時候，我們所提出的方法和雙邊濾波器是相當(dāng)?shù)?。?dāng)系數(shù)上升，我們的方法效果最好。并且在所有情況下，MRF由于其過平滑影響，具有最大的錯誤。圖1也呈現(xiàn)了在間隔為10的采樣結(jié)果。從圖像中可以看出，雙邊濾波器得到的是尖銳邊界。我們提出的方法和模糊的邊界。但大多數(shù)情況下MRF會模糊。此外，我們提出的方法和域都比雙邊濾波器執(zhí)行地更好。MRF方法都會得到MRF方法在薄結(jié)構(gòu)的區(qū)MethodArtLaundryMoebiusReindeer551)12.7943.1672.4273.6674.78353723.638SU775.8576.8734.8056.3306.3748.9676.057S.0816.6362.8113.8752.9124,43743776.00745556.2605.4988.2445.7267.88220x6.2519.8986.6219.3715.7862.4593.4322.35H3.7235.3463.6815.4254.8357.3384.7566.7325.2048.8657.9A3表1在Middlebury數(shù)據(jù)集上的定量評價結(jié)果。將偏差值定義為RMSE4.2實驗在Kinect數(shù)據(jù)集上7在這個實驗中，我們應(yīng)用算法以修復(fù)速率產(chǎn)生對準(zhǔn)的深度和圖像對。Kinect的傳感器以高幀圖1為在Middlebury數(shù)據(jù)集上進行引導(dǎo)深度上采樣，其中(為間隔進行上采樣得出的結(jié)果MRF,和我們提出的方法以些區(qū)域中測量的距離會丟失。同時，從這些深度圖到發(fā)生移位的彩色圖的對準(zhǔn)導(dǎo)致了大量無效區(qū)域，這些無效區(qū)域沿在圖二中我們給出了一些修補結(jié)果。數(shù)據(jù)要么自己采取要么選擇從已建立好的Kinect數(shù)據(jù)集［10］中選擇。從結(jié)果中，我們看到我們設(shè)置的固定窗口大小導(dǎo)致了雙邊濾波器不能填滿所有的未知區(qū)域，。它表明一個自適應(yīng)方案應(yīng)設(shè)計成在所有情況下都能有效的使用。另一種看法與我們從以前的實驗中看到的不太一樣，雙邊濾波器得到清晰的邊緣并且其他兩個方法得到模糊邊界。MRF和我們提出的方法在視覺上獲得的結(jié)果幾乎是相同的。MRF，和我們提出的方法得出的結(jié)果4.3實驗在雷達數(shù)據(jù)上在最后的實驗中，我們應(yīng)用算法來上采樣由達用于與相機結(jié)合。攝像機拍攝的圖像作為引導(dǎo)。們此處得到的是具有不均勻的分辨率的距離數(shù)據(jù)。Velodyne64E激光雷達得到的距離數(shù)據(jù),與在米德爾伯里數(shù)據(jù)集上的采樣實驗不同,這個雷89圖3為在Velodyne64E數(shù)據(jù)上進行引導(dǎo)深度上采樣的結(jié)果。的圖中包含距離數(shù)據(jù)，最下三行分別為使用雙邊濾波器，MRF，和我們提出的方法得到的上采EquationChapter(Next)Section1在本文中，我們提出了一種新的方法引導(dǎo)深度增強。該方法是基于熱擴散結(jié)構(gòu)，并通過使用隨機游走模型來有效地解決。因此，它可以被應(yīng)用于修補由Kinect傳感器產(chǎn)生的有缺陷的深度圖，也可以用于上采樣由激光雷達獲得的一系列距離數(shù)據(jù)。上述兩個應(yīng)用都是時下流行的。另一方面，為了研究從我們的算法到雙邊濾波器和