技術報告基于窗口濾波與均值濾波的深度圖像實時修復算法

1、計劃類別 項目編號 項目技術報告課題名稱 項目主持人 承擔單位 題目：基于窗口濾波與均值濾波的深度圖像實時修復算法使用Kinect作為視頻圖像的輸入設備，獲取的連續(xù)幀的深度圖像會在邊緣出現(xiàn)空洞像素點和像素點隨機抖動的問題。本文針對Kinect獲取的連續(xù)幀深度圖像提出了加權窗口-除零均值濾波算法。先使用提出的加權窗口濾波算法對空洞像素填補，然后采用改進后的除零均值濾波算法對圖像進行平滑與去噪聲處理。實驗結(jié)果表明，相比雙邊濾波、中值濾波、均值濾波和高斯濾波算法，本文提出的算法能夠有效的減少圖像中的抖動像素，去除深度圖像中的噪聲信息，使圖像邊緣信息平滑，并且保證視頻輸入有較高的幀率。關鍵詞：深度圖像

2、；視頻；Kinect；抖動；空洞文章編號：2096-1472（2018）-11-17-041 引言（Introduction）Kinect是微軟公司推出的一款體感設備，它強大功能，價格低廉且開發(fā)方便，它已被應用到計算機視覺的各個應用中，Nagori1等人使用Kinect實現(xiàn)聾啞人手語翻譯，F(xiàn)ankhauser2等人利用Kinect實現(xiàn)了機器人導航系統(tǒng)，以及Chen3等人以Kinect為平臺實現(xiàn)增強現(xiàn)實的游戲統(tǒng)。由于Kinect發(fā)射的紅外信號被目標物體吸收，以及其他物體遮擋返回的紅外信號等原因，會造成圖像空洞及抖動4。為此需要對具有像素空洞和抖動深度進行修復，Du5等人采用了改進雙邊濾波算法和聚

3、類算法，較好地修復了圖像中空洞；彭誠6等人利用形態(tài)學濾波算法，結(jié)合雙邊濾波算法應用到深度圖像處理當中；Hu7等人提出了利用彩色圖像引導局部正則化表示的方法來改進雙邊濾波算法。上述工作雖然修復的效果良好，但沒考慮連續(xù)幀深度圖像所產(chǎn)生的像素抖動，而且效率低，無法保證對連續(xù)幀深度圖像的實時處理。本文提出了一種平衡了效率與處理效果的濾波算法，即加權窗口濾波-除零均值濾波算法。首先使用加權窗口濾波算法來填補空洞和抖動的像素部分，然后使用除零均值濾波算法對圖像行平滑處理。實驗通過與主要濾波算法進行比較，本文提出的算法在效率與圖像結(jié)果均達到理想程度。2 加權窗口-除零均值濾波算法（Weighted wind

4、ow filter and non-zero mean filter algorithm）2.1 加權窗口濾波算法Kinect獲取的每幀圖像存在著空洞像素及抖動像素，這影響后續(xù)的圖像分割處理，為此有必要消除每幀圖像中的空洞像素及抖動像素。首先通過Kinect獲取每幀原始深度圖像信息，將原始深度圖像信息由16位灰度圖像轉(zhuǎn)換為8位灰度圖像，以便后續(xù)處理。設轉(zhuǎn)換后的8位灰度圖像為在深度圖中處像素點的灰度值。如果有，則該點為空洞點。在圖像中，以該像素點為中心，建立一個大小為55的正方形窗口，遍歷窗口中的所有非0灰度值的像素，并將每個灰度值出現(xiàn)的次數(shù)使用哈希表記錄下來，如式（1）所示。由于設定以某灰度值

5、為0的像素點為中心，遍歷其周圍55大小的正方形區(qū)域的像素，所以每個像素的灰度值最多會出現(xiàn)24次。深度圖像為8位灰度圖像，每個像素的灰度值范圍即為0到255，由于灰度值為0的像素不在計算范圍之內(nèi)，所以范圍限定為1到255。在該算法中設定兩個閾值，分別為threshold1與threshold2，判斷如果在窗口中在邊界上的非0像素個數(shù)是否大于threshold1且非邊界上的非0像素值是否大于threshold2，那么計算在窗口中像素的加權平均值，如式（2）所示。表示更新后的像素值，為像素值i出現(xiàn)的頻率。如果不滿足閾值的條件，則。例如，在圖1的55窗口中，邊界上的非0像素個數(shù)為12個，非邊界上的非0

6、像素為6。2.2 除零均值濾波算法對深度圖像的空洞像素及抖動像素修復后，需要對圖像非空洞部分進行平滑處理，以保證去除深度圖像中出現(xiàn)的非空洞部分噪音。除零均值濾波算法是在均值濾波8算法基礎上進行了改進，傳統(tǒng)的均值濾波算法是計算窗口中所有像素值的均值，本文提出的改進算法不考慮灰度0值的空洞像素，在計算時直接將它們剔除，其值計算采用式（3）。式（3）中表示在圖像中第處像素經(jīng)過除零均值濾波算法處理后的值，k表示55窗口中非零像素的個數(shù)。為了提高算法的效率，在計算窗口中的像素均值時，使用了積分圖像的方法9。建立一個與圖像尺寸大小相同的二維數(shù)組，記錄圖像從第點的像素值到第點像素值的累加和，如式（4）所示。

7、的值根據(jù)式（5）來計算。根據(jù)式（5）可知，在時間復雜度O（RC）之內(nèi)計算出來，即對圖像進行預處理即可得到，其中R和C分別為圖像的行數(shù)和列數(shù)。由于在濾波的窗口中非0的像素個數(shù)事先并不確定，按照式（5）可計算從點的像素值到第點所包含的零值像素的個數(shù)，并保存到零值積分表中，表示從點的像素值到第點之間的0的個數(shù)，采用式（6）計算其值。計算均值需要枚舉圖像中每一個非0像素點，以及以該像素點為中心的窗口W中像素，則計算時間復雜度為O（RCWLWL），R、C、WL分別為圖像的長、寬、窗口邊長，如圖2所示。使用積分圖像和零值積分表后，計算窗口W中像素和，以及0值的個數(shù)，其時間復雜度降為O（1）。積分圖像窗口W

8、中的像素和用表示，其計算方法如式（7）所示。零值積分表窗口W中的零值個數(shù)用表示，計算方法如式（8）所示。窗口W中的均值用表示，計算公式如式（9）。3 實驗結(jié)果（Experimental result）本算法在VS 2013平臺用C+實現(xiàn)，PC機的性能參數(shù)為Intel（R） Xeon（R） CPU E5-1620 v3 3.50GHz處理器，16G內(nèi)存下實現(xiàn)，視頻輸入設備使用Kinect v2。本文算法通過兩次濾波，得到高質(zhì)量的圖像，如圖3和圖4所示。圖3（a）為只使用加權窗口濾波方法的效果圖，圖3（b）為兩次濾波的效果圖，即先使用加權窗口濾波，然后使用除零均值濾波算法。圖4展示了僅使用加權窗口

9、濾波算法和兩次濾波算法的細節(jié)部分。由圖3和4可以看出，經(jīng)過除零均值濾波處理后深度圖像中，圖像更加平滑，有效的去除了圖像中的噪聲。為驗證本文提出的算法的性能，在計算效果和計算時間兩方面與雙邊濾波算法、中值濾波算法、高斯濾波算法、均值濾波算法進行比較。在測試中，中值濾波參數(shù)窗口尺寸ksize=5；雙邊濾波參數(shù)像素鄰域直徑d=7，顏色空間參數(shù)sigmaC=131，坐標空間參數(shù)sigmaS=100；均值濾波參數(shù)窗口尺寸ksize=（9，9）；高斯濾波參數(shù)高斯內(nèi)核大小ksize=（5，5），x方向標準差simgaX=9，y方向標準差sigmaY=9。本文的加權窗口除零均值濾波參數(shù)threshold1=2

10、、threshold2=4。5種算法濾波的效果如圖5所示。從圖5可以看出，相比其他四種濾波算法和原始深度圖像，圖5（f）中的物體邊緣空洞明和圖像上部分物體的抖動像素明顯減少，且物體輪廓清晰。原始圖像與五種算法處理后灰度分布圖如圖6所示。圖6中橫軸為像素值，范圍在0，255；縱軸為每個像素出現(xiàn)頻率，范圍在0，20000。由于在原始圖像中存在大量抖動像素和空洞像素，它們主要集中在像素值為0附近部分，如圖6（a）所示。各種濾波算法處理后的圖像與原圖像在像素分布中的峰值越接近，表示圖像的細節(jié)信息越完整。由圖6（f）看出，本算法不僅保留了圖像當中灰度分布信息，而且有效的去處了空洞和抖動部分。由此可知，相

11、比其他四種濾波方法，本文算法處理后得到的圖像效果最佳。對比濾波后效果，圖7（a）與圖7（b）經(jīng)過二值化和膨脹10處理后的幀差圖。圖7（a）中靜止場景相鄰兩幀的之間的抖動像素十分明顯，在經(jīng)過本文算法處理后，靜止場景相鄰兩幀有零星的像素抖動，效果明顯好于原始圖像。為了驗證算法的效率，五種算法分別對連續(xù)70幀的同一幅深度圖像進行濾波，其平均濾波時間如表1所示。由表1看出，雙邊濾波算法運行時間最長，中值濾波運行時間最少，本文提出的加權窗口濾波算法運行時間略小于雙邊濾波。盡管本文算法平均運行時間較高于中值、均值和高斯濾波算法，但濾波效果好于它們，而且滿足了視頻圖像實時處理的要求。4 結(jié)論（Conclus

12、ion）本文通過對實時Kinect深度圖像特點進行分析，提出了加權窗口-除零均值濾波算法，對深度圖像中的空洞像素進行修復；對均值濾波算法進行改進后，得到除零均值濾波對深度圖像進行平滑處理。通過定性分析和定量實驗結(jié)果表明，本算法在處理連續(xù)幀的深度視頻圖像上時間復雜度低，處理效率高，對深度圖像的空洞像素及抖動像素有良好的處理效果，為下一步圖像語義分割、圖像標注、三維重建及三維物體識別等處理提供良好的基礎和平臺。本文算法僅使用了深度圖像本身來進行實時性的圖像修復工作，如何利用好Kinect中提供的其他數(shù)據(jù)信息來優(yōu)化和提高深度圖像質(zhì)量是未來的研究方向。參考文獻（References）1 Nagori

13、N P，Malode V.Communication Interface for Deaf-Mute People using Microsoft KinectC.International Conference on Automatic Control and Dynamic Optimization Techniques.IEEE，2017：640-644.2 Fankhauser P，Bloesch M，Rodriguez D，et al.Kinect v2 for mobile robot navigation：Evaluation and modelingC.Internationa

14、l Conference on Advanced Robotics. IEEE，2015：388-394.3 Chen J Y，Liu C H，Hsieh C H，et al.Kinect augmented reality gear game designC.International Conference on Applied System Innovation.IEEE，2017：373-375.4 趙旭.Kinect深度圖像修復技術研究D.大連理工大學，2013：11.5 Du H，Miao Z.Kinect depth maps preprocessing based on RGB-D data clustering and bilateral filteringC.Chinese Automation Congress.IEEE，2016：732-736.6 彭誠，孫新柱.一種改進的深度圖像修復算法研究J.重慶工商大學學報（自然科學版），2016，33（1）：65-69.7 Hu J，Hu R，Wang Z，et al.Color image guided locality regularized representation for Kinect