基于Kinect及雙目機(jī)器視覺原理的物體3維建模系統(tǒng)

1、第 15卷 第 8期 中 國 水 運(yùn) Vol.15 No.8 2015年 8月 China Water Transport August 2015 收稿日期:2015-06-19作者簡介:童偉亮(1993- ,男,浙江海洋學(xué)院,學(xué)生。王廣偉(1977- ,男,浙江海洋學(xué)院,講師?；?Kinect 及雙目機(jī)器視覺原理的物體 3維建模系統(tǒng)童偉亮,王廣偉(浙江海洋學(xué)院,浙江 舟山 316000摘 要:進(jìn)行實(shí)物 3D 打印,需要生成其三維模型。人工設(shè)計(jì)模型效率低下,有些特殊工件很難設(shè)計(jì)出來,精度也 打不到要求;3D 激光掃描儀不但成本高,而且效率低。文中針對這兩種情況利用 kinect 基于雙目機(jī)器

2、視覺原理及 KInect 開發(fā)包提供的 KinectFusion 開源庫研發(fā) 3D 模型自動獲取系統(tǒng)。通過一臺 Kinect 設(shè)備的紅外攝像頭在不 同位置獲取深度數(shù)據(jù),然后通過對在不同攝像頭位姿獲取的數(shù)據(jù)進(jìn)行特征匹配,表面拼接,生成點(diǎn)云信息,從而構(gòu)建物 體三維模型。關(guān)鍵詞:Kinect;KinectFusion;機(jī)器視覺;三維重建;特征匹配中圖分類號:TP391 文獻(xiàn)標(biāo)識碼:A 文章編號:1006-7973(201508-0121-03一、引言目前, 物體 3D 打印在設(shè)計(jì)仿真、 虛擬現(xiàn)實(shí)、 3D 電影和 文化保護(hù)中有著大量的應(yīng)用。物體 3D 打印需要生成物體的 三維模型,人工設(shè)計(jì)模型效率低下

3、,有些特殊工件很難設(shè)計(jì) 出來, 精度也打不到要求, 3D 激光掃描儀進(jìn)行多方位掃描獲 取點(diǎn)云進(jìn)行三維重建, 3D 激光掃描儀價(jià)格高昂、 效率低下。Kinect 是微軟在 2010年 6月 14日對 XBOX360體感 周邊外設(shè)正式發(fā)布的名字,主要用于人機(jī)實(shí)時(shí)交互,但由于 其上的深度攝像頭,也可用于三維重建。對于物體重建,基于 Kinect 的重建技術(shù)有如下的優(yōu) 勢:Kinect能夠快速獲取場景的深度信息;Kinect 是一種主動 傳感器,它不受環(huán)境可見光譜的干擾9 10;Kinect 的核心設(shè)備 是彩色攝像機(jī)、紅外線發(fā)射器和紅外線 CMOS 攝影機(jī),這些 設(shè) 備 都 比 較 廉 價(jià) , 因 而

4、 Kinect 的 售 價(jià) 也 較 為 低 廉 ; 此 外,Kinect 的操作與普通攝像機(jī)類似,易于使用。Kinect for Windows SDK開發(fā)包在 1.7SDK 中加入了應(yīng)用于三維建模 的 KinectFusion 開源例程,1.8SDK 中對其進(jìn)行了優(yōu)化, 方便開發(fā)者參照其開源例程通過 Kinect 獲取的深度數(shù)據(jù)進(jìn) 行三維重構(gòu)。然而 KinectFusion 對內(nèi)存要求過大,對計(jì)算機(jī)要求過 高,接連不斷地在每一幀擬合,在移動攝像頭時(shí)對速度要求 均勻,建模操作復(fù)雜。本文基于雙目機(jī)器視覺原理對其建模 進(jìn)行了簡化去除冗余信息,有選擇的獲取物體個(gè)別幀的數(shù)據(jù) 進(jìn)行擬合,構(gòu)建精準(zhǔn)的三維模

5、型,極大的提升了建模效率跟 準(zhǔn)確性。二、雙目機(jī)器視覺成像原理雙目機(jī)器視覺是機(jī)器視覺的一種重要形式,它是基于視 差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖 像,通過計(jì)算圖像對應(yīng)點(diǎn)間的位置偏差,來獲取物體三維幾 何信息的方法。融合兩只眼睛獲得的圖像并觀察它們之間的差別,使我們可以獲得明顯的深度感,建立特征間的對應(yīng)關(guān) 系,將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來,這 個(gè)差別,我們稱作視差(Disparity圖。雙目立體視覺測量方 法具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡單、成本低等優(yōu)點(diǎn), 非常適合于制造現(xiàn)場的在線、非接觸產(chǎn)品檢測和質(zhì)量控制。 對運(yùn)動物體(包括動物和人體形體測量中,由于圖像獲取

6、 是在瞬間完成的,因此立體視覺方法是一種更有效的測量方 法。雙目立體視覺系統(tǒng)是計(jì)算機(jī)視覺的關(guān)鍵技術(shù)之一,獲取 空間三維場景的距離信息也是計(jì)算機(jī)視覺研究中最基礎(chǔ)的內(nèi) 容。雙目機(jī)器視覺系統(tǒng)由左右兩部攝像機(jī)組成。 如圖一所示, 圖中分別以下標(biāo) L 和 r 標(biāo)注左、右攝像機(jī)的相應(yīng)參數(shù)。世界 空間中一點(diǎn) A(X,Y,Z在左右攝像機(jī)的成像面 CL 和 CR 上 的像點(diǎn)分別為 al(ul,vl和 ar(ur,vr。這兩個(gè)像點(diǎn)是世界空 間中同一個(gè)對象點(diǎn) A 的像, 稱為 “共軛點(diǎn)” 。 知道了這兩個(gè)共 軛像點(diǎn),分別作它們與各自相機(jī)的光心 Ol 和 Or 的連線,即 投影線 alOl 和 arOr,它們的交點(diǎn)即

7、為世界空間中的對象點(diǎn) A(X,Y,Z。這就是立體視覺的基本原理。我們應(yīng)用雙目機(jī) 器視覺的建模原理對不同姿態(tài)下相機(jī)傳輸?shù)纳疃刃畔⑦M(jìn)行擬合呈現(xiàn)物體真實(shí)的三維面貌。圖 1 成像原理圖三、Kinect 傳感器與 KinectFusion 的工作原理 1.Kinect 傳感器黑色的 Kinect 設(shè)備如下圖:基座與感應(yīng)器之間有一個(gè)電 動的馬達(dá),通過程序能調(diào)整設(shè)備的俯仰角度,在上面的感應(yīng) 器中有一個(gè)紅外投影儀,兩個(gè)攝像頭,四個(gè)麥克風(fēng)和一個(gè)風(fēng) 扇。打開外面的蓋子可看到里面的構(gòu)造:這些感應(yīng)器用來捕 捉 RGB 和深度數(shù)據(jù),面對 Kinect,從左往右看。最左邊是 紅外光源, 其次是 LED 指示燈, 再次是彩

8、色攝像頭, 用來收 集 RGB 數(shù)據(jù),最右邊是紅外攝像頭用才采集景深數(shù)據(jù)。彩 色攝像頭最大支持 1,280*960分辨率成像, 紅外攝像頭最大 支持 640*480 成像。圖 2 Kinect設(shè)備圖在感應(yīng)器的下方是麥克風(fēng)陣列,他包括四個(gè)不同的麥克 風(fēng),一個(gè)在左邊的紅外發(fā)射器下面,另外 3個(gè)在右邊景深攝 像頭下面。在本文中,我們利用紅外攝像頭獲取深度數(shù)據(jù), 通過彩色攝像頭獲取三維物體表面紋理。Kinect Fusion 是微軟在 KinectSDK 中提供的用于幫 助 Kinect 三維建模的開發(fā)包, 包含一些在三維重建中比較實(shí) 用的類和方法。這里我們介紹一下在本文中應(yīng)用到的方法: DepthT

9、oDepthFloatFrame 函數(shù)該函數(shù)的簽名如下: public voidDepthToDepthFloatFrame(DepthImagePixel depth I m a g e D a t a , F u s i o n F l o a t I m a g e F r a m e d e p t h FloatFrame,float minDepthClip, float maxDepthClip, bool mirrorDepth該方法將無符號短型深度影像數(shù)據(jù)幀格式轉(zhuǎn)換為浮點(diǎn)型 深度影像數(shù)據(jù)楨格式,它代表物體距離 Kinect 傳感器的距 離,處理好的數(shù)據(jù)存儲在預(yù)分配的 dept

10、hFloatFrame 中, 參數(shù)中 depthImageData 和 depthFloatFrame 的大小必 須一致,該函數(shù)在 GPU 上運(yùn)行。depthImageData 是從 Kinect 傳感器獲取的深度影像 原始數(shù)據(jù)。minDepthClip 表示最小深度閾值,小于該值得 都會設(shè)置為 0,maxDepthClip 為最大深度閾值,大于該值 得都被設(shè)置為 1,000, 最后一個(gè)布爾型的 mirrorDepth 表示 是否對深度數(shù)據(jù)進(jìn)行鏡像處理。最小最大深度閾值可以用來對輸入的數(shù)據(jù)進(jìn)行處理,比如說可以排除某些特殊的物體,將這些物體排除在三維重建 之外。AlignPointClouds

11、函數(shù) 該函數(shù)的簽名如下:public static bool AlignPointClouds(FusionPoint CloudImageFrame referencePointCloudFrame, Fusion PointCloudImageFrame observedPointCloudFrame, int maxAlignIterationCount, FusionColorImageFrame deltaFromReferenceFrame, ref Matrix4 observedTo ReferenceTransform該方法將得到的點(diǎn)云轉(zhuǎn)化為從攝像頭觀測到的點(diǎn)云數(shù)據(jù), 返回值

12、表示是否轉(zhuǎn)化成功。referencePointCloudFrame 為深度數(shù)據(jù)計(jì)算得到的點(diǎn) 云數(shù)據(jù),observedPointCloudFrame 為轉(zhuǎn)化為從攝像頭位 置觀測的點(diǎn)云數(shù)據(jù),maxAlignIterationCount 為點(diǎn)云最大 迭代計(jì)算次數(shù),deltaFromReferenceFrame 為點(diǎn)云表面著 色流, observedToReferenceTransform 為觀測時(shí)的相機(jī)姿 態(tài)。AlignDepthFloatToReconstruction 函數(shù)public bool Align Depth Float To Reconstruction (Fusion FloatI

13、mage Frame depth Float Frame,int max AlignIteration Count, Fusion FloatImage Frame delta From Reference Frame, out float alignment Energy, Matrix4 worldToCameraTransform該方法用來將深度影像數(shù)據(jù)楨匹配到重構(gòu)立方體空間, 并由此計(jì)算出當(dāng)前深度數(shù)據(jù)幀的攝像頭的空間相對位置。相 機(jī)追蹤算法需要重構(gòu)立方體,如果追蹤成功,會更新相機(jī)的 內(nèi)部位置。該方法支持的最大分辨率為 640*480。maxAlignIterationCount 參數(shù)和

14、 ProcessFrame 方 法中的參數(shù)含義相同。deltaFromReferenceFrame 表示配準(zhǔn)誤差數(shù)據(jù)楨, 是一個(gè)預(yù)先分配的浮點(diǎn)影像幀,通常存儲每一個(gè)觀測到的像 素與之前的參考影像幀的對齊程度。通?？梢杂脕懋a(chǎn)生彩色 渲染或者用來作為其他視覺處理算法的參數(shù),比如對象分割 算法的參數(shù)。這些殘差值被歸一化到-1 1 的范圍內(nèi),代表 每一個(gè)像素的配準(zhǔn)誤差程度。如果合法的深度值存在,但是 沒有重構(gòu)立方體, 那么該值就為 0 表示完美的對齊到重構(gòu)立 方體上了。如果深度值不合法,就為返回 1。如果不需要這 個(gè)返回信息,直接傳入 null 即可。alignmentEnergy 表示配準(zhǔn)精確程度

15、,0表示完美匹 配worldToCameraTransform 表示此刻計(jì)算得到的相 機(jī)位置,通常該變量通過調(diào)用 FusionDepthProcessor. AlignPointClouds 或者 AlignDepthFloatToReconstruction 這兩個(gè)方法獲得。該函數(shù)如果返回 true 則表示對齊成功,返回 false 表示 則表示算法在對深度影像數(shù)據(jù)對齊的時(shí)候遇到問題,不能夠 計(jì)算出正確的變換。 (下轉(zhuǎn)第 124頁本文對某隧道監(jiān)控量測實(shí)測值進(jìn)行分析,拱頂下沉與周 邊位移實(shí)測值見表 2。表 2 隧道拱頂下沉與周邊位移實(shí)測值監(jiān)測 內(nèi)容水平 收斂拱頂 下沉 累計(jì)下沉量(mm - 1

16、0.13 21.14 24.67 26.24 25.3226.78 26.85 26.98 27.14 27.6727.5627.8727.95變形速率(mm/d - 10.13 3.13 2.52 0.26 0.160.01 0.42 0.13 0.16 0.060.040.070.02將開挖后一天的實(shí)測收斂值留作檢驗(yàn)基準(zhǔn),取 417d的數(shù)據(jù)建模。開挖后一天的反推值與其后四天的擬合值見表 3。 表 3 隧道拱頂下沉與水平收斂實(shí)測值開挖后天數(shù) 4 5 6 7 8該隧道斷面周邊位移量測誤差 0.04mm,與所用收斂計(jì) (03-85型量測誤差值 0.06mm 相近。拱頂下沉量測預(yù)報(bào)誤 差 0.45

17、3mm。三、結(jié)論本文采用時(shí)間序列分析方法作位移值的雙向推斷并應(yīng)用 于實(shí)際工程中,通過實(shí)測值與反演值的比較證明該方法的高 效性,運(yùn)用類比設(shè)計(jì)方法,指導(dǎo)設(shè)計(jì)施工,為減少施工安全 風(fēng)險(xiǎn)提供指導(dǎo),并能有效的對設(shè)計(jì)參數(shù)進(jìn)行優(yōu)化。 參考文獻(xiàn)1 李世輝等.隧道支護(hù)設(shè)計(jì)新論M.北京:科學(xué)出版社, 1999.2 楊林德等.巖土工程問題的反演理論與工程實(shí)踐M.北 京:科學(xué)出版社,1999.3 陳斌, 卓家壽等. 巖土工程反分析的非確定性模型研究與 發(fā)展J. 河海大學(xué)土木工程學(xué)院, 江蘇南京, 水利水電科 技進(jìn)展,2001,21(5.5-8.4 朱珍德,胡定.洞圍巖壓力位移反分析原理和方法J.四 川大學(xué)地下空間,1

18、999,19(3:169-173.(上接第 122頁四、 基于雙目視覺成像原理應(yīng)用 KinectFusion 進(jìn)行三維 建模首先是深度幀數(shù)據(jù)的轉(zhuǎn)換。 先將 Kinect 中獲取的原始深 度幀數(shù)據(jù)轉(zhuǎn)換為以米為單位的浮點(diǎn)數(shù)據(jù),然后接著對該數(shù)據(jù) 進(jìn)行優(yōu)化,通過獲取攝像頭的坐標(biāo)信息,將這些浮點(diǎn)數(shù)據(jù)轉(zhuǎn) 換為和 Kinect 攝像頭朝向一致的點(diǎn)云數(shù)據(jù)。 這些點(diǎn)的表面情 況通過使用 SDK 中的 AlignPointClouds 函數(shù)獲取。 然后,計(jì)算全局的攝像頭的姿勢信息,包括攝像頭的位 置和朝向,通過使用交互型的配準(zhǔn)算法在攝像頭移動時(shí)不斷 獲取其姿勢,這樣系統(tǒng)始終知道當(dāng)前攝像頭相對于起始幀時(shí) 攝 像 頭 的 相 對 姿 勢 。 這 里 我 們 利 用 SDK 提 供 的 AlignDepthToReconstruction 方法進(jìn)行追蹤,該方法對重 建立方體進(jìn)行處理時(shí)能夠獲得更高精度的追蹤結(jié)果。但是對 于場景內(nèi)移動的物體該算法可能不夠健壯。如果場景中的追 蹤被中斷,那么需要將攝像頭的位置和上一次的攝像頭位置 對齊才能繼續(xù)進(jìn)行追蹤。接著,將從已