光切三維重建技術(shù)的應(yīng)用與前景

光切三維重建技術(shù)的應(yīng)用與前景0引言隨著計(jì)算機(jī)圖形學(xué)的發(fā)展和認(rèn)知維度的提升，三維重建技術(shù)在工業(yè)、建筑業(yè)、醫(yī)學(xué)以及農(nóng)牧林業(yè)中有著廣闊的應(yīng)用前景。該技術(shù)所獲取的數(shù)字化點(diǎn)云能夠提供豐富的高質(zhì)量、高細(xì)節(jié)性、高精度的三維信息。三維空間內(nèi)的尺度信息可作為傳感系統(tǒng)中的輸入數(shù)據(jù)，從而感知周邊環(huán)境信息，為對(duì)象識(shí)別、感測(cè)、地圖構(gòu)建與導(dǎo)航等功能提供新的輔助。同時(shí)，在以三維重建技術(shù)為主導(dǎo)發(fā)展而來(lái)的逆向工程領(lǐng)域中，點(diǎn)云數(shù)據(jù)可實(shí)現(xiàn)復(fù)雜的自由曲面的數(shù)字化，從而快速創(chuàng)建、復(fù)現(xiàn)目標(biāo)的精確模型，在零件加工與檢測(cè)、服裝設(shè)計(jì)、文物遺產(chǎn)保護(hù)中起到關(guān)鍵作用。此外，三維重建技術(shù)也被應(yīng)用于醫(yī)療領(lǐng)域，可作為術(shù)前診斷、假體定制、醫(yī)美整形的輔助手段，也可結(jié)合虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)術(shù)中可視化、模擬訓(xùn)練教學(xué)、智能應(yīng)用等。三維重建技術(shù)可按實(shí)現(xiàn)步驟劃分為數(shù)字點(diǎn)云獲取與點(diǎn)云處理兩部分。其中的基礎(chǔ)是數(shù)字點(diǎn)云獲取，即三維信息測(cè)量。相比于接觸式測(cè)量方法存在的易磨損、耗時(shí)長(zhǎng)、測(cè)試環(huán)境嚴(yán)格、成本較高等缺點(diǎn)，非接觸式三維測(cè)量方法逐漸受到人們的青睞。其中，以單目、雙目、多目等形式為代表的被動(dòng)式非接觸三維測(cè)量方法測(cè)量精度較低、計(jì)算量較大且有效信息量占比較少，常用于三維目標(biāo)的識(shí)別、理解以及位形分析，難以用于高精度地重建復(fù)雜目標(biāo)[1]。主動(dòng)式非接觸三維測(cè)量方法有飛行時(shí)間(timeofflight,TOF)法、光學(xué)干涉測(cè)量法、相位測(cè)量輪廓術(shù)、傅里葉變換輪廓術(shù)等。TOF法依賴時(shí)間分辨力，對(duì)設(shè)備參數(shù)的要求較高，價(jià)格昂貴且難以適應(yīng)復(fù)雜環(huán)境[2]。光學(xué)干涉測(cè)量法(如莫爾條紋法等)的工作范圍主要依賴于基準(zhǔn)光柵的尺寸，無(wú)法對(duì)較大尺寸的物體進(jìn)行重建，且測(cè)量穩(wěn)定性較差[3]。相位測(cè)量輪廓術(shù)又名光柵投影法，在諸如臺(tái)階、深槽、突起等相位突變處會(huì)產(chǎn)生較嚴(yán)重的陰影問(wèn)題，難以進(jìn)行相位展開，因此不能測(cè)量表面有高度劇烈變化或不連續(xù)區(qū)域的復(fù)雜三維物體。同時(shí)，該技術(shù)的測(cè)量范圍較小、測(cè)量環(huán)境要求嚴(yán)格，難以推廣至實(shí)際應(yīng)用[4]。傅里葉變換輪廓術(shù)需保證各級(jí)頻譜之間不混疊，因而限制了測(cè)量范圍，測(cè)量精度較相位測(cè)量輪廓術(shù)低[5]。相比之下，光切法(基于單線或多線結(jié)構(gòu)光掃描的形式)的測(cè)量精度能達(dá)到微米級(jí)別，對(duì)應(yīng)用環(huán)境的適應(yīng)性較強(qiáng)，測(cè)量魯棒性較高。因此，對(duì)于中小尺寸場(chǎng)景下的三維重建需求，光切法是一種有效的三維點(diǎn)云數(shù)據(jù)獲取途徑。本文重點(diǎn)對(duì)光切法在各類場(chǎng)景中的應(yīng)用進(jìn)行了調(diào)研：首先，介紹了光切法的技術(shù)原理及關(guān)鍵技術(shù)；隨后，介紹了光切法對(duì)不同目標(biāo)或在不同環(huán)境中的應(yīng)用；最后，結(jié)合光切法技術(shù)應(yīng)用現(xiàn)狀及科技發(fā)展趨勢(shì)，簡(jiǎn)要剖析了光切法的應(yīng)用前景。上述研究成果可為研究人員或工程人員在實(shí)際應(yīng)用中選擇合理的方法提供參考。這將有助于明確光切法的進(jìn)一步發(fā)展方向。1光切法技術(shù)原理傳統(tǒng)的結(jié)構(gòu)光三角法結(jié)合成熟的光條紋中心線提取算法，可獲取當(dāng)前光平面內(nèi)目標(biāo)輪廓的坐標(biāo)信息；若輔以第三自由度的移動(dòng)裝置，可得到當(dāng)前覆蓋場(chǎng)景的完整三維信息。當(dāng)測(cè)量各截面層疊的偏移量信息時(shí)，若被測(cè)目標(biāo)為剛性或靜態(tài)，則可將其轉(zhuǎn)換為位移量，即以類似掃描的形式對(duì)被測(cè)目標(biāo)進(jìn)行離散化采樣，再通過(guò)擬合等數(shù)據(jù)處理方法完成剛性物體的完整三維形貌信息表征。這類方式獲取的點(diǎn)云精度較大程度地受光三角系統(tǒng)和移動(dòng)裝置的參數(shù)及性能的影響。此外，當(dāng)被測(cè)目標(biāo)為非剛性或動(dòng)態(tài)時(shí)，上述方法所獲取的相鄰兩幀信息不具備空間強(qiáng)相關(guān)性，直接進(jìn)行數(shù)據(jù)擬合所獲取的結(jié)果置信度不高，不足以完成此類場(chǎng)景的高精度三維重建。光切系統(tǒng)原理如圖1所示。圖1光切系統(tǒng)原理圖Fig.1Principlediagramoflight-sectionsystem因此，需在經(jīng)典結(jié)構(gòu)光三角法的基礎(chǔ)上，在離散點(diǎn)云中添加光條紋中的法矢信息、光強(qiáng)信息等高維信息。當(dāng)各截面層疊的偏移量能夠滿足相鄰兩幀激光條紋涵蓋的矢量信息在當(dāng)前延長(zhǎng)線上不平行的條件時(shí)，通過(guò)在厚度光條紋中建立時(shí)空?qǐng)瞿Ｐ?，即可在統(tǒng)一世界坐標(biāo)系內(nèi)建立一定置信度下的拓?fù)浣Y(jié)構(gòu)信息，進(jìn)而獲取維度介于經(jīng)典離散點(diǎn)云和有序點(diǎn)云間的結(jié)果。該結(jié)果稱為半有序點(diǎn)云[6]。光切系統(tǒng)的主要構(gòu)件包括結(jié)構(gòu)光光源、成像器件互補(bǔ)金屬氧化物半導(dǎo)體(complementarymetaloxidesemiconductor,CMOS)或電荷耦合元件(chargecoupleddevice,CCD)、慣性測(cè)量單元(inertialmeasurementunit，IMU)等。其中，光切系統(tǒng)的移動(dòng)方式可根據(jù)使用場(chǎng)景調(diào)整為平移、自旋轉(zhuǎn)、俯仰掃描或多自由度組合等類型。2光切法關(guān)鍵技術(shù)光切系統(tǒng)中的關(guān)鍵技術(shù)主要包括點(diǎn)云濾波技術(shù)、點(diǎn)云精簡(jiǎn)技術(shù)、點(diǎn)云配準(zhǔn)技術(shù)和點(diǎn)云曲面重建技術(shù)。2.1點(diǎn)云濾波技術(shù)原始點(diǎn)云會(huì)因傳感器或采集設(shè)備的固有噪聲、物體的表面特征或其他環(huán)境/人為因素而產(chǎn)生異常值，從而影響3D重建的準(zhǔn)確性。因此，必須在保留點(diǎn)云初始特征和細(xì)節(jié)的基礎(chǔ)上，減弱甚至去除噪聲。點(diǎn)云濾波方法可以分為七類，分別是基于統(tǒng)計(jì)的濾波方法、基于鄰域的濾波方法、基于投影的濾波方法、基于信號(hào)處理的濾波方法、基于偏微分方程的濾波方法、混合濾波方法以及其他濾波方法[7]。2.2點(diǎn)云精簡(jiǎn)技術(shù)一般而言，前端系統(tǒng)需要更高的采樣率和分辨率。這就導(dǎo)致了只有海量的原始數(shù)據(jù)和更高的信息空間密度，才能獲得高質(zhì)量的點(diǎn)云。對(duì)點(diǎn)云數(shù)據(jù)存儲(chǔ)和相關(guān)計(jì)算速度的需求也隨著范圍的擴(kuò)大或待重構(gòu)對(duì)象復(fù)雜性的增加而呈指數(shù)級(jí)增長(zhǎng)。但是，過(guò)濾后的點(diǎn)云數(shù)據(jù)量仍然很大且必要性不足。海量數(shù)據(jù)的低效存儲(chǔ)、運(yùn)算和傳輸直接影響后續(xù)算法的收斂性。在點(diǎn)云精度要求不高的情況下，可以通過(guò)降低采樣分辨率來(lái)降低點(diǎn)云密度。但當(dāng)應(yīng)用場(chǎng)景是高精度對(duì)象重建時(shí)，則需要對(duì)數(shù)據(jù)進(jìn)行下采樣并建立拓?fù)浣Y(jié)構(gòu)，再對(duì)點(diǎn)云進(jìn)行進(jìn)一步的操作。點(diǎn)云精簡(jiǎn)方法可分為五類，分別是傳統(tǒng)下采樣精簡(jiǎn)方法、基于幾何特征的精簡(jiǎn)方法、基于成分分析的精簡(jiǎn)方法、基于空間細(xì)分的精簡(jiǎn)方法以及基于深度學(xué)習(xí)的精簡(jiǎn)方法。2.3點(diǎn)云配準(zhǔn)技術(shù)受限于結(jié)構(gòu)光測(cè)量原理和多源數(shù)據(jù)融合的發(fā)展方向，點(diǎn)云配準(zhǔn)通常需要合成多組點(diǎn)云數(shù)據(jù)，并將不同世界坐標(biāo)系中的點(diǎn)云配準(zhǔn)到同一個(gè)坐標(biāo)系，完成物體或環(huán)境的高精度重建。傳統(tǒng)的點(diǎn)云配準(zhǔn)方法主要依賴曲率、點(diǎn)密度和表面連續(xù)性等顯式鄰域特征。此類算法的大部分改進(jìn)是找到合適的配準(zhǔn)特征、加快數(shù)據(jù)查詢和優(yōu)化注冊(cè)效率。一些配準(zhǔn)方法對(duì)云點(diǎn)的初始位置要求較高，容易陷入局部最優(yōu)，當(dāng)兩點(diǎn)云重疊率較高時(shí)難以獲得良好的配準(zhǔn)結(jié)果。除了上述方法以外，目前的點(diǎn)云配準(zhǔn)方法主要有五類，分別是基于數(shù)學(xué)求解的配準(zhǔn)方法、基于統(tǒng)計(jì)模型的配準(zhǔn)方法、基于點(diǎn)云特征的配準(zhǔn)方法、基于迭代最近點(diǎn)(interativeclosestpoint,ICP)變形的配準(zhǔn)方法以及基于深度學(xué)習(xí)的配準(zhǔn)方法。2.4點(diǎn)云曲面重建技術(shù)為了在點(diǎn)數(shù)據(jù)集中建立完整的拓?fù)潢P(guān)系并形成封閉、可觀的表面，還需對(duì)原始數(shù)據(jù)進(jìn)行曲面重建操作。傳統(tǒng)的目標(biāo)物重建過(guò)程很大程度依賴點(diǎn)對(duì)點(diǎn)的對(duì)應(yīng)關(guān)系。然而，特征點(diǎn)搜索通常會(huì)受到圖像噪聲、失真、光影變化等影響，易產(chǎn)生圖形走樣。此外，基于點(diǎn)的重構(gòu)忽略了物體表面采樣點(diǎn)之間的結(jié)構(gòu)信息，為重構(gòu)點(diǎn)的后續(xù)處理過(guò)程增加了難度。因此，研究人員嘗試采用曲線、曲面重構(gòu)三維場(chǎng)景。目前的點(diǎn)云曲面重建方法主要有三類，分別是參數(shù)表征式曲面重建方法、隱式曲面重建方法以及網(wǎng)格/體素式曲面重建方法。其中，隱式曲面重建方法又可細(xì)分為全局和局部隱式曲面重建方法。3光切法技術(shù)的應(yīng)用目前，經(jīng)典光切法和改良光切法的應(yīng)用場(chǎng)景更加廣泛。典型應(yīng)用場(chǎng)景及案例如下所示。3.1針對(duì)大尺寸待重建物體的應(yīng)用王紹臣等提出了基于表面重建的輪廓度測(cè)量方法[8]。該方法首先對(duì)點(diǎn)云特征進(jìn)行提取以建立測(cè)量基準(zhǔn)坐標(biāo)系，隨后通過(guò)對(duì)局部點(diǎn)云作快速表面重建之后的模型進(jìn)行輪廓線的定位與提取，實(shí)現(xiàn)了曲面輪廓度的定位測(cè)量，從而真實(shí)地還原出大尺寸工件的完整形貌。張洋等針對(duì)大型構(gòu)件曲面邊界特征因圖像噪聲干擾大而難以準(zhǔn)確提取的問(wèn)題，提出了一種基于非固定特征點(diǎn)的激光邊界提取方法[9]。該方法通過(guò)被測(cè)零件的非固定特征點(diǎn)，構(gòu)建被測(cè)零件整體邊界輪廓約束，并基于該約束采用弧長(zhǎng)法實(shí)現(xiàn)激光光條邊界有效判別，大幅提高了零件邊界特征的提取準(zhǔn)確度。張譯等為克服視覺(jué)測(cè)量方法的測(cè)量范圍的局限性，開展了激光與視覺(jué)復(fù)合式測(cè)量系統(tǒng)的全局?jǐn)?shù)據(jù)拼接研究。該研究結(jié)合全局拼接的思想，利用全局轉(zhuǎn)接標(biāo)志實(shí)現(xiàn)大范圍全局測(cè)量系統(tǒng)對(duì)局部掃描測(cè)量系統(tǒng)的高精度定位，保證大尺寸全局范圍內(nèi)的曲面零構(gòu)件面形測(cè)量精度。全局測(cè)量精度可達(dá)0.042%。3.2針對(duì)半透明待重建物體的應(yīng)用彭業(yè)昌等在在線激光垂直投射下采集輸電線圖像，利用小波邊緣檢測(cè)算法從圖像中獲取激光照射區(qū)域的輪廓，并根據(jù)該輪廓計(jì)算其外接矩形，通過(guò)外接矩形的寬度和輸電線直徑的對(duì)應(yīng)關(guān)系，計(jì)算得到輸電線的覆冰厚度[10]。該方法在實(shí)驗(yàn)室條件下的測(cè)量誤差小于±1mm，可用于對(duì)輸電線路覆冰的全天檢測(cè)。王玉杰等提出了一種基于激光鎖定成像疊加圖像增強(qiáng)的技術(shù)，對(duì)鏡面目標(biāo)和強(qiáng)背景光下的目標(biāo)進(jìn)行測(cè)量[11]。激光鎖定成像技術(shù)可以很好地濾除待測(cè)目標(biāo)周圍的環(huán)境光、降低圖像中的噪聲。因此，將待測(cè)目標(biāo)同一位置的圖像進(jìn)行激光鎖定成像后疊加并濾波，可以在一定范圍內(nèi)提高圖像的信噪比。在此之后，采用分段線性增強(qiáng)技術(shù)對(duì)圖像中的特征信息進(jìn)行定向增強(qiáng)，可再次提高圖像的信噪比。3.3針對(duì)動(dòng)態(tài)待重建物體的應(yīng)用鞠標(biāo)等提出一種基于標(biāo)準(zhǔn)鋼軌軌廓固有曲線曲率的鋼軌磨耗檢測(cè)方法[12]。該方法首先利用基于激光三角測(cè)距原理的傳感器得到組成鋼軌全斷面輪廓一系列點(diǎn)的空間坐標(biāo);然后利用L-M優(yōu)化算法進(jìn)行數(shù)據(jù)處理，并采用Hough變換方法檢測(cè)鋼軌輪廓固有幾何特性；最后進(jìn)行鋼軌輪廓匹配后實(shí)現(xiàn)鋼軌磨耗高精度檢測(cè)。該方法已應(yīng)用在軌道檢測(cè)小車上。試驗(yàn)數(shù)據(jù)表明：鋼軌磨耗檢測(cè)系統(tǒng)的重復(fù)性精度能達(dá)到0.005mm。該方法的高精度性和快速性能滿足鐵路部門對(duì)鋼軌磨耗檢測(cè)的要求。華程等設(shè)計(jì)了一種基于機(jī)器視覺(jué)的帶式輸送機(jī)物料瞬時(shí)流量測(cè)量系統(tǒng)，通過(guò)提取物料表面線激光輪廓，并開發(fā)基于梯形面元積分的物料流瞬時(shí)流量計(jì)算方法，求出物料瞬時(shí)流量[13]。試驗(yàn)結(jié)果表明:測(cè)量系統(tǒng)最小誤差達(dá)到1.45%，整體測(cè)量誤差在5%以內(nèi)，有較高精度，可以滿足帶式輸送機(jī)物料在線流量測(cè)量需求。3.4針對(duì)醫(yī)療中待重建物體的應(yīng)用姚敏提出一種基于單線激光的測(cè)量方法[14]。該方法以紅外激光器作為光源，通過(guò)光纖導(dǎo)光到頭部。光纖頭部帶有準(zhǔn)直器和柱狀透鏡，投射出的線狀激光束與視頻內(nèi)窺鏡CCD靶面短邊平行，作為輔助標(biāo)定線。通過(guò)建立單線結(jié)構(gòu)光測(cè)量模型標(biāo)定激光線與物距位置關(guān)系，在觀測(cè)物體表面同時(shí)，能夠測(cè)量長(zhǎng)度、面積、高度、深度等多種幾何參數(shù)。通過(guò)在視頻內(nèi)窺鏡探頭上的集成和成像測(cè)量試驗(yàn)，驗(yàn)證了方法的正確性。3.5針對(duì)缺陷等待重建物體的應(yīng)用張光龍等以芒果為研究對(duì)象，采用一種基于線激光加工業(yè)面陣相機(jī)的激光三角法，同時(shí)利用計(jì)算機(jī)圖像處理實(shí)現(xiàn)對(duì)水果外形三維幾何尺寸的精確測(cè)量[15]。該方法的體積測(cè)量誤差不超過(guò)1.0%，缺陷面積測(cè)量誤差不超過(guò)3.0%。丁曉東等針對(duì)焊縫表面中的凹陷、咬邊和氣孔等缺陷，分析不同類型缺陷在焊縫激光條紋圖像中的幾何形態(tài)及空間分布特點(diǎn)，并結(jié)合斜率截距法與分段區(qū)間檢測(cè)法提取焊縫表面缺陷的特征點(diǎn)[16]。該研究利用特征提取方法識(shí)別焊縫表面缺陷的七個(gè)特征參數(shù)，設(shè)計(jì)基于三層反向傳播(backpropagation,BP)神經(jīng)網(wǎng)絡(luò)的焊縫缺陷分類模型，將提取的缺陷特征作為網(wǎng)絡(luò)的特征輸入進(jìn)行網(wǎng)絡(luò)訓(xùn)練。試驗(yàn)結(jié)果表明，所建立的焊縫缺陷分類模型可識(shí)別凹陷、咬邊、氣孔等焊縫表面缺陷，整體識(shí)別率達(dá)91.51%。4光切法技術(shù)的發(fā)展前景光切三維重建技術(shù)目前仍有許多關(guān)鍵技術(shù)待解決。其研發(fā)應(yīng)用前景及趨勢(shì)分析如下。①小型化。光學(xué)鏡組以及微機(jī)電系統(tǒng)的技術(shù)進(jìn)步，為光切三維重建系統(tǒng)的集成化、小型化提供了技術(shù)支撐，也亟需小型化系統(tǒng)搭建在各類設(shè)備上以配合完成各項(xiàng)任務(wù)。②魯棒化。隨著計(jì)算機(jī)領(lǐng)域的相關(guān)技術(shù)飛速發(fā)展，人工智能類算法普遍提高了設(shè)備的普適性和運(yùn)算效率。光切三維重建技術(shù)也應(yīng)逐步融合此類技術(shù)，以適應(yīng)各類復(fù)雜目標(biāo)或環(huán)境的三維重建需求。③大量程。數(shù)字化時(shí)代下對(duì)數(shù)據(jù)獲取的需求遠(yuǎn)不止中小范圍的三維重建。對(duì)此，還應(yīng)進(jìn)一步發(fā)展與創(chuàng)新光