一文了解3D視覺成像原理

3D視覺成像是工業(yè)機(jī)器人信息感知的一種最重要的方法，可分為光學(xué)和非光學(xué)成像方法。目前應(yīng)用最多的還是光學(xué)方法，包括：飛行時間法、結(jié)構(gòu)光法、激光掃描法、莫爾條紋法、激光散斑法、干涉法、照相測量法、激光跟蹤法、從運(yùn)動獲得形狀、從陰影獲得形狀，以及其他的ShapefromX等。本次介紹幾種典型方案。1.飛行時間3D成像

飛行時間（TOF）相機(jī)每個像素利用光飛行的時間差來獲取物體的深。

在經(jīng)典的TOF測量方法中，探測器系統(tǒng)在發(fā)射光脈沖的同時啟動探測接收單元進(jìn)行計時，當(dāng)探測器接收到目標(biāo)發(fā)出的光回波時，探測器直接存儲往返時間。目標(biāo)距離Z可通過以下簡單方程估算：

這種測距方式也稱為直接TOF（DTOF），D-TOF通常用于單點(diǎn)測距系統(tǒng)，為了實現(xiàn)面積范圍3D成像，通常需要采用掃描技術(shù)。無掃描TOF三維成像技術(shù)直到近幾年才實現(xiàn)，因為在像素級實現(xiàn)亞納秒電子計時是非常困難的。

與直接計時的D-TOF不同的方案是間接TOF（I-TOF），時間往返行程是從光強(qiáng)度的時間選通測量中間接外推獲得。I-TOF不需要精確的計時，而是采用時間選通光子計數(shù)器或電荷積分器，它們可以在像素級實現(xiàn)。I-TOF是目前基于TOF相機(jī)的電子和光混合器的商用化解決方案。

TOF成像可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集。其特點(diǎn)是:檢測速度快、視野范圍較大、工作距離遠(yuǎn)、價格便宜，但精度低，易受環(huán)境光的干擾。2.掃描3D成像

掃描3D成像方法可分為掃描測距、主動三角法、色散共焦法等。其實，色散共焦法是掃描測距法的一種，考慮到目前在手機(jī)、平板顯示等制造行業(yè)應(yīng)用比較廣泛，在此單獨(dú)介紹。

1.掃描測距

掃描測距是利用一條準(zhǔn)直光束通過一維測距掃描整個目標(biāo)表面實現(xiàn)3D測量。典型掃描測距方法有：1、單點(diǎn)飛行時間法，如連續(xù)波頻率調(diào)制（FM-CW）測距、脈沖測距（激光雷達(dá)）等；2、激光散射干涉法，如基于多波長干涉、全息干涉、白光干涉散斑干涉等原理的干涉儀；3、共焦法，如色散共焦、自聚焦等。單點(diǎn)測距掃描3D方法中，單點(diǎn)飛行時間法適合遠(yuǎn)距離掃描，測量精度較低，一般在毫米量級。其他幾種單點(diǎn)掃描方法有：單點(diǎn)激光干涉法、共焦法和單點(diǎn)激光主動三角法，測量精度較高，但前者對環(huán)境要求高；線掃描精度適中，效率高。比較適合于機(jī)械手臂末端執(zhí)行3D測量的應(yīng)是主動激光三角法和色散共焦法。

2.主動三角法

主動三角法是基于三角測量原理，利用準(zhǔn)直光束、一條或多條平面光束掃描目標(biāo)表面完成3D測量的。光束常采用以下方式獲得：激光準(zhǔn)直、圓柱或二次曲面柱形棱角擴(kuò)束,非相干光(如白光、LED光源)通過小孔、狹縫(光柵)投影或相干光衍射等。主動三角法可分為三種類型：單點(diǎn)掃描、單線掃描和多線掃描。目前商業(yè)化的用于機(jī)械手臂末端的產(chǎn)品大多數(shù)是單點(diǎn)和單線掃描儀。

在多線掃描方法中,條紋極數(shù)可靠識別是難點(diǎn)。為了準(zhǔn)確識別條紋編號,通常采用兩組垂直光平面高速交替成像，這樣還可以實現(xiàn)“FlyingTriangulation”掃描，其掃描與三維重構(gòu)過程如下圖所示。多線條投影一次頻閃成像產(chǎn)生一幅稀疏3D視圖,通過縱橫向條紋投影掃描生成若干幅3D視圖序列,再通過三維圖像準(zhǔn)配生成高分辨率的完整致密的三維曲面模型。

3.色散共焦法

色散共焦似乎可以掃描測量粗糙和光滑的不透明和透明物體，如反射鏡面、透明玻璃面等，目前在手機(jī)蓋板三維檢測等領(lǐng)域廣受歡迎。色散共焦掃描有三種類型：單點(diǎn)一維絕對測距掃描、多點(diǎn)陣列掃描和連續(xù)線掃描，下圖分別列出了絕對測距和連續(xù)線掃描兩類示例，其中連續(xù)線掃描也是一種陣列掃描，只是陣列的點(diǎn)陣更多、更密集。在商業(yè)產(chǎn)品上，目前較為知名的掃描光譜共焦傳感器是法國的STILMPLS180，采用180個陣列點(diǎn)形成一條線，最大線長4.039mm（測量點(diǎn)11.5pm，點(diǎn)與點(diǎn)間距為22.5pm），另一款產(chǎn)品是芬蘭的FOCALSPECUULA，采用的是色散共焦三角法技術(shù)。3.結(jié)構(gòu)光投影3D成像

結(jié)構(gòu)光投影三維成像目前是機(jī)器人3D視覺感知的主要方式，結(jié)構(gòu)光成像系統(tǒng)是由若干個投影儀和相機(jī)組成，常用的結(jié)構(gòu)形式有：單投影儀-單相機(jī)、單投影儀-雙相機(jī)、單投影儀-多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)-多投影儀等典型結(jié)構(gòu)形式。結(jié)構(gòu)光投影三維成像的基本工作原理是：投影儀向目標(biāo)物體投射特定的結(jié)構(gòu)光照明圖案，由相機(jī)攝取被目標(biāo)調(diào)制后的圖像，再通過圖像處理和視覺模型求出目標(biāo)物體的三維信息。常用的投影儀主要有下列幾種類型：液晶投影（LCD）、數(shù)字光調(diào)制投影(DLP：如數(shù)字微鏡器件（DMD))、激光LED圖案直接投影。

根據(jù)結(jié)構(gòu)光投影次數(shù)劃分，結(jié)構(gòu)光投影三維成像可以分成單次投影3D和多次投影3D方法。

1.單次投影成像

單次投影結(jié)構(gòu)光主要采用空間復(fù)用編碼和頻率復(fù)用編碼形式實現(xiàn)，常用的編碼形式有：彩色編碼、灰度索引、幾何形狀編碼和隨機(jī)斑點(diǎn)。目前在機(jī)器人手眼系統(tǒng)應(yīng)用中，對于三維測量精度要求不高的場合，如碼垛、拆垛、三維抓取等，比較受歡迎的是投射偽隨機(jī)斑點(diǎn)獲得目標(biāo)三維信息，其3D成像原理如下圖所示。

2.多次投影成像

多次投影3D方法主要采用時間復(fù)用編碼方式實現(xiàn)，常用的圖案編碼形式有：二進(jìn)制編碼、多頻相移編碼τ35和混合編碼法（如格雷碼十相移條紋）等。條紋投影3D成像基本原理如下圖所示，利用計算機(jī)生成結(jié)構(gòu)光圖案或用特殊的光學(xué)裝置產(chǎn)生結(jié)構(gòu)光，經(jīng)過光學(xué)投影系統(tǒng)投射至被測物體表面，然后采用圖像獲取設(shè)備（如CCD或CMOS相機(jī)）采集被物體表面調(diào)制后發(fā)生變形的結(jié)構(gòu)光圖像，利用圖像處理算法計算圖像中每個像素點(diǎn)與物體輪廓上點(diǎn)的對應(yīng)關(guān)系；最后通過系統(tǒng)結(jié)構(gòu)模型及其標(biāo)定技術(shù)，計算得到被測物體的三維輪廓信息。在實際應(yīng)用中，常采用格雷碼投影、正弦相移條紋投影或格雷碼十正弦相移混合投影3D技術(shù)。

3.偏折法成像

對于粗糙表面，結(jié)構(gòu)光可以直接投射到物體表面進(jìn)行視覺成像測量；但對于大反射率光滑表面和鏡面物體3D測量，結(jié)構(gòu)光投影不能直接投射到被測則表面，3D測量還需要借助鏡面偏折技術(shù)，如下圖所示。

在這種方案中，條紋不是直接投影到被測則輪廓上，而是投射到一個散射屏上，或用液晶顯示屏代替散射屏把條紋直接顯示出來。相機(jī)通過光亮表面折返光路，獲取被光亮表面曲率變化調(diào)制的條紋信息，然后解算出三維輪廓形貌。4.立體視覺3D成像

立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu)，一般情況下是指從不同的視點(diǎn)獲取兩幅或多幅圖像重構(gòu)目標(biāo)物體3D結(jié)構(gòu)或深度信息。深度感知視覺線索可分為ocularcues和Binocularcues（雙目視差）。目前立體視覺3D可以通過單目視覺、雙目視覺、多目視覺、光場3D成像（電子復(fù)眼或陣列相機(jī)）實現(xiàn)。

1.單目視覺成像單目視覺深度感知線索通常有：透視、焦距差異、多視覺成像、覆蓋、陰影、運(yùn)動視差等。在機(jī)器人視覺里還可以用鏡像1，以及其他shapefromX10等方法實現(xiàn)。2.雙目視覺成像雙目視覺深度感知視覺線索有：眼睛的收斂位置和雙目視差。在機(jī)器視覺里利用兩個相機(jī)從兩個視點(diǎn)對同一個目標(biāo)場景獲取兩個視點(diǎn)圖像再計算兩個視點(diǎn)圖像中同名點(diǎn)的視差獲得目標(biāo)場景的3D深度信息。典型的雙目立體視覺計算過程包含下面四個步驟：圖像畸變矯正、立體圖像對校正、圖像配準(zhǔn)和三角法重投影視差圖計算，如下圖。

3.多目視覺成像也稱多視點(diǎn)立體成像，用單個或多個相機(jī)從多個視點(diǎn)獲取同一個目標(biāo)場景的多幅圖像，重構(gòu)目標(biāo)場景的三維信息。其基本原理如下圖所示。

多視點(diǎn)立體成像主要用于下列幾種場景：1）使用多個相機(jī)從不同視點(diǎn)，獲取同一個目標(biāo)場景多幅圖像，然后基于特征的立體重構(gòu)等算法求取場景深度和空間結(jié)構(gòu)信息。

2）從運(yùn)動恢復(fù)形狀（SM）的技術(shù)。使用同一相機(jī)在其內(nèi)參數(shù)不變的條件下，從不同視點(diǎn)獲取多幅圖像，重構(gòu)目標(biāo)場景的三維信息。該技術(shù)常用于跟蹤目標(biāo)場景中大量的控制點(diǎn)，連續(xù)恢復(fù)場景的3D結(jié)構(gòu)信息、相機(jī)的姿態(tài)和位置。

4.光場成像

光場3D成像的原理與傳統(tǒng)CCD和CMOS相機(jī)成像原理在結(jié)構(gòu)原理上有所差異，傳統(tǒng)相機(jī)成像是光線穿過鏡頭在后續(xù)的成像平面上直接成像，一般是2D圖像。光場相機(jī)成像是在傳感器平面前增加了一個微透鏡陣列，將經(jīng)過主鏡頭入射的光線再次穿過每個微透鏡，由感光陣列接收，從而獲得光線的方向與位置信息，使成像結(jié)果可在后期處理，達(dá)到先拍照，后聚焦的效果，如下圖所示。5.3D視覺成像方法比較

（1）類似于ToF相機(jī)、光場相機(jī)這類相機(jī)，可以歸類為單相機(jī)3D成像范圍，它們體積小，實時性好，適合Eye-in-Hand系統(tǒng)執(zhí)行3D測量、定位和實時引導(dǎo)。但是ToF相機(jī)、光場相機(jī)短期內(nèi)還難以用來構(gòu)建普通的Eye-inHand系統(tǒng)，主要原因如下：①ToF相機(jī)空間分辨率和3D精度低，不適合高精度測量、定位與引導(dǎo)。②對于光場相機(jī)，目前商業(yè)化的工業(yè)級產(chǎn)品只有德國Raytrix一家，雖然性能較好，空間分率和精度適中，但價格太貴，一臺幾十萬元，使用成本太高。（2）結(jié)構(gòu)光投影3D系統(tǒng)，精度和成本適中，有相當(dāng)好的應(yīng)用市場前景。它由若干個相機(jī)-投影儀組成，如果把投影儀當(dāng)作一個逆向的相機(jī)，可以認(rèn)為該系統(tǒng)是一個雙目或多目3D三角測量系統(tǒng)。（3）被動立體視覺3D成像，日前在工業(yè)領(lǐng)域也得到較好應(yīng)用，但應(yīng)用場合有限。因為單目立體視覺實現(xiàn)有難度，雙目和多目立體視覺要求目標(biāo)物體紋理或幾何特征清晰。（4）結(jié)構(gòu)光投影3D、雙目立體視覺3D都存在下列缺點(diǎn)：體積較大，容易產(chǎn)生遮擋。因為這幾種方法都是基于三角測量原理，要求相機(jī)和投影儀之間或雙目立體兩個相機(jī)之間必須間隔一定距離，并且存在一定的夾角θ(通常大于15°)才能實現(xiàn)測量。如果減小相機(jī)與投影儀（結(jié)構(gòu)光光源）的夾角，雖然在某些程度上可以解