機器視覺技術與應用實戰(zhàn)-三維視覺傳感器

三維視覺傳感器（3D相機）三維視覺傳感器

3D相機又稱為三維視覺傳感器。3D傳感器具有廣泛的用途，比如機器人視覺導航、汽車自動駕駛、生物醫(yī)學影像分析、虛擬現(xiàn)實、監(jiān)控、工業(yè)檢測、天文觀察、海洋自主導航、科學儀器等等，特別是3D影像技術在工業(yè)控制、汽車自主導航中具有廣泛的應用。3D相機主要應用于產(chǎn)品在三維空間的3D定位和3D測量等，從結構上區(qū)分有單目、雙目、激光線掃、TOF等，國內(nèi)外視覺廠商都有產(chǎn)品推向市場，如視覺龍的VD300系列，LMI的GOCATOR系列等。三維視覺傳感器的種類和應用場景種類：單目傳感器、雙目傳感器、激光線掃傳感器、TOF視覺傳感器。應用場景：應用于產(chǎn)品在三維空間的3D定位和3D測量。三維視覺傳感器的分類1、單目傳感器

指僅利用一臺工業(yè)相機完成定位工作，通過畸變矯正算法等計算出待測物體方向和位置，引導機器人抓取。此種方案性價比高，定位速度快，適合比較扁平化的工件或產(chǎn)品。2、雙目傳感器

一般由雙相機運用視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。本方案具有效率高、精度合適、系統(tǒng)結構簡單等優(yōu)點。

雙目3D傳感器原理：雙目3D傳感器使用兩只相機，在理想情況下，兩只相機分開較短的距離，并幾乎平行安裝,如圖。

首先需要對雙目相機進行標定，得到兩個相機的內(nèi)外參數(shù)、對應矩陣。根據(jù)標定結果對原始圖像校正，校正后的兩張圖像位于同一平面且互相平行。對校正后的兩張圖像進行像素點匹配。根據(jù)匹配結果計算每個像素的深度，從而獲得深度圖。三維視覺傳感器的分類3、激光線掃傳感器

主要由激光發(fā)生器和相機構成，通過激光發(fā)出線性激光信號投射到工件表面，利用結構光在相機上的成像可通過三角關系計算出表面物體的高度，從而得出物體的三維信息。三維視覺傳感器的分類3、激光線掃傳感器

工作原理：傳感器和被測物品作相對運動，傳感器的像機從一個角度觀察目標上的激光譜線，并捕獲從目標上反射回來的激光。像機每次曝光捕獲一個三維輪廓，從某種意義上說是一個切片。激光反射回攝像機的不同位置，具體取決于目標與傳感器之間的距離。傳感器的激光發(fā)射器、攝像機和目標構成一個三角形。使用激光發(fā)射器與攝像機之間的已知距離以及兩個已知角度（其中一個角度取決于攝像機上激光的位置）來計算傳感器與目標之間的距離。該距離轉換為目標的高度。這種計算距離的方法稱為激光三角測量。三維視覺傳感器的分類4、激光線掃傳感器

TOF（TimeofFlight）即所謂飛行時間法3D成像，是通過給目標連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標物距離。TOF是Timeofflight的簡寫，直譯為飛行時間。TOF技術跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐行掃描，而TOF傳感器則是同時得到整幅圖像的深度信息。TOF傳感器與普通機器視覺成像過程也有類似之處，都是由光源、光學部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬于非侵入式三維探測、適用領域非常類似的雙目測量系統(tǒng)相比，TOF傳感器具有根本不同3D成像機理。雙目立體測量通過左右立體像對匹配后，再經(jīng)過三角測量法來進行立體探測，而TOF傳感器是通過入、反射光探測來獲取的目標距離獲取。三維視覺傳感器的分類TOF的優(yōu)勢：與立體相機或三角測量系統(tǒng)比，TOF傳感器體積小巧，跟一般相機大小相去無幾，非常適合于一些需要輕便、小體積相機的場合。TOF傳感器能夠?qū)崟r快速的計算深度信息，達到幾十到100fps。而雙目三維傳感器需要用到復雜的相關性算法，處理速度較慢。TOF的深度計算不受物體表面灰度和特征影響，可以非常準確的進行三維探測。而雙目立體相機則需要目標具有良好的特征變化，否則會無法進行深度計算。TOF的深度計算精度不隨距離改變而變化，基本能穩(wěn)定在cm級，這對于一些大范圍運動的應用場合非常有意義。在工業(yè)應用中，TOF的精度不夠高是其不足之處。三維視覺傳感器的分類三維視覺傳感器產(chǎn)品介紹1、GOCATOR3D傳感器介紹GOCATOR是加拿大LMI公司的一款3D傳感器，這款傳感器的工作原理主要分為三維數(shù)據(jù)采集和數(shù)據(jù)生成與處理。

現(xiàn)在3D相機在自動化項目中已經(jīng)應用廣泛，下面我們就國外和國內(nèi)品牌的3D相機各一款詳細介紹：（1）三維數(shù)據(jù)采集

在Gocator系統(tǒng)設置完畢并運行后，即可開始采集三維數(shù)據(jù)。Gocator激光輪廓檢測傳感器將激光譜線投射到目標上，如圖3.19所示。

傳感器里攝像機從一個角度觀察目標上的激光譜線，并捕獲從目標上反射回來的激光。攝像機每次曝光捕獲一個三維輪廓。傳感器的激光發(fā)射器、攝像機和目標構成一個三角形。Gocator使用激光發(fā)射器與攝像機之間的已知距離以及兩個已知角度（其中一個角度取決于攝像機上激光的位置）來計算傳感器與目標之間的距離。該距離轉換為目標的高度。三維采集示意三維視覺傳感器產(chǎn)品介紹（2）數(shù)據(jù)生成與處理

掃描目標后，Gocator3D傳感器可對掃描數(shù)據(jù)進行處理，本部分介紹以下概念：a、表面生成Gocator3D傳感器每次曝光都會創(chuàng)建一個輪廓。該傳感器可采集在其下方移動的目標的一系列輪廓，并將這些輪廓組合在一起，生成整個目標的高度圖或表面。b、零部件檢測Gocator3D傳感器將單次曝光產(chǎn)生的輪廓整合成更多數(shù)據(jù)段以生成表面，之后，固件可將所生成表面上的分散的各個零部件分隔成單獨的掃描圖，以代表這些零部件。隨后，Gocator對這些隔離零部件進行測量。三維視覺傳感器產(chǎn)品介紹d、數(shù)據(jù)處理Gocator3D傳感器掃描目標或者進一步處理數(shù)據(jù)后，傳感器即可隨時對掃描數(shù)據(jù)進行測量。Gocator提供多種測量工具，每種工具均可提供一套獨立的測量，因此有多種測量工具可供各類應用選擇。所配置的測量首先會返回通過/未通過的判斷結果以及實際測量值，然后，這些測量值通過使能輸出通道發(fā)送到PLC等控制設備，控制設備轉而利用這些值控制剔除或分選裝置。c、形成截面

在表面模式下，Gocator3D傳感器還可使用用戶在表面或零部件上定義的線，從該表面或零部件提取輪廓。得到的輪廓稱為“截面”。截面在表面上的方向可以是任意的，但其輪廓與Z軸平行。形成截面三維視覺傳感器產(chǎn)品介紹2、VD300系列三維傳感器

視覺龍公司出品的VD300三維傳感器的高分辨率和高重復性是微小部件及電子元件的高精度檢測的理想之選。它與上述Gocator產(chǎn)品測量原理相同，但3D傳感器獲取的三維信息（或點云）經(jīng)轉換為偽彩圖后，由圖像處理單元進行數(shù)據(jù)處理，直接輸出檢測結果。完美的在線自動三維檢測方案，可實現(xiàn)1μm的檢測精度，工業(yè)級設計確保更長的使用壽命。VD300系列三維傳感器3D產(chǎn)品效果圖三維視覺傳感器產(chǎn)品介紹（1）三維高度標定：將像素值轉換為高度值，需要一組不同高度的標定塊來標定，中間值采用插補法，最終形成一個標定轉換公式，如圖3.23所示。三維高度標定（視覺龍友情提供）（2）三維偽彩圖：利用相機所拍攝結構光得到一個高度，轉換為顏色以區(qū)分不同高度，如圖3.24所示。轉換偽彩圖原理三維視覺傳感器產(chǎn)品介紹（3）基面校正：選擇檢測物體的底面為基面來進行基面校正，如圖所示。（4）藍