基于卷積神經網絡的智能抓取系統(tǒng)研究

1、 基于卷積神經網絡的智能抓取系統(tǒng)研究 韓毅 郭圓輝 王旭彬Summary：改革開放以來，國內工業(yè)蓬勃發(fā)展。時至今日，現(xiàn)代工業(yè)化進程已經成為未來工業(yè)發(fā)展的重中之重，而工業(yè)化中最為重要的環(huán)節(jié)即現(xiàn)代工業(yè)的智能化、自動化。智能機器人可以高效地完成自動抓取、搬運等工作。筆者研究了基于卷積神經網絡的智能抓取系統(tǒng)，使其實現(xiàn)了目標分類、目標定位、目標抓取等功能。首先對需要抓取的目標使用卷積神經網絡進行訓練，得到識別目標位置與分類信息的卷積神經網絡模型;然后利用張正友標定法對深度相機進行標定，得到相機的內參矩陣;隨后通過雙邊濾波對圖像進行降噪處理，將處理后的圖像輸入預先訓練的卷積神經網絡模型，從卷積神經網絡模型

2、中得到目標的位置信息與分類信息;然后通過相機的內外參信息逆向求解得到機械臂需要抓取的位置坐標信息;最后用機械臂完成抓取。在試驗的過程中，使用了dobot與realsense d435i進行驗證。試驗結果表明，該系統(tǒng)定位誤差較小，且有效地完成了目標抓取任務。Key：計算機視覺;卷積神經網絡;機械臂：TP391.41;TP242.2：A：1003-5168（2021）35-0017-04Study on Intelligent Grab System Based on Convolutional Neural NetworkHAN YiGUO YuanhuiWANG Xubin（Departmen

3、t of Computer Science and Information Engineering， Anyang Institute of Technology， Anyang Henan 455000）Abstract： Since the reform and opening up， domestic industrial construction has flourished. Today， today， the modern industrialization process has become the weight of the future industrial develop

4、ment. The most important part of in？ dustrialization is the intelligent and automation of modern industries. And smart robots can efficiently complete auto？ matic capture， handling， etc. This paper studies intelligent grabbing systems based on convolutional neural networks. Achieve job classificatio

5、n， target positioning， and goal. First， consolidation neural network training is used to identify the target position and classification information. The depth camera is then calibrated with the Zhang Zhengyou cali？ bration method to obtain an interior matrix of the camera. The image is then documen

6、ted by bilateral filtering， and the processed image inputs the pre-training convolutional neural network model. Classification information of the loca？ tion information and the target of the target from the convolutional neural network model. Then， the position coordi？ nate information of the robot

7、arm needs to be grabbed by the internal and external information of the camera. Finally， use the robot arm to accomplish. During the experiment， dobot is used to verify the realsense d435i. The experimental results show that the positioning error is small， and the targets grab task is completed.Keyw

8、ords： computer vision;convolutional neural network;robotic arm在智能工業(yè)化飛速發(fā)展的今天，智能機器人在工業(yè)制造中充當著重要角色，可以高效地替代人工，具有成本低、效率高等優(yōu)勢。但是在機器人的工作流程、施工方式、準確性及效果等方面依然有許多研究難題待攻克。對目前大部分工業(yè)制造而言，使用機器人對目標進行抓取時需要采用統(tǒng)一位置、統(tǒng)一移動路線和統(tǒng)一抓取位置，然后按照預先準備的路線進行工作。該方案在實際應用中存在較大的局限性，當外界環(huán)境發(fā)生改變或對工件進行更換時，需要對系統(tǒng)進行較大的修改，導致其維護成本較高。而戴健春等人提出的基于模板匹配的方法

9、，雖然對工件的模板進行提取和匹配1-3，解決了傳統(tǒng)工業(yè)制造中固定路線、固定路徑的問題，但是在面對場景改變、物件更換等情況時，會出現(xiàn)系統(tǒng)修改困難、模板替換復雜等問題?；谏疃葘W習，將卷積神經網絡技術應用于機械臂的抓取中，實現(xiàn)了一種可以對目標進行分類和定位的智能機械臂分揀系統(tǒng)，并通過實驗驗證了本方法的可行性。1智能抓取系統(tǒng)本設計的智能抓取系統(tǒng)由深度相機（realsense d435i）、機械臂（dobot magician）與PC機（具有深度學習環(huán)境的計算機）組成，深度相機與機械臂實物分別如圖1、圖2所示。機械臂與深度相機都放置于工作臺上方，工作臺由三部分組成：抓取區(qū)域、深度攝像頭放置區(qū)與機械臂放

10、置區(qū)域。其中抓取區(qū)域放置一個7格9格的黑白標定板，便于校正攝像頭畸變參數(shù);深度攝像頭使用支架固定于抓取區(qū)域正上方，負責采集抓取場景下的圖像數(shù)據(jù);機械臂負責完成對目標的抓取。機械臂抓取時，其工作流程如圖3所示。首先進行深度相機的標定工作，使用攝像頭采集標定板的數(shù)據(jù)，隨后將這些圖像通過USB端口上傳至PC機，PC機使用張正友標定法對相機進行標定，并建立攝像機位姿數(shù)據(jù)與標定板位置數(shù)據(jù)的模型4。然后使用深度相機采集抓取區(qū)域的圖像數(shù)據(jù)，并將采集的圖像流上傳至PC機，PC機通過使用中值濾波對相機圖像數(shù)據(jù)進行調整。隨后將調整后的圖像信息輸入卷積神經網絡模型，卷積神經網絡模型輸出目標在圖像中的位姿數(shù)據(jù)，隨后根

11、據(jù)通過標定建立起的數(shù)學模型計算出目標在標定板的位姿數(shù)據(jù)。最后將標定板的位姿數(shù)據(jù)轉換為機械臂抓取的位姿數(shù)據(jù)，并控制機械臂完成抓取任務。2卷積神經網絡目標識別使用機械臂抓取不同顏色的立方體，首先要在場景下對目標進行識別，隨后根據(jù)目標的像素位置計算出目標的抓取位置。采用卷積神經網絡對目標進行識別，首先需要進行模型訓練，隨后根據(jù)模型進行目標的識別與定位。圖像數(shù)據(jù)處理算法包含以下幾個步驟：卷積神經網絡模型的選擇;數(shù)據(jù)集的標定與處理;卷積神經網絡模型的訓練與測試。2.1卷積神經網絡模型的選擇目前使用卷積神經網絡訓練目標識別模型的大致思路有兩種：one-stage方法與two-stage方法。其中twost

12、age方法思想為：先生成候選框，隨后映射到全連接層進行分類和回歸。而one-stage方法的思想為：放棄生成候選框的環(huán)節(jié)，直接從主干網絡中獲取目標的類別與位置信息。Two-stage方法的優(yōu)點是目標識別準確度較高，但其有一個明顯的弊端，即算法耗時較長。而本實驗中的抓取目標僅為普通的方塊，因此one-stage方法足以精確地完成識別工作。此外，目標識別環(huán)節(jié)耗時較長會直接影響機械臂工作的連續(xù)性，因此one-stage方法更適用于本系統(tǒng)。YOLO算法是一個典型的one-stage方法。YOLO_v3框架如圖4所示，由相機采集的416 px416 px3 channel的RGB圖像作為網絡的輸入，輸出

13、131387與262687的向量矩陣分別為YOLO_v3-tiny對目標預測的分類信息與位置信息5。2.2數(shù)據(jù)集的標定與處理通過移動攝像頭采集了一段時長為10 min的RGBD視頻，視頻中分別有不同方向與距離下的目標圖像數(shù)據(jù)，按照每2 s為一步的步長進行裁剪，得到300張目標圖像。隨后，對圖像進行標定，使用圖像標注軟件LabelMe在圖像中標記每個目標的位置信息并存儲到訓練數(shù)據(jù)中。隨后，將圖片調整至416 px416 px。通過平移、旋轉、裁剪等操作對數(shù)據(jù)進行增強，得到900張訓練數(shù)據(jù)，部分訓練數(shù)據(jù)如圖5所示。2.3卷積神經網絡模型的訓練與測試選取了80%的數(shù)據(jù)作為訓練數(shù)據(jù)，20%的數(shù)據(jù)作為測

14、試數(shù)據(jù)，批量大小為32，訓練次數(shù)為500，選擇GTX2080 TI GPU進行訓練。得到的損失函數(shù)曲線如圖6所示。從圖6的數(shù)據(jù)表現(xiàn)來看，隨著訓練次數(shù)的增加，損失值已經基本收斂。隨后，深度相機的圖像數(shù)據(jù)經過雙邊濾波處理后作為卷積神經網絡的輸入6，經過卷積神經網絡后，得到目標的位置信息以及分類數(shù)據(jù)，將分類信息與位置繪制到圖像中，如圖7所示。3試驗結果以四軸機械臂dobot magician作為取機械臂，以intel realsense d435i為抓取場景采集裝置，采用配置為Intel i78750H+GTX 1050TI的PC處理圖像數(shù)據(jù)。其中處理平臺操作系統(tǒng)為Windows 10，基于Pyth

15、on 3.7與tensorflow 1.14.0開發(fā)出基于以上設備的自主抓取程序。3.1相機標定實驗使用張正友標定法對相機進行內參矩陣求解，然后通過OpenCV角點提取得到相機與棋盤格的部分坐標信息，最后通過逆矩陣求解得到相機坐標系與機械臂坐標系之間的關系。使用相機從不同方向拍攝棋盤格的圖像，然后使用OpenCV求出相機的內參矩陣信息，相機采集的部分標定板圖像如圖8所示。依照相機標定得到的內參矩陣與外參矩陣，即可得到圖像與機械臂之間的點對點關系。3.2目標物體分類定位與抓取實驗以不同顏色的物塊為定位目標，在不同場景下對物塊進行分類、定位。以標定框的中心為抓取中心坐標原點，然后根據(jù)深度攝像頭的深

16、度距離，計算出實際地面高度并進行轉換，得出目標物體的世界坐標，為下一個實驗中機械臂的抓取做準備。定位的目標結果如圖9所示。如圖9所示，共檢測出6個不同的目標物體，將歐氏距離的大小作為評價指標，以棋盤格坐標系為實際坐標系，坐標測量結果如表1所示。通過表1數(shù)據(jù)可知，預測坐標與實際坐標的歐氏距離范圍為（0.653 456 46，0.987 980 90），精度良好。隨后通過PC機控制機械臂抓取目標物體，每個物體共進行了30次抓取測試，合計180次。在整個實驗中，平均抓取成功率為91.33%，具體實驗結果如表2所示。4結語在本系統(tǒng)設計中，將深度學習中的卷積神經網絡技術引入機械臂的智能抓取中，通過卷積神

17、經網絡對待抓取物體進行分類、定位等操作，隨后利用張正友標定法求出相機的焦距、變換矩陣等信息，進而求出圖像與機械臂的變換矩陣，實現(xiàn)了利用深度學習對物體的分類、定位、抓取。本方法相較于傳統(tǒng)方法中利用計算機視覺對物體進行輪廓匹配的方法具有較大的改進，有效地解決了傳統(tǒng)方法中不同物體需要不同的匹配方法、計算量較大、編碼復雜等問題，對現(xiàn)代工業(yè)機械臂抓取、物體分類抓取等應用具有重要意義。Reference：1戴健春.基于RGB-D相機的工業(yè)機器人定位抓取技術與系統(tǒng)集成研究D.重慶：重慶郵電大學，2018：1-72.2苗彭.基于視覺的機械臂工件抓取系統(tǒng)研究D.天津：天津理工大學，2019：1-64.3姚啟才，汪地，廖茂生.基于機器視覺的機械臂智能抓取系統(tǒng)設計J.計量與測試技術，2020（10）：28-33.4ZHANG Z Y.A flexible new technique for camera calibrationJ.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000（11）：1330-13345REDMON J，F(xiàn)ARHADI A.YOLOv3： An