第9章 ROS2中的圖像視覺應用

機器人操作系統(tǒng)（ROS2）入門與實踐機器人操作系統(tǒng)（ROS2）入門與實踐第1章LinuxUbuntu入門基礎第2章ROS2安裝與系統(tǒng)架構第3章ROS2編程基礎第4章ROS2機器人運動控制第5章激光雷達在ROS2中的使用第6章IMU在ROS2中的使用第7章ROS2中的SLAM環(huán)境建圖第8章ROS2中的NAV2自主導航第9章ROS2中的圖像視覺應用第10章ROS2的三維視覺應用第11章ROS2的機械臂應用第12章基于ROS2的綜合應用第9章9.3基于圖像視覺的目標追蹤實現

第9章ROS2中的圖像視覺應用9.2OpenCV顏色特征提取和目標定位9.1視覺圖像數據的獲取9.4基于圖像視覺的人臉檢測實現9.5本章小結9.1視覺圖像數據的獲取

詳細操作步驟見教材P260-P272頁

視覺圖像數據的獲取是通過訂閱相機驅動節(jié)點發(fā)布的話題，從話題中獲取相機發(fā)出的消息包來實現的。機器人頭部安裝的是KinectV2RGB-D相機，對應的話題名稱為“/kinect2/qhd/image_raw”，話題中的消息包格式為sensor_msgs::Image。9.2OpenCV顏色特征提取和目標定位

詳細操作步驟見教材P272-P291頁

在9.1節(jié)的實驗里，實現了從機器人的頭部相機獲取機器人的視覺圖像。這一次將繼續(xù)深入，使用OpenCV實現機器人視覺中的顏色特征提取和目標定位功能。1）對機器人視覺圖像進行顏色空間轉換，從RGB空間轉換到HSV空間，排除光照影響。2）對轉換后的圖像進行二值化處理，將目標物體分割提取出來。3）對提取到的目標像素進行計算統(tǒng)計，得出目標物的質心坐標。9.2OpenCV顏色特征提取和目標定位9.3基于圖像視覺的目標追蹤實現

詳細操作步驟見教材P292-P310頁

在9.2節(jié)的實驗里，使用OpenCV實現機器人視覺中的顏色特征提取和目標定位功能。如圖所示，這一次將對目標定位功能進行擴展，根據目標位置計算速度并輸出給機器人，讓機器人跟隨球進行移動，實現一個目標跟隨的閉環(huán)控制。9.3基于圖像視覺的目標追蹤實現9.4基于圖像視覺的人臉檢測實現本節(jié)借助現成的人臉識別算法庫來實現人臉檢測，這個算法庫的調用在wpr_simulaiton2的face_detector.py節(jié)點中已經實現，直接使用即可。face_detector.py節(jié)點會訂閱話題“/face_detector_input”，作為人臉圖像的輸入。圖像中的人臉被檢測到后，其坐標值會發(fā)布到話題“/face_position”中去。所以，這個實驗只需要編寫一個節(jié)點，從相機的話題中獲取圖片，轉發(fā)給face_detector.py節(jié)點進行人臉檢測。然后從face_detector.py的“/face_position”話題獲取人臉坐標結果即可。9.4基于圖像視覺的人臉檢測實現

詳細操作步驟見教材P311-P326頁9.5本章小結

本章主要是對ROS2中的圖像視覺進行介紹、編程及仿真。首先編程并仿真實現了從機器人的頭部相機獲取視覺圖像；接著，使用OpenCV，編程并仿真實現機器人視覺中的顏色特征提取和目標定位功能；然后，對目標定位功能進行