第9章 ROS2中的圖像視覺應(yīng)用

機(jī)器人操作系統(tǒng)（ROS2）入門與實(shí)踐機(jī)器人操作系統(tǒng)（ROS2）入門與實(shí)踐第1章LinuxUbuntu入門基礎(chǔ)第2章ROS2安裝與系統(tǒng)架構(gòu)第3章ROS2編程基礎(chǔ)第4章ROS2機(jī)器人運(yùn)動(dòng)控制第5章激光雷達(dá)在ROS2中的使用第6章IMU在ROS2中的使用第7章ROS2中的SLAM環(huán)境建圖第8章ROS2中的NAV2自主導(dǎo)航第9章ROS2中的圖像視覺應(yīng)用第10章ROS2的三維視覺應(yīng)用第11章ROS2的機(jī)械臂應(yīng)用第12章基于ROS2的綜合應(yīng)用第9章9.3基于圖像視覺的目標(biāo)追蹤實(shí)現(xiàn)

第9章ROS2中的圖像視覺應(yīng)用9.2OpenCV顏色特征提取和目標(biāo)定位9.1視覺圖像數(shù)據(jù)的獲取9.4基于圖像視覺的人臉檢測實(shí)現(xiàn)9.5本章小結(jié)9.1視覺圖像數(shù)據(jù)的獲取

詳細(xì)操作步驟見教材P260-P272頁

視覺圖像數(shù)據(jù)的獲取是通過訂閱相機(jī)驅(qū)動(dòng)節(jié)點(diǎn)發(fā)布的話題，從話題中獲取相機(jī)發(fā)出的消息包來實(shí)現(xiàn)的。機(jī)器人頭部安裝的是KinectV2RGB-D相機(jī)，對應(yīng)的話題名稱為“/kinect2/qhd/image_raw”，話題中的消息包格式為sensor_msgs::Image。9.2OpenCV顏色特征提取和目標(biāo)定位

詳細(xì)操作步驟見教材P272-P291頁

在9.1節(jié)的實(shí)驗(yàn)里，實(shí)現(xiàn)了從機(jī)器人的頭部相機(jī)獲取機(jī)器人的視覺圖像。這一次將繼續(xù)深入，使用OpenCV實(shí)現(xiàn)機(jī)器人視覺中的顏色特征提取和目標(biāo)定位功能。1）對機(jī)器人視覺圖像進(jìn)行顏色空間轉(zhuǎn)換，從RGB空間轉(zhuǎn)換到HSV空間，排除光照影響。2）對轉(zhuǎn)換后的圖像進(jìn)行二值化處理，將目標(biāo)物體分割提取出來。3）對提取到的目標(biāo)像素進(jìn)行計(jì)算統(tǒng)計(jì)，得出目標(biāo)物的質(zhì)心坐標(biāo)。9.2OpenCV顏色特征提取和目標(biāo)定位9.3基于圖像視覺的目標(biāo)追蹤實(shí)現(xiàn)

詳細(xì)操作步驟見教材P292-P310頁

在9.2節(jié)的實(shí)驗(yàn)里，使用OpenCV實(shí)現(xiàn)機(jī)器人視覺中的顏色特征提取和目標(biāo)定位功能。如圖所示，這一次將對目標(biāo)定位功能進(jìn)行擴(kuò)展，根據(jù)目標(biāo)位置計(jì)算速度并輸出給機(jī)器人，讓機(jī)器人跟隨球進(jìn)行移動(dòng)，實(shí)現(xiàn)一個(gè)目標(biāo)跟隨的閉環(huán)控制。9.3基于圖像視覺的目標(biāo)追蹤實(shí)現(xiàn)9.4基于圖像視覺的人臉檢測實(shí)現(xiàn)本節(jié)借助現(xiàn)成的人臉識別算法庫來實(shí)現(xiàn)人臉檢測，這個(gè)算法庫的調(diào)用在wpr_simulaiton2的face_detector.py節(jié)點(diǎn)中已經(jīng)實(shí)現(xiàn)，直接使用即可。face_detector.py節(jié)點(diǎn)會(huì)訂閱話題“/face_detector_input”，作為人臉圖像的輸入。圖像中的人臉被檢測到后，其坐標(biāo)值會(huì)發(fā)布到話題“/face_position”中去。所以，這個(gè)實(shí)驗(yàn)只需要編寫一個(gè)節(jié)點(diǎn)，從相機(jī)的話題中獲取圖片，轉(zhuǎn)發(fā)給face_detector.py節(jié)點(diǎn)進(jìn)行人臉檢測。然后從face_detector.py的“/face_position”話題獲取人臉坐標(biāo)結(jié)果即可。9.4基于圖像視覺的人臉檢測實(shí)現(xiàn)

詳細(xì)操作步驟見教材P311-P326頁9.5本章小結(jié)

本章主要是對ROS2中的圖像視覺進(jìn)行介紹、編程及仿真。首先編程并仿真實(shí)現(xiàn)了從機(jī)器人的頭部相機(jī)獲取視覺圖像；接著，使用OpenCV，編程并仿真實(shí)現(xiàn)機(jī)器人視覺中的顏色特征提取和目標(biāo)定位功能；然后，對目標(biāo)定位功能進(jìn)行