《鴻蒙機(jī)器人編程》6-實(shí)踐課-圖像采集與目標(biāo)識(shí)別-實(shí)訓(xùn)指南

實(shí)踐課-圖像采集與目標(biāo)識(shí)別課程內(nèi)容： 本節(jié)將對OpenCV簡單介紹，并創(chuàng)建一個(gè)目標(biāo)識(shí)別的功能包，學(xué)習(xí)圖像采集+目標(biāo)識(shí)別的綜合應(yīng)用課程目標(biāo)：了解OpenCV庫掌握圖像采集方法掌握使用OpenCV實(shí)現(xiàn)目標(biāo)識(shí)別一．OpenCV介紹開源視覺庫OpenCVOpenCV的全稱是：OpenSourceComputerVisionLibrary。OpenCV是一個(gè)基于BSD許可（開源）發(fā)行的跨平臺(tái)計(jì)算器視覺庫，實(shí)現(xiàn)了圖像處理和計(jì)算器視覺方面的很多通用算法，輕量而高效。在OpenCV2.4之后，其架構(gòu)改為以C++為主(之前為C)，同時(shí)提供了Python、Java等語言的接口。OpenCV的官方網(wǎng)站是/。OpenCV在ROS中使用一般來說，ROS中已經(jīng)集成了OpenCV，所以不需要進(jìn)行額外的安裝操作。如果沒有安裝，推薦安裝ROSperception包，perception集成了OpenCV和開源點(diǎn)云處理庫PCL以及其他機(jī)器人感知相關(guān)的包，輸入$sudoaptinstallros-<你的ROS版本>-perception如果想要使用GPU加速等高級(jí)功能，那可能就需要自行編譯OpenCV庫了，ROS集成的OpenCV并不包含這些拓展模塊。二．程序解析1.編寫一個(gè)目標(biāo)識(shí)別的程序首先構(gòu)建包空間：$cd~/spark/src$catkin_create_pkgcv_tutorialcv_bridgeimage_transportroscppsensor_msgsstd_msgs然后進(jìn)入功能包的src文件夾，新建一個(gè)文件并命名為cv_tutorial.cpp。$cdcv_tutorial/src$touchcv_tutorial.cpp代碼解析在此文件中，定義了兩個(gè)類ImageConverter、ImageProcessor。ImageConverter負(fù)責(zé)訂閱ROS的topic，并將圖像格式進(jìn)行轉(zhuǎn)換。在ROS中圖像數(shù)據(jù)是以Image消息的格式進(jìn)行傳輸?shù)?，然而OpenCV的圖像格式是cv::Mat，所以我們需要使用cv_bridge將消息轉(zhuǎn)換成Mat。這就是ImageConverter類要實(shí)現(xiàn)的功能，具體使用Subscriber獲取圖像，用cv_bridge進(jìn)行圖像格式的轉(zhuǎn)換。其具體實(shí)現(xiàn)如下：_image_sub=_it.subscribe(SUBSCRIBLE_TOPIC,1,&ImageConverter::imageCb,this);其中，_it是image_transport::ImageTransport類型，訂閱一個(gè)Topic，并注冊了一個(gè)回調(diào)函數(shù)imageCb，指定其在Topic有信息來到時(shí)如何處理消息，其中SUBSCRIBLE_TOPIC可以修改為其他用戶需要訂閱的Topic名。以下為代碼實(shí)現(xiàn)：回調(diào)函數(shù)是這個(gè)類最主要的一個(gè)實(shí)現(xiàn)功能的地方。在回調(diào)函數(shù)中，首先使用cv_bridge將ROS的image消息轉(zhuǎn)換到OpenCV所能處理的Mat格式。sensor_msgs::image_encodings::BGR8說明當(dāng)前數(shù)據(jù)我們規(guī)定以8位BGR格式轉(zhuǎn)換。ImageProcessor用于處理目標(biāo)識(shí)別。主要工作是，提取當(dāng)前獲取圖像的邊緣，和預(yù)存的模板圖像（在這里我們提供的是一個(gè)圓）進(jìn)行模板匹配。在匹配度大于閾值的時(shí)候認(rèn)為當(dāng)前圖像中存在與預(yù)存模板相同的圖像，并將其在窗口中繪出。以下是代碼實(shí)現(xiàn)：之后，我們要進(jìn)行初始化。首先創(chuàng)建了一個(gè)120×120的3通道8位圖像，并使用cv::circle在其中心畫了一個(gè)圓作為范本。cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY)轉(zhuǎn)換模板為灰度圖像。在主處理函數(shù)中：cv::cvtColor(_img,gray_img,CV_BGR2GRAY)將當(dāng)前圖像轉(zhuǎn)換為灰度圖，便以進(jìn)行邊緣檢測。cv::Canny(gray_img,edges,30,90)使用canny操作數(shù)對圖像進(jìn)行邊緣檢測。cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR)進(jìn)行模板匹配，在本文中我們使用CV_TM_CCORR，即自相關(guān)匹配的方式進(jìn)行匹配，其輸出的值越大表示匹配度越高。cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);在圖像中尋找匹配結(jié)果最小和最大的位置。當(dāng)最大匹配結(jié)果大于閾值時(shí)候，將其位置用方框表示出，并輸出其在圖像中的位置。方框的原點(diǎn)為范本匹配的最大值點(diǎn)，大小為范本的大小.具體代碼具體代碼如下：#include<ros/ros.h>#include<image_transport/image_transport.h>#include<cv_bridge/cv_bridge.h>#include<sensor_msgs/image_encodings.h>#include<opencv2/imgproc/imgproc.hpp>#include<opencv2/highgui/highgui.hpp>#include<stdlib.h>staticconststd::stringMATCH_WINDOW="matchwindow";staticconststd::stringTEMPLATE_WINDOW="templatewindow";staticconststd::stringSUBSCRIBLE_TOPIC="/camera/color/image_rect_color";staticconstdoubleTHRESHOLD=7.5e+6;classImageProcessor{public:ImageProcessor(){}~ImageProcessor(){}voidprocess(cv::Mat_img){cv::Matgray_img,edges,result;cv::cvtColor(_img,gray_img,CV_BGR2GRAY);cv::Canny(gray_img,edges,30,90);cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR);doubleminValue,maxValue;cv::PointminLoc,maxLoc;cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);if(maxValue>THRESHOLD){std::cout<<"findacircleatx="<<maxLoc.x<<"y="<<maxLoc.y<<"Valueis:"<<maxValue<<std::endl;cv::rectangle(_img,maxLoc,cvPoint(maxLoc.x+this->_template.cols,maxLoc.y+this->_template.rows),cvScalar(0,0,255),5);}elsestd::cout<<"cannotfindacircle"<<std::endl;cv::imshow(MATCH_WINDOW,_img);cv::imshow(TEMPLATE_WINDOW,this->_template);if('q'==cv::waitKey(3))exit(0);}voidinital(){cv::MattemplateImg(120,120,CV_8UC3);cv::circle(templateImg,cv::Point(60,60),50,cv::Scalar(255,255,255));cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY);}private:cv::Mat_template;};ImageProcessorprocessor;classImageConverter{public:ImageConverter():_it(_nh){_image_sub=_it.subscribe(SUBSCRIBLE_TOPIC,1,&ImageConverter::imageCb,this);}~ImageConverter(){}voidimageCb(constsensor_msgs::ImageConstPtr&msg){cv_bridge::CvImagePtrcv_ptr;try{cv_ptr=cv_bridge::toCvCopy(msg,sensor_msgs::image_encodings::BGR8);}catch(cv_bridge::Exception&e){ROS_ERROR("cv_bridgeexception:%s",e.what());return;}cess(cv_ptr->image);}private:ros::NodeHandle_nh;image_transport::ImageTransport_it;image_transport::Subscriber_image_sub;};intmain(intargc,char**argv){ros::init(argc,argv,"ImageProcessor");processor.inital();ImageConverteric;ros::spin();return0;}在cpp文件編寫完之后，我們還需要去編寫CmakeLists.txt文件。進(jìn)入cv_tutorial功能包下的CmakeLists.txt文件，在153行下添加以下代碼add_executable(cv_tutorialsrc/cv_tutorial.cpp)target_link_libraries(cv_tutorial${catkin_LIBRARIES})進(jìn)入spark_noetic目錄下，啟動(dòng)攝像頭$cdspark_noetic$sourcedevel/setup.bash$roslaunchcamera_driver_transferd435.launch進(jìn)入catkin_ws目錄下，啟動(dòng)圖像識(shí)別程序$cdcatkin_ws$sourcedevel/setup.bash$rosruncv_tutorialcv_tutorial三．課外拓展1.進(jìn)階應(yīng)用:不同主題的時(shí)間同步我們在/message_filters可以找到解決方案。message_filters是一個(gè)用于roscpp和rospy的實(shí)用功能庫。它包含有常用的消息“過濾”算法。消息過濾器收到一個(gè)消息，根據(jù)特定條件決定在稍后的時(shí)間里是否再將其吐出來。其中一個(gè)例子是時(shí)間同步器，它接收來自多個(gè)源的不同類型的消息，并且僅當(dāng)在每個(gè)源上接收到消息具有相同時(shí)間戳的時(shí)才輸出它們。TimeSynchronizer濾波器通過包含在其報(bào)頭