《鴻蒙機器人編程》課件-8-綜合應用開發(fā)

綜合應用開發(fā)課程內容2?NXROBO20221.機器視覺與機械臂應用2.Pick&Place中的關鍵技術3.uArm編程控制實驗4.Spark+uArm抓取實驗1.機器視覺與機械臂應用3?NXROBO2022機器視覺作業(yè)環(huán)境感知目標定位目標識別目標跟蹤……機械臂關節(jié)空間點到點的運動運動笛卡爾空間點到點運動規(guī)劃碰撞檢測障礙物環(huán)境下的運動規(guī)劃……+=智能的機械臂應用自主避障的運動自主pick&place操作自主拋光打磨自主焊接……1.機器視覺與機械臂應用4?NXROBO2022運行下列命令：$

roslaunch

marm_description

view_marm_with_kinect.launch1.機器視覺與機械臂應用5?NXROBO2022marm_description/urdf/marm.urdf1.機器視覺與機械臂應用6?NXROBO2022$

roslaunch

marm_gazebo

arm_world.launch仿真環(huán)境與上個例子完全相同1.機器視覺與機械臂應用7?NXROBO2022$roslaunchmarm_moveit_configdemo_gazebo.launchMoveIt

！視覺集成1.機器視覺與機械臂應用8?NXROBO2022運動控制1.機器視覺與機械臂應用9?NXROBO2022marm_moveit_config/launch/demo_gazebo.launch(1)1.機器視覺與機械臂應用10?NXROBO2022marm_moveit_config/launch/demo_gazebo.launch(2)1.機器視覺與機械臂應用11?NXROBO2022marm_moveit_config/config/sensors_3d.yamlmarm_moveit_config/launch/marm_moveit_sensor_manager.launch.xml12?NXROBO2022pickplacepickplace能否通過攝像頭獲取pick和place的位姿呢？2.Pick&Place中的關鍵技術13?NXROBO2022視覺與控制的集成2.Pick&Place中的關鍵技術2.Pick&Place中的關鍵技術14?NXROBO202215?NXROBO20222.Pick&Place中的關鍵技術1)攝像頭標定（內參、外參）2)物體識別3)抓取姿態(tài)分析4)機器人運動規(guī)劃16?NXROBO20222.Pick&Place中的關鍵技術camera_calibration

：

/camera_calibration/1)攝像頭標定17?NXROBO20222.Pick&Place中的關鍵技術visp_hand2eye_calibration

：

/visp_hand2eye_calibrationros

easy_handeye

：

/IFL-CAMP/easy_handeye1)攝像頭標定18?NXROBO20222.Pick&Place中的關鍵技術

基于

OpenCV

的圖像定位find_object_2d

：

/object_recognitionobject_recognition

：

/object_recognition2)物體識別19?NXROBO20222.Pick&Place中的關鍵技術基于

PCL

的點云信息處理：

/pcl/Tutorials基于點云的物體識別2)物體識別20?NXROBO20222.Pick&Place中的關鍵技術3)抓取姿態(tài)分析21?NXROBO20222.Pick&Place中的關鍵技術agile_grasp

(點云)：

/agile_graspgraspit(仿真)

：

/graspitmoveit_simple_grasps(簡單物體)：

/moveit_simple_grasps3)抓取姿態(tài)分析22?NXROBO20222.Pick&Place中的關鍵技術運動規(guī)劃23?NXROBO20223.uArm編程控制實驗——MoveIt!控制參見：24?NXROBO20223.uArm編程控制實驗——MoveIt!控制

$

roslaunch

swiftpro

pro_control.launchMoveIt!

控制

$

roslaunch

pro_moveit_config

demo.launch

$

rosrun

uarm_planning

moveit_fk_demo.py25?NXROBO20223.uArm編程控制實驗——MoveIt!控制roslaunch

swiftpro

pro_control.launchroslaunchpro_moveit_configdemo.launch26?NXROBO20223.uArm編程控制實驗——SDK接口moveit_fk_demo.py27?NXROBO20224