智能機(jī)器人創(chuàng)新實(shí)踐 課件 第7、8章 移動(dòng)機(jī)器人視覺循碼項(xiàng)目、移動(dòng)機(jī)器人視覺追蹤

智能機(jī)器人創(chuàng)新實(shí)踐

第七章移動(dòng)機(jī)器人視覺循碼項(xiàng)目

1課程簡介2項(xiàng)目簡介視覺循碼原理基于百度智能云API的二維碼識(shí)別學(xué)習(xí)建議1項(xiàng)目簡介3智能分揀機(jī)器人：分揀機(jī)器人只需要掃描條形碼或二維碼，就可以知道快遞的信息，通過跟隨二維碼等標(biāo)志，從而將包裹運(yùn)輸?shù)街付ǖ耐哆f口。1項(xiàng)目簡介4實(shí)驗(yàn)機(jī)器人：本項(xiàng)目主要目的是幫助讀者了解RGB-D相機(jī)和二維碼的基本原理以及實(shí)現(xiàn)基于二維碼識(shí)別的移動(dòng)機(jī)器人視覺循碼任務(wù)。1項(xiàng)目簡介5總流程：1、 主機(jī)通過ROS獲取攝像頭信息2、 識(shí)別二維碼，并計(jì)算二維碼位置3、 獲取深度信息，計(jì)算二維碼深度4、 控制底盤跟隨二維碼移動(dòng)2視覺循碼原理6二維碼與QR碼：QR二維碼的圖像生成階段是指從編碼（信息編碼、糾錯(cuò)編碼、加密編碼）結(jié)束后到生成QR二維碼符號(hào)的過程。為了保證識(shí)讀，QR二維碼圖像生成階段做了大量的規(guī)范化工作。2視覺循碼原理7RGB-D相機(jī)原理：紅外結(jié)構(gòu)光（StructuredLight）原理測距，常見的相機(jī)有Kinect1代、IntelRealSense等。其工作原理是激光散斑編碼，測量的距離為0.1--10m，其分辨率居中，畫面頻率<100Hz，抗光強(qiáng)弱，功耗方面中等，需要投射圖案。軟件設(shè)計(jì)方面難度居中，硬件成本居中。戶外使用的話，對其效果有影響，室外需用功率大，成本高的配置，黑暗環(huán)境中可以工作。成本方面取決于精度，精度越高，成本越高（1mm精度千元量級(jí)，0.1mm萬元量級(jí)，0.01mm幾十萬量級(jí)），方案優(yōu)勢：結(jié)構(gòu)光不受光照和紋理影響。2視覺循碼原理8RGB-D相機(jī)原理：飛行時(shí)間（Time-of-Flight,ToF）原理測距，常見的有Kinect2代，其測距原理是發(fā)射與反射信號(hào)時(shí)間差，能測得距離在0.1--100m。其分辨率偏低，一般是QVGA或者VGA的分辨率，精度：mm--cm，其畫面幀率較高，可以達(dá)到36MHz或者更高；能抵抗一定的光強(qiáng)，功耗較高，需要全部照射；軟件相對結(jié)構(gòu)光和雙目比較簡單，硬件成本高，戶外使用影響較小，但是對于低功率配置來講，影響較大，黑暗環(huán)境中可以正常工作。成本方面TOF根據(jù)測定范圍幀率不同，幾千到幾百萬，TOF不受光照和物體紋理影響，適合遠(yuǎn)距離大量程3基于百度智能云API二維碼識(shí)別9安裝anaconda：安裝OpenCV安裝cv_bridgeopencv顯示圖像3基于百度智能云API二維碼識(shí)別10測量深度3基于百度智能云API二維碼識(shí)別11二維碼識(shí)別3基于百度智能云API二維碼識(shí)別12移動(dòng)機(jī)器人視覺循碼實(shí)現(xiàn)4學(xué)習(xí)建議13入門級(jí)學(xué)習(xí)重點(diǎn)：

必備數(shù)學(xué)知識(shí)·Python基礎(chǔ)入門·視覺知識(shí)基礎(chǔ)初級(jí)學(xué)習(xí)重點(diǎn)：

深度學(xué)習(xí)基礎(chǔ)理論·Python數(shù)據(jù)分析中級(jí)學(xué)習(xí)重點(diǎn)：

CV等熱門方向理論與應(yīng)用高級(jí)學(xué)習(xí)重點(diǎn)：

深度學(xué)習(xí)模型調(diào)優(yōu)課后完成本章作業(yè)調(diào)研自己感興趣的機(jī)器人視覺技術(shù)14課后作業(yè)15感謝聆聽有什么問題嗎？智能機(jī)器人創(chuàng)新實(shí)踐第八章

移動(dòng)機(jī)器人視覺追蹤

168移動(dòng)機(jī)器人視覺追蹤17主要實(shí)現(xiàn)EAIbot移動(dòng)機(jī)器人追蹤網(wǎng)球移動(dòng)的項(xiàng)目。這個(gè)項(xiàng)目的實(shí)驗(yàn)效果如下圖所示。這個(gè)項(xiàng)目旨在幫助讀者進(jìn)一步掌握RGB-D相機(jī)的使用，通過兩種視覺目標(biāo)檢測實(shí)現(xiàn)方法，完成移動(dòng)機(jī)器人視覺追蹤的任務(wù)。8移動(dòng)機(jī)器人視覺追蹤18本次實(shí)驗(yàn)為實(shí)現(xiàn)視覺追蹤的效果，采用了如下兩種方法實(shí)現(xiàn)：采用OpenCV實(shí)現(xiàn)目標(biāo)檢測

首先借助OpenCV將攝像頭所取每一幀圖像轉(zhuǎn)換為BGR格式圖片，通過目標(biāo)網(wǎng)球在圖片中的位置和面積大小來控制EAIbot機(jī)器人的運(yùn)動(dòng)。采用EasyDL物體檢測模型實(shí)現(xiàn)目標(biāo)檢測

在百度AI開放平臺(tái)EasyDL圖像中的物體檢測模塊創(chuàng)建并訓(xùn)練好目標(biāo)檢測模型，然后通過調(diào)用百度API接口完成目標(biāo)檢測，最后利用移動(dòng)機(jī)器人的目標(biāo)跟蹤算法對目標(biāo)網(wǎng)球進(jìn)行自動(dòng)跟蹤。具體的項(xiàng)目執(zhí)行步驟如下圖所示。8移動(dòng)機(jī)器人視覺追蹤19視覺追蹤原理：傳統(tǒng)目標(biāo)檢測算法

傳統(tǒng)目標(biāo)檢測算法分三步：選取區(qū)域，提取圖像特征和分類器分類。常用的圖像特征有四種：顏色、形狀、梯度和模式。顏色特征主要有RGB如圖、HSV和Colornames三種。RGB的優(yōu)點(diǎn)是能直觀表達(dá)顏色，如下圖。8移動(dòng)機(jī)器人視覺追蹤20視覺追蹤原理：傳統(tǒng)目標(biāo)檢測算法

HSV(色調(diào)H、飽和度S和明度V)的優(yōu)點(diǎn)是受明亮度變化影響小（如下圖），ColorNames比RGB能更好的表達(dá)顏色。常見的有Color空間不變特征（color-SIFT）算法、HSV空間不變特征（HSV-SIFT）算法、色調(diào)直方圖不變特征（Hue-SIFT）算法。8移動(dòng)機(jī)器人視覺追蹤21視覺追蹤原理：基于深度學(xué)習(xí)的目標(biāo)檢測算法

基于深度學(xué)習(xí)的目標(biāo)檢測主要是通過各種神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)目標(biāo)檢測，也可以細(xì)分為三種：基于候選區(qū)域的目標(biāo)檢測算法、基于回歸的目標(biāo)檢測算法和基于增強(qiáng)學(xué)習(xí)的目標(biāo)檢測算法?；诨貧w的目標(biāo)檢測算法包括YOLO系列算法和SSD算法。①

其方式就是徹底去掉了region思想，直接在一個(gè)神經(jīng)網(wǎng)絡(luò)中進(jìn)行回歸分類。②

其特點(diǎn)是算法速度快，但是檢測多個(gè)目標(biāo)時(shí)，有時(shí)會(huì)忽略較小的目標(biāo)而影響精度。8移動(dòng)機(jī)器人視覺追蹤22基于EasyDL的物體檢測模型：EasyDL平臺(tái)簡介

EasyDL是一個(gè)專業(yè)面向于企業(yè)客戶和面向個(gè)人開發(fā)者用戶的零基礎(chǔ)門檻定制AI應(yīng)用開發(fā)服務(wù)平臺(tái)，為所有零算法基礎(chǔ)門檻的應(yīng)用開發(fā)者客戶提供了定制高精度AI模型應(yīng)用的專業(yè)服務(wù)，包括數(shù)據(jù)處理、模型開發(fā)訓(xùn)練、服務(wù)管理、模型應(yīng)用部署功能模塊，在本次實(shí)驗(yàn)中要用到其中的物體檢測功能。8移動(dòng)機(jī)器人視覺追蹤23基于EasyDL的物體檢測模型：模型訓(xùn)練

在本項(xiàng)目中，選取黃綠色網(wǎng)球作為目標(biāo)檢測對象，采取在不同環(huán)境下不同明亮程度所拍攝的網(wǎng)球圖片作為數(shù)據(jù)集。8移動(dòng)機(jī)器人視覺追蹤24基于EasyDL的物體檢測模型：模型訓(xùn)練及評(píng)估

導(dǎo)入已創(chuàng)建好的數(shù)據(jù)集并進(jìn)行標(biāo)注。在全部圖片標(biāo)注完成后，配置訓(xùn)練環(huán)境為TeslaGPU_P4_8G現(xiàn)存單卡_12核CPU_40G內(nèi)存，數(shù)據(jù)增強(qiáng)策略選取默認(rèn)配置。8移動(dòng)機(jī)器人視覺追蹤25基于EasyDL的物體檢測模型：模型訓(xùn)練及評(píng)估

在模型訓(xùn)練完成后，另外選取不在數(shù)據(jù)集中的網(wǎng)球圖片，進(jìn)行模型校驗(yàn)，查看模型目標(biāo)檢測的準(zhǔn)確度。完成模型校驗(yàn)，即可查看完整的模型