智能機(jī)器人導(dǎo)論 課件 第6、7章 機(jī)器人的視覺(jué)感知識(shí)別、機(jī)器人的路徑規(guī)劃和導(dǎo)航

智能機(jī)器人導(dǎo)論

06-機(jī)器人的視覺(jué)感知識(shí)別6

機(jī)器人的視覺(jué)感知識(shí)別機(jī)器人的視覺(jué)感知識(shí)別

主要是依靠各類(lèi)機(jī)器視覺(jué)系統(tǒng)實(shí)現(xiàn)的，提升設(shè)備的智能化程度。機(jī)器視覺(jué)的主要功能是用機(jī)器替代人眼進(jìn)行測(cè)量和判別。引入機(jī)器視覺(jué)系統(tǒng)，可以有效的節(jié)約成本、提升生產(chǎn)率，減輕人員勞動(dòng)強(qiáng)度，且機(jī)器視覺(jué)在諸多方面有著人眼難以達(dá)到的優(yōu)勢(shì)。指標(biāo)人眼視覺(jué)系統(tǒng)機(jī)器視覺(jué)系統(tǒng)環(huán)境適應(yīng)性強(qiáng)，可在復(fù)雜環(huán)境中識(shí)別目標(biāo)差，易受環(huán)境變化影響識(shí)別智能性強(qiáng)，邏輯分析和推理能力強(qiáng)，并能根據(jù)規(guī)律提升識(shí)別能力差，現(xiàn)有人工智能和神經(jīng)網(wǎng)絡(luò)技術(shù)距離人腦仍有很大的差距灰度分辨度差，一般只有64級(jí)灰度強(qiáng)，一般256級(jí)灰度以上空間分辨度差，不能分辨微小目標(biāo)和廣角場(chǎng)景強(qiáng)，可以實(shí)現(xiàn)過(guò)億像素和微距、望遠(yuǎn)和廣角等功能色彩識(shí)別度強(qiáng)，但難以量化強(qiáng)，可量化，但受硬件制約識(shí)別速度弱，無(wú)法識(shí)別高速移動(dòng)目標(biāo)強(qiáng)，快門(mén)時(shí)間可達(dá)10微秒，幀率可達(dá)1000fps以上環(huán)境要求極高一般，可增加各類(lèi)防護(hù)裝置光譜范圍窄，400nm～750nm種類(lèi)豐富，可見(jiàn)光、紅外光、紫外光、X射線等6.1

機(jī)器人的視覺(jué)感知識(shí)別

機(jī)器視覺(jué)技術(shù)設(shè)備基礎(chǔ)

完整的機(jī)器視覺(jué)系統(tǒng)至少應(yīng)包括視覺(jué)傳感器、圖像采集系統(tǒng)、圖像處理系統(tǒng)和供電系統(tǒng)等。現(xiàn)有的機(jī)器視覺(jué)系統(tǒng)的視覺(jué)傳感器（包括各類(lèi)圖像采集系統(tǒng)）主要包括激光掃描器和攝像機(jī)兩種。機(jī)器視覺(jué)系統(tǒng)中的圖像處理系統(tǒng)用于處理接收到的圖像信號(hào)，傳統(tǒng)的復(fù)雜系統(tǒng)可以增加專(zhuān)用集成芯片（ASIC）、現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）或數(shù)字信號(hào)處理器（DSP）等。這些硬件器件可以在更高速、更穩(wěn)定、更低功耗狀態(tài)下實(shí)現(xiàn)圖像處理算法，但是其開(kāi)發(fā)成本較高，且一旦開(kāi)發(fā)完成難以更新處理算法，因而更適合在智能攝像機(jī)等成熟產(chǎn)品或者是對(duì)速度和功耗有嚴(yán)格要求的場(chǎng)合中使用。部分功耗和體積敏感的場(chǎng)合還可以采用ARM+GPU的解決方案等。6.1

機(jī)器人的視覺(jué)感知識(shí)別

機(jī)器視覺(jué)技術(shù)光學(xué)基礎(chǔ)

機(jī)器視覺(jué)的前端采集需要依靠攝像機(jī)完成，攝像機(jī)采集的圖像的一些固有參數(shù)直接影響機(jī)器視覺(jué)的性能，主要包括以下幾個(gè)方面：

(1)視頻圖像分辨率（Resolution）。對(duì)于目前主流的數(shù)字相機(jī)而言，攝像機(jī)輸出的圖像分辨率常用“水平像素?cái)?shù)×垂直像素?cái)?shù)”的方法表示，常見(jiàn)分辨率如720P（1280×720）、FHD（1920×1080）、4K（3840×2160）和8K（7680×4320）等，圖像分辨率反應(yīng)了攝像機(jī)參與成像的有效像素的數(shù)量。

圖像分辨率反應(yīng)的是攝像機(jī)輸出圖像的像素點(diǎn)的多少，但并不等于圖像的質(zhì)量。高分辨率圖像會(huì)帶來(lái)更精細(xì)的圖像，但會(huì)對(duì)圖像處理系統(tǒng)提出更高的性能需求。6.1

機(jī)器人的視覺(jué)感知識(shí)別

機(jī)器視覺(jué)技術(shù)光學(xué)基礎(chǔ)

(2)視頻幀率（FrameRate）。攝像機(jī)視頻幀率指攝像機(jī)每秒傳輸?shù)膱D片數(shù)量，通常用FPS（FramesPerSecond）表示，快速且連續(xù)的圖像組成了運(yùn)動(dòng)的視頻，以還原物體的運(yùn)動(dòng)過(guò)程?？梢?jiàn)，攝像機(jī)的幀率越高，對(duì)物體運(yùn)動(dòng)過(guò)程的還原精度就越高，這對(duì)于高速、高精度圖像采集至關(guān)重要。

(3)視頻碼流（DataRate）。視頻碼流指視頻經(jīng)過(guò)編碼后的數(shù)據(jù)流量，也是視頻中畫(huà)面質(zhì)量的重要部分，在相同分辨率下，碼流越低、壓縮比越大、視頻質(zhì)量越差，即高碼率視頻會(huì)帶來(lái)更低的視頻壓縮比。6.1

機(jī)器人的視覺(jué)感知識(shí)別

(5)視場(chǎng)角（FOV，F(xiàn)ieldOfView）。視場(chǎng)角指被測(cè)目標(biāo)的物像可通過(guò)鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角，分為水平視場(chǎng)角、垂直視場(chǎng)角和對(duì)角線視場(chǎng)角，如無(wú)特殊說(shuō)明一般指對(duì)角線視場(chǎng)角。6.1

機(jī)器人的視覺(jué)感知識(shí)別

機(jī)器視覺(jué)技術(shù)光學(xué)基礎(chǔ)

(6)電子快門(mén)（ElectronicShutter）。用于控制控制傳感器感光時(shí)間，其速度越低，感光時(shí)間越長(zhǎng)，圖像的靈敏度越高，但是容易出現(xiàn)慢動(dòng)作和拖尾問(wèn)題。電子快門(mén)一般為自動(dòng)模式，無(wú)需人工干預(yù)。

(7)最低照度。最低照度是當(dāng)被攝物體的光亮度降低到一定程度，使得傳感器輸出的電平信號(hào)降低到標(biāo)準(zhǔn)值的1/3至1/2時(shí)的光亮度值。

(8)寬動(dòng)態(tài)（WDR，WideDynamicRange）。攝像機(jī)拍攝的自然光線可以從陽(yáng)光下的100,000Lux分布到星光的0.01Lux甚至更低。即使同一幅照片也存在光照強(qiáng)度差距過(guò)大的問(wèn)題，例如夏季陽(yáng)光下100,000Lux是室內(nèi)光照100Lux的1000倍，如果人在室內(nèi)而室外背景光又極強(qiáng)，則會(huì)造成人像黑暗模糊的問(wèn)題。6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別空間幾何變換基礎(chǔ)

-射影變換

(2)射影變換（ProjectiveTransformation），一種最廣義的、相對(duì)復(fù)雜的線性變換，又稱(chēng)單應(yīng)（Homography）

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別空間幾何變換基礎(chǔ)

-仿射變換

射影空間中全體射影變換所構(gòu)成的變換群稱(chēng)之為射影變換群，其中包含了仿射群子群，仿射群又包含了歐式變換子群，歐式變換又包含了旋轉(zhuǎn)、平移等變換。

(3)仿射變換（AffineTransformation）。仿射變換是一類(lèi)重要的幾何變換，如圖所示，當(dāng)射影中心平面變?yōu)闊o(wú)限遠(yuǎn)時(shí)，射影變換就成為了仿射變換。6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別空間幾何變換基礎(chǔ)

-變換關(guān)系

其中由平移和旋轉(zhuǎn)構(gòu)成了歐式變換，由平移、旋轉(zhuǎn)和縮放構(gòu)成了比例變換，由平移和旋轉(zhuǎn)加上尺度和方向變換構(gòu)成仿射變換，而平移、旋轉(zhuǎn)、尺度、方向以及尺度比變換構(gòu)成射影變換。6.1

機(jī)器人的視覺(jué)感知識(shí)別空間幾何變換不變量

空間變換過(guò)程中某些幾何特性在變換前后是不變的，稱(chēng)為不變量。平移變換不改變形狀的長(zhǎng)度、面積和空間中的角度，歐式變換不改變幾何形狀的長(zhǎng)度、面積和形狀自身，而射影變換只不改變形狀的共點(diǎn)、共線和交比。

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別空間幾何變換不變量

射影變換的不變性和不變量包括以下幾個(gè)方面：

①幾何元素的點(diǎn)、線、面等變換后，仍保持原先的類(lèi)型，幾何元素的點(diǎn)、線、面等變換后，仍保持原先的連接關(guān)系，即同素性和接合性；

②直線上的交比不變；

③原形和射影的線束的交比不變；

④如果平面內(nèi)有一線束的四條直線被任意直線所截，則截點(diǎn)列的交比和線束的交比相等。6.1

機(jī)器人的視覺(jué)感知識(shí)別空間幾何變換不變量

仿射變換除了具有射影變換的不變性外，還具有以下特性：

①兩直線的平行性是仿射不變換；

②共線三點(diǎn)的簡(jiǎn)比是仿射不變量；

③兩個(gè)三角形的面積之比是仿射不變量；

④兩條封閉曲線所圍成的面積之比是仿射不變量。6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別小孔成像模型

相機(jī)模型是光學(xué)成像模型的簡(jiǎn)化，有線性模型和非線性模型兩種。小孔成像模型又稱(chēng)為線性攝像機(jī)模型，但是實(shí)際的成像系統(tǒng)是透鏡成像系統(tǒng)的非線性攝像模型，透鏡成像系統(tǒng)的成像原理如圖所示。

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

6.1

機(jī)器人的視覺(jué)感知識(shí)別

特征提取和相機(jī)標(biāo)定是進(jìn)行機(jī)器視覺(jué)識(shí)別前的必要工作

攝像機(jī)所采集的圖像，包含了現(xiàn)實(shí)世界的多種信息。機(jī)器人在根據(jù)圖像進(jìn)行判斷和識(shí)別時(shí)，必須要把其中具有鮮明特征的信息，如邊緣、角點(diǎn)或圓心等圖像特征信息進(jìn)行提取。圖像特征提取是標(biāo)定機(jī)器視覺(jué)系統(tǒng)模型參數(shù)、進(jìn)行機(jī)器視覺(jué)實(shí)際應(yīng)用的前提和基礎(chǔ)。

攝像機(jī)所采集的圖像必須能夠與外部場(chǎng)景相對(duì)應(yīng)，建立攝像機(jī)圖像像素位置與場(chǎng)景點(diǎn)位置之間的關(guān)系，由已知特征點(diǎn)的圖像坐標(biāo)和世界坐標(biāo)求解攝像機(jī)的模型參數(shù)，包括內(nèi)部參數(shù)和外部參數(shù)。特征提取和相機(jī)標(biāo)定是進(jìn)行機(jī)器視覺(jué)識(shí)別前的必要工作。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

機(jī)器視覺(jué)的歷史成就

視覺(jué)是人類(lèi)感知和理解外部世界的最主要的手段，也是各類(lèi)機(jī)器人在復(fù)雜環(huán)境中感知環(huán)境、適應(yīng)環(huán)境和執(zhí)行作業(yè)的最重要手段之一。

初代機(jī)器人可以通過(guò)觸覺(jué)傳感器等方法獲取外部的狀態(tài)；

機(jī)器人逐漸使用了超聲波測(cè)距、紅外感知障礙物和紅外測(cè)距等非接觸式的外部感知功能，但是只能感知特定方向的障礙物距離，依然無(wú)法實(shí)現(xiàn)立體感知功能；

計(jì)算機(jī)系統(tǒng)可以通過(guò)攝像頭獲取清晰度更高的數(shù)字圖像、更快的速度解析圖像，構(gòu)建外部狀態(tài)。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

機(jī)器視覺(jué)的歷史成就

傳統(tǒng)的觀點(diǎn)認(rèn)為，機(jī)器視覺(jué)（MachineVision）側(cè)重于工業(yè)領(lǐng)域的實(shí)際應(yīng)用，即廣義圖像信號(hào)與自動(dòng)化控制方面的應(yīng)用，而計(jì)算機(jī)視覺(jué)側(cè)重于理論算法的研究以及與圖像相關(guān)的交叉學(xué)科研究。但是，隨著計(jì)算機(jī)處理能力的增強(qiáng)以及高性能處理器的不斷迭代推出，計(jì)算機(jī)視覺(jué)技術(shù)越來(lái)越多地被應(yīng)用在各類(lèi)消費(fèi)級(jí)應(yīng)用場(chǎng)景和工業(yè)應(yīng)用場(chǎng)景中，包括應(yīng)用在目標(biāo)識(shí)別、目標(biāo)檢測(cè)和目標(biāo)測(cè)量等功能中。

兩者從技術(shù)上和應(yīng)用領(lǐng)域上已經(jīng)幾乎沒(méi)有差別，也不必過(guò)度糾結(jié)兩者在概念上的差別，可以將機(jī)器視覺(jué)技術(shù)理解為計(jì)算機(jī)視覺(jué)技術(shù)在工程中的應(yīng)用方法。結(jié)合現(xiàn)有智能機(jī)器人的發(fā)展趨勢(shì)，除特殊說(shuō)明外，本書(shū)將以基于神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺(jué)技術(shù)作為主要內(nèi)容。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

機(jī)器視覺(jué)的技術(shù)歷史

傳統(tǒng)計(jì)算機(jī)視覺(jué)技術(shù)主要以“手工設(shè)計(jì)特征+編碼”的方式進(jìn)行實(shí)現(xiàn)，包括HOG（HistogramofOrientedGradients，方向梯度直方圖，2005年提出）、SIFT和SURF（SpeededUpRobustFeatures,加速穩(wěn)健特征）等。

(1)SIFT是一種電腦視覺(jué)的算法，用來(lái)偵測(cè)與描述影像中的局部性特征。其基本原理是在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度和旋轉(zhuǎn)不變量。

(2)HOG特征是一種在計(jì)算機(jī)視覺(jué)和圖像處理中，用來(lái)進(jìn)行物體檢測(cè)的特征描述算子，它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

機(jī)器視覺(jué)的當(dāng)前現(xiàn)狀

2012年，Alex等人設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)開(kāi)拓了新的發(fā)展思路。

基于深度學(xué)習(xí)的檢測(cè)識(shí)別、圖像分割、立體視覺(jué)等技術(shù)開(kāi)始快速發(fā)展和規(guī)?；瘧?yīng)用，解決了大量傳統(tǒng)計(jì)算機(jī)視覺(jué)難以處理的問(wèn)題。應(yīng)用領(lǐng)域：安防、交通、工業(yè)、信息處理。通過(guò)傳統(tǒng)方法和機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方法所實(shí)現(xiàn)的計(jì)算機(jī)視覺(jué)技術(shù)已經(jīng)逐漸進(jìn)入到生活的方方面面，可以用圖像形式表達(dá)的數(shù)據(jù)大多數(shù)都可以借助計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行分析和處理，實(shí)現(xiàn)識(shí)別和分類(lèi)等功能。硬件支撐：GPU以及相關(guān)技術(shù)的提出

6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

基于卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺(jué)技術(shù)

在圖像分類(lèi)和人臉識(shí)別等領(lǐng)域，深度學(xué)習(xí)是最重要的技術(shù)路線。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

基于卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺(jué)技術(shù)

(1)語(yǔ)義分割（SemanticSegmentation）。對(duì)圖像進(jìn)行像素級(jí)分類(lèi)，預(yù)測(cè)每個(gè)像素隸屬于的類(lèi)別。語(yǔ)義分割任務(wù)需要對(duì)圖像中所有像素點(diǎn)進(jìn)行分類(lèi)，將相同類(lèi)別的像素歸為相同的標(biāo)簽。語(yǔ)義分割是在像素級(jí)別進(jìn)行的。圖中的語(yǔ)義分割將草、貓、樹(shù)和天空采用不同的顏色進(jìn)行標(biāo)注，即進(jìn)行了語(yǔ)義級(jí)別的分割；

(2)圖像分類(lèi)（ImageClassification）和定位（Localization）。判別圖中物體是什么，比如是貓或是狗?；镜膱D像分類(lèi)并不包含目標(biāo)的位置，而進(jìn)一步的定位功能，則可以以方框的形式標(biāo)識(shí)出物體檢測(cè)結(jié)果；6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

基于卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺(jué)技術(shù)

(3)目標(biāo)檢測(cè)（ObjectDetection）。尋找圖像中的多個(gè)目標(biāo)物體并進(jìn)行定位，與圖像分類(lèi)+定位類(lèi)似，但目標(biāo)檢測(cè)一般指多目標(biāo)?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為單階段（one-stage）和兩階段（two-stage）兩種，總體上，單階段算法的速度較快，兩階段算法的精度較高；

(4)實(shí)例分割（InstanceSegmentation）。定位圖中每個(gè)物體，并進(jìn)行像素級(jí)標(biāo)注，區(qū)分不同個(gè)體。相比于語(yǔ)義分割，實(shí)例分割不僅需要將圖像中所有像素進(jìn)行分類(lèi)，還需要區(qū)分相同類(lèi)別中不同個(gè)體。如圖所示，語(yǔ)義分割只需要將中的所有貓的像素進(jìn)行歸類(lèi)，而實(shí)例分割需要將貓這一類(lèi)中單獨(dú)的個(gè)體進(jìn)行像素分類(lèi)。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

計(jì)算機(jī)視覺(jué)技術(shù)的主要應(yīng)用領(lǐng)域

(1)圖像分類(lèi)。圖像分類(lèi)指對(duì)輸入圖像進(jìn)行內(nèi)容分類(lèi)描述的問(wèn)題，是計(jì)算機(jī)視覺(jué)技術(shù)的核心和最廣泛的應(yīng)用，從最基本的MINST數(shù)字手寫(xiě)識(shí)別到ImageNet數(shù)據(jù)集、各類(lèi)生物數(shù)據(jù)集、URPC水下目標(biāo)識(shí)別數(shù)據(jù)集都屬于圖像分類(lèi)問(wèn)題。目前，深度學(xué)習(xí)在特定任務(wù)上的分類(lèi)能力早已超過(guò)了人類(lèi)的水平。

(2)物體檢測(cè)。物體檢測(cè)的復(fù)雜度要高于圖像分類(lèi)。作為計(jì)算機(jī)視覺(jué)中的另一項(xiàng)最基礎(chǔ)研究方向，物體檢測(cè)不僅關(guān)注出現(xiàn)的目標(biāo)類(lèi)別，還要關(guān)注目標(biāo)在圖像中的位置和相關(guān)屬性，表達(dá)了關(guān)于目標(biāo)的更豐富的信息。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

計(jì)算機(jī)視覺(jué)技術(shù)的主要應(yīng)用領(lǐng)域

(3)人臉檢測(cè)。人臉檢測(cè)包括兩個(gè)方面的應(yīng)用：①檢測(cè)圖像中是否存在人臉，該應(yīng)用與物體檢測(cè)類(lèi)似，主要用于安防系統(tǒng)或照相機(jī)中的面部提取等；②檢測(cè)并匹配，即人臉匹配功能，計(jì)算需要對(duì)比的人臉之間相似度。

(4)圖像搜索。圖像搜索包含了圖像算法、搜索算法和海量數(shù)據(jù)存儲(chǔ)和處理等技術(shù)。其中圖像算法與人臉識(shí)別算法類(lèi)似，即在海量圖像數(shù)據(jù)中找到與被搜索圖像的某種度量相近的圖片。目前常見(jiàn)的圖像搜索引擎包括百度識(shí)圖、谷歌ReverseImageSearch以及京東等在線購(gòu)物網(wǎng)站的拍照購(gòu)物功能等。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

計(jì)算機(jī)視覺(jué)技術(shù)的主要應(yīng)用領(lǐng)域

(5)圖像分割。圖像分割即實(shí)現(xiàn)語(yǔ)義分割或?qū)嵗指畹墓δ?，以像素為單位將圖像劃分為不同部分，分別代表不同的興趣區(qū)域。分割后的圖像中，不同的物體在圖像中的像素會(huì)被單獨(dú)標(biāo)識(shí)，與背景或其他物體有所區(qū)分。

傳統(tǒng)的圖像分割算法包括基于梯度和動(dòng)態(tài)規(guī)劃路徑的磁力套索、高一維空間的超曲面解決當(dāng)前空間輪廓的水平集方法、直接聚類(lèi)的K-means方法、基于能量最小化的GraphCut/GrabCut和條件隨機(jī)場(chǎng)CRF方法等。

與傳統(tǒng)方法相比，深度學(xué)習(xí)方法能夠通過(guò)大量圖像樣本的訓(xùn)練獲得更接近于人類(lèi)理解方式的圖像分割輸出。6.2機(jī)器視覺(jué)發(fā)展現(xiàn)狀

計(jì)算機(jī)視覺(jué)技術(shù)的主要應(yīng)用領(lǐng)域

(6)視頻分析。主要指視頻分類(lèi)（VideoClassification），基于視頻的語(yǔ)義內(nèi)容如人類(lèi)行為和復(fù)雜事件等，將視頻片段自動(dòng)分類(lèi)至單個(gè)或多個(gè)類(lèi)別。視頻分類(lèi)不僅僅是要理解視頻中的每一幀圖像，更要識(shí)別出能夠描述視頻的少數(shù)幾個(gè)最佳關(guān)鍵主題。

(7)圖像描述。圖像描述（ImageCaption）是一種結(jié)合了自然語(yǔ)言處理的更高階的計(jì)算機(jī)視覺(jué)任務(wù)。該功能的輸入是一幅圖片，要求模型能夠識(shí)別其中的物體和物體之間的關(guān)系，并采用自然語(yǔ)言進(jìn)行表達(dá)。類(lèi)似的任務(wù)還包括視頻描述，即對(duì)輸入的視頻進(jìn)行描述。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)

機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)

機(jī)器人是一套由傳感器、控制器以及執(zhí)行器組成的系統(tǒng)，它能夠根據(jù)預(yù)先設(shè)定的程序或人工智能等先進(jìn)的控制算法和決策方法，結(jié)合傳感器提供的豐富的環(huán)境信息及自身的信息，執(zhí)行適當(dāng)?shù)男袨椤?/p>

機(jī)器人視覺(jué)傳感器是現(xiàn)代機(jī)器人系統(tǒng)的重要組成部分之一，在機(jī)器人研究領(lǐng)域中扮演著重要的角色。通過(guò)視覺(jué)傳感器提供的二維或三維圖像信息，機(jī)器人可以清楚、直觀地感知自身所處環(huán)境，再經(jīng)過(guò)數(shù)據(jù)處理、數(shù)據(jù)分析等處理方法，對(duì)環(huán)境或者物體做出識(shí)別，最終作出相應(yīng)的決策和動(dòng)作。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)

現(xiàn)有的機(jī)器人視覺(jué)系統(tǒng)的三種構(gòu)成形式

(1)傳統(tǒng)機(jī)器人視覺(jué)系統(tǒng)。以工業(yè)相機(jī)和PCI/PCI-Express采集卡作為圖像捕獲設(shè)備，以通用計(jì)算機(jī)平臺(tái)作為主要的數(shù)據(jù)處理平臺(tái)，這類(lèi)平臺(tái)主要用于工業(yè)機(jī)器人和部分智能機(jī)器人平臺(tái)。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)

現(xiàn)有的機(jī)器人視覺(jué)系統(tǒng)的三種構(gòu)成形式

(2)GPU視覺(jué)處理平臺(tái)。包括各類(lèi)基于GPU的小型化平臺(tái)，如通用的英偉達(dá)JetsonTX2、XavierNX和AGXXavier平臺(tái)、專(zhuān)用的特斯拉汽車(chē)的HW3.0平臺(tái)和蔚來(lái)汽車(chē)的ADAM控制器等。平臺(tái)CPUGPU存儲(chǔ)JetsonTX22核NvidiaDenver264位處理器、4核64位ARMCortex-A57處理器256核NvidiaPascalGPU8GB128位LPDDR4、32GBeMMCXavierNX6核NvidiaCarmelARMv8.264位處理器384CUDA核+48Tensor核的VoltaGPU8GB128位LPDDR4、16GBeMMCAGXXavier8核NvidiaCarmelARMv8.264位處理器搭載Tensor核心的512核VoltaGPU32GB128位LPDDR4、32GBeMMCTeslaHW3.02*12核64位ARMCortex-A72處理器2*TeslaFSDGPU/NPU4GBDDR4、2*8GBDDR4、64GBFlashNIOADAM48個(gè)CPU內(nèi)核4*2024核CUDAGPU未知6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)

現(xiàn)有的機(jī)器人視覺(jué)系統(tǒng)的三種構(gòu)成形式

(3)專(zhuān)用視覺(jué)處理平臺(tái)。這類(lèi)平臺(tái)主要指以DSP或FPGA作為主要圖像處理單元的平臺(tái)，前端圖像采集設(shè)備為各類(lèi)攝像機(jī)，這類(lèi)平臺(tái)既可以運(yùn)行傳統(tǒng)的特征檢測(cè)算法，又可以將現(xiàn)有的運(yùn)行在GPU上的模型進(jìn)行移植，構(gòu)成專(zhuān)用的圖像處理平臺(tái)。

與計(jì)算機(jī)平臺(tái)的圖像處理相比，通過(guò)在FPGA平臺(tái)對(duì)圖像處理算法進(jìn)行并行化設(shè)計(jì)可以實(shí)現(xiàn)更低的時(shí)間延時(shí)?；诹魉€圖像處理技術(shù)更加大幅降低了采用FPGA處理器進(jìn)行圖像處理的時(shí)間消耗，且具備小尺寸、低功耗、低重量以及與計(jì)算機(jī)相當(dāng)?shù)挠?jì)算能力，尤其是FPGA內(nèi)部不存在線程限制，數(shù)據(jù)吞吐量大、速率快。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)單目視覺(jué)系統(tǒng)

單目視覺(jué)指僅使用一臺(tái)攝像機(jī)對(duì)被測(cè)目標(biāo)進(jìn)行觀測(cè)，該系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、方便靈活。目前，世界上絕大多數(shù)圖像數(shù)據(jù)集和視頻數(shù)據(jù)集都是由單目視覺(jué)系統(tǒng)產(chǎn)生的，單目視覺(jué)系統(tǒng)所生成的各類(lèi)數(shù)據(jù)也是目前計(jì)算機(jī)視覺(jué)技術(shù)主要熱點(diǎn)。

目前，從被測(cè)目標(biāo)的受控性或合作性方面進(jìn)行分類(lèi)，可以將單目視覺(jué)系統(tǒng)分為兩類(lèi)：①基于合作目標(biāo)的單目視覺(jué)系統(tǒng)，指在目標(biāo)上通過(guò)布設(shè)安裝用于視覺(jué)識(shí)別特殊標(biāo)識(shí)，例如Robocup；②基于非合作目標(biāo)的單目視覺(jué)系統(tǒng)，指目標(biāo)上沒(méi)有綁定用于協(xié)作的標(biāo)識(shí)。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)單目視覺(jué)系統(tǒng)

傳統(tǒng)計(jì)算機(jī)視覺(jué)算法會(huì)將視覺(jué)系統(tǒng)所采集的圖像進(jìn)行相關(guān)處理：使目標(biāo)物在圖像中更加凸顯，以便基于特征點(diǎn)的模版匹配算法能得到更佳的效果，識(shí)別目標(biāo)物在圖像中的位置。以SURF模版匹配的目標(biāo)物定位算法流程為例：

(1)濾波處理。視覺(jué)系統(tǒng)在采集圖像時(shí)，通常會(huì)受到噪聲的影響，影響成像質(zhì)量，因此需要對(duì)圖像進(jìn)行濾波處理，在盡量保留圖像細(xì)節(jié)的前提下，對(duì)圖像噪聲進(jìn)行抑制或消除。

(2)二值化處理。圖像的二值化處理指將圖像上的點(diǎn)的灰度值設(shè)為0或255，從而使圖像呈現(xiàn)出明顯的黑白區(qū)域。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)單目視覺(jué)系統(tǒng)以SURF模版匹配的目標(biāo)物定位算法流程為例：

(3)膨脹和輪廓檢測(cè)。輪廓查找通常被認(rèn)為是邊緣檢測(cè)的接續(xù)操作。邊緣檢測(cè)算法可以檢測(cè)出輪廓邊界的像素，再將這些邊緣像素整合起來(lái)組裝成輪廓。

(4)SURF特征檢測(cè)。得到了興趣區(qū)域后，應(yīng)對(duì)目標(biāo)物模版與采集的圖像進(jìn)行特征提取，然后進(jìn)行特征匹配，確定目標(biāo)物在圖像中的位置。同SIFT算法一樣，SURF也是基于尺度不變特征變換算法的，對(duì)旋轉(zhuǎn)、亮度、尺度變換和噪聲等有較好的魯棒性。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)多目視覺(jué)系統(tǒng)

單目視覺(jué)難以準(zhǔn)確測(cè)量目標(biāo)位置或尺寸的這一問(wèn)題可以通過(guò)增加攝像機(jī)的數(shù)量，構(gòu)成多目視覺(jué)的方法來(lái)解決。例如，雙目視覺(jué)系統(tǒng)測(cè)量目標(biāo)空間坐標(biāo)的常規(guī)算法流程主要包括：

(1)立體匹配。立體匹配能夠?qū)⒖臻g內(nèi)的某點(diǎn)映射在不同視角下的圖像中的投影點(diǎn)對(duì)應(yīng)起來(lái)。在雙目立體視覺(jué)中，立體匹配就是在立體校正后的左右視圖中按選取的匹配基元進(jìn)行搜索，生成視差圖，進(jìn)而根據(jù)三角測(cè)量原理得到目標(biāo)物在相機(jī)坐標(biāo)系下的三維坐標(biāo)。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)多目視覺(jué)系統(tǒng)例如，雙目視覺(jué)系統(tǒng)測(cè)量目標(biāo)空間坐標(biāo)的常規(guī)算法流程主要包括：

(2)極線約束與立體校正。立體匹配是三維重建中最重要的一環(huán)，匹配結(jié)果的好壞決定了重構(gòu)出的目標(biāo)三維信息的準(zhǔn)確性。立體匹配是根據(jù)匹配基元在左右視圖中搜索匹配點(diǎn)，由于圖像是二維平面的，若是直接在整個(gè)平面中搜索，計(jì)算量繁重、難以達(dá)到實(shí)時(shí)效果。

立體校正使得左右視圖的對(duì)應(yīng)極線處于同一水平線上。再由極線約束原理，可以極大地減小立體匹配的搜索難度，更加準(zhǔn)確快速地尋找到對(duì)應(yīng)的匹配點(diǎn)。6.3機(jī)器人視覺(jué)系統(tǒng)結(jié)構(gòu)多目視覺(jué)系統(tǒng)例如，雙目視覺(jué)系統(tǒng)測(cè)量目標(biāo)空間坐標(biāo)的常規(guī)算法流程主要包括：

(3)三維重建。三維重建是雙目立體視覺(jué)的最終目的，經(jīng)過(guò)立體匹配后，再根據(jù)雙目標(biāo)定結(jié)果，就可以得到目標(biāo)物在左相機(jī)坐標(biāo)系下的坐標(biāo)。簡(jiǎn)而言之就是三維重建將圖像的二維信息轉(zhuǎn)換為了空間的三維信息。6.4圖像增強(qiáng)技術(shù)

圖像增強(qiáng)的分類(lèi)

是通過(guò)對(duì)圖像進(jìn)行加工處理，改善圖像的觀感，使之比原始圖像能夠更適合被人類(lèi)觀察、識(shí)別和判斷，或更適用于計(jì)算機(jī)進(jìn)行處理。

圖像增強(qiáng)技術(shù)會(huì)影響圖像的保真度、引起圖像失真的問(wèn)題，但圖像增強(qiáng)技術(shù)所引起的失真是一種選擇性失真，是根據(jù)需求所進(jìn)行的一種選擇性改善方法。

圖像增強(qiáng)技術(shù)是面向特定問(wèn)題的，而并不存在具有普適性的通用理論。特別需要注意的是，盡管圖像增強(qiáng)可以輔助人類(lèi)或計(jì)算機(jī)增加對(duì)圖像的辨識(shí)度，但單幅圖像增強(qiáng)并不疊加外部信息。因此，圖像增強(qiáng)并不能夠給原始圖像增加任何信息，相反，由于圖像增強(qiáng)中往往會(huì)削弱部分無(wú)關(guān)信息，可能會(huì)帶來(lái)圖像信息的損失。6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

直方圖均衡（HistogramEqualization）

圖像的像素值限定在某一范圍內(nèi)，不自然，不容易理解。

直方圖均衡是一種增強(qiáng)圖像對(duì)比度的方法，其主要思想是將一副圖像的直方圖分布變成近似均勻分布，從而增強(qiáng)圖像的對(duì)比度。6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

直方圖均衡（HistogramEqualization）用OpenCV實(shí)現(xiàn)直方圖均衡示例：6.4圖像增強(qiáng)技術(shù)

灰度變換-灰度化

只要對(duì)灰度進(jìn)行操作的變換，以及從彩色圖像到灰度圖像的變換，都屬于灰度變換；6.4圖像增強(qiáng)技術(shù)

灰度變換-反轉(zhuǎn)變換

用互補(bǔ)灰度代替原灰度，若圖片的灰度為8位，該過(guò)程代碼為：im_new=255-im_l；6.4圖像增強(qiáng)技術(shù)

灰度變換-對(duì)數(shù)變換

對(duì)數(shù)變換可以壓縮像素值變換較大的圖像的動(dòng)態(tài)范圍，對(duì)低的灰度級(jí)拉伸，對(duì)高的灰度級(jí)壓縮，擴(kuò)展較暗的像素；

6.4圖像增強(qiáng)技術(shù)

灰度變換-冪律變換

又稱(chēng)伽馬變換，主要用于圖像的校正，對(duì)灰度值過(guò)高或者過(guò)低的圖像進(jìn)行修正，增加圖像的對(duì)比度，從而改變圖像的顯示效果；6.4圖像增強(qiáng)技術(shù)

圖像平滑前述的灰度變換是基于點(diǎn)處理的，不會(huì)與臨近的像素進(jìn)行組合計(jì)算，而圖像平滑則是一種基于鄰域處理的圖像增強(qiáng)方法；

由于圖像在產(chǎn)生、傳輸和復(fù)制過(guò)程中，常常會(huì)因?yàn)槎喾矫嬖蚨辉肼暩蓴_或出現(xiàn)數(shù)據(jù)丟失，降低了圖像的質(zhì)量。因此，需要對(duì)圖像進(jìn)行一定的增強(qiáng)處理以減小這些缺陷所帶來(lái)的影響，相關(guān)的圖像平滑方法主要有鄰域平均法、中值濾波、邊界保持類(lèi)濾波等。6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

圖像平滑-中值濾波

中值濾波則是一種非線性圖像處理方法，能夠在去噪的同時(shí)兼顧到邊界信息的保留，在一定程度上緩解圖片模糊的問(wèn)題。

6.4圖像增強(qiáng)技術(shù)

圖像平滑-中值濾波6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

圖像銳化

銳化是通過(guò)增強(qiáng)高頻分量來(lái)減少圖像中的模糊，增強(qiáng)圖像細(xì)節(jié)邊緣和輪廓，增強(qiáng)灰度反差，便于后期對(duì)目標(biāo)的識(shí)別和處理。右側(cè)圖像中依次出現(xiàn)了大塊白斑、亮點(diǎn)、亮線和白色區(qū)域。6.4圖像增強(qiáng)技術(shù)

圖像銳化

對(duì)上頁(yè)的圖進(jìn)行一階微分和二階微分，為了反映圖像變換，可以采用微分算子：一階微分描述了數(shù)據(jù)變化率、二階微分描述數(shù)據(jù)變化率的變化率。

一階微分算子通過(guò)模板作為核與圖像的每個(gè)像素點(diǎn)做卷積和運(yùn)算，選取合適的閾值來(lái)提取圖像的邊緣，包括Roberts算子、Sobel算子和Prewitt算子等。

一階微分算子依據(jù)于二階導(dǎo)數(shù)過(guò)零點(diǎn)，包括Laplacian算子等，此類(lèi)算子對(duì)噪聲敏感。

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

6.4圖像增強(qiáng)技術(shù)

智能機(jī)器人導(dǎo)論

07-機(jī)器人的路徑規(guī)劃和導(dǎo)航7機(jī)器人的路徑規(guī)劃和導(dǎo)航路徑規(guī)劃與導(dǎo)航解決的問(wèn)題

機(jī)器人的路徑規(guī)劃和導(dǎo)航功能與人們?nèi)粘Ｉ钪械能?chē)輛導(dǎo)航、手機(jī)導(dǎo)航功能幾乎一致，主要解決以下三個(gè)問(wèn)題：

(1)當(dāng)前位置，即“我在哪里”；

(2)目標(biāo)位置，即“我要去哪里”；

(3)如何到達(dá)，即以何種手段到達(dá)目標(biāo)位置。

當(dāng)前位置的確定可以依靠前面講述的各類(lèi)用于定位的傳感器來(lái)實(shí)現(xiàn)。如各類(lèi)衛(wèi)星定位系統(tǒng)、超聲波測(cè)距系統(tǒng)、室內(nèi)的藍(lán)牙定位、Wi-Fi定位、水下USBL和LBL、自身所攜帶的慣性導(dǎo)航系統(tǒng)等，也可以是機(jī)器人通過(guò)視覺(jué)或激光雷達(dá)等設(shè)備獲取外部環(huán)境狀態(tài)，通過(guò)地圖分析自身在外部空間中的位置。7機(jī)器人的路徑規(guī)劃和導(dǎo)航路徑規(guī)劃與導(dǎo)航解決的問(wèn)題

(2)目標(biāo)位置，即“我要去哪里”；

對(duì)于在地球范疇內(nèi)運(yùn)行的各類(lèi)機(jī)器人而言，當(dāng)前位置和目標(biāo)位置可以有兩種坐標(biāo)形式。一類(lèi)是大范圍的經(jīng)緯度坐標(biāo)系，包括WGS84坐標(biāo)系、GCJ02坐標(biāo)系和BD09坐標(biāo)系等。這類(lèi)坐標(biāo)系以經(jīng)緯度表示，作用范圍大，每一個(gè)坐標(biāo)點(diǎn)都可以對(duì)應(yīng)地球范圍內(nèi)的特定位置，各類(lèi)衛(wèi)星定位系統(tǒng)和慣性導(dǎo)航系統(tǒng)的輸出都是經(jīng)緯度坐標(biāo)。

另一類(lèi)是區(qū)域范圍的局部坐標(biāo)系，僅在機(jī)器人工作空間中使用，其格式往往是由設(shè)計(jì)者來(lái)設(shè)定的，每一個(gè)坐標(biāo)點(diǎn)都與機(jī)器人的運(yùn)動(dòng)位置密切相關(guān)，室內(nèi)定位系統(tǒng)等各類(lèi)區(qū)域性定位系統(tǒng)一般輸出都是這類(lèi)局部位置信息。7機(jī)器人的路徑規(guī)劃和導(dǎo)航路徑規(guī)劃與導(dǎo)航解決的問(wèn)題

(3)如何到達(dá)，即以何種手段到達(dá)目標(biāo)位置。

機(jī)器人需要根據(jù)自身情況規(guī)劃到達(dá)目標(biāo)位置的行程方式，其影響因素包括行程路徑的可到達(dá)性、機(jī)器人的能源信息和運(yùn)動(dòng)機(jī)構(gòu)特性等，與常見(jiàn)的“百度地圖”等導(dǎo)航軟件中選擇不同的出行方式類(lèi)似。

最重要的因素是行程路徑的可到達(dá)性，而存儲(chǔ)這一類(lèi)信息的數(shù)據(jù)，通常是各類(lèi)數(shù)字地圖。7.1數(shù)字地圖的表示方法數(shù)字地圖的表示方法

數(shù)字地圖被認(rèn)為是紙質(zhì)地圖的數(shù)字存在形式，是在一定坐標(biāo)系統(tǒng)內(nèi)具有確定的坐標(biāo)和屬性的地面要素和現(xiàn)象的離散數(shù)據(jù)，在計(jì)算機(jī)可識(shí)別的存儲(chǔ)介質(zhì)上的概括的、有序的集合。因此，數(shù)字地圖所承載的信息量遠(yuǎn)遠(yuǎn)大于傳統(tǒng)紙質(zhì)地圖。

數(shù)字地圖除了可以自由縮放意外，還可以方便地對(duì)其展示的內(nèi)容進(jìn)行組合、拼接，構(gòu)成新的地圖；數(shù)字地圖可以很方便地與衛(wèi)星影象、航空照片等信息源結(jié)合，生成新的地圖類(lèi)型；在常規(guī)紙質(zhì)地圖標(biāo)注道路、地理位置的基礎(chǔ)之上，疊加了人們?nèi)粘３鲂泻蜕钏枰慕ㄖ镙喞徒煌窙r信息。7.1數(shù)字地圖的表示方法數(shù)字地圖的特點(diǎn)

(1)數(shù)字存儲(chǔ)特性，數(shù)字化形式存儲(chǔ)，快速獲取數(shù)據(jù)并進(jìn)行展示；

(2)動(dòng)態(tài)展現(xiàn)特性，在地圖上疊加具有動(dòng)畫(huà)效果的信息；

(3)信息疊加特性，在地圖上疊加不同的信息，如衛(wèi)星視圖等；

(4)展示多樣特性，可以虛擬構(gòu)建周?chē)h(huán)境的3D形態(tài)等；

(5)數(shù)據(jù)共享特性，各類(lèi)外部數(shù)據(jù)都可以共享至用戶終端；

(6)附加功能豐富，在數(shù)字地圖中實(shí)現(xiàn)長(zhǎng)度、角度測(cè)量等功能；

(7)獲取方式靈活，可以通過(guò)衛(wèi)星拍攝配合圖像識(shí)別技術(shù)構(gòu)建。7.1數(shù)字地圖的表示方法

拓?fù)涞貓D

理論上的拓?fù)涫且环N不考慮物體的大小、形狀等物理屬性，而僅僅使用點(diǎn)或者線描述多個(gè)物體實(shí)際位置與關(guān)系的抽象表示方法。在拓?fù)渲?，并不關(guān)心事物的細(xì)節(jié)，也不在乎相互的比例關(guān)系，而只是以圖的形式表示一定范圍內(nèi)多個(gè)物體之間的相互關(guān)系。

地圖中的拓?fù)?，指的是地圖學(xué)中的一種統(tǒng)計(jì)地圖，是一種利用線的連接來(lái)描述點(diǎn)之間的相對(duì)關(guān)系的抽象地圖，拓?fù)涞貓D同理論拓?fù)湟粯?，也不關(guān)心圖形的形狀、面積、距離和方向。點(diǎn)：物理空間中起始、終止或發(fā)生轉(zhuǎn)彎等路線屬性改變的位置。室內(nèi)常見(jiàn)的節(jié)點(diǎn)包括拐角、門(mén)、電梯和樓梯，以及走廊盡頭等，室外的常見(jiàn)節(jié)點(diǎn)包括各類(lèi)路口、環(huán)島、收費(fèi)站、匝道和停車(chē)場(chǎng)等。

7.1數(shù)字地圖的表示方法

拓?fù)涞貓D

拓?fù)涞貓D中的邊用來(lái)表示地圖的連通性，包含所有該地圖的使用者能夠訪問(wèn)的各類(lèi)路徑，包括各種類(lèi)型地面道路、樓梯和電梯等。

7.1數(shù)字地圖的表示方法度量地圖

拓?fù)涞貓D忽略了地圖中圖形的形狀、面積、距離和方向等參數(shù)，與之相對(duì)的、能夠表示上述參數(shù)的地圖形式稱(chēng)之為度量地圖（MetricMap），即基于測(cè)量構(gòu)成的2D或3D地圖。

用二進(jìn)制數(shù)表示空間位置是否有障礙物、是否可以通行等信息，適用于導(dǎo)航系統(tǒng)的路線計(jì)算。

詳細(xì)的空間信息占用大量存儲(chǔ)資源，導(dǎo)致存儲(chǔ)成本升高、檢索和應(yīng)用速度降低，而其中很多空間信息是不需要訪問(wèn)或使用的。

7.1數(shù)字地圖的表示方法

拓?fù)涞貓Dvs.度量地圖

優(yōu)點(diǎn)：(1)空間復(fù)雜度低，通過(guò)各類(lèi)算法可以簡(jiǎn)單的進(jìn)行路徑規(guī)劃，算法簡(jiǎn)便、執(zhí)行效率高；

優(yōu)點(diǎn)：(2)位置復(fù)雜度低，機(jī)器人在空間中不需要精準(zhǔn)的位置信息；

優(yōu)點(diǎn)：(3)人機(jī)交互簡(jiǎn)單，可以方便的接受人機(jī)交互指令，如“去門(mén)口”，易于與現(xiàn)實(shí)環(huán)境進(jìn)行關(guān)聯(lián)。7.1數(shù)字地圖的表示方法

拓?fù)涞貓Dvs.度量地圖

缺點(diǎn)：(1)在構(gòu)建地圖時(shí)，判定路徑的連通性需要傳感器能夠提供詳細(xì)的信息，且難以構(gòu)建大環(huán)境下的地圖；

缺點(diǎn)：(2)由于信息量不足，機(jī)器人很難識(shí)別某個(gè)地點(diǎn)，識(shí)別時(shí)對(duì)于視角敏感；

缺點(diǎn)：(3)可能產(chǎn)生未達(dá)最佳標(biāo)準(zhǔn)的路徑，導(dǎo)致實(shí)際行進(jìn)過(guò)程中繞路等問(wèn)題的發(fā)生。7.1數(shù)字地圖的表示方法特征地圖

特征地圖則是一種簡(jiǎn)化環(huán)境信息的地圖。它利用有關(guān)的幾何特征來(lái)表示環(huán)境，包括點(diǎn)、線、面等，且數(shù)據(jù)量和運(yùn)算量仍保持較小。

特征地圖是一種對(duì)測(cè)量信息進(jìn)行構(gòu)型處理后生成的模型化的地圖，它一般通過(guò)GNSS系統(tǒng)、攝像頭或激光雷達(dá)來(lái)將環(huán)境特征表示為點(diǎn)、線和面等形狀。7.1數(shù)字地圖的表示方法柵格地圖

柵格地圖（Gridmap或OccupancyMap）是一種很適合機(jī)器人描述周?chē)臻g狀態(tài)的地圖形式，柵格地圖的表示形式與位圖（BMP）類(lèi)似，利用一個(gè)個(gè)柵格組成的網(wǎng)格來(lái)表示地圖信息，柵格中存儲(chǔ)的數(shù)據(jù)對(duì)應(yīng)著特定位置的狀態(tài)，主要類(lèi)型是該位置被占據(jù)的概率。

(1)二值化柵格。這類(lèi)地圖中的柵格僅包含兩個(gè)數(shù)據(jù)值“1”和“0”，即僅有占用和空閑兩種位置狀態(tài)；

(2)灰度或彩色柵格。這類(lèi)地圖中的柵格包含有更多可以表達(dá)的位置信息，如8位灰度柵格則可以表達(dá)該位置的256種屬性。7.1數(shù)字地圖的表示方法柵格地圖

(1)容易構(gòu)建、表示和保存。柵格地圖可以在獲得周?chē)矬w分布后快速生成，位圖化的表示和存儲(chǔ)相較于度量地圖也簡(jiǎn)單很多；

(2)位置的唯一性。柵格地圖更易于辨識(shí)自身所處的位置；

(3)小范圍路徑規(guī)劃簡(jiǎn)便。柵格地圖對(duì)于掃地機(jī)器人等在小范圍區(qū)域內(nèi)作業(yè)的機(jī)器人而言，可以簡(jiǎn)便地進(jìn)行路徑規(guī)劃。

(1)過(guò)小的柵格會(huì)導(dǎo)致路徑規(guī)劃效率不高、也會(huì)帶來(lái)存儲(chǔ)空間的浪費(fèi)；

(2)機(jī)器人的位置估計(jì)精度取決于柵格精度的設(shè)置；

(3)對(duì)于物體的識(shí)別能力也取決于柵格精度的設(shè)置。7.2路徑規(guī)劃方法路徑規(guī)劃的要求

路徑規(guī)劃的本質(zhì)是一個(gè)搜索問(wèn)題，即基于目標(biāo)函數(shù)，根據(jù)地圖尋找到合適的運(yùn)動(dòng)路徑的問(wèn)題，路徑規(guī)劃主要包含兩種問(wèn)題：一是已經(jīng)介紹過(guò)的地圖；二是路徑規(guī)劃的算法。

路徑規(guī)劃算法要滿足三個(gè)最基本的要求：

(1)可達(dá)性，即路徑規(guī)劃算法所生成的路徑是一種能夠?qū)崿F(xiàn)的、能夠?qū)б龣C(jī)器人到達(dá)目標(biāo)的路徑；

(2)實(shí)時(shí)性，即路徑規(guī)劃算法在生成路徑時(shí)，具有一定的實(shí)時(shí)性，能夠在要求時(shí)間內(nèi)生成路徑，或可以根據(jù)狀態(tài)調(diào)整路徑；

(3)安全性，機(jī)器人能夠保障自身和周?chē)矬w的安全性。7.2路徑規(guī)劃方法路徑規(guī)劃的要求7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)

路徑規(guī)劃的分類(lèi)角度：

(1)根據(jù)外界環(huán)境中障礙物的運(yùn)動(dòng)狀態(tài)進(jìn)行分類(lèi)，可以分為障礙物靜止、障礙物運(yùn)動(dòng)和部分障礙物運(yùn)動(dòng)三種；

(2)根據(jù)目標(biāo)是否已知進(jìn)行分類(lèi)，可以分為空間搜索規(guī)劃路徑和基于地圖的路徑搜索;

(3)根據(jù)機(jī)器人所處的位置進(jìn)行分類(lèi)，可以分為室內(nèi)路徑規(guī)劃和室外路徑規(guī)劃；

(4)根據(jù)規(guī)劃方式的不同進(jìn)行分類(lèi)，可以分為精確規(guī)劃和啟發(fā)規(guī)劃；7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)

路徑規(guī)劃的分類(lèi)角度：

(5)根據(jù)機(jī)器人系統(tǒng)中可控制變量的數(shù)目是否少于姿態(tài)空間數(shù)目進(jìn)行分類(lèi)，可以分為非完整系統(tǒng)路徑規(guī)劃和完整系統(tǒng)路徑規(guī)劃；

(6)根據(jù)機(jī)器人對(duì)外界信息的已知程度進(jìn)行分類(lèi)，可以分為環(huán)境信息已知的離線路徑規(guī)劃、對(duì)外界環(huán)境信息未知或部分已知的在線路徑規(guī)劃。前者在機(jī)器人未到達(dá)現(xiàn)場(chǎng)時(shí)即可完成，又被稱(chēng)為靜態(tài)路徑規(guī)劃；而后者必須當(dāng)機(jī)器人在路徑環(huán)境中、采集環(huán)境信息后才能夠進(jìn)行規(guī)劃，所以又被稱(chēng)為動(dòng)態(tài)路徑規(guī)劃。

(7)根據(jù)機(jī)器人路徑規(guī)劃所使用的方法進(jìn)行分類(lèi)，可以分為傳統(tǒng)方法與智能方法。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-離線路徑規(guī)劃

機(jī)器人獲得了全部外界環(huán)境數(shù)據(jù)時(shí)，即可不再依賴(lài)自身的傳感器去獲取外界環(huán)境數(shù)據(jù)，在機(jī)器人運(yùn)動(dòng)前可根據(jù)數(shù)據(jù)計(jì)算好運(yùn)動(dòng)路徑，即實(shí)現(xiàn)全局的、離線的、從起點(diǎn)到終點(diǎn)的最優(yōu)的路徑規(guī)劃。

規(guī)劃的精確程度取決于所使用的外部信息的準(zhǔn)確度，規(guī)劃的速度取決于規(guī)劃算法的運(yùn)算要求和機(jī)器人的處理能力。處理過(guò)程：

(1)獲取地圖信息，區(qū)分環(huán)境空間的可用性；

(2)形成包含有環(huán)境信息的搜索空間；

(3)在搜索空間中，使用各種搜索策略進(jìn)行搜索。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-離線路徑規(guī)劃

主要包括柵格法、自由空間法和可視圖法等方法

(2)自由空間法：將機(jī)器人縮小成為一個(gè)點(diǎn)，并將周?chē)恼系K物和邊界按照比例處理，使得機(jī)器人能夠在自由空間中移動(dòng)到任意一點(diǎn)，并且不會(huì)與障礙物和各類(lèi)邊界發(fā)生碰撞。

自由空間法比較靈活，起點(diǎn)和目標(biāo)點(diǎn)的改變不會(huì)對(duì)連通圖造成重構(gòu)，可以實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)圖的維護(hù)。但是自由空間法在障礙物密集的復(fù)雜環(huán)境中效率會(huì)下降甚至失效，且不一定能保證得到最短路徑。因此，該方法更適用于精度要求不高、機(jī)器人移動(dòng)速度不高的應(yīng)用場(chǎng)景。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-離線路徑規(guī)劃

(3)可視圖法：用點(diǎn)來(lái)描述機(jī)器人，同樣以點(diǎn)來(lái)描述運(yùn)動(dòng)起始位置和目標(biāo)位置，并將地圖中的障礙物的頂點(diǎn)構(gòu)造成可視圖，由起點(diǎn)向終點(diǎn)擴(kuò)散，將每個(gè)點(diǎn)與周?chē)目梢?jiàn)的點(diǎn)進(jìn)行連接。因此，這些能夠連接的點(diǎn)之間的路徑是不存在障礙物遮擋的、路徑是可行進(jìn)的，再利用搜索算法從中尋求最優(yōu)路徑即可。

由于可視圖中的線路都是無(wú)碰撞線路，機(jī)器人沿著這些線路行進(jìn)時(shí)，不會(huì)與障礙物發(fā)生碰撞，因此可以保證機(jī)器人運(yùn)動(dòng)時(shí)具備可達(dá)性和安全性。搜索最優(yōu)路徑的問(wèn)題也轉(zhuǎn)化為從起點(diǎn)到終點(diǎn)的最短路徑問(wèn)題，算法較為簡(jiǎn)單，但靈活性低，當(dāng)起點(diǎn)和終點(diǎn)位置變化時(shí)，可能需要重新構(gòu)造可視圖。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-在線路徑規(guī)劃?rùn)C(jī)器人利用自身搭載的各類(lèi)傳感器感知外部環(huán)境，或者通過(guò)網(wǎng)絡(luò)等其他方式獲取外部環(huán)境狀態(tài)，對(duì)采集或獲取的數(shù)據(jù)進(jìn)行分析和處理，并結(jié)合可能已經(jīng)存儲(chǔ)的部分環(huán)境信息，進(jìn)行在線路徑規(guī)劃。

在線路徑規(guī)劃技術(shù)可以通過(guò)傳感器及時(shí)的地獲得機(jī)器人路徑環(huán)境。尤其是所處環(huán)境的狀態(tài)信息，使得機(jī)器人具有更加準(zhǔn)確的避障能力、更好的動(dòng)態(tài)環(huán)境響應(yīng)能力，以及更好的實(shí)時(shí)性和實(shí)用性。

但是，這種局部路徑規(guī)劃的弊端同樣明顯，機(jī)器人只能依靠局部數(shù)據(jù)進(jìn)行判斷和規(guī)劃，可能會(huì)產(chǎn)生局部極值點(diǎn)和震蕩問(wèn)題，使機(jī)器人難以實(shí)現(xiàn)全局最優(yōu)路徑規(guī)劃，也會(huì)消耗較多的計(jì)算資源。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-人工勢(shì)場(chǎng)法

主要包括人工勢(shì)場(chǎng)法、模糊邏輯算法、神經(jīng)網(wǎng)絡(luò)和遺傳算法等：將機(jī)器人在環(huán)境中的運(yùn)動(dòng)看作是在虛擬力場(chǎng)中的運(yùn)動(dòng)。目標(biāo)點(diǎn)產(chǎn)生引力勢(shì)場(chǎng)，障礙物產(chǎn)生斥力勢(shì)場(chǎng)，機(jī)器人在虛擬勢(shì)場(chǎng)中沿著合勢(shì)場(chǎng)的負(fù)梯度方向進(jìn)行運(yùn)動(dòng)，就可以得到規(guī)劃路徑。

機(jī)器人在引力和斥力的合力下運(yùn)動(dòng)，勢(shì)場(chǎng)的負(fù)梯度方向作為虛擬力的作用方向。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-人工勢(shì)場(chǎng)法

勢(shì)函數(shù)是一個(gè)以距離為變量的函數(shù)，建立勢(shì)函數(shù)是研究人工勢(shì)場(chǎng)法的關(guān)鍵。勢(shì)函數(shù)有多種類(lèi)型，包括虛擬力場(chǎng)、牛頓型勢(shì)場(chǎng)、圓形對(duì)稱(chēng)勢(shì)場(chǎng)、超四次方勢(shì)場(chǎng)和調(diào)和場(chǎng)等。

人工勢(shì)場(chǎng)法的優(yōu)勢(shì)明顯，該方法結(jié)構(gòu)簡(jiǎn)單、也易于計(jì)算和實(shí)現(xiàn)。在理想條件下，人工勢(shì)場(chǎng)法所控制的機(jī)器人能夠?qū)崿F(xiàn)類(lèi)似小球自由滾落的效果，其運(yùn)動(dòng)路徑平滑、運(yùn)動(dòng)速度平順，而且機(jī)器人也會(huì)因?yàn)檎系K物斥力場(chǎng)的存在，避免了與障礙物之間的碰撞，且始終會(huì)保持特定的安全距離。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-人工勢(shì)場(chǎng)法

人工勢(shì)場(chǎng)法的問(wèn)題也較為明顯，主要表現(xiàn)在：

(1)全局最小值問(wèn)題。當(dāng)目標(biāo)點(diǎn)周?chē)姓系K物時(shí)，隨著機(jī)器人逐步向目標(biāo)點(diǎn)運(yùn)動(dòng)，受到障礙物斥力的影響會(huì)逐漸增大，而目標(biāo)點(diǎn)的引力會(huì)逐漸減小，就可能產(chǎn)生目標(biāo)點(diǎn)不是勢(shì)場(chǎng)最低點(diǎn)的問(wèn)題，而機(jī)器人就無(wú)法到達(dá)目標(biāo)點(diǎn)；

(2)局部極小值問(wèn)題。當(dāng)目標(biāo)點(diǎn)和各障礙物產(chǎn)生的斥力的合力為零時(shí)，則機(jī)器人會(huì)陷入局部極小值點(diǎn)，機(jī)器人會(huì)誤認(rèn)為已經(jīng)到達(dá)目標(biāo)點(diǎn)而在局部極小值點(diǎn)附近停止運(yùn)動(dòng)，無(wú)法抵達(dá)目標(biāo)點(diǎn)；7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-人工勢(shì)場(chǎng)法

人工勢(shì)場(chǎng)法的問(wèn)題也較為明顯，主要表現(xiàn)在：

(3)路徑振蕩問(wèn)題。該問(wèn)題也是由于目標(biāo)點(diǎn)和各障礙物產(chǎn)生的斥力的合力為零造成的，但是機(jī)器人由于還具有一定速度，因此會(huì)在合力為零的點(diǎn)附近振蕩，也是無(wú)法抵達(dá)目標(biāo)點(diǎn)的；

(4)意外碰撞問(wèn)題。盡管障礙物的斥力能夠避免機(jī)器人與障礙物的碰撞，但當(dāng)機(jī)器人距離目標(biāo)點(diǎn)較遠(yuǎn)時(shí)，目標(biāo)物的引力是極大的。機(jī)器人在向著目標(biāo)點(diǎn)運(yùn)動(dòng)的過(guò)程中，就會(huì)與恰好在兩者連線上的障礙物發(fā)生碰準(zhǔn)。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-人工勢(shì)場(chǎng)法

-

勢(shì)場(chǎng)函數(shù)改進(jìn)法

對(duì)人工勢(shì)場(chǎng)法中的勢(shì)能函數(shù)進(jìn)行改造，從而可以有效解決全局最小值和目標(biāo)不可達(dá)等問(wèn)題。機(jī)器人逐步向目標(biāo)點(diǎn)運(yùn)動(dòng)，障礙物斥力逐漸增大、目標(biāo)點(diǎn)的引力會(huì)逐漸減小，就可能產(chǎn)生目標(biāo)點(diǎn)不是勢(shì)場(chǎng)最低點(diǎn)的問(wèn)題，進(jìn)而導(dǎo)致機(jī)器人無(wú)法到達(dá)目標(biāo)點(diǎn)。

可以對(duì)斥力場(chǎng)函數(shù)進(jìn)行改進(jìn)，解決在目標(biāo)點(diǎn)附近斥力過(guò)大的問(wèn)題，使得斥力在目標(biāo)點(diǎn)附近能夠減小甚至趨于零，目標(biāo)點(diǎn)成為其周?chē)鷧^(qū)域中的勢(shì)能的最低點(diǎn)。

無(wú)法解決局部極小值的問(wèn)題。抵達(dá)目標(biāo)之前的路徑上，遭遇到某點(diǎn)的合力為零的問(wèn)題，機(jī)器人會(huì)誤將該點(diǎn)當(dāng)作是目標(biāo)點(diǎn)，陷入局部極小值點(diǎn)，無(wú)法到達(dá)真正的目標(biāo)點(diǎn)。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-人工勢(shì)場(chǎng)法

-虛擬目標(biāo)點(diǎn)法

為了解決局部極小值的問(wèn)題，引入了虛擬目標(biāo)點(diǎn)法。

該方法的主要思路是構(gòu)建虛擬點(diǎn)，改變機(jī)器人在非目標(biāo)點(diǎn)處合力為零的問(wèn)題：當(dāng)機(jī)器人檢測(cè)到自身陷入局部極小值點(diǎn)之后，系統(tǒng)會(huì)在原有的目標(biāo)點(diǎn)附近增加一個(gè)虛擬的目標(biāo)點(diǎn)，該點(diǎn)的加入能夠改變機(jī)器人在原有合力為零的點(diǎn)的合力，機(jī)器人受到的合力不再為零，使機(jī)器人擺脫局部極小值點(diǎn)而繼續(xù)前進(jìn)，而當(dāng)機(jī)器人擺脫局部極小值之后，系統(tǒng)便可以撤銷(xiāo)該虛擬目標(biāo)點(diǎn)。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-人工勢(shì)場(chǎng)法

-混沌優(yōu)化算法

混沌優(yōu)化算法則針對(duì)這類(lèi)問(wèn)題進(jìn)行了改進(jìn)，該算法結(jié)合了人工勢(shì)場(chǎng)法和混沌優(yōu)化算法，不僅可以解決全局最小值所導(dǎo)致的目標(biāo)不可達(dá)問(wèn)題、局部極小值點(diǎn)問(wèn)題，同時(shí)還可以解決機(jī)器人在相近障礙物間不能發(fā)現(xiàn)路徑、障礙物前振蕩和狹小通道中擺動(dòng)等問(wèn)題。

混沌現(xiàn)象是自然界中的普遍現(xiàn)象，指一種在確定性系統(tǒng)中出現(xiàn)的介于規(guī)則與隨機(jī)之間的現(xiàn)象?；煦绗F(xiàn)象具有三種顯著的特征：

(1)隨機(jī)性，表現(xiàn)出來(lái)的是類(lèi)似于隨機(jī)現(xiàn)象的雜亂無(wú)章的現(xiàn)象；

(2)遍歷性，混沌可以不重復(fù)的遍歷一定范圍內(nèi)的所有狀態(tài)；

(3)規(guī)律性，混沌現(xiàn)象可以有確定性的迭代式產(chǎn)生。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-柵格建模法

柵格建模法是指使用相同尺寸的柵格對(duì)地面機(jī)器人的工作空間進(jìn)行二維劃分，柵格的大小取決于運(yùn)動(dòng)控制的精度。

為了數(shù)據(jù)處理的便捷性，柵格通常設(shè)計(jì)為正方形，且柵格尺寸不可以小于機(jī)器人的尺寸，即柵格的大小能夠容納機(jī)器人。但是部分情況下，柵格也可以小于機(jī)器人的尺寸，以便實(shí)現(xiàn)對(duì)周?chē)h(huán)境更加細(xì)致的描述。已知柵格中，機(jī)器人可以使用的柵格通常被稱(chēng)為自由柵格（又稱(chēng)空閑柵格），而被障礙物占用或無(wú)法到達(dá)等機(jī)器人無(wú)法使用的柵格則被稱(chēng)之為障礙柵格（又稱(chēng)占用柵格）。7.2路徑規(guī)劃方法

7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-柵格建模法

可視化的柵格地圖可以看作是一幅位圖，兩種存儲(chǔ)方式：

(1)編號(hào)法。如圖所示，柵格按照從左到右、從上到下的順序從1開(kāi)始被編號(hào)，每個(gè)柵格都有唯一對(duì)應(yīng)的編號(hào)；7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-柵格建模法

可視化的柵格地圖可以看作是一幅位圖，兩種存儲(chǔ)方式：

(2)坐標(biāo)系法。如圖所示的坐標(biāo)系進(jìn)行建模，每個(gè)柵格區(qū)間對(duì)應(yīng)坐標(biāo)軸上的長(zhǎng)度區(qū)間，每個(gè)柵格都可以用直角坐標(biāo)進(jìn)行唯一的表示。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-柵格建模法

若使用灰度對(duì)編號(hào)法的柵格地圖進(jìn)行表征，每個(gè)柵格中都有一個(gè)表征值，用于表示柵格對(duì)于機(jī)器人的危險(xiǎn)程度，柵格內(nèi)的數(shù)值越高則危險(xiǎn)程度越高，柵格可用性就越低。取值方法主要有：

(1)中心歸屬法。柵格單元的值以柵格中心點(diǎn)對(duì)應(yīng)區(qū)域?qū)傩远ǎ?/p>

(2)長(zhǎng)度法。值以柵格的水平中線或者垂直中線的大部分長(zhǎng)度所對(duì)應(yīng)區(qū)域?qū)傩詠?lái)確定二值化柵格，或者以長(zhǎng)度占比計(jì)算柵格取值；(3)面積法。柵格單元的值以柵格中被占用的面積占比的大部分來(lái)確定二值化柵格的值，或者以面積占比計(jì)算柵格的取值；(4)重要性法。根據(jù)地圖所關(guān)注的屬性在柵格的占比情況決定取值。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-柵格建模法

以Dijkstra算法為代表的傳統(tǒng)路徑搜索算法是將起點(diǎn)處柵格作為參考柵格，從該柵格相鄰的柵格中選取數(shù)值最小的柵格，也就是最安全的柵格作為機(jī)器人的前進(jìn)方向，并把該柵格作為新的參考柵格，重復(fù)上述過(guò)程，直到機(jī)器人到達(dá)目標(biāo)位置為止。

常見(jiàn)的路徑搜索算法還包括A*和D*等各類(lèi)啟發(fā)式路徑搜索算法、深度優(yōu)先搜索（DepthFirstSearch，DFS）、廣度優(yōu)先搜索（BreadthFirstSearch，BFS）和貪婪最佳優(yōu)先算法（GreedyBestFirstSearch，GBFS）等，各種算法的具體實(shí)現(xiàn)原理不再介紹。7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式分為：監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

(1)監(jiān)督學(xué)習(xí)，又稱(chēng)為有導(dǎo)師學(xué)習(xí)。在該學(xué)習(xí)方式中，會(huì)給出導(dǎo)師信號(hào)，其對(duì)一組給定的輸入提供了正確的輸出結(jié)果，這組已知的“輸入-輸出”數(shù)據(jù)被稱(chēng)為訓(xùn)練樣本集，或訓(xùn)練數(shù)據(jù)集。學(xué)習(xí)系統(tǒng)會(huì)根據(jù)已知輸出與實(shí)際的輸出的誤差來(lái)調(diào)節(jié)系統(tǒng)的參數(shù)；

(2)無(wú)監(jiān)督學(xué)習(xí)，又稱(chēng)為無(wú)導(dǎo)師學(xué)習(xí)。在該學(xué)習(xí)中，沒(méi)有外部導(dǎo)師，學(xué)習(xí)過(guò)程只能靠神經(jīng)網(wǎng)絡(luò)系統(tǒng)本身自身來(lái)完成。學(xué)習(xí)系統(tǒng)會(huì)完全按照環(huán)境所提供數(shù)據(jù)的統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)自身的參數(shù)或者網(wǎng)絡(luò)結(jié)構(gòu)，以表示外部輸入的固有特性；7.2路徑規(guī)劃方法路徑規(guī)劃方法分類(lèi)-神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式分為：監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

(3)強(qiáng)化學(xué)習(xí)，又稱(chēng)為再激勵(lì)學(xué)習(xí)。該方法介于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之間，與監(jiān)督學(xué)習(xí)的差別在于其所存在的外部環(huán)境并不會(huì)給出明確的正確輸出結(jié)果。而是只給出結(jié)果的評(píng)價(jià)，學(xué)習(xí)系統(tǒng)需要根據(jù)這些評(píng)價(jià)來(lái)選擇能夠?qū)崿F(xiàn)預(yù)期輸出結(jié)果的最佳參數(shù)，以提升自身的性能。7.3ROS的同步定位與地圖構(gòu)建

同步定位與地圖構(gòu)建(SimultaneousLocalizationAndMapping，SLAM）

機(jī)器人在自身位置不確定的條件下，在完全未知環(huán)境中創(chuàng)建地圖，同時(shí)利用地圖進(jìn)行自主定位和導(dǎo)航。

該問(wèn)題可以描述為機(jī)器人在未知環(huán)境中，從一個(gè)未知位置開(kāi)始移動(dòng)，在移動(dòng)過(guò)程中根據(jù)位置估計(jì)和傳感器數(shù)據(jù)進(jìn)行自身定位，同時(shí)構(gòu)造增量式地圖的過(guò)程。該過(guò)程涉及到三個(gè)方面的問(wèn)題：(1)定位（Localization），機(jī)器人確定自己在環(huán)境中位置；(2)建圖（Mapping），機(jī)器人必須能夠記錄環(huán)境中特征的位置，即確定當(dāng)前位置下，周?chē)h(huán)境的特征；(3)SLAM，機(jī)器人在定位的同時(shí)建立環(huán)境地圖。7.3ROS的同步定位與地圖構(gòu)建

SLAM工作流程和分類(lèi)

SLAM技術(shù)的一個(gè)關(guān)鍵點(diǎn)在于感知周?chē)h(huán)境的狀態(tài)。SLAM從感知層面上，可以在多種不同的硬件上實(shí)現(xiàn)。SLAM的實(shí)現(xiàn)也不僅僅是一個(gè)算法層面的意義，更是一種實(shí)現(xiàn)特定功能的概念。所以，SLAM技術(shù)包含了許多步驟，其中的每一個(gè)步驟均可以使用不同的算法、不同的設(shè)備來(lái)實(shí)現(xiàn)。7.3ROS的同步定位與地圖構(gòu)建

SLAM工作流程和分類(lèi)

前端感知技術(shù)的不同決定了進(jìn)入SLAM處理算法的數(shù)據(jù)類(lèi)型。

常見(jiàn)的SLAM分類(lèi)方法一般也是基于前端感知設(shè)備進(jìn)行大分類(lèi)的，而后再根據(jù)技術(shù)進(jìn)行細(xì)分。7.3ROS的同步定位與地圖構(gòu)建

SLAM工作流程和分類(lèi)

以視覺(jué)SLAM（vSLAM）為例，其基本流程可以分為傳感器信息讀取、視覺(jué)里程計(jì)、后端優(yōu)化、回環(huán)檢測(cè)和建圖五步驟，關(guān)系如圖所示。7.3ROS的同步定位與地圖構(gòu)建

SLAM工作流程和分類(lèi)

(1)傳感器信息讀取。在視覺(jué)SLAM中，主要是相機(jī)圖像信息的讀取和預(yù)處理，如果在其他類(lèi)型的SLAM中，則可能是碼盤(pán)、慣性傳感器、超聲波傳感器和激光雷達(dá)等信息的讀取和同步工作；

(2)視覺(jué)里程計(jì)（VisualOdometry，VO）。視覺(jué)里程計(jì)任務(wù)是估算相鄰圖像間相機(jī)的運(yùn)動(dòng)以及局部地圖的樣子，又被稱(chēng)為前端（FrontEnd）。視覺(jué)里程計(jì)與傳統(tǒng)的里程計(jì)不同，不使用碼盤(pán)等設(shè)備，只利用攝像頭拍攝的連續(xù)圖像幀就可以計(jì)算里程。

視覺(jué)里程計(jì)的實(shí)現(xiàn)方法按照是否需要提取特征，可以分為特征點(diǎn)法前端及不提取特征的直接法前端。

(3)非線性?xún)?yōu)化。使視覺(jué)里程計(jì)數(shù)據(jù)成為全局一致的軌跡和地圖。7.3ROS的同步定位與地圖構(gòu)建

SLAM工作流程和分類(lèi)

(4)回環(huán)檢測(cè)（LoopClosing）。處理視覺(jué)前端產(chǎn)生的累積誤差的另一種方法就是回環(huán)檢測(cè)?；丨h(huán)檢測(cè)判斷機(jī)器人是否回到了之前經(jīng)過(guò)的位置，如果檢測(cè)到了回環(huán)。它會(huì)把信息傳遞給后端進(jìn)行優(yōu)化處理?；丨h(huán)是一個(gè)比后端優(yōu)化更加緊湊且準(zhǔn)確的約束，這一約束條件可以形成一個(gè)拓?fù)湟恢碌能壽E地圖。如果能夠檢測(cè)到閉環(huán)，對(duì)其優(yōu)化就可以讓結(jié)果更加準(zhǔn)確。回環(huán)檢測(cè)是SLAM的一個(gè)難點(diǎn)問(wèn)題。

(5)建圖（Mapping）。根據(jù)估計(jì)的軌跡，建立與任務(wù)要求對(duì)應(yīng)的地圖。7.3ROS的同步定位與地圖構(gòu)建

ROS系統(tǒng)基礎(chǔ)ROS（RobotOperatingSystem，下文簡(jiǎn)稱(chēng)“ROS”）是一個(gè)適用于機(jī)器人的開(kāi)源的元操作系統(tǒng)。它提供了操作系統(tǒng)應(yīng)有的服務(wù)，包括硬件抽象、底層設(shè)備控制、常用函數(shù)的實(shí)現(xiàn)、進(jìn)程間消息傳遞和包管理。它也提供了用于獲取、編譯、編寫(xiě)、和跨計(jì)算機(jī)運(yùn)行代碼所需的工具和庫(kù)函數(shù)。7.3ROS的同步定位與地圖構(gòu)建

ROS系統(tǒng)基礎(chǔ)

傳統(tǒng)機(jī)器人研發(fā)過(guò)程中的問(wèn)題：專(zhuān)用性、代碼難共享->ROS

(1)代碼復(fù)用功能。代碼復(fù)用是ROS的主要目標(biāo)，其目的在于支持機(jī)器人技術(shù)的軟件代碼的通用化，且可以重復(fù)使用。

(2)分布式功能。ROS是基于進(jìn)程的分布式框架，ROS中的進(jìn)程可分布于不同主機(jī)，不同主機(jī)協(xié)同工作，從而分散計(jì)算壓力。而ROS所采用的點(diǎn)對(duì)點(diǎn)通信方式，也分散了系統(tǒng)的通信壓力；

(3)松耦合。ROS中的功能模塊封裝成獨(dú)立的功能包或元功能包，便于分享，功能包內(nèi)的模塊以節(jié)點(diǎn)為單位運(yùn)行，以ROS標(biāo)準(zhǔn)的IO作為接口，開(kāi)發(fā)者不需要關(guān)注模塊內(nèi)部實(shí)現(xiàn)，只要了解接口規(guī)則就能實(shí)現(xiàn)復(fù)用，實(shí)現(xiàn)了模塊間點(diǎn)對(duì)點(diǎn)的松耦合連接；7.3ROS的同步定位與地圖構(gòu)建

ROS系統(tǒng)基礎(chǔ)

傳統(tǒng)機(jī)器人研發(fā)過(guò)程中的問(wèn)題：專(zhuān)用性、代碼難共享->ROS

(4)精簡(jiǎn)。ROS被設(shè)計(jì)的盡可能精簡(jiǎn)，以便為ROS編寫(xiě)的代碼可以與其他機(jī)器人軟件框架一起使用。ROS可以很方便地與其他機(jī)器人軟件框架集成，目前ROS已經(jīng)可以與OpenRAVE、Orocos和Player等軟件框架集成；

(5)語(yǔ)言獨(dú)立性。ROS支持Java、C++和Python等開(kāi)發(fā)語(yǔ)言。為了支持更多應(yīng)用開(kāi)發(fā)和移植，ROS被設(shè)計(jì)成一種語(yǔ)言弱相關(guān)的框架結(jié)構(gòu)，使用簡(jiǎn)潔，中立地定義了語(yǔ)言描述模塊間的消息接口。在編譯中再產(chǎn)生所使用語(yǔ)言的目標(biāo)文件，為消息交互提供支持，同時(shí)允許消息接口的嵌套使用；7.3ROS的同步定位與地圖構(gòu)建

ROS系統(tǒng)基礎(chǔ)

傳統(tǒng)機(jī)器人研發(fā)過(guò)程中的問(wèn)題：專(zhuān)用性、代碼難共享->ROS

(6)易于測(cè)試。ROS具有稱(chēng)為rostest的內(nèi)置單元/集成測(cè)試框架，可輕松安裝和卸載測(cè)試工具；

(7)支持大型應(yīng)用。ROS適用于大型運(yùn)行時(shí)系統(tǒng)和大型開(kāi)發(fā)流程；

(8)豐富的組件化工具包。ROS可采用組件化方式集成一些工具和軟件到系統(tǒng)中并作為一個(gè)組件直接使用，如RVIZ（3D可視化工具）。開(kāi)發(fā)者根據(jù)ROS定義的接口在其中顯示機(jī)器人模型等，ROS的組件還包括仿真環(huán)境和消息查看工具等；

(9)免費(fèi)且開(kāi)源。開(kāi)發(fā)者眾多，功能包多。7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(1)設(shè)置ROS源（source）

(2)安裝ROS和rosdep

(3)測(cè)試ROS安裝效果，在三個(gè)終端窗口中分別執(zhí)行：

roscore

rosrunturtlesimturtlesim_node

rosrunturtlesimturtle_teleop_key

第三個(gè)終端窗口中通過(guò)方向按鍵控制烏龜運(yùn)動(dòng)

(4)基于ROS進(jìn)行開(kāi)發(fā)的基礎(chǔ)過(guò)程

(5)使用C++開(kāi)發(fā)HelloWorld7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(6)使用Python開(kāi)發(fā)HelloWorld

(7)使用ROS的集成開(kāi)發(fā)環(huán)境(8)ROS文件系統(tǒng)結(jié)構(gòu)7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(9)ROS文件操作的基本命令

catkin_create_pkg<自定義包名><依賴(lài)包>，用于創(chuàng)建新的ROS功能包；

rospacklist，列出所有功能包；

rospackfind<包名>，查找某個(gè)功能包是否存在，如果存在返回安裝路徑；

roscd<包名>，進(jìn)入某個(gè)功能包；

rosls<包名>，列出某個(gè)包下的文件；7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(9)ROS文件操作的基本命令

rosed<包名><文件名>，修改功能包文件；

roscore或roscore-p<端口號(hào)>，ROS的系統(tǒng)先決條件節(jié)點(diǎn)和程序的集合，必須先運(yùn)行roscore才能使ROS節(jié)點(diǎn)進(jìn)行通信。執(zhí)行roscore將啟動(dòng):rosmaster、ros<參數(shù)服務(wù)器>和rosout日志節(jié)點(diǎn)三個(gè)功能；

rosrun<包名><可執(zhí)行文件名>，運(yùn)行指定的ROS節(jié)點(diǎn)；

roslaunch<包名><文件名>.launch，執(zhí)行某個(gè)包下的launch文件7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(10)ROS通信機(jī)制-

話題通信

Master負(fù)責(zé)保管Talker和Listener注冊(cè)的信息，并匹配話題相同的Talker與Listener，幫助Talker與Listener建立連接。連接建立后，Talker可以發(fā)布消息，且發(fā)布的消息會(huì)被Listener訂閱接收。7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(10)ROS通信機(jī)制-

服務(wù)通信

服務(wù)通信是基于請(qǐng)求-響應(yīng)模式的，是一種應(yīng)答機(jī)制。

一個(gè)節(jié)點(diǎn)A向另一個(gè)節(jié)點(diǎn)B發(fā)送請(qǐng)求，B接收處理請(qǐng)求并產(chǎn)生響應(yīng)結(jié)果返回給A。7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(10)ROS通信機(jī)制-

參數(shù)服務(wù)器

模型中涉及到三個(gè)角色：ROSMaster、Talker（參數(shù)設(shè)置者）和Listener（參數(shù)調(diào)用者）。ROSMaster作為一個(gè)公共容器，用于保存參數(shù)，Talker可以向容器中設(shè)置參數(shù)，Listener可以從容器中獲取參數(shù)。7.3ROS的同步定位與地圖構(gòu)建

ROS的安裝與開(kāi)發(fā)環(huán)境配置

(10)ROS通信操作的基本命令：ROS提供了一些實(shí)用的命令行工具，可以用于獲取不同節(jié)點(diǎn)的各類(lèi)信息。

rosnode：操作節(jié)點(diǎn)，用于獲取節(jié)點(diǎn)信息的命令rostopic：操作話題，用于顯示有關(guān)ROS主題的調(diào)試信息rosservice：操作服務(wù)，包含用于列出和查詢(xún)ROSServicesrosmsg：操作msg消息，用于顯示有關(guān)ROS消息類(lèi)型的信息rossrv：操作srv消息，用于顯示有關(guān)ROS服務(wù)類(lèi)型的信息rosparam：操作參數(shù)，用于使用YAML編碼文件在參數(shù)服務(wù)器上獲取和設(shè)置ROS參數(shù)7.3ROS的同步定位與地圖構(gòu)建

ROS下的SLAM仿真

Gazebo是一款功能強(qiáng)大的三維物理仿真平臺(tái)，具備強(qiáng)大的物理引擎、高質(zhì)量的圖形渲染、方便的編程與圖形接口，在模型中加入機(jī)器人和周?chē)h(huán)境的物理屬性，例如質(zhì)量、摩擦系數(shù)、彈性系數(shù)等。

機(jī)器人的傳感器信息也可以通過(guò)插件的形式加入仿真環(huán)境。ROS系統(tǒng)中，常用的激光SLAM算法包括有Gmapping、Karto和Hector等。Gmapping成熟，可靠，效果穩(wěn)定，許多基于ROS的機(jī)器人都跑gmapping_slam；Karto與gmapping類(lèi)似，更適合在大地圖環(huán)境使用；Hector效果不如Gmapping、Karto，因?yàn)槠鋬H用到激光雷達(dá)信息。7.3ROS的同步定位與地圖構(gòu)建

ROS下的SLAM仿真-

基于Gmapping

安裝，并在Gazebo中使用BuildingEditor工具構(gòu)建一個(gè)用于建圖和導(dǎo)航的虛擬環(huán)境，也可以使用其他功能包中已有的虛擬環(huán)境。

啟動(dòng)Gazebo->啟動(dòng)RVIZ演示->啟動(dòng)控制節(jié)點(diǎn)7.3ROS的同步定位與地圖構(gòu)建

ROS下的SLAM仿真-

基于hector_slam

安裝Hector，啟動(dòng)Gazebo->啟動(dòng)RVIZ演示->啟動(dòng)控制節(jié)點(diǎn)功能步驟與Gmapping過(guò)程類(lèi)似7.3ROS的同步定位與地圖構(gòu)建

ROS下的SLAM仿真-

自主導(dǎo)航仿真過(guò)程

在上述基礎(chǔ)上，實(shí)現(xiàn)基于move_base和amcl的機(jī)器人自主導(dǎo)航仿真。

啟動(dòng)Gazebo->啟動(dòng)導(dǎo)航節(jié)點(diǎn)->設(shè)定目標(biāo)點(diǎn)使機(jī)器人自主移動(dòng)7.4無(wú)人駕駛中的視覺(jué)處理技術(shù)

無(wú)人駕駛（Self-DrivingCar）又稱(chēng)為無(wú)人車(chē)、自動(dòng)駕駛汽車(chē)

無(wú)人駕駛系統(tǒng)所包含的技術(shù)范疇相當(dāng)廣泛，包含了感知、識(shí)別、計(jì)算決策和控制等技術(shù)，還涉及到定位、通信等常規(guī)技術(shù)以及人工智能技術(shù)。

自動(dòng)駕駛是一種通過(guò)攝像頭、激光雷達(dá)、毫米波雷達(dá)、GNSS和慣性導(dǎo)航系統(tǒng)等設(shè)備獲取周?chē)h(huán)境狀態(tài)，遵循人類(lèi)的控制指令或設(shè)定目標(biāo)，根據(jù)4G、5G和車(chē)聯(lián)網(wǎng)等各類(lèi)無(wú)線網(wǎng)絡(luò)所獲取的道路信息、交通信息、環(huán)境信息和障礙物狀態(tài)等信息，使用車(chē)輛搭載的通用計(jì)算機(jī)軟硬件系統(tǒng)或?qū)Ｓ锰幚硐到y(tǒng)進(jìn)行識(shí)別、分析和判定，輸出控制指令，使得車(chē)輛具備一定程度上的自主運(yùn)動(dòng)或完全自主行為控制的技術(shù)。7.4無(wú)人駕駛中的視覺(jué)處理技術(shù)

無(wú)人駕駛的優(yōu)勢(shì)和問(wèn)題

(1)無(wú)人駕駛最直接的優(yōu)點(diǎn)在于解放出行時(shí)間，改變出行方式；

(2)提升道路交通安全行、減少交通事故傷亡；

(3)減少道路擁堵、提升行駛速度；

(4)