第五章-智能機(jī)器人的視覺(jué)課件

智能機(jī)器人原理與實(shí)踐智能機(jī)器人原理與實(shí)踐1機(jī)器人的視覺(jué)功能在于識(shí)別環(huán)境、理解人的意圖并完成工作任務(wù)。機(jī)器人的視覺(jué)技術(shù)包括：給定圖像的檢測(cè)與跟蹤、多目視覺(jué)與距離測(cè)量、時(shí)序圖像檢測(cè)運(yùn)動(dòng)并跟蹤、主動(dòng)視覺(jué)等。5智能機(jī)器人的視覺(jué)5智能機(jī)器人的視覺(jué)25.1機(jī)器視覺(jué)基礎(chǔ)理論5.1.1理論體系5.1機(jī)器視覺(jué)基礎(chǔ)理論5.1.1理論體系3(1)計(jì)算理論層是視覺(jué)信息處理的最高層次是抽象的計(jì)算理論層次，它回答系統(tǒng)各個(gè)部分的計(jì)算目的和計(jì)算策略。(2)表達(dá)與算法層是要進(jìn)一步回答如何表達(dá)視覺(jué)系統(tǒng)各部分的輸入、輸出和內(nèi)部的信息，以及實(shí)現(xiàn)計(jì)算理論所規(guī)定目標(biāo)的算法。(3)硬件實(shí)現(xiàn)層要回答的是“如何用硬件實(shí)現(xiàn)各種算法”。第五章-智能機(jī)器人的視覺(jué)ppt課件4機(jī)器視覺(jué)研究可以分為如下五大研究?jī)?nèi)容：1、低層視覺(jué)

2、中層視覺(jué)3、高層視覺(jué)4、輸入設(shè)備5、體系結(jié)構(gòu)機(jī)器視覺(jué)研究可以分為如下五大研究?jī)?nèi)容：51.

圖像多義性不同形狀的三維物體投影在圖像平面上可能產(chǎn)生相同圖像。不同形狀的三維物體投影在圖像平面上可能產(chǎn)生相同圖像，如圖所示。5.1.2

關(guān)鍵問(wèn)題1.圖像多義性5.1.2關(guān)鍵問(wèn)題62.環(huán)境因素影響照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對(duì)獲取的圖像有影響，幾個(gè)立方體構(gòu)成的多義性圖像如圖所示。2.環(huán)境因素影響73.知識(shí)導(dǎo)引同樣的圖像在不同的知識(shí)導(dǎo)引下，將會(huì)產(chǎn)生不同的識(shí)別結(jié)果。不同的知識(shí)導(dǎo)引也可能產(chǎn)生不同的空間關(guān)系。4.大數(shù)據(jù)灰度圖像、彩色圖像、高清圖像、深度圖像、圖像序列的信息量會(huì)非常大，需要很大的存貯空間和計(jì)算處理能力。3.知識(shí)導(dǎo)引85.2成像幾何基礎(chǔ)成像系統(tǒng)即是將三維場(chǎng)景變換成二維灰度或彩色圖像。這種變換可以用一個(gè)從三維空間到二維空間的映射來(lái)表示：5.2成像幾何基礎(chǔ)成像系統(tǒng)即是將三維場(chǎng)景變換成二維9簡(jiǎn)單的三維圖形獲取過(guò)程如圖所示。5.2.1基本術(shù)語(yǔ)簡(jiǎn)單的三維圖形獲取過(guò)程如圖所示。5.2.1基本術(shù)語(yǔ)101.投影平面幾何投影的分類如圖所示。1.投影112.投影中心2.投影中心123.投影線與投影面3.投影線與投影面134.投影變換透視投影和平行投影分別如圖所示。4.投影變換145.2.2透視投影1.透視現(xiàn)象

5.2.2透視投影1.透視現(xiàn)象152.透視投影成像模型

2.透視投影成像模型165.2.3平行投影平行投影也稱為正交投影，是指用平行于光軸的光將場(chǎng)景投射到圖像平面上。5.2.3平行投影平行投影也稱為正交投影，是指用平175.2.4視覺(jué)系統(tǒng)坐標(biāo)變換1.坐標(biāo)系(1)像素坐標(biāo)

(2)圖像平面坐標(biāo)

(3)攝象機(jī)坐標(biāo)

(4)場(chǎng)景坐標(biāo)5.2.4視覺(jué)系統(tǒng)坐標(biāo)變換1.坐標(biāo)系182.齊次坐標(biāo)考慮對(duì)笛卡爾空間內(nèi)點(diǎn)P分別進(jìn)行旋轉(zhuǎn)、平行移動(dòng)、放大、縮小，對(duì)應(yīng)的射影空間內(nèi)P[p]→P’[p’]的變換操作可用4×4矩陣來(lái)作為P的齊次坐標(biāo)的線性變換：

p’=pTi式中P’[p’]表示P點(diǎn)變換后，對(duì)應(yīng)在射影空間內(nèi)的點(diǎn)。2.齊次坐標(biāo)191)旋轉(zhuǎn)變換空間內(nèi)物體繞x、y、z軸旋轉(zhuǎn)角度θ，對(duì)應(yīng)的變換矩陣Ti可表示為：

1)旋轉(zhuǎn)變換202)平移變換

空間內(nèi)物體在x、y、z方向平移（h，k，l），對(duì)應(yīng)的變換矩陣Ti可表示為：2)平移變換213)擴(kuò)大、縮小變換空間內(nèi)物體以原點(diǎn)為中心，在x、y、z軸方向擴(kuò)大或者縮小mx、my、mz倍，或者全體的1/mw

倍，則對(duì)應(yīng)的變換矩陣Ti可表示為：3)擴(kuò)大、縮小變換22三維空間中，以某一個(gè)視點(diǎn)為中心往二維平面上投影的過(guò)程稱為透視變換。如圖所示，這種將平面π上的圖形投影到另一圖像平面μ上這一過(guò)程稱作“配景映射”。5.2.5射影變換三維空間中，以某一個(gè)視點(diǎn)為中心往二維平面上投影的過(guò)程23三維空間的坐標(biāo)系規(guī)定為現(xiàn)實(shí)世界坐標(biāo)，稱為實(shí)坐標(biāo)或者世界坐標(biāo)。三維空間中，三維物體的投影和圖像化過(guò)程如圖所示。三維空間的坐標(biāo)系規(guī)定為現(xiàn)實(shí)世界坐標(biāo)，稱為實(shí)坐標(biāo)或者世245.3

圖像的獲取和處理5.3.1成像模型成像系統(tǒng)的建模是建立攝像機(jī)成像面坐標(biāo)與客觀三維場(chǎng)景的對(duì)應(yīng)關(guān)系。1.成像坐標(biāo)變換5.3圖像的獲取和處理5.3.1成像模型25

1)

圖像坐標(biāo)系攝像機(jī)采集的圖像以MxN的二維數(shù)組存儲(chǔ)的。如圖所示，在圖像上定義的直角坐標(biāo)系中，坐標(biāo)系原點(diǎn)位于圖像的左上角，圖像坐標(biāo)系的坐標(biāo)(u,v

)是以像素為單位的坐標(biāo)。1)圖像坐標(biāo)系262)成像平面坐標(biāo)系若原點(diǎn)q在uv坐標(biāo)系中的坐標(biāo)為(u0,v0)，每一個(gè)像素在x軸與y軸方向上的物理尺寸為dx,dy，則圖像中任意一個(gè)像素在兩個(gè)坐標(biāo)系下的坐標(biāo)關(guān)系：

2)成像平面坐標(biāo)系273)攝像機(jī)坐標(biāo)系攝像機(jī)坐標(biāo)系是以攝像機(jī)為中心制定的坐標(biāo)系。攝像機(jī)成像幾何關(guān)系如圖所示：3)攝像機(jī)坐標(biāo)系284)世界坐標(biāo)系

設(shè)三維空間中任意一點(diǎn)P在世界坐標(biāo)系的齊次坐標(biāo)為[xw,yw,

zw,1]T，在攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)為[xc,yc

,zc,1]T，則攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系：4)世界坐標(biāo)系292.攝像機(jī)小孔成像模型實(shí)際成像系統(tǒng)應(yīng)采用透鏡成像原理，物距u、透鏡焦距f、象距v三者滿足如下關(guān)系：2.攝像機(jī)小孔成像模型303.攝像機(jī)非線性成像模型由于實(shí)際成像系統(tǒng)中存在著各種誤差因素，如透鏡像差和成像平面與光軸不垂直等，這樣像點(diǎn)，光心和物點(diǎn)只同一條直線上的前提假設(shè)不再成立，這表明實(shí)際成像模型并不滿足線性關(guān)系，而是一種非線性關(guān)系。尤其在使用廣角鏡頭時(shí)，在遠(yuǎn)離圖像中心處會(huì)有較大的畸變，如圖所示。像點(diǎn)不再是點(diǎn)P和O的連線與圖像平面的交點(diǎn)，而是有了一定的偏移，這種偏移實(shí)際上就是鏡頭畸變。3.攝像機(jī)非線性成像模型31

324.攝像機(jī)的標(biāo)定1)傳統(tǒng)標(biāo)定方法傳統(tǒng)的標(biāo)定方法采用一個(gè)標(biāo)定塊（高精度的幾何物體）的精確數(shù)據(jù)與攝像機(jī)獲得的標(biāo)定塊圖像數(shù)據(jù)進(jìn)行匹配，求取攝像機(jī)的內(nèi)部參數(shù)。2)自標(biāo)定方法相機(jī)自標(biāo)定是指僅通過(guò)相機(jī)運(yùn)動(dòng)所獲取的圖像序列來(lái)標(biāo)定內(nèi)部參數(shù)，而不需要知道場(chǎng)景中物體的幾何數(shù)據(jù)。4.攝像機(jī)的標(biāo)定335.3.2圖像處理

視覺(jué)傳感系統(tǒng)圖像處理的一般流程如圖所示：5.3.2圖像處理視覺(jué)傳感系統(tǒng)圖像處理的一般流程如341.圖像預(yù)處理圖像預(yù)處理的目的就是增強(qiáng)圖像，以便為后續(xù)過(guò)程做好準(zhǔn)備。

1）圖像平滑2）圖像灰度修正1.圖像預(yù)處理352.圖像分割

圖像分割就是把圖像分成各具特征的區(qū)域并提取出感興趣目標(biāo)的技術(shù)和過(guò)程，這里的特征可以是灰度、顏色、紋理等。圖像分割可被粗略分為三類：(1)基于直方圖的分割技術(shù)（閾值分割、聚類等）;(2)基于鄰域的分割技術(shù)(邊緣檢測(cè)、區(qū)域增長(zhǎng));(3)基于物理性質(zhì)的分割技術(shù)(利用光照特性和物體表面特征等)。2.圖像分割363.特征提取特征提取就是提取目標(biāo)的特征，也是圖像分析的一個(gè)重點(diǎn)。最常見(jiàn)的圖像特征包括：線段、區(qū)域和特征點(diǎn)。點(diǎn)特征提取主要是明顯點(diǎn)，如角點(diǎn)，圓點(diǎn)等。4.圖像識(shí)別

根據(jù)預(yù)定的算法對(duì)圖像進(jìn)行圖像識(shí)別，或區(qū)分出合格與不合格產(chǎn)品，或給出障礙物的分類，或給出定量的檢測(cè)結(jié)果。

3.特征提取375.4智能機(jī)器人的視覺(jué)傳感器視覺(jué)傳感器一般由圖像采集單元、圖像處理單元、圖像處理軟件、通信裝置、I/O接口等構(gòu)成，如圖所示。

5.4智能機(jī)器人的視覺(jué)傳感器視覺(jué)傳感器一般由圖像采集385.4.1照明系統(tǒng)

照明系統(tǒng)的主要任務(wù)是以恰當(dāng)?shù)姆绞綄⒐饩€投射到被測(cè)物體上，從而突出被測(cè)特征部分的對(duì)比度。照明系統(tǒng)直接關(guān)系到檢測(cè)圖像的質(zhì)量，并決定后續(xù)檢測(cè)的復(fù)雜度。5.4.1照明系統(tǒng)395.4.2光學(xué)鏡頭鏡頭是視覺(jué)傳感系統(tǒng)中的重要組件，對(duì)成像質(zhì)量有著關(guān)鍵性的作用。

1．鏡頭的分類根據(jù)焦距能否調(diào)節(jié)，鏡頭可分為定焦距鏡頭和變焦距鏡頭兩大類。5.4.2光學(xué)鏡頭鏡頭是視覺(jué)傳感系統(tǒng)中的重要組件，402．鏡頭的選擇方法鏡頭主要性能指標(biāo)如下：1）最大像場(chǎng)2）清晰場(chǎng)3）有效場(chǎng)在選取鏡頭時(shí)，一般從以下幾個(gè)方面入手進(jìn)行考慮：1）相機(jī)CCD尺寸2）所需視場(chǎng)3）景深4）畸變2．鏡頭的選擇方法413．特殊鏡頭針對(duì)一些特殊的應(yīng)用要求，在設(shè)計(jì)機(jī)器視覺(jué)系統(tǒng)時(shí)，我們還可以選擇一些特殊的光學(xué)鏡頭來(lái)改善檢測(cè)系統(tǒng)的性能，常用的特殊鏡頭有：1）顯微鏡頭2）遠(yuǎn)心鏡頭3）紫外鏡頭和紅外鏡頭3．特殊鏡頭424．接口鏡頭與攝像機(jī)之間的接口有許多不同的類型，工業(yè)攝像機(jī)常用的包括C接口、CS接口、F接口、V接口等。4．接口435.4.3攝像機(jī)

攝像機(jī)是機(jī)器視覺(jué)系統(tǒng)中的一個(gè)核心部件，其功能是將光信號(hào)轉(zhuǎn)變成有序的電信號(hào)。攝像機(jī)以其小巧、可靠、清晰度高等特點(diǎn)在商用與工業(yè)領(lǐng)域都得到了廣泛地使用。1.類型

1)CCD攝像機(jī)和CMOS攝像機(jī)2)線陣式和面陣式攝像機(jī)5.4.3攝像機(jī)攝像機(jī)是機(jī)器視覺(jué)系統(tǒng)中的一個(gè)核心部442.攝像機(jī)的主要性能指標(biāo)

(1)分辨率(2)像素深度(3)最大幀率/行頻(4)曝光方式和快門(mén)速度(5)像元尺寸(6)光譜響應(yīng)特性

2.攝像機(jī)的主要性能指標(biāo)455.4.4圖像處理器

一般嵌入式系統(tǒng)可以采用的處理器類型有：專用集成電路（ASIC）、數(shù)字信號(hào)處理器（DSP）及現(xiàn)場(chǎng)可編程邏輯陣列（FPGA）智能相機(jī)中最常用的處理器是DSP和FPGA。

5.4.4圖像處理器465.5智能機(jī)器人視覺(jué)系統(tǒng)5.5.1智能機(jī)器人視覺(jué)系統(tǒng)構(gòu)成

人眼的深度感知能力（DepthPerception），主要依靠人眼的如下幾種機(jī)能：(1)雙目視差(2)運(yùn)動(dòng)視差(3)眼睛的適應(yīng)性調(diào)節(jié)(4)視差圖像在人腦的融合(5)其它因素。5.5智能機(jī)器人視覺(jué)系統(tǒng)5.5.1智能機(jī)器人視覺(jué)系統(tǒng)構(gòu)成47立體視覺(jué)系統(tǒng)可以劃分為以下六個(gè)模塊：

1.圖像采集2.攝像機(jī)標(biāo)定3.特征提取4.立體匹配5.三維重建6.機(jī)器人視覺(jué)伺服

立體視覺(jué)系統(tǒng)可以劃分為以下六個(gè)模塊：485.5.2單目視覺(jué)單目測(cè)距原理：焦距為f的CCD攝像機(jī)距離地面的高度為h，其俯仰角度為；O0是鏡頭中心；O(x0,y0)是光軸與像平面的交點(diǎn)，可作為像平面坐標(biāo)系原點(diǎn)；R為目標(biāo)物體，假設(shè)被測(cè)點(diǎn)為P，它與鏡頭中心的水平距離為d；P’(x,y)是被測(cè)點(diǎn)P在像平面上的投影，如下圖所示。

5.5.2單目視覺(jué)單目測(cè)距原理：焦距為f的CCD攝像49

50國(guó)際仿人機(jī)器人奧林匹克競(jìng)賽高爾夫比賽項(xiàng)目示意圖如圖所示，機(jī)器人配備了一只CMOS攝像頭。國(guó)際仿人機(jī)器人奧林匹克競(jìng)賽高爾夫比賽項(xiàng)目示意圖如圖所51

根據(jù)上述原理，可以通過(guò)二維圖像獲取深度信息。具體步驟如下：

(1)通過(guò)攝像機(jī)標(biāo)定來(lái)獲取攝像機(jī)的參數(shù)；

(2)實(shí)時(shí)獲取攝像機(jī)的俯仰角；

(3)選取目標(biāo)物體的目標(biāo)像素點(diǎn)。

(4)通過(guò)正運(yùn)動(dòng)學(xué)原理建模獲取機(jī)器人當(dāng)前的攝像頭的實(shí)時(shí)高度；

(5)計(jì)算距離。根據(jù)上述原理，可以通過(guò)二維圖像獲取深度信息。具體步驟525.5.3立體視覺(jué)1.平行式立體視覺(jué)模型

最簡(jiǎn)單的攝像機(jī)配置，如圖所示。在水平方向平行地放置一對(duì)相同的攝像機(jī)，其中基線距B=兩攝像機(jī)的投影中心連線的距離，攝像機(jī)焦距為f。前方空間內(nèi)的點(diǎn)，分別在“左眼”和“右眼”成像，它們的圖像坐標(biāo)分別為，。。

5.5.3立體視覺(jué)1.平行式立體視覺(jué)模型53

54

1)幾何關(guān)系

現(xiàn)兩攝像機(jī)的圖像在同一個(gè)平面上，則特征點(diǎn)P的圖像坐標(biāo)Y坐標(biāo)相同，即，則由三角幾何關(guān)系得到：1)幾何關(guān)系552)性能分析雙目立體成像的視場(chǎng)關(guān)系如下圖所示。

2)性能分析563)立體視覺(jué)測(cè)量過(guò)程

立體視覺(jué)的測(cè)量過(guò)程如下：(1)圖像獲取(2)相機(jī)標(biāo)定(3)圖像預(yù)處理和特征提取(4)立體匹配(5)深度確定3)立體視覺(jué)測(cè)量過(guò)程574)立體視覺(jué)的關(guān)鍵技術(shù)

視差本身的計(jì)算是立體視覺(jué)中最困難的一步工作，它涉及模型分析、攝像機(jī)標(biāo)定、圖像處理、特征選取及特征匹配等過(guò)程。特征匹配的本質(zhì)就是給定一幅圖像中的一點(diǎn)，尋找另一幅圖像中的對(duì)應(yīng)點(diǎn)。它是雙目立體視覺(jué)中最關(guān)鍵、最困難的一步。

4)立體視覺(jué)的關(guān)鍵技術(shù)582.匯聚式立體視覺(jué)模型一般情況下，匯聚式立體視覺(jué)采用如圖所示的任意放置的兩個(gè)攝像機(jī)來(lái)組成雙目立體視覺(jué)系統(tǒng)。2.匯聚式立體視覺(jué)模型593.多目立體視覺(jué)模型多個(gè)攝像機(jī)設(shè)置于多個(gè)視點(diǎn)，觀測(cè)三維對(duì)象的視覺(jué)傳感系統(tǒng)稱為多目視覺(jué)傳感系統(tǒng)。多目視覺(jué)傳感系統(tǒng)能夠在一定程度上彌補(bǔ)雙目視感系統(tǒng)的技術(shù)缺陷，獲取了更多的信息，增加了幾何約束條件，減少了視覺(jué)中立體匹配的難度，但結(jié)構(gòu)上的復(fù)雜性也引入了測(cè)量誤差，降低了測(cè)量效率。3.多目立體視覺(jué)模型605.5.4主動(dòng)視覺(jué)與被動(dòng)視覺(jué)1.被動(dòng)視覺(jué)

視覺(jué)系統(tǒng)接收來(lái)自場(chǎng)景發(fā)射或反射的光能量，形成有關(guān)場(chǎng)景光能量分布函數(shù)，即灰度圖像，然后在這些圖像的基礎(chǔ)上恢復(fù)場(chǎng)景的深度信息。最一般的方法是使用兩個(gè)相隔一定距離的攝像機(jī)同時(shí)獲取場(chǎng)景圖像來(lái)生成深度圖。另一種方法是一個(gè)攝象機(jī)在不同空間位置上獲取兩幅或兩幅以上圖像，通過(guò)多幅圖像的灰度信息和成象幾何來(lái)生成深度圖。5.5.4主動(dòng)視覺(jué)與被動(dòng)視覺(jué)1.被動(dòng)視覺(jué)612.主動(dòng)視覺(jué)

主動(dòng)視覺(jué)強(qiáng)調(diào)以下兩點(diǎn)：(1)視覺(jué)系統(tǒng)應(yīng)具有主動(dòng)感知的能力(2)視覺(jué)系統(tǒng)應(yīng)基于一定的任務(wù)或目的。

2.主動(dòng)視覺(jué)625.5.5移動(dòng)機(jī)器人系統(tǒng)實(shí)例1.雙目視覺(jué)實(shí)例

基于雙目視覺(jué)的移動(dòng)機(jī)器人系統(tǒng)框架圖如圖所示。圖中系統(tǒng)主要分為計(jì)算機(jī)視覺(jué)和機(jī)器人控制兩部分。5.5.5移動(dòng)機(jī)器人系統(tǒng)實(shí)例1.雙目視覺(jué)實(shí)例632.Kinect立體視覺(jué)實(shí)例

2.Kinect立體視覺(jué)實(shí)例645.6視覺(jué)跟蹤

早期機(jī)器視覺(jué)系統(tǒng)主要針對(duì)靜態(tài)場(chǎng)景。移動(dòng)機(jī)器人視覺(jué)技術(shù)必須研究用于動(dòng)態(tài)場(chǎng)景分析的機(jī)器視覺(jué)系統(tǒng)。視覺(jué)跟蹤是根據(jù)給定的一組圖像序列，對(duì)圖像中物體的運(yùn)動(dòng)形態(tài)進(jìn)行分析，從而確定一個(gè)或多個(gè)目標(biāo)在圖像序列中是如何運(yùn)動(dòng)的。

5.6視覺(jué)跟蹤早期機(jī)器視覺(jué)系統(tǒng)主要針對(duì)靜態(tài)場(chǎng)景。移655.6.1視覺(jué)跟蹤系統(tǒng)1.視覺(jué)跟蹤系統(tǒng)構(gòu)成根據(jù)攝像機(jī)與場(chǎng)景目標(biāo)的運(yùn)動(dòng)狀態(tài)，可以分為以下四類：(1)攝像機(jī)靜止/目標(biāo)靜止(2)攝像機(jī)靜止/目標(biāo)運(yùn)動(dòng)(3)攝像機(jī)運(yùn)動(dòng)/目標(biāo)靜止

(4)攝像機(jī)運(yùn)動(dòng)/目標(biāo)運(yùn)動(dòng)5.6.1視覺(jué)跟蹤系統(tǒng)1.視覺(jué)跟蹤系統(tǒng)構(gòu)成66

移動(dòng)機(jī)器人視覺(jué)跟蹤系統(tǒng)流程及結(jié)構(gòu)如圖所示。

移動(dòng)機(jī)器人視覺(jué)跟蹤系統(tǒng)流程及結(jié)構(gòu)如圖所示。672.視覺(jué)跟蹤算法及性能要求對(duì)常用視覺(jué)跟蹤算法進(jìn)行了總結(jié)分類，如圖所示。2.視覺(jué)跟蹤算法及性能要求685.6.2基于對(duì)比度分析的目標(biāo)追蹤

基于對(duì)比度分析的的目標(biāo)追蹤是利用目標(biāo)與背景在對(duì)比度上的差異來(lái)提取、識(shí)別和跟蹤目標(biāo)。

檢測(cè)圖像序列相鄰兩幀之間變化的最簡(jiǎn)單方法是直接比較兩幀圖像對(duì)應(yīng)像素點(diǎn)的灰度值．在這種最簡(jiǎn)單的形式下，幀f(x,y,j)與幀f(x,y,k)之間的變化可用一個(gè)二值差分圖像表示，如圖所示。

5.6.2基于對(duì)比度分析的目標(biāo)追蹤基于對(duì)比度分析的69幀差法的處理流程如圖所示。

幀差法的處理流程如圖所示。705.6.3光流法

光流法是基于運(yùn)動(dòng)檢測(cè)的目標(biāo)跟蹤代表性算法。光流是空間運(yùn)動(dòng)物體在成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度，光流矢量是圖像平面坐標(biāo)點(diǎn)上的灰度瞬時(shí)變化率。光流的計(jì)算是利用圖像序列中的像素灰度分布的時(shí)域變化和相關(guān)性來(lái)確定各自像素位置的運(yùn)動(dòng)。

5.6.3光流法光流法是基于運(yùn)動(dòng)檢測(cè)的目標(biāo)跟蹤代表711)

基本原理給圖像中的每一像素點(diǎn)賦予一個(gè)速度向量，就形成了圖像運(yùn)動(dòng)場(chǎng)。在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上某一點(diǎn)Pi

對(duì)應(yīng)三維物體上某一點(diǎn)P0，這種對(duì)應(yīng)關(guān)系可以由投影方程得到。1)基本原理72

73如上圖所示，設(shè)物體上一點(diǎn)P0相對(duì)于攝像機(jī)具有速度V0，從而在圖像平面上對(duì)應(yīng)的投影點(diǎn)Pi具有速度Vi。在時(shí)間間隔t時(shí)，點(diǎn)P0運(yùn)動(dòng)了V0t，圖像點(diǎn)Pi運(yùn)動(dòng)了Vit。速度可由下式表示：如上圖所示，設(shè)物體上一點(diǎn)P0相對(duì)于攝像機(jī)具有速度V0742)特點(diǎn)光流法能夠很好的用于二維運(yùn)動(dòng)估計(jì)，也可以同時(shí)給出全局點(diǎn)的運(yùn)動(dòng)估計(jì)，但其本身還存在著一些問(wèn)題：需要多次迭代，運(yùn)算速度慢，不利于實(shí)時(shí)應(yīng)用。

2)特點(diǎn)755.6.4基于匹配的目標(biāo)跟蹤1.基本原理

基于匹配的目標(biāo)跟蹤算法需要提取目標(biāo)的特征，并在每一幀中尋找該特征。尋找的過(guò)程就是特征匹配過(guò)程。目標(biāo)跟蹤中用到的特征主要有幾何形狀、子空間特征、外形輪廓和特征點(diǎn)等。其中，特征點(diǎn)是匹配算法中常用的特征。特征點(diǎn)的提取算法很多，如KanadeLucasTomasi（KLT）算法、Harris算法、SIFT（尺度不變特征變換）算法以及SURF算法等。5.6.4基于匹配的目標(biāo)跟蹤1.基本原理762.算法步驟大多數(shù)特征跟蹤算法的執(zhí)行都遵循如圖5.40所示的目標(biāo)預(yù)測(cè)一特征檢測(cè)一模板匹配一更新四個(gè)步驟的閉環(huán)結(jié)構(gòu)。2.算法步驟775.6.5Meanshift目標(biāo)跟蹤1．基本原理

Meanshift算法稱為均值偏移方法，其基本思想是對(duì)相似度概率密度函數(shù)或者后驗(yàn)概率密度函數(shù)采用直接的連續(xù)估計(jì)。MeanShift跟蹤算法采用彩色直方圖作為匹配特征，反復(fù)不斷地把數(shù)據(jù)點(diǎn)朝向MeanShift矢量方向進(jìn)行移動(dòng)，最終收斂到某個(gè)概率密度函數(shù)的極值點(diǎn)。核函數(shù)是MeanShift算法的核心，可以通過(guò)尺度空間差的局部最大化來(lái)選擇核尺度，若采用高斯差分計(jì)算尺度空間差，則得到高斯差分MeanShift算法。5.6.5Meanshift目標(biāo)跟蹤1．基本原理782.算法步驟

與粒子濾波跟蹤不同，MeanShift算法屬于基于特征模板匹配的確定性跟蹤方法。顏色分布特征對(duì)非剛體目標(biāo)和目標(biāo)旋轉(zhuǎn)形變保持較強(qiáng)的魯棒性，因此常被選擇作為目標(biāo)模板的描述。在起始圖像開(kāi)始，通過(guò)手工選擇方式確定運(yùn)動(dòng)目標(biāo)的特征模板，并計(jì)算該搜索窗口的核函數(shù)加權(quán)直方圖分布。2.算法步驟79假定目標(biāo)模板為以x0為中心的區(qū)域A，顏色分布離散為m

bins，將像素xi處的像素顏色值量化并將其分配到相應(yīng)的bin，則對(duì)于中心在x0的目標(biāo)模板的顏色直方圖分布表示為，其中：式中，a表示區(qū)域A的面積，為A中的點(diǎn)集，另外，為直方圖函數(shù)，核函數(shù)k(.)為單調(diào)遞減的凸函數(shù)，用來(lái)為目標(biāo)區(qū)域內(nèi)的n個(gè)像元分配權(quán)值系數(shù)，常用的核為Epanechnikov核，C為規(guī)范化常數(shù)，保證。假定目標(biāo)模板為以x0為中心的區(qū)域A，顏色分布離散為m80

同樣方法，在當(dāng)前圖像中，中心為y的候選目標(biāo)區(qū)域D的顏色直方圖分布可以描述為，，其中：

同樣方法，在當(dāng)前圖像中，中心為y的候選目標(biāo)區(qū)域D的顏81在實(shí)際跟蹤中，參考模板與候選模板的相似關(guān)系通常利用顏色概率分布P與q(y)之間的Bhattacharyya系數(shù)來(lái)度量，即：

則Bhattacharyya距離d可通過(guò)下式計(jì)算：

在實(shí)際跟蹤中，參考模板與候選模板的相似關(guān)系通常利用顏82MeanShift算法基于兩個(gè)分布的相似度(即Bhattacharyya系數(shù))最大化準(zhǔn)則，使搜索窗口沿梯度方向向目標(biāo)真實(shí)位置移動(dòng)。在初始時(shí)刻，確定初始幀中目標(biāo)的窗口位置x0，以此窗口作為特征模板，利用上式計(jì)算其顏色直方圖分布。在開(kāi)始跟蹤的后續(xù)各時(shí)刻，MeanShift跟蹤算法迭代過(guò)程如下：Step1：以上一時(shí)刻的跟蹤中心作為當(dāng)前幀候選目標(biāo)區(qū)域的中心，計(jì)算顏色直方圖分布，估計(jì)其與特征模板的Bhattacharyya系數(shù)。Step2：計(jì)算候選區(qū)域內(nèi)各像素點(diǎn)的權(quán)值：MeanShift算法基于兩個(gè)分布的相似度(即Bh83Step3：計(jì)算目標(biāo)的新位置：Step3：計(jì)算目標(biāo)的新位置：84Step4：計(jì)算新位置的顏色直方圖分布，并估計(jì)其與特征模板的Bhattacharyya系數(shù)。Step5：判斷，若，則

。Step6：判斷。若，則跳出循環(huán)；否則，令

，返回Step1。Step4：計(jì)算新位置的顏色直方圖分布853.算法特點(diǎn)(1)MeanShift算法法就是沿著概率密度的梯度方向進(jìn)行迭代移動(dòng)，最終達(dá)到密度分布的最值位置。

(2)MeanShift算法基于特征模板的直方圖，假定了特征直方圖足夠確定目標(biāo)的位置，并且足夠穩(wěn)健，對(duì)其他運(yùn)動(dòng)不敏感。該方法可以避免目標(biāo)形狀、外觀或運(yùn)動(dòng)的復(fù)雜建模，建立相似度的統(tǒng)計(jì)測(cè)量和連續(xù)優(yōu)化之間的聯(lián)系。3.算法特點(diǎn)865.7主動(dòng)視覺(jué)

主動(dòng)視覺(jué)(activevision)理論最初由賓西法尼亞大學(xué)的R.Bajcsy于1982年提出。主動(dòng)視覺(jué)強(qiáng)調(diào)在視覺(jué)信息獲取過(guò)程中，應(yīng)能主動(dòng)地調(diào)整攝像機(jī)的參數(shù)、與環(huán)境動(dòng)態(tài)交互，根據(jù)具體要求分析有選擇地得到視覺(jué)數(shù)據(jù)。顯然，主動(dòng)視覺(jué)可以更有效地理解視覺(jué)環(huán)境.5.7主動(dòng)視覺(jué)主動(dòng)視覺(jué)(activevision871.主動(dòng)視覺(jué)的控制機(jī)構(gòu)1)根據(jù)環(huán)境控制視覺(jué)傳感器2)根據(jù)環(huán)境控制光源2.主動(dòng)視覺(jué)與傳感器融合1)競(jìng)爭(zhēng)融合2)互補(bǔ)融合3.主動(dòng)視覺(jué)的實(shí)時(shí)性1)實(shí)時(shí)視覺(jué)2)實(shí)時(shí)視覺(jué)系統(tǒng)的構(gòu)成方法1.主動(dòng)視覺(jué)的控制機(jī)構(gòu)885.8視覺(jué)伺服

視覺(jué)伺服是利用機(jī)器視覺(jué)的原理，直接基于圖像反饋信息，快速進(jìn)行圖像處理，在盡量短的時(shí)間內(nèi)給出控制信號(hào)，構(gòu)成機(jī)器人的位置閉環(huán)控制。5.8視覺(jué)伺服視覺(jué)伺服是利用機(jī)器視覺(jué)的原理，直接基于895.8.1視覺(jué)伺服系統(tǒng)的分類1.根據(jù)攝像機(jī)的數(shù)目分類1)單目視覺(jué)2)雙目視覺(jué)3)多目視覺(jué)2.根據(jù)攝像機(jī)放置位置分類1)固定攝像機(jī)系統(tǒng)2)手眼視覺(jué)5.8.1視覺(jué)伺服系統(tǒng)的分類1.根據(jù)攝像機(jī)的數(shù)目分類903.根據(jù)誤差信號(hào)分類1)基于位置的視覺(jué)伺服2)基于圖像的視覺(jué)伺服3)混合視覺(jué)伺服方法3.根據(jù)誤差信號(hào)分類915.8.2視覺(jué)伺服的技術(shù)問(wèn)題

圖像處理，包括特征的選擇及匹配，仍然是視覺(jué)伺服在實(shí)際應(yīng)用中的瓶頸問(wèn)題。而對(duì)于特征的選擇和匹配，如何提高其魯棒性仍然是面臨的主要問(wèn)題。多視覺(jué)信息融合的方法以及自動(dòng)特征選擇的方法具有良好的發(fā)展前景。視覺(jué)伺服所面臨的主要問(wèn)題主要有以下兩方面：1.穩(wěn)定性2.實(shí)時(shí)性5.8.2視覺(jué)伺服的技術(shù)問(wèn)題圖像處理，包括特征的選925.9視覺(jué)導(dǎo)航1.被動(dòng)視覺(jué)導(dǎo)航被動(dòng)視覺(jué)導(dǎo)航是依賴于可見(jiàn)光或不可見(jiàn)光成像技術(shù)的方法。CCD相機(jī)作為被動(dòng)成像的典型傳感器，廣泛應(yīng)用于各種視覺(jué)導(dǎo)航系統(tǒng)中。2.主動(dòng)視覺(jué)導(dǎo)航

主動(dòng)視覺(jué)導(dǎo)航是利用激光雷達(dá)、聲納等主動(dòng)探測(cè)方式進(jìn)行環(huán)境感知的導(dǎo)航方法。例如，1997年著陸的火星探路者號(hào)使用編碼激光條紋技術(shù)進(jìn)行前視距離探測(cè)，可靠地解決了未知環(huán)境中的障礙識(shí)別問(wèn)題。5.9視覺(jué)導(dǎo)航1.被動(dòng)視覺(jué)導(dǎo)航935.9.2視覺(jué)導(dǎo)航中的攝像機(jī)數(shù)目1.單目視覺(jué)導(dǎo)航單目視覺(jué)的特點(diǎn)是結(jié)構(gòu)和數(shù)據(jù)處理較簡(jiǎn)單，研究的方向集中在