智能機(jī)器人原理與應(yīng)用 課件 第5章 智能機(jī)器人的視覺

北京信息科技大學(xué)自動(dòng)化學(xué)院智能機(jī)器人原理與應(yīng)用“智能檢測(cè)技術(shù)與模式識(shí)別”研究所第五章

智能機(jī)器人的視覺機(jī)器人的視覺功能在于識(shí)別環(huán)境、理解人的意圖并完成工作任務(wù)。機(jī)器人的視覺技術(shù)包括：給定圖像的檢測(cè)與跟蹤、多目視覺與距離測(cè)量、時(shí)序圖像檢測(cè)運(yùn)動(dòng)并跟蹤、主動(dòng)視覺等。移動(dòng)機(jī)器人通常利用立體視覺恢復(fù)周圍環(huán)境的三維信息、識(shí)別道路、判斷障礙物，實(shí)現(xiàn)路徑規(guī)劃、自主導(dǎo)航等。5.1.1

理論體系5.1機(jī)器視覺基礎(chǔ)理論1982年，馬爾首次從信息處理的角度綜合了圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)及臨床精神病學(xué)的研究成果，提出了一個(gè)較為完善的視覺系統(tǒng)框架。他認(rèn)為對(duì)視覺系統(tǒng)的研究應(yīng)分為3個(gè)層次，即計(jì)算理論層、表達(dá)與算法層和硬件實(shí)現(xiàn)層，如圖5.1所示。圖5.1馬爾視覺理論的3個(gè)層次及其所對(duì)應(yīng)的內(nèi)容視覺系統(tǒng)的3個(gè)層次如下所示。(1)計(jì)算理論層是視覺信息處理的最高層次，是抽象的計(jì)算理論層次，它回答系統(tǒng)各個(gè)部分的計(jì)算目的和計(jì)算策略。(2)表達(dá)與算法層是要進(jìn)一步回答如何表達(dá)視覺系統(tǒng)各部分的輸入、輸出和內(nèi)部的信息，以及實(shí)現(xiàn)計(jì)算理論所規(guī)定目標(biāo)的算法。(3)硬件實(shí)現(xiàn)層要回答的是“如何用硬件實(shí)現(xiàn)各種算法”。5.1機(jī)器視覺基礎(chǔ)理論機(jī)器視覺研究可以分為如下五大研究?jī)?nèi)容。1.低層視覺低層視覺的主要研究任務(wù)是采用大量的圖像處理技術(shù)和算法，對(duì)輸入的原始圖像進(jìn)行處理。2.中層視覺中層視覺的主要研究任務(wù)是恢復(fù)場(chǎng)景的深度、表面法線方向、輪廓等有關(guān)場(chǎng)景的2.5維信息。3.高層視覺高層視覺的主要研究任務(wù)是在以物體為中心的坐標(biāo)系中，在原始輸入圖像、圖像基本特征、2.5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體的三維描述，識(shí)別三維物體并確定物體的位置和方向。另外，主動(dòng)視覺(activevision)涵蓋了上述各個(gè)層次的研究?jī)?nèi)容。4.輸入設(shè)備輸入設(shè)備通過(guò)光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對(duì)周圍場(chǎng)景或物體進(jìn)行探測(cè)成象，得到關(guān)于場(chǎng)景或物體的二維或三維數(shù)字化圖像。5.體系結(jié)構(gòu)研究機(jī)器視覺從設(shè)計(jì)到實(shí)現(xiàn)中涉及的信息流結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)等一系列相關(guān)的問(wèn)題。5.1機(jī)器視覺基礎(chǔ)理論5.1.2

關(guān)鍵問(wèn)題機(jī)器視覺系統(tǒng)的主要困難體現(xiàn)在以下幾個(gè)方面。1.圖像多義性三維場(chǎng)景被投影為二維圖像，深度和不可見部分的信息被丟失。不同形狀的三維物體投影在圖像平面上可能產(chǎn)生相同圖像，如圖5.2所示。不同角度獲取的同一物體圖像可能存在很大差異。2.環(huán)境因素影響照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對(duì)獲取的圖像有影響，幾個(gè)立方體構(gòu)成的多義性圖像如圖5.3所示。圖5.2不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像圖5.3幾個(gè)立方體構(gòu)成的多義性圖像5.1機(jī)器視覺基礎(chǔ)理論3.知識(shí)導(dǎo)引在不同的知識(shí)導(dǎo)引下，同樣的圖像將會(huì)產(chǎn)生不同的識(shí)別結(jié)果。不同的知識(shí)導(dǎo)引也可能產(chǎn)生不同的空間關(guān)系。4.大數(shù)據(jù)灰度圖像、彩色圖像、高清圖像、深度圖像、圖像序列的信息量會(huì)非常大，需要很大的存貯空間和計(jì)算處理能力。5.2成像幾何基礎(chǔ)成像系統(tǒng)即是將三維場(chǎng)景變換成二維灰度或彩色圖像。這種變換可以用一個(gè)從三維空間到二維空間的映射來(lái)表示。(5.1)5.2成像幾何基礎(chǔ)5.2.1

基本術(shù)語(yǔ)簡(jiǎn)單的三維圖像獲取過(guò)程如圖5.4所示。圖5.4三維圖形獲取過(guò)程1.

投影一般地，將n維的點(diǎn)變換成小于n維的點(diǎn)稱為投影，平面幾何投影的分類如圖5.5所示。三維場(chǎng)景投影將三維空間的點(diǎn)變換成二維圖像中的點(diǎn)。圖5.5平面幾何投影分類5.2成像幾何基礎(chǔ)2.

投影中心3.

投影線與投影面如圖5.6(a)所示，投影線回聚于投影中心(COP)。對(duì)于視覺系統(tǒng)，投影中心也稱為視點(diǎn)或觀察點(diǎn)。從投影中心向物體上各點(diǎn)發(fā)出的射線稱為投影線，投影面是物體投影所在的假想面。如圖5.6(b)所示，投影線可以是直線或曲線。投影面通常是平面，但有的場(chǎng)合也應(yīng)用曲面作為投影面。圖5.6（a）

投影過(guò)程中的投影線與投影面圖5.6（b）

投影過(guò)程中的投影線與投影面4.投影變換投影變換是將一種投影點(diǎn)的坐標(biāo)變換為另一種投影點(diǎn)的坐標(biāo)的過(guò)程。三維空間到二維空間的兩種常用映射分別是透視投影變換和平行投影變換。(1)透視投影。如圖5.7(a)所示，透視投影的投影中心與投影平面之間的距離為有限遠(yuǎn)。(2)平行投影。如圖5.7(b)所示，投影中心與投影平面之間的距離為無(wú)限遠(yuǎn)。可見，平行投影是透視投影的極限狀態(tài)。5.2成像幾何基礎(chǔ)圖5.7透視投影變換和平行投影變換5.2成像幾何基礎(chǔ)5.2.2透視投影1.透視現(xiàn)象由于觀察距離及方位引起視覺的不同反應(yīng)，就是透視現(xiàn)象。利用透視規(guī)律，可以正確表現(xiàn)出物體之間的遠(yuǎn)近層次關(guān)系，使觀察者獲得立體的空間感覺，圖5.8所示現(xiàn)象正體現(xiàn)了這一點(diǎn)。圖5.8透視現(xiàn)象5.2成像幾何基礎(chǔ)2.透視投影成像模型如圖5.10所示，透視投影可以用針孔成像模型來(lái)模擬，其特點(diǎn)是所有來(lái)自場(chǎng)景的光線均通過(guò)一個(gè)投影中心(針孔中心)。透視投影倒立成像的幾何示意圖如圖5.11所示，經(jīng)過(guò)投影中心且垂直于圖像平面(成像平面)的直線稱為投影軸或光軸。圖5.10針孔成像模型圖5.11透視投影倒立成像幾何示意圖5.2成像幾何基礎(chǔ)5.2.3平行投影平行投影也稱為正交投影，是指用平行于光軸的光將場(chǎng)景投射到圖像平面上。如圖5.12所示，正交投影是透視投影的一個(gè)特例，當(dāng)透視投影模型的焦距f很大且物體距投影中心很遠(yuǎn)時(shí)，透視投影就可以用正交投影來(lái)近似。圖5.12正交投影幾何示意圖5.2成像幾何基礎(chǔ)5.2.4視覺系統(tǒng)坐標(biāo)變換1.坐標(biāo)系在幾何學(xué)中，為了用數(shù)字描述空間物體的大小、形狀和位置，必須引進(jìn)笛卡兒坐標(biāo)系。用戶總是習(xí)慣于在自己熟悉的坐標(biāo)系中描述客體或繪制圖形，這個(gè)用戶定義客體的坐標(biāo)系稱為用戶坐標(biāo)系，或稱為客體坐標(biāo)系。用戶坐標(biāo)系、規(guī)格化坐標(biāo)系和設(shè)備坐標(biāo)系三者之間的關(guān)系如圖5.13所示。圖5.13三種坐標(biāo)之間的關(guān)系5.2成像幾何基礎(chǔ)機(jī)器視覺系統(tǒng)中通常涉及以下幾種坐標(biāo)系。(1)

像素坐標(biāo)：表示圖像陣列中圖像像素的位置。(2)

圖像平面坐標(biāo)：表示場(chǎng)景點(diǎn)在圖像平面上的投影。(3)

攝像機(jī)坐標(biāo)：即以觀察者為中心的坐標(biāo)，將場(chǎng)景點(diǎn)表示成以觀察者為中心的數(shù)據(jù)形式。(4)

場(chǎng)景坐標(biāo)：也稱作絕對(duì)坐標(biāo)(或世界坐標(biāo))，用于表示場(chǎng)景點(diǎn)的絕對(duì)坐標(biāo)。5.2成像幾何基礎(chǔ)旋轉(zhuǎn)變化空間內(nèi)物體繞x、y、z軸旋轉(zhuǎn)角度θ，對(duì)應(yīng)的變換矩陣Ti可表示為：考慮對(duì)笛卡爾空間內(nèi)點(diǎn)P分別進(jìn)行旋轉(zhuǎn)、平行移動(dòng)、放大、縮小，對(duì)應(yīng)的射影空間內(nèi)P[p]→P’[p’]的變換操作可用4×4矩陣T來(lái)作為P的齊次坐標(biāo)的線性變換：p’=pT（5.2）式中P’[p’]表示P點(diǎn)變換后，對(duì)應(yīng)在射影空間內(nèi)的點(diǎn)。2.齊次坐標(biāo)2）平移變換5.2成像幾何基礎(chǔ)空間內(nèi)物體在x、y、z方向平移（h，k，l），對(duì)應(yīng)的變換矩陣T可表示為：(5.4)3）擴(kuò)大、縮小變換空間內(nèi)物體以原點(diǎn)為中心，在x、y、z軸方向擴(kuò)大或者縮小mx、my、mz倍，或者全體的1/mw倍，則對(duì)應(yīng)的變換矩陣Ti可表示為：5.2.5射影變換5.2成像幾何基礎(chǔ)

圖5.15配景映射5.2成像幾何基礎(chǔ)三維空間的坐標(biāo)系規(guī)定為現(xiàn)實(shí)世界坐標(biāo)，稱為實(shí)坐標(biāo)或世界坐標(biāo)。在三維空間中，三維物體的投影和圖像化過(guò)程如圖5.16所示。圖5.16三維空間內(nèi)物體圖像的形成過(guò)程5.3圖像的獲取和處理5.3.1成像模型成像系統(tǒng)的建模是建立攝像機(jī)成像面坐標(biāo)與客觀三維場(chǎng)景的對(duì)應(yīng)關(guān)系。1.成像坐標(biāo)變換成像變換涉及不同坐標(biāo)系之間的變換，從三維場(chǎng)景到數(shù)字圖像的獲得所經(jīng)歷成像的變換如圖5.17所示：圖5.17坐標(biāo)系轉(zhuǎn)換關(guān)系圖5.3圖像的獲取和處理1)圖像坐標(biāo)系2)成像平面坐標(biāo)系攝像機(jī)采集的圖像以MxN的二維數(shù)組存儲(chǔ)的。如圖所示，在圖像上定義的直角坐標(biāo)系中，坐標(biāo)系原點(diǎn)位于圖像的左上角，圖像坐標(biāo)系的坐標(biāo)(u,v)是以像素為單位的坐標(biāo)。圖5.18圖像坐標(biāo)系uv若原點(diǎn)q在uv坐標(biāo)系中的坐標(biāo)為(u0,v0)，每一個(gè)像素在x軸與y軸方向上的物理尺寸為dx,dy，則圖像中任意一個(gè)像素在兩個(gè)坐標(biāo)系下的坐標(biāo)關(guān)系如下。（5.9）（5.10）5.3圖像的獲取和處理3)攝像機(jī)坐標(biāo)系4)世界坐標(biāo)系攝像機(jī)坐標(biāo)系是以攝像機(jī)為中心制定的坐標(biāo)系。攝像機(jī)成像幾何關(guān)系如圖5.19所示。設(shè)三維空間中任意一點(diǎn)P在世界坐標(biāo)系的齊次坐標(biāo)為[xw,yw,zw,1]T，在攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)為[xc,yc,zc,1]T，則攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系：（5.12）

圖5.19攝像機(jī)成像與攝像機(jī)為中心制定的坐標(biāo)系的幾何關(guān)系5.3圖像的獲取和處理2.攝像機(jī)小孔成像模型實(shí)際成像系統(tǒng)應(yīng)采用透鏡成像原理，物距u、透鏡焦距f、像距v三者滿足如右關(guān)系。3.攝像機(jī)非線性成像模型由于實(shí)際成像系統(tǒng)中存在著各種誤差因素，如透鏡像差和成像平面與光軸不垂直等，這樣像點(diǎn)、光心和物點(diǎn)在同一條直線上的前提假設(shè)不再成立，這表明實(shí)際成像模型并不滿足線性關(guān)系，而是一種非線性關(guān)系。尤其在使用廣角鏡頭時(shí)，遠(yuǎn)離圖像中心處會(huì)有較大的畸變，如圖5.20所示。像點(diǎn)不再是點(diǎn)P和O的連線與圖像平面的交點(diǎn)，而是有了一定的偏移，這種偏移實(shí)際上就是鏡頭畸變。圖5.20鏡頭畸變示意圖5.3圖像的獲取和處理4.攝像機(jī)的標(biāo)定1)傳統(tǒng)標(biāo)定方法傳統(tǒng)的標(biāo)定方法采用一個(gè)標(biāo)定塊（高精度的幾何物體）的精確數(shù)據(jù)與攝像機(jī)獲得的標(biāo)定塊圖像數(shù)據(jù)進(jìn)行匹配，求取攝像機(jī)的內(nèi)部參數(shù)。2)自標(biāo)定方法相機(jī)自標(biāo)定是指僅通過(guò)相機(jī)運(yùn)動(dòng)所獲取的圖像序列來(lái)標(biāo)定內(nèi)部參數(shù)，而不需要知道場(chǎng)景中物體的幾何數(shù)據(jù)。5.3.2圖像處理5.3圖像的獲取和處理視覺傳感系統(tǒng)的圖像處理流程如圖5.21所示，圖像處理算法上通常應(yīng)考慮算法的實(shí)時(shí)性、算法的精確性與算法的穩(wěn)定性。圖5.21視覺傳感系統(tǒng)圖像處理的一般流程1.圖像預(yù)處理圖像預(yù)處理的目的就是增強(qiáng)圖像，以便為后續(xù)過(guò)程做好準(zhǔn)備。但由于圖像千差萬(wàn)別，還沒(méi)有一種通用的處理方案，只能根據(jù)實(shí)際圖像的質(zhì)量來(lái)調(diào)整。具體處理方法多為圖像平滑(高通或低通濾波)，圖像灰度修正(如直方圖均衡化、灰度拉伸、同態(tài)濾波方法)等。1)圖像平滑2)圖像灰度修正5.3圖像的獲取和處理2.圖像分割圖像分割就是把圖像分成各具特征的區(qū)域，并提取出感興趣目標(biāo)的技術(shù)和過(guò)程，這里的特征可以是灰度、顏色、紋理等。圖像分割可被粗略分為3類。(1)基于直方圖的分割技術(shù)(閾值分割、聚類等)。(2)基于鄰域的分割技術(shù)(邊緣檢測(cè)、區(qū)域增長(zhǎng))。(3)基于物理性質(zhì)的分割技術(shù)(利用光照特性和物體表面特征等)。3.特征提取特征提取就是提取目標(biāo)的特征，也是圖像分析的一個(gè)重點(diǎn)。最常見的圖像特征包括：線段、區(qū)域和特征點(diǎn)。點(diǎn)特征提取主要是明顯點(diǎn)，如角點(diǎn)，圓點(diǎn)等。4.圖像識(shí)別根據(jù)預(yù)定的算法對(duì)圖像進(jìn)行圖像識(shí)別，或區(qū)分出合格與不合格產(chǎn)品，或給出障礙物的分類，或給出定量的檢測(cè)結(jié)果。

5.4智能機(jī)器人的視覺傳感器視覺傳感器將圖像傳感器、數(shù)字處理器、通信模塊和其他外設(shè)集中到一個(gè)單一的相機(jī)內(nèi)，獨(dú)立地完成預(yù)先設(shè)定的圖像處理和分析任務(wù)。視覺傳感器一般由圖像采集單元、圖像處理單元、圖像處理軟件、通信裝置、I/O接口等構(gòu)成，視覺傳感器的構(gòu)成如圖5.23所示。圖5.23視覺傳感器構(gòu)成5.4智能機(jī)器人的視覺傳感器5.4.1照明系統(tǒng)照明系統(tǒng)的主要任務(wù)是以恰當(dāng)?shù)姆绞綄⒐饩€投射到被測(cè)物體上，從而突出被測(cè)特征部分的對(duì)比度。照明系統(tǒng)直接關(guān)系到檢測(cè)圖像的質(zhì)量，并決定后續(xù)檢測(cè)的復(fù)雜度。好的照明系統(tǒng)設(shè)計(jì)能夠改善整個(gè)系統(tǒng)分辨率，簡(jiǎn)化軟件運(yùn)算，直接關(guān)系到整個(gè)系統(tǒng)的成敗。5.4.1照明系統(tǒng)1.鏡頭的分類根據(jù)焦距能否調(diào)節(jié)，鏡頭可分為定焦距鏡頭和變焦距鏡頭兩大類。2.鏡頭的選擇方法1)鏡頭的主要性能指標(biāo)1）最大像場(chǎng)2）清晰場(chǎng)3）有效場(chǎng)2)選取鏡頭的考慮內(nèi)容1）相機(jī)CCD尺寸2）所需視場(chǎng)3）景深4）畸變3．特殊鏡頭針對(duì)一些特殊的應(yīng)用要求，設(shè)計(jì)機(jī)器視覺系統(tǒng)時(shí)，還可以選擇一些特殊的光學(xué)鏡頭來(lái)改善檢測(cè)系統(tǒng)的性能，常用的特殊鏡頭如下。1）顯微鏡頭2）遠(yuǎn)心鏡頭3）紫外鏡頭和紅外鏡頭4．接口鏡頭與攝像機(jī)之間的接口有許多不同的類型，工業(yè)攝像機(jī)常用的包括C接口、CS接口、F接口、V接口等。5.4智能機(jī)器人的視覺傳感器5.4智能機(jī)器人的視覺傳感器5.4.3攝像機(jī)攝像機(jī)是機(jī)器視覺系統(tǒng)中的一個(gè)核心部件，其功能是將光信號(hào)轉(zhuǎn)變成有序的電信號(hào)。攝像機(jī)以小巧、可靠、清晰度高等特點(diǎn)，在商用與工業(yè)領(lǐng)域都得到了廣泛使用。1.類型1)CCD攝像機(jī)和CMOS攝像機(jī)2)線陣式和面陣式攝像機(jī)2.攝像機(jī)的主要性能指標(biāo)1)分辨率2)像素深度3)最大幀率/行頻4)曝光方式和快門速度6)光譜響應(yīng)特性5.4智能機(jī)器人的視覺傳感器5.4.4圖像處理器一般嵌入式系統(tǒng)可以采用的處理器類型有專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)及現(xiàn)場(chǎng)可編程邏輯陣列(FPGA)。智能相機(jī)中最常用的處理器是DSP和FPGA。5.5智能機(jī)器人的視覺系統(tǒng)5.5.1智能機(jī)器人視覺系統(tǒng)構(gòu)成人眼的深度感知能力(depthperception)主要依靠人眼的如下幾種機(jī)能。(1)雙目視差(2)運(yùn)動(dòng)視差(3)眼睛的適應(yīng)性調(diào)節(jié)(4)視差圖像在人腦的融合(5)其他因素。常見的有機(jī)器人視覺系統(tǒng)有單目視覺、雙目視覺以及多目視覺等。立體視覺系統(tǒng)可以劃分為圖像采集、攝像機(jī)標(biāo)定、特征提取、立體匹配、三維重建和機(jī)器人視覺伺服6個(gè)模塊。1.圖像采集2.攝像機(jī)標(biāo)定3.特征提取4.立體匹配5.三維重建6.機(jī)器人視覺伺服5.5智能機(jī)器人的視覺系統(tǒng)5.5.2單目視覺如圖5.24所示，焦距為f的CCD攝像機(jī)距離地面的高度為h，其俯仰角度為

；O0是鏡頭中心；O(x0,y0)是光軸與像平面的交點(diǎn)，可作為像平面坐標(biāo)系原點(diǎn)；R為目標(biāo)物體，假設(shè)被測(cè)點(diǎn)為P，它與鏡頭中心的水平距離為d；P’(x,y)是被測(cè)點(diǎn)P在像平面上的投影，如下圖所示。圖5.24單目測(cè)距原理5.5智能機(jī)器人的視覺系統(tǒng)圖5.25為國(guó)際仿人機(jī)器人奧林匹克競(jìng)賽高爾夫比賽項(xiàng)目示意圖，機(jī)器人配備了一只CMOS攝像頭。根據(jù)上述原理，可以通過(guò)二維圖像獲取深度信息。具體步驟如下。(1)通過(guò)攝像機(jī)標(biāo)定獲取攝像機(jī)的參數(shù)。(2)實(shí)時(shí)獲取攝像機(jī)的俯仰角。(3)選取目標(biāo)物體的目標(biāo)像素點(diǎn)。(4)通過(guò)正運(yùn)動(dòng)學(xué)原理建模獲取機(jī)器人當(dāng)前攝像頭的實(shí)時(shí)高度。(5)計(jì)算距離。圖5.25仿人機(jī)器人高爾夫比賽示意圖5.5智能機(jī)器人的視覺系統(tǒng)5.5.3立體視覺雙目視覺系統(tǒng)用兩臺(tái)性能相同、位置相對(duì)固定的圖像傳感器獲取同一景物的兩幅圖像，通過(guò)“視差”來(lái)確定場(chǎng)景的深度信息，可實(shí)現(xiàn)場(chǎng)景的三維重構(gòu)。1.平行式立體視覺模型最簡(jiǎn)單的攝像機(jī)配置如圖5.26所示。在水平方向平行地放置一對(duì)相同的攝像機(jī)，其中基線距B=兩攝像機(jī)的投影中心連線的距離，攝像機(jī)焦距為f。前方空間內(nèi)的點(diǎn)，分別在“左眼”和“右眼”成像，它們的圖像坐標(biāo)分別為，。

圖5.26雙目立體成像原理5.5智能機(jī)器人的視覺系統(tǒng)1)幾何關(guān)系現(xiàn)兩攝像機(jī)的圖像在同一個(gè)平面上，則特征點(diǎn)P的圖像坐標(biāo)Y坐標(biāo)相同，即，則由三角幾何關(guān)系得到：(5.27)2)性能分析雙目立體成像的視場(chǎng)關(guān)系如圖5.27所示。圖5.27雙目立體成像的視場(chǎng)關(guān)系5.5智能機(jī)器人的視覺系統(tǒng)3)立體視覺測(cè)量過(guò)程從上面的簡(jiǎn)化公式可以看出，雙目立體視覺方法的原理較為簡(jiǎn)單，計(jì)算公式也不復(fù)雜。立體視覺的測(cè)量過(guò)程如下。(1)圖像獲取。(2)相機(jī)標(biāo)定。(3)圖像預(yù)處理和特征提取。(4)立體匹配。(5)深度確定。4)立體視覺的關(guān)鍵技術(shù)視差本身的計(jì)算是立體視覺中最困難的一步工作，它涉及模型分析、攝像機(jī)標(biāo)定、圖像處理、特征選取及特征匹配等過(guò)程。特征匹配的本質(zhì)就是給定一幅圖像中的一點(diǎn)，尋找另一幅圖像中的對(duì)應(yīng)點(diǎn)。5.5智能機(jī)器人的視覺系統(tǒng)2.匯聚式立體視覺模型一般情況下，匯聚式立體視覺采用圖5.28所示的任意放置的兩個(gè)攝像機(jī)來(lái)組成雙目立體視覺系統(tǒng)。圖5.28匯聚式立體視覺模型3.多目立體視覺模型多個(gè)攝像機(jī)設(shè)置于多個(gè)視點(diǎn)，觀測(cè)三維對(duì)象的視覺傳感系統(tǒng)稱為多目視覺傳感系統(tǒng)。在生活中，人們對(duì)物體的多視角觀察就是多目視感系統(tǒng)的一個(gè)生動(dòng)實(shí)例。5.5智能機(jī)器人的視覺系統(tǒng)5.5.4主動(dòng)視覺與被動(dòng)視覺1.雙目視覺實(shí)例圖5.29所示是一個(gè)基于雙目視覺的移動(dòng)機(jī)器人系統(tǒng)框架圖。圖中的系統(tǒng)主要分為計(jì)算機(jī)視覺和機(jī)器人控制兩部分。圖5.30所示是加拿大機(jī)器人博士公司生產(chǎn)的

型具有2個(gè)云臺(tái)式高清光學(xué)變焦攝影鏡頭的無(wú)線智能機(jī)器人開發(fā)平臺(tái)。圖5.29移動(dòng)機(jī)器人系統(tǒng)框架圖5.30

型移動(dòng)機(jī)器人開發(fā)平臺(tái)5.5智能機(jī)器人的視覺系統(tǒng)2.肢體感應(yīng)器立體視覺實(shí)例肢體感應(yīng)器(Kinect)開發(fā)之初是為了給Xbox360充當(dāng)肢體感應(yīng)器攝像機(jī)，它利用動(dòng)態(tài)捕捉、影像識(shí)別等技術(shù)，讓用戶可以通過(guò)自己的肢體動(dòng)作來(lái)控制終端完成相應(yīng)的任務(wù)。(a)外觀(b)內(nèi)部結(jié)構(gòu)(c)拆解圖5.31肢體感應(yīng)器外觀及結(jié)構(gòu)圖如圖5.31所示，RGB彩色攝影機(jī)最大支持1280×960分辨率成像，用來(lái)采集彩色圖像。3D結(jié)構(gòu)光深度感應(yīng)器，由紅外線發(fā)射器和紅外線CMOS攝影機(jī)構(gòu)成，最大支持640×480成像。5.6視覺跟蹤早期機(jī)器視覺系統(tǒng)主要針對(duì)靜態(tài)場(chǎng)景。移動(dòng)機(jī)器人視覺技術(shù)必須研究用于動(dòng)態(tài)場(chǎng)景分析的機(jī)器視覺系統(tǒng)。視覺跟蹤是根據(jù)給定的一組圖像序列，對(duì)圖像中物體的運(yùn)動(dòng)形態(tài)進(jìn)行分析，從而確定一個(gè)或多個(gè)目標(biāo)在圖像序列中是如何運(yùn)動(dòng)的。5.6.1視覺跟蹤系統(tǒng)圖像的動(dòng)態(tài)變化可能是由物體運(yùn)動(dòng)、物體結(jié)構(gòu)、大小或形狀變化引起的，也可能是由攝像機(jī)運(yùn)動(dòng)或光照改變引起的。根據(jù)攝像機(jī)與場(chǎng)景目標(biāo)的運(yùn)動(dòng)狀態(tài)，可以分為以下4類。(1)攝像機(jī)靜止/目標(biāo)靜止(2)攝像機(jī)靜止/目標(biāo)運(yùn)動(dòng)(3)攝像機(jī)運(yùn)動(dòng)/目標(biāo)靜止(4)攝像機(jī)運(yùn)動(dòng)/目標(biāo)運(yùn)動(dòng)對(duì)常用視覺跟蹤算法進(jìn)行總結(jié)分類，如圖5.34所示。圖5.33移動(dòng)機(jī)器人視覺跟蹤系統(tǒng)流程及結(jié)構(gòu)5.6.1視覺跟蹤算法及性能要求對(duì)常用視覺跟蹤算法進(jìn)行總結(jié)分類，如圖5.34所示。圖5.34常用的視覺跟蹤算法分類5.6視覺跟蹤5.6視覺跟蹤5.6.2基于對(duì)比度分析的目標(biāo)追蹤基于對(duì)比度分析的的目標(biāo)追蹤是利用目標(biāo)與背景在對(duì)比度上的差異來(lái)提取、識(shí)別和跟蹤目標(biāo)。檢測(cè)圖像序列相鄰兩幀之間變化的最簡(jiǎn)單方法是直接比較兩幀圖像對(duì)應(yīng)像素點(diǎn)的灰度值。在這種最簡(jiǎn)單的形式下，幀f(x,y,j)與幀f(x,y,k)之間的變化可用一個(gè)二值差分圖像表示，如圖所示。圖5.35二值差分圖像表示5.6視覺跟蹤在差分圖像中，取值為1的像素點(diǎn)被認(rèn)為是物體運(yùn)動(dòng)或光照變化的結(jié)果。這里假設(shè)幀與幀之間配準(zhǔn)或套準(zhǔn)得很好。幀差法的處理流程如圖5.36所示。圖5.36幀差法處理流程5.6視覺跟蹤5.6.3光流法光流法是基于運(yùn)動(dòng)檢測(cè)的目標(biāo)跟蹤代表性算法。光流是空間運(yùn)動(dòng)物體在成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度，光流矢量是圖像平面坐標(biāo)點(diǎn)上的灰度瞬時(shí)變化率。光流的計(jì)算是利用圖像序列中的像素灰度分布的時(shí)域變化和相關(guān)性來(lái)確定各自像素位置的運(yùn)動(dòng)。圖5.38所示的是一個(gè)非常均勻的球體，由于球體表面是曲面，因此在某一光源照射下，亮度會(huì)呈現(xiàn)一定的空間分布或明暗模式。圖5.38光流與運(yùn)動(dòng)場(chǎng)差別示意圖5.6視覺跟蹤1)基本原理給圖像中的每一像素點(diǎn)賦予一個(gè)速度向量，就形成了圖像運(yùn)動(dòng)場(chǎng)。在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上某一點(diǎn)Pi

對(duì)應(yīng)三維物體上某一點(diǎn)P0，這種對(duì)應(yīng)關(guān)系可以由投影方程得到。如下圖所示，設(shè)物體上一點(diǎn)P0相對(duì)于攝像機(jī)具有速度V0，從而在圖像平面上對(duì)應(yīng)的投影點(diǎn)Pi具有速度Vi。在時(shí)間間隔

t時(shí)，點(diǎn)P0運(yùn)動(dòng)了V0

t，圖像點(diǎn)Pi運(yùn)動(dòng)了Vi

t。速度可由下式表示：

（5.29）圖5.39三維物體上一點(diǎn)運(yùn)動(dòng)的二維投影5.6視覺跟蹤2)特點(diǎn)光流法能夠很好地用于二維運(yùn)動(dòng)估計(jì)，也可以同時(shí)給出全局點(diǎn)的運(yùn)動(dòng)估計(jì)，但其本身還存在一些問(wèn)題：需要多次迭代，運(yùn)算速度慢，不利于實(shí)時(shí)應(yīng)用。5.6視覺跟蹤5.6.4基于匹配的目標(biāo)跟蹤1.基本原理基于匹配的目標(biāo)跟蹤算法需要提取目標(biāo)的特征，并在每一幀中尋找該特征。尋找的過(guò)程就是特征匹配過(guò)程。目標(biāo)跟蹤中用到的特征主要有幾何形狀、子空間特征、外形輪廓和特征點(diǎn)等。其中，特征點(diǎn)是匹配算法中常用的特征。特征點(diǎn)的提取算法很多，如KanadeLucasTomasi(KLT)算法、Harris算法、SIFT(尺度不變特征變換)算法以及SURF算法等。2.算法步驟大多數(shù)特征跟蹤算法的執(zhí)行都遵循圖5.40所示的目標(biāo)預(yù)測(cè)—特征檢測(cè)—模板匹配—更新4個(gè)步驟的閉環(huán)結(jié)構(gòu)。圖5.40基于特征的跟蹤算法結(jié)構(gòu)圖5.6視覺跟蹤5.6.5MeanShift目標(biāo)跟蹤1.基本原理MeanShift算法稱為均值偏移方法，其基本思想是對(duì)相似度概率密度函數(shù)或者后驗(yàn)概率密度函數(shù)采用直接的連續(xù)估計(jì)。MeanShift跟蹤算法采用彩色直方圖作為匹配特征，反復(fù)不斷地把數(shù)據(jù)點(diǎn)朝向Mean

Shift矢量方向移動(dòng)，最終收斂到某個(gè)概率密度函數(shù)的極值點(diǎn)。MeanShift算法的算法原理可用下面的例子進(jìn)行直觀說(shuō)明。對(duì)于圖5.41，在完全相同的桌球分布中找出最密集的區(qū)域。(a)隨機(jī)給出一感興趣區(qū)域(b)感興趣區(qū)域圓心移至質(zhì)心(c)感興趣區(qū)域圓心移至質(zhì)心(d)感興趣區(qū)域收斂至最密集的區(qū)域圖5.41

MeanShift算法原理舉例5.6視覺跟蹤2.算法步驟與粒子濾波跟蹤不同，MeanShift算法屬于基于特征模板匹配的確定性跟蹤方法。顏色分布特征對(duì)非剛體目標(biāo)和目標(biāo)旋轉(zhuǎn)形變保持較強(qiáng)的魯棒性，因此常被選擇作為目標(biāo)模板的描述。從起始圖像開始，通過(guò)手工選擇方式確定運(yùn)動(dòng)目標(biāo)的特征模板，并計(jì)算該搜索窗口的核函數(shù)加權(quán)直方圖分布。MeanShift算法基于兩個(gè)分布的相似度(即Bhattacharyya系數(shù))最大化準(zhǔn)則，使搜索窗口沿梯度方向向目標(biāo)真實(shí)位置移動(dòng)。在初始時(shí)刻，確定初始幀中目標(biāo)的窗口位置x0，以此窗口作為特征模板，利用上式計(jì)算其顏色直方圖分布。在開始跟蹤的后續(xù)各時(shí)刻，MeanShift跟蹤算法迭代過(guò)程如下：第1步：以上一時(shí)刻的跟蹤中心y作為當(dāng)前幀候選目標(biāo)區(qū)域D的中心，利用式(5.32)計(jì)算顏色直方圖分布，由式(5.33)估計(jì)其與特征模板的巴氏系數(shù)。第2步：計(jì)算候選區(qū)域內(nèi)各像素點(diǎn)的權(quán)值，公式如下。5.6視覺跟蹤第3步：計(jì)算目標(biāo)的新位置，公式如下。

（5.36）第4步：計(jì)算新位置的顏色直方圖分布，并估計(jì)其與特征模板的Bhattacharyya系數(shù)。第5步：判斷，若，則

。第6步：判斷。若，則跳出循環(huán)；否則，令

，返回第1步。5.6視覺跟蹤3.算法特點(diǎn)(1)MeanShift算法就是沿著概率密度的梯度方向進(jìn)行迭代移動(dòng)，最終達(dá)到密度分布的最值位置。其迭代過(guò)程本質(zhì)上是最速下降法，下降方向?yàn)橐浑A梯度方向，步長(zhǎng)為固定值。(2)MeanShift算法基于特征模板的直方圖，假定了特征直方圖足夠確定目標(biāo)的位置，并且足夠穩(wěn)健，對(duì)其他運(yùn)動(dòng)不敏感。該方法可以避免目標(biāo)形狀、外觀或運(yùn)動(dòng)的復(fù)雜建模，建立相似度的統(tǒng)計(jì)測(cè)量和連續(xù)優(yōu)化之間的聯(lián)系。但是，該算法不能用于旋轉(zhuǎn)和尺度運(yùn)動(dòng)的估計(jì)。5.7主動(dòng)視覺5.7.1主動(dòng)視覺與被動(dòng)視覺機(jī)器人視覺系統(tǒng)可分為主動(dòng)視覺和被動(dòng)視覺兩大類。1.被動(dòng)視覺的特點(diǎn)2.主動(dòng)視覺的特點(diǎn)5.7.2主動(dòng)視覺的控制機(jī)構(gòu)主動(dòng)視覺強(qiáng)調(diào)與環(huán)境的動(dòng)態(tài)交互與主動(dòng)適應(yīng)和調(diào)整。從控制機(jī)構(gòu)的角度，可以對(duì)主動(dòng)視覺進(jìn)行如下分類。1.根據(jù)環(huán)境控制視覺傳感器2.根據(jù)環(huán)境控制光源5.7主動(dòng)視覺5.7.3主動(dòng)視覺與傳感器融合