三維地圖創(chuàng)建例會報告

1、移動機器人在未知環(huán)境下的基于視覺系統(tǒng)上的地圖創(chuàng)建 2015年11月2日 論文的難點：如何從圖像中提取穩(wěn)定的特征點，如何實現(xiàn)相鄰連續(xù)幀的特征點匹配。移動機器人的運動會引起攝像機位姿在三維模型中的變化，如何實時更新三維模型圖中攝像機的位姿。 論文的框架：攝像機成像模型以及標(biāo)定方法機器人的位姿估計對相機進行標(biāo)定并給出標(biāo)定結(jié)果在構(gòu)建三維虛擬場景中完成圖像的描繪圖像特征點提取和跟蹤Kinect介紹及標(biāo)定Kinect是采用圖像辨識的方式，透過攝像頭和紅外線鏡頭獲取圖像，判斷使用者的位置和整體動作，甚至還能記錄實物畫面、以及辨識使用者性別。Kinect的工作原理 Kinect通過CMOS紅外傳感器的黑白光譜

2、來感知環(huán)境，純黑代表無限遠，純白代表無窮近。黑白之間的灰色地帶對應(yīng)物體到傳感器的物理距離。它通過收集視野范圍內(nèi)的每一點，形成一幅代表周圍環(huán)境的深度圖像。傳感器以每秒30幀的速度生產(chǎn)深度圖像流，通過對圖像流的處理可以實時3D的再現(xiàn)周圍環(huán)境。 Kinect標(biāo)定由于制造工藝等外部因素，攝像機的成像過程不可能嚴(yán)格滿足理想情況下攝像機成像的條件。透鏡形狀會產(chǎn)生徑向畸變，而在整個攝像機的組裝過程會產(chǎn)生切向畸變。在成像過程中產(chǎn)生的畸變，導(dǎo)致物體在攝像頭成像平面上存在誤差。通過標(biāo)定，可以將錯誤的圖像進行校正，減少圖像失真。序列圖像的特征提取和匹配 SLAM問題涉及到移動機器人自身的位姿狀態(tài)和外部環(huán)境的信息。本

3、課題的三維重建系統(tǒng)是基于特征點。序列圖像特征點提取實時重建三維場景確定攝像機相對位置和姿態(tài)相鄰圖像特征點跟蹤匹配相鄰圖像幀進行拼接 在SLAM系統(tǒng)中，通常用“路標(biāo)特征”來表述參與定位和重建的特征點。路標(biāo)特征具有特殊的性質(zhì)。 這些特性我們概括為: 1，它必須是環(huán)境中自帶的特征； 2，它的運動情況必須己經(jīng)知道，我們假設(shè)所有的環(huán)境特征都是靜止不動； 3，在發(fā)生視覺轉(zhuǎn)換時，仍能容易辨識，且很少被遮擋。 為了實現(xiàn)對序列圖像的跟蹤匹配，我們首先需要對圖像進行處理，提取圖像中容易識別的特征點。這些圖像特征應(yīng)該是獨一無二的，或者至少接近獨一無二，一般是圖像中的斑點、邊緣點或角點。它便于與另一張圖像中的其它點或

4、者是相同點進行參數(shù)的比較。Harris算子、KLT算子、非尺度空間特征點檢測算子 Harris算子KLT算子 KLT算法為了得到Z矩陣，需要先進行灰度處理，再二階求導(dǎo)。根據(jù)Z矩陣兩個特征值大小判斷該點是否可以作為特征點。假設(shè)I表示灰度圖像，則Z矩陣表達式如下所示: 其中， 為某鄰域內(nèi)一階x方向?qū)?shù)， 為對應(yīng)的一階y方向?qū)?shù)。設(shè) 和 為Z矩陣的兩個特征值， 表示相鄰兩幀之間特定窗口上灰度誤差平方和。xIyI12 圖3-2描述KLT算子如何選擇選擇特征點：非尺度空間點特征檢測算法 傳統(tǒng)的算法非常消耗時間，對于在計算機視覺系統(tǒng)中的第一步特征點檢測步驟而言，得不償失。而不包含尺度空間的特征點算法卻能達

5、到很高的效率。Fast Corner是非尺度空間類別中的一種算法，只需利用周圍像素比較信息就能得到特征點。 Fast Corner認(rèn)為，一個特征點的特征響應(yīng)度與其圓形圖像域的自相似度有關(guān)。它的定義基于特征點周圍的圖像灰度值，檢測候選特征點周圍領(lǐng)域的像素值，如果候選點周圍領(lǐng)域內(nèi)有足夠多的像素點與該候選點的灰度值差別夠大，則把該候選點為當(dāng)作特征點。這個“周圍領(lǐng)域”由一個Bresenham圓來界定。 4.1投影矩陣的求解原理 第四章 三維信息獲取和環(huán)境地圖表示基于立體視覺的實時三維地圖構(gòu)建 本文提出了由視差圖實時構(gòu)建三維地圖的算法。視差圖到車體坐標(biāo)系下的三維地圖重建建立全局坐標(biāo)下的全局地圖車體坐標(biāo)系

6、到全局坐標(biāo)系的轉(zhuǎn)換 由于實時性要求，目前用于導(dǎo)航的地圖構(gòu)建多基于雷達。 本文提出了基于立體視覺的實時三維地圖構(gòu)建，與基于雷達的地圖構(gòu)建相比，它有以下優(yōu)點： 1攝像機價格較低，且屬于被動式，隱蔽性較好; 2此外一般的雷達不能真實的反映地形高度，而攝像機不存在這個問題; 3并且由于現(xiàn)今處理器速度的提高，基于立體視覺的三維地圖構(gòu)建也能達到導(dǎo)航的實時性要求。三維場景重建 視差圖到攝像機坐標(biāo)系下三維坐標(biāo)的轉(zhuǎn)換 本文的視差圖已經(jīng)由雙目立體匹配得到，利用視差圖的三維場景重建首先需要求得視差圖上各點在攝像機坐標(biāo)系下的三維坐標(biāo)。 對于三維空間中任意物點p在攝像機坐標(biāo)系下z軸上的坐標(biāo)可以由下式得到: 在得到深度信

7、息之后，可以由攝像機的線性成像幾何模型得到任意物點p在攝像機坐標(biāo)系下的 和 分量。dbfZccXcY攝像機坐標(biāo)系到車體坐標(biāo)系的轉(zhuǎn)換 在攝像機坐標(biāo)下描述的場景依賴于攝像機的安裝位置，即當(dāng)攝像機安裝位置相對車體變動時，場景描述也會變動，因此需要實現(xiàn)攝像機坐標(biāo)系到車體坐標(biāo)系的轉(zhuǎn)換。轉(zhuǎn)換公式為： 其中 為攝像機坐標(biāo)系下坐標(biāo)， 為攝像機安裝的俯仰角， 為車體坐標(biāo)系下坐標(biāo)， 是攝像機相對于凍結(jié)坐標(biāo)的平移向量。),(,cccZYX),(,wwwZYXTa三維柵格地形表示 直接利用式(3)和(4)來重建三維地貌，在表示場景時存在著如下問題: 1數(shù)據(jù)量龐大，存在大量冗余信息。 2攝像機成像時空間分辨率的不同，造

8、成遠近數(shù)據(jù)分布的不均勻。 3遮擋引起數(shù)據(jù)缺失。 解決方案：可以采用將場景等分成若干個小區(qū)域，區(qū)域內(nèi)的高度可以根據(jù)落入該區(qū)域的高度數(shù)據(jù)來確定，即采用柵格法來描述地形。由于場景被量化成區(qū)域，對于場景中數(shù)據(jù)缺失的位置，其所在區(qū)域的高度可以用該區(qū)域內(nèi)的其他數(shù)據(jù)來彌補。這樣，不但大大減少了數(shù)據(jù)量，而且使場景中每個區(qū)域都有高度數(shù)據(jù)。地圖構(gòu)建 構(gòu)建全局地圖首先必須確立全局坐標(biāo)系，本文的全局坐標(biāo)系由慣性導(dǎo)航系統(tǒng)和GPS共同確定。由于當(dāng)前時刻的地形圖是在車體坐標(biāo)系下，要把它融合到全局地圖中，必須要轉(zhuǎn)換到全局坐標(biāo)系下。 實現(xiàn)車體坐標(biāo)系到全局坐標(biāo)系的轉(zhuǎn)換需要知道車體的姿態(tài)(附仰角，側(cè)滾角，航向角)和位置信息。附仰角，側(cè)滾角，航向角修正車體坐標(biāo)系與全局坐標(biāo)系的旋轉(zhuǎn)角度。車體位置實現(xiàn)車體坐標(biāo)與全局坐標(biāo)之間的平移。本文的車體姿態(tài)由慣導(dǎo)系統(tǒng)得到，車體位置由GPS得到。GW 是全局坐標(biāo)系下的坐標(biāo)， 是自主車在全局坐標(biāo)系下的坐標(biāo) 。利用全局坐標(biāo)系下的即時時刻的地形圖我們就可以實時更新和擴充全局地圖。實驗：為驗證本