計算機視覺三維測量與建模 課件全套 第1-8章 緒論、攝像機的幾何標定-三維表面建模與網(wǎng)格模型濾波

第一章計算機視覺三維測量與建模緒論南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01數(shù)字影像物理世界的物體針對不同頻段的電磁波具有不同的輻射、吸收和透射特性。通常數(shù)字影像的成像過程是傳感器將接收到的輻射、反射或透射的電磁波，從光信號轉(zhuǎn)換為電信號，再轉(zhuǎn)換為數(shù)字信號的過程。輻射量是從光源流出能量的總量，通常用瓦特度量。由于傳感器的感光元件是眾多離散化的單元，由此形成了影像對場景的離散化表達。數(shù)字影像一幅二維影像存儲在硬件介質(zhì)中的核心數(shù)據(jù)是一個二維數(shù)據(jù)矩陣，數(shù)據(jù)矩陣的每個元素被稱為像素或像元(Pixel)。每個像素對應(yīng)在矩陣中的位置具有整數(shù)型的行坐標和列坐標。在像平面坐標系下，像素對應(yīng)位置的坐標可以記作[x,y]^T。每個像素記錄了采樣量化得到的光信號強度值，稱為強度或亮度(ntensity)。因此，一幅影像可以表達為一個二維的高散函數(shù)I=f(x,y)。數(shù)字影像】9像素是影像的基本元素，下面以常見的電荷男合元器件(Charge-CoupledDevices,

CCD感光傳感器組成的成像平面為例。CCD是一種半導(dǎo)體器件，能夠把光信號轉(zhuǎn)換為電信號，通過陣列式的排列，獲得對連續(xù)場景的光場的離散化采樣，形成數(shù)字影像。數(shù)字影像】9一幅影像所記錄的觀測場景的尺寸與觀測距離和視場角有關(guān)。以影像寬度為例，一個像素所能顯示的物理對象尺寸可以從幾納米到幾千米變化，這稱為空間分辦率，如透射電子顯微鏡的分辨率為0.20m，而遙感衛(wèi)星的影像分辦率通常在米級甚至幾十米。數(shù)字影像常見的彩色影像的每個像素位置記錄了紅、綠、藍三個顏色圖層的亮度值，通過三個值的組合來表達彩色信息。此時矩陣的每個像素實際對應(yīng)一個包含三個亮度參量的向量[RGB]^T?？梢姽飧采w電磁波譜波長為380~760nm，用來描達彩色光源質(zhì)量的三個常用的基本量是輻射量、光強和亮度。數(shù)字影像灰度影像指的是影像只有一個顏色亮度圖層，此時每個像素僅包含一個亮度值。每個圖層的每個元素可以取值的范圍和亮度分辦率直接相關(guān)。計算機采用二進制設(shè)計原理，最常采用一字節(jié)(Byte)來記錄一個亮度值。二值影像是灰度影像的一個特例，二值影像的灰度級僅包含。和1兩個值。二值影像常被應(yīng)用于分割、分類或掩模處理中，因為二進制取值可以用來代表陽性（Positive）和陰性(Negative)兩種判斷。數(shù)字影像深度圖影像是在計算機視覺和攝影測量中常見的一種空間數(shù)據(jù)表達方式。深度圖影像的像素記錄的數(shù)值是從視點到觀測場景的表面的深度信息，對應(yīng)了一個乙值（深度值）。多光譜影像的每個像素包含在多個電磁頻譜帶內(nèi)的采集到的能量信息，每個頻帶信息都是一幅灰度影像。每個像素的頻譜亮度都可以組成一個亮度矢量，這個矢量是利用多光譜影像進行地物分類解析的重要基礎(chǔ)特征。數(shù)字影像】9各種影像類型的示意如圖1.1所示。數(shù)字影像02射影幾何學(xué)基礎(chǔ)提供了一個統(tǒng)一的框架來表示幾何圖元，點、線和平面?？梢栽跓o窮遠處以直接的方式操作點、線和平面。為許多幾何操作（如構(gòu)造、交集和變換）提供了線性表示方式。010203射影幾何學(xué)也叫投影幾何學(xué)，在經(jīng)典幾何學(xué)中，射影幾何處于一個特殊的地位，通過它可以把其他一些幾何學(xué)聯(lián)系起來。在射影幾何學(xué)中，把無窮遠點視為“理想點”。使用射影幾何進行數(shù)學(xué)表達優(yōu)點包括：射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)02射影變換在平面空間中，二次曲線（Conics）也被稱為圓錐曲線，有3種類型，分別是雙曲線、橢圓和抽物線。這了類曲線都是不同方向的平面與三維的圓錐相交產(chǎn)生的截線。如果平面只與圓錐頂點一點相交，則是一種退化了的二次曲線。其中，二次曲線系數(shù)矩陣C是一個對稱矩陣，它的元素為:二維射影變換（也稱為二維單應(yīng)變換）是指二維平面上的單應(yīng)變換，可以表示為R^2。R^2→R’^2的單應(yīng)轉(zhuǎn)換矩陣被稱為單應(yīng)矩陣，用H表示。二次曲線射影幾何學(xué)基礎(chǔ)射影幾何學(xué)基礎(chǔ)】9二維仿射變換(AfineTransformation在射影幾何變換的基礎(chǔ)上增加了一條更嚴格的平行不變性約束，所有的射影變換性質(zhì)都符合仿射變換性質(zhì)。仿射變換是射影變換的一個特例，仿射變換是投影中心在無窮遠處，從而使投影射線平行。仿射變換是通過一系列原子變換復(fù)合實現(xiàn)的，這些原子變換包括：平移、縮放、旋轉(zhuǎn)和錯切，如圖1.2所示。射影幾何學(xué)基礎(chǔ)】9如圖1.3所示，在三維空間中，有以下幾點。射影幾何學(xué)基礎(chǔ)03歐氏空間坐標轉(zhuǎn)換歐氏空間坐標轉(zhuǎn)換歐氏空間坐標轉(zhuǎn)換04成像模型與成像系統(tǒng)中的坐標系】9光學(xué)透鏡成像系統(tǒng)中較常用的攝像機模型是小孔成像模型，除非明確指出，本書中討論涉及的成像模型都是基于小孔模型展開的。當光線通過小孔時，在像平面上會呈現(xiàn)出物體清晰的影像。在實際的情況下，小孔總是有一定物理尺寸的，因此像平面的一點能夠接收到錐形區(qū)域內(nèi)的所有光線。圖1.8描繪了成像模型中的各組成結(jié)構(gòu)的幾何元素及其關(guān)系。C點表示光心(Optical

Center)，又被稱為攝影中心，它是在空間中介于三維場景和二維像平面之間的一個點。成像平面（焦平面）位于光心的后方且呈現(xiàn)倒置，但通常為了直觀表示，將成像平面描述在負焦距的方向上。成像模型與成像系統(tǒng)中的坐標系123世界坐標系它是一種三維坐標系，可以運用歐氏空間理論中的內(nèi)積運算來計算角度值，使用模運算來計算長度值。像空間輔助坐標系它類似于攝影測量學(xué)中的像空間輔助坐標系，是以攝像機為分析基準的坐標系，也是從三維空間轉(zhuǎn)換到二維空間的一個橋梁。像平面坐標系這是一個二維坐標系。影像數(shù)據(jù)矩陣的行、列兩個維度形成了理想的正交關(guān)系，因此可以直接定義坐標軸的方向。成像模型與成像系統(tǒng)中的坐標系成像模型與成像系統(tǒng)中的坐標系05常見的三維成像方式】9人工輸入方法是一種最直接的獲取三維模型的方式之一。該方法利用計算機輔助設(shè)計(ComputerAidedDesign,CAD）類軟件工具（如AutodeskAutoCAD、Autodesk3DMax、GoogleSketchUp和UnigraphicsNX等）通過人工輸入的方式確立模型的幾何位置信息，并進行交互式的手工建模和渲染。這一類軟件系統(tǒng)能夠為用戶的產(chǎn)品設(shè)計及加工過程提供數(shù)字化的外形觀察和驗證。熟練的操作員可以利用這種方法得到精細的場景模型和逼真的外觀渲染，在過去很長一段時間內(nèi)它都是三維建筑模型構(gòu)建的主要技術(shù)手段。在前期沒有測量數(shù)據(jù)或設(shè)計藍圖的情況下，人工建模的方法需要采用人眼視覺判斷作為操作定位的標準而非物理測量值的精準定位，重建的幾何位置結(jié)果缺乏準確性，無法精確地反映現(xiàn)實場景。常見的三維成像方式12飛行時間(TimeOfFlight,TOF)掃描儀TOF類型的掃描儀通過測量從發(fā)射端發(fā)出的輻射波到目標表面的往返時間來計算目標表面點的距離。相移掃描儀相移掃描儀利用正弦調(diào)制的強度隨時間變換的激光束進行測量。通過觀測發(fā)射信號和反射信號的相位差，計算目標與傳感器之問的往返距離，如圖1.12（b）所示。常見的三維成像方式3主動三角測量掃描儀主動三角測量系統(tǒng)從一個方向發(fā)出連貫的或不連貫的光模式，然后在另一個方向進行觀測。常見的三維成像方式立體視覺測量這類系統(tǒng)對兩幅或兩幅以上的觀測影像進行處理，找到空間點在多幅影像上的同名投影點，根據(jù)三角測量原理解算像點的空間坐標。由陰影恢復(fù)結(jié)構(gòu)由陰影恢復(fù)結(jié)構(gòu)算法首先確定目標反射模型以及觀測時的光照方向，然后通過近似求解輻照度方程從而得到影像對應(yīng)的觀測目標三維信息。由剪影恢復(fù)結(jié)構(gòu)這類系統(tǒng)從不同的角度來測量物體的輪廓信息，其中典型的掃描方式所使用的設(shè)備包括一個旋轉(zhuǎn)的托臺、統(tǒng)一的背景色和一個獨立攝像機。010203被動式掃描通常具有采集設(shè)備價格低、采集操作簡單靈活等優(yōu)點，然而在獲取密集的空問信息時算法的計算復(fù)雜度也會相應(yīng)提高。常見的三維成像方式由紋理恢復(fù)結(jié)構(gòu)該方法的主要步驟包括抽取重復(fù)紋理模式或者測量局部頻率，以計算局部仿射變形，然后推測局部表面方向。由聚焦恢復(fù)結(jié)構(gòu)通過判斷同一區(qū)域的頻率內(nèi)容強度，來識別該區(qū)域在哪一幅影像上獲得最佳的聚焦。通常情況下，這類重建精度取決于采樣設(shè)置和實際的鏡頭的視場深度，整體而言難以做出非常精確的重建。0405被動式掃描通常具有采集設(shè)備價格低、采集操作簡單靈活等優(yōu)點，然而在獲取密集的空問信息時算法的計算復(fù)雜度也會相應(yīng)提高。常見的三維成像方式06三維計算機視覺的應(yīng)用12工業(yè)測量在工業(yè)測量領(lǐng)域中，對工業(yè)部件的三維形狀的測量方式可以分為接觸式和非接觸式兩種。接觸式技術(shù)可能是破壞性的，如切片，通過將對象剖切成連續(xù)組裝在一起的二維形狀來減小分析的尺寸。它也可以是非破壞性的，如關(guān)節(jié)臂，緩饅但準確地探測三維點。三維測繪遙感基于影像的三維重建系統(tǒng)或三維激光掃描設(shè)備可以獲得大型空間目標的三維模型數(shù)據(jù)。在測繪遙感領(lǐng)域中，對橋梁、道路、地形和建筑物進行三維測量是許多工程的必要任務(wù)。此外，在文物古跡保護、數(shù)字化城市繪圖和深空探測行星制圖等方面，也需要進行測繪以獲得三維信息。三維計算機視覺的應(yīng)用3機器人導(dǎo)航定位在機器人導(dǎo)航定位領(lǐng)域中，三維視覺系統(tǒng)是一種十分重要的環(huán)境感知工具?；谝曈X影像的定位技術(shù)具有成本低、精度高、無須對場景現(xiàn)有結(jié)構(gòu)進行改動等優(yōu)勢。無人系統(tǒng)獲取視覺影像后，處理器構(gòu)建出機器人所處環(huán)境的三維地圖，進而服務(wù)于避障、導(dǎo)航和定位抓取目標等任務(wù)。三維計算機視覺的應(yīng)用測量范圍。視場范圍。01

工作距離。0203三維計算機視覺測量系統(tǒng)的常見技術(shù)指標參數(shù)包括以下幾個：

分辨率。04重復(fù)精度。07測量頻率/幀率。05

測量精度。06三維計算機視覺的應(yīng)用】9三維計算機視覺是與攝影測量學(xué)具有同宗同源特點的一門三維測量學(xué)科。攝影測量學(xué)屬于測繪學(xué)科的一個分支，至今已有百年的發(fā)展歷史。它經(jīng)歷了從模擬信號處理到解析處理，再到數(shù)字化處理的發(fā)展階段。計算機視覺三維測量技術(shù)與數(shù)字近景攝影測量的許多基礎(chǔ)原理是一脈相承的，但關(guān)注的應(yīng)用重點有所區(qū)別，偏重的技術(shù)也有所差異。兩者的主要差異在于以下幾點。第一點，計算機視覺三維測量主要使用齊次坐標表示點的轉(zhuǎn)換，注重使用矩陣的性質(zhì)(比如矩陣分解）來計算攝像機參數(shù)和結(jié)構(gòu)參數(shù)。另外，兩者對坐標系統(tǒng)的定義方式有所區(qū)別，這主要是因為攝影測量學(xué)要服務(wù)于測繪應(yīng)用的目的，會盡量將其定義的坐標系與大地坐標系的坐標軸指向一致。三維計算機視覺的應(yīng)用盡管計算機視覺理論在許多應(yīng)用領(lǐng)域中都取得了突破性的進展，然而當人們動手開發(fā)一套面向具體應(yīng)用的視覺系統(tǒng)時會發(fā)現(xiàn)，這樣的一套系統(tǒng)會面臨各種各樣的現(xiàn)實困難和挑戰(zhàn)（如圖1.15所示）。為了應(yīng)對這些困難，工程師需要不斷地調(diào)整方案、改進設(shè)計和增加限制性約束。這些工作往往占據(jù)了系統(tǒng)開發(fā)的大多數(shù)工作量，需要做大量的實踐經(jīng)驗積累，而且真正使得系統(tǒng)能夠產(chǎn)業(yè)化并且具備優(yōu)勢的關(guān)鍵都在這些微妙的處理中。三維計算機視覺的應(yīng)用07小結(jié)三維計算機視覺測量的一種重要原始數(shù)據(jù)是數(shù)字影像，了解數(shù)字影像處理技術(shù)是學(xué)習(xí)計算機視覺技術(shù)的前提條件。此外，要掌握三維計算機視覺測量的原理與方法，需要對射影幾何學(xué)有深刻的認識和理解。小結(jié)感謝觀看第二章計算機視覺三維測量與建模攝像機的幾何標定南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01攝像機標定參數(shù)】9在透視投點成像的過程中，攝德機使用餅頭來提高進入成像平面的光亮度，滅小了光線傳輸所需的能量。如圖2.1所示，在實際應(yīng)用的攝像機中，鎮(zhèn)頭由名個透鏡組成，因此透鏡的成像效果不會像小孔成像那樣完全待合線性模型的特點。攝像機標定參數(shù)】9有了攝像機的焦距和主點等參數(shù)，以及鏡頭的畸變參數(shù)，就可以得到完整的攝像機的周有幾何參數(shù)，即攝像機的內(nèi)參數(shù)。內(nèi)參數(shù)包含攝像機模型的幾何參數(shù)和鏡頭畸變參數(shù)。在對畸變進行定義時，人們通常把其分為兩類：徑向畸變和切向畸變，如圖2.2所示。攝像機標定參數(shù)切向畸變通常是由透鏡安裝位置不良造成的。當透鏡沒有與像平面保持完全平行時，鏡頭主光軸偏向使其與像平面不完全垂直，就會產(chǎn)生切向畸變。圖2.3舉例給出了一組實驗測定的徑向畸變和切向畸變的分量在影像中的分布情況。畸變校正的工作就是使影像的這些失真變形得到糾正，如圖2.4所示。攝像機標定參數(shù)】9外參數(shù)是像空間輔助坐標系在觀測目標所在的世界坐標系下的轉(zhuǎn)換關(guān)系參數(shù)，通常用一組旋轉(zhuǎn)角和平移向量表達。攝像機的標定技術(shù)可以是對內(nèi)參數(shù)和外參數(shù)分別進行標定，也可以是將內(nèi)外參數(shù)模型進行綁定，統(tǒng)一標定內(nèi)外參數(shù)。攝像機標定參數(shù)傳統(tǒng)標定法需要借助具有已知坐標點的參照物，通過建立參照點與影像上的同名像素點之間的對應(yīng)關(guān)系，由特定算法來完成標定，獲得攝像機的內(nèi)參數(shù)和外參數(shù)。01傳統(tǒng)標定法攝像機標定方法包含傳統(tǒng)標定法、自標定法和主動視覺標定法等。攝像機標定參數(shù)自標定法是不需要已知坐標參照物的一種標定法。這種方法從影像上自動或半自動地提取特征點來作為控制點，僅僅依靠未標定的影像之間的幾何關(guān)系確定攝像機參數(shù)。攝像機標定方法包含傳統(tǒng)標定法、自標定法和主動視覺標定法等。主動視覺標定法借助攝像機本身的已知的或可控的運動信息進行標定。采用這種標定法不需要參照物，只需運動攝像機本身就可以做標定。02自標定法03主動視覺標定法攝像機標定參數(shù)02攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定攝像機內(nèi)參數(shù)標定03靜態(tài)場景多視角下攝像機系統(tǒng)的自標定靜態(tài)場景多視角下攝像機系統(tǒng)的自標定靜態(tài)場景多視角下攝像機系統(tǒng)的自標定靜態(tài)場景多視角下攝像機系統(tǒng)的自標定靜態(tài)場景多視角下攝像機系統(tǒng)的自標定靜態(tài)場景多視角下攝像機系統(tǒng)的自標定123此時，絕對雙二次曲線的度量自標定過程如下:靜態(tài)場景多視角下攝像機系統(tǒng)的自標定迄今為止所描述的自標定方法需要大量采集的影像之間的點對應(yīng)關(guān)系。在某些場景中，尤其是那些包含諸如建筑物等人造物體的場景，從所采集的影像中提取線條而不是明確定義的點可能會更方便，如圖2.6所示。場景中的平行線隱含了一組射影關(guān)系，它為影像標定提供了一種完全不同于之前算法的標定思路。迄今為止所描述的自標定方法需要大量采集的影像之間的點對應(yīng)關(guān)系。在某些場景中，尤其是那些包含諸如建筑物等人造物體的場景，從所采集的影像中提取線條而不是明確定義的點可能會更方便，如圖2.6所示。場景中的平行線隱含了一組射影關(guān)系，它為影像標定提供了一種完全不同于之前算法的標定思路。靜態(tài)場景多視角下攝像機系統(tǒng)的自標定迄今為止所描述的自標定方法需要大量采集的影像之間的點對應(yīng)關(guān)系。在某些場景中，尤其是那些包含諸如建筑物等人造物體的場景，從所采集的影像中提取線條而不是明確定義的點可能會更方便，如圖2.6所示。場景中的平行線隱含了一組射影關(guān)系，它為影像標定提供了一種完全不同于之前算法的標定思路。場景中的兩條平行線在無窮遠處相交。在投影影像上，這些線通常不是平行的，并且在具有明確定義的影像坐標的影像點，處相交，這樣的點稱為“滅點”，如圖2.7所示。圖2.8給出了兩個滅點的夾角的示意圖，靜態(tài)場景多視角下攝像機系統(tǒng)的自標定靜態(tài)場景多視角下攝像機系統(tǒng)的自標定02射影變換在平面空間中，二次曲線（Conics）也被稱為圓錐曲線，有3種類型，分別是雙曲線、橢圓和抽物線。這了類曲線都是不同方向的平面與三維的圓錐相交產(chǎn)生的截線。如果平面只與圓錐頂點一點相交，則是一種退化了的二次曲線。其中，二次曲線系數(shù)矩陣C是一個對稱矩陣，它的元素為:二維射影變換（也稱為二維單應(yīng)變換）是指二維平面上的單應(yīng)變換，可以表示為R^2。R^2→R’^2的單應(yīng)轉(zhuǎn)換矩陣被稱為單應(yīng)矩陣，用H表示。二次曲線靜態(tài)場景多視角下攝像機系統(tǒng)的自標定04攝像機系統(tǒng)的半自動標定】9Bouguet在2007年提出的標定裝蛋由一個平面棋盤格圖案組成，可以用激光打印機制作。該裝置的部件將表示如下：“方形”表示裝置的黑色或白色區(qū)域，不需要嚴格要求是方形的，也可以是矩形的；“角點”是四個方格接觸的點，而“裝置角”表示一個大方形和三個方格接觸的最外面的四個角。該標定裝置搭建起來非常簡單，但不提供定位，這對于未按照標準幾何圖形排列的攝像機系統(tǒng)是必需的。對于由沒有鋒利邊緣的無記號標記組成的改進裝置，即使只有一部分裝置可見，也可以獲得定位。圖2.9給出了Bouguet的原始標定裝置和Kruger等人在2004年提出的標定裝置。攝像機系統(tǒng)的半自動標定】9典型的重投影誤差的均方根誤差（RootMeanSquareError,RMSE）應(yīng)該是亞像素，理想情況下小于0.5像素。從棋盤格標定板中提取角點的像素坐標有一套相對成熟的流程。首先，對影像進行必要的濾波增強，減小噪聲的干擾，并增大棋盤格亮度的對比度。然后，使用亮度加權(quán)運算將影像轉(zhuǎn)換為灰度影像，并利用Canny邊緣檢測算子提取邊緣像素。此時，在理想情況下，應(yīng)該可以把棋盤格的黑白過渡的邊緣線檢測到。對檢測的邊緣進行直線擬合，獲得直線方程。攝像機系統(tǒng)的半自動標定攝像機系統(tǒng)的半自動標定02圓形定向反光標志編碼標志通過一定的明暗區(qū)間排列組合，在靶標上進行編碼。在獲得不同的觀測影像后，分別對靶標區(qū)域的像素進行解碼。從不同的影像之間找到相同解碼值的靶標點，就能夠直接獲得點的匹配對應(yīng)關(guān)系。編碼標志的類型通常有3種：點分布型、同心圓環(huán)型和馬賽克組合型，還包括這三種方式的混合設(shè)計。定向反光標志常以圓形定向反光標志(RRT，RetroReflectiveTarget)的形式呈現(xiàn)，其特點是反射亮度比漫射白色標志高出數(shù)百甚至上千倍，可以輕松使目標物的影像“消隱”而將RRT標志的影像突出。編碼標志攝像機系統(tǒng)的半自動標定03圓形標志中心的提取攝像機系統(tǒng)的半自動標定05攝像機與激光雷達的聯(lián)合標定123影像相關(guān)的數(shù)據(jù)融合處理通常分為三個不同的層次。像素級融合。合并關(guān)于同一場景的多個傳感器的觀測影像，生成復(fù)合影像。采用逐像素的采樣方法，獲得復(fù)合影像的像素亮度值。特征級融合。從原始影像中分別提取感興趣的特征，然后對特征信息進行綜合分析和處理，這是中等層次的融合。典型的特征信息有邊緣特征、紋理特征和相似景深區(qū)域等。決策級融合。在進行融合處理前，先對原影像分別進行場景識別或判決，建立對同一目標或事件的初步判決。然后，對不同數(shù)據(jù)源的決策信息進行融合處理，獲得最終的聯(lián)合判決。攝像機與激光雷達的聯(lián)合標定各傳感器由于存在觀測的著重點不同、性能有差異、工作環(huán)境不同等多方面的因素，使得各傳感器觀測同一目標獲得的測量數(shù)據(jù)也不一定同步。因此，不能將獲得的測量數(shù)據(jù)直接發(fā)送到融合中心進行融合處理，需要將不同傳感器在不同時刻、不同空間獲得的目標采集數(shù)據(jù)轉(zhuǎn)換到統(tǒng)一的融合時刻和空間，即進行時空配準。多傳感器融合的感知測量方案必須要解決不同傳感器的時間同步和空間同步問題。時間同步配準是指多傳感器在進行數(shù)據(jù)采集時，由于傳感器本身的特性以及人為操作的原因，導(dǎo)致這些采集信息不同步，不能直接進行融合處理，需要對這些不同步的信息進行統(tǒng)一化處理使其同步。攝像機與激光雷達的聯(lián)合標定影像傳感器和激光雷達傳感器可以融合起來使用，此時一個精準的外參數(shù)就很重要。首先，分別標定出攝像機和LDAR的各自內(nèi)參數(shù)后，再進行聯(lián)合標定，算法總體上分為參數(shù)初值估計和結(jié)果優(yōu)化兩部分。攝像機的內(nèi)參數(shù)標定可以使用本章前面介紹的幾何標定完成。聯(lián)合標定就是要求出攝像機坐標系與激光雷達坐標系之間的坐標轉(zhuǎn)換關(guān)系。攝像機與激光雷達的聯(lián)合標定06應(yīng)用舉例為了從影像中提取控制點的影像坐標，MATLAB軟件提供了攝像機標定工具包，該工具包在計算機視覺工具箱里提供應(yīng)用程序和功能，以執(zhí)行攝像機標定工作流中的所有基本任務(wù)：棋盤校準模式的全自動檢測和定位，包括亞像素精度的角點檢測；所有內(nèi)參數(shù)和外參數(shù)的估計；鏡頭的徑向和切向畸變系數(shù)的計算：影傲的畸變校正，支持校準標準、魚眼鏡頭和立體視覺攝像機影像。它允許用戶交互式地選擇校準圖像，設(shè)置失真系數(shù)，然后估計可以導(dǎo)出到MATLAB格式的攝像機參數(shù)。應(yīng)用舉例多源傳感器融合模式下的數(shù)據(jù)魯棒性和準確度都高于單一傳感器工作模式。圖2.16給出了兩種圖像與深度傳感器組合工作的舉例。應(yīng)用舉例應(yīng)用舉例07小結(jié)基于影像的三維重建技術(shù)高度依賴于攝像機的幾何標定參數(shù)的準確性。標定既是一項成熟的技術(shù)，因為有很多工具可以使用，是一項不完全成熟的技術(shù)，因為在面臨很多應(yīng)用問題時，人們都需要單獨設(shè)計標定方法或操作流程。小結(jié)感謝觀看第三章計算機視覺三維測量與建模影像特征提取表達南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01影像特征的基本概念】9影像的特征通常有多種表達方式，這些方式從各自不同的角度刻畫了該特征的某些性質(zhì)。影像問的像素點級別的匹配任務(wù)可以大致分為以特征點為對象的稀疏匹配和逐像素關(guān)聯(lián)的密集匹配兩類。在像素點級別之上，還有高級特征匹配，比如線特征匹配和面特征匹配。最后，語義型的對象級別匹配則是在關(guān)聯(lián)上下文情境的基礎(chǔ)上實現(xiàn)的一種高級匹配。影像特征的基本概念】9通常一個典型的特征匹配過程可以概括為三步：特征提取、特征描述和特征匹配。特征提取的目的是找到每一幅影像中具有特殊性質(zhì)可以獨立辨識的點、線或面等元素。針對點和線的提取算子有很多，而對于面特征的提取和表達研究則相對較少。影像特征的基本概念01特征提取的基本要求特異性，即特征點所在的位置應(yīng)該呈現(xiàn)出區(qū)別于非特征點的明顯特性，比如影像中的目標物邊緣像素具有較大的亮度梯度變化的位置?？申P(guān)聯(lián)性，即在不同視角的影像中，對應(yīng)同一個場景點的特征點應(yīng)該能被重復(fù)檢測到，并具備在影像之間相互匹配關(guān)聯(lián)的能力。穩(wěn)定性，這主要是指特征點的提取位置精度以及其在影像中的分散程度在數(shù)學(xué)上具有穩(wěn)定的可表達能力。123影像特征的基本概念02特征描述的基本要求特征描述子應(yīng)滿足的基本要求包括：唯一性，即不同位置的特征點的描達結(jié)果應(yīng)顯著不同，否則在進行特征匹配時，很容易形成匹配歧義。獨立性，即當使用高維向量作為描述子的數(shù)學(xué)表達時，其特征向量的各個維度間應(yīng)該保持非相關(guān)的獨立性，否則可以用降維算法對特征向量進行降維。影像特征的基本概念02特征描述的基本要求穩(wěn)定性，即在不滿足光照恒常或剛性結(jié)構(gòu)等預(yù)設(shè)的假設(shè)條件時，特征描述子仍能夠保證獲得相似的結(jié)果。不變性，即在不同影像中，同名點對應(yīng)的特征描述子能夠適應(yīng)尺度、平移、旋轉(zhuǎn)等變換，反映出相同或相似的數(shù)值。影像特征的基本概念】9影像的局部特征的內(nèi)涵是影像局部統(tǒng)計，即使是一些全局特征表達的算法，也需要使用局部統(tǒng)計信息作為算法的基礎(chǔ)組成。局部統(tǒng)計的前提是需要定義一個局部的信息分析區(qū)域，即像素鄰域范圍。像素的鄰域是一個緊湊的、簡單連通的影像平面空間域子集，如圖3.1所示。影像特征的基本概念02邊緣和線特征提取01Roberts交叉算子邊緣和線特征提取Prewitt算子02邊緣和線特征提取Sobel算子03邊緣和線特征提取Laplacian算子04邊緣和線特征提取（1）Roberts交叉算子由于是交叉梯度算子，它對邊緣正、負45°較多的影像提取邊緣較為明顯，但像素的定位準確率較差。（2）Prewitt算子對灰度漸變的影像邊緣的提取效果較好，然而缺乏對距離權(quán)重的考感。（3）Sobel算子考慮了距離權(quán)重的影響，對噪聲較多的圖像的處理效果更好。Sobel算子的計算速度比Roberts交叉算子慢，但其較大的卷積核使翰入影像更平滑，從而降低了算子對噪聲的敏感度。與Roberts交叉算子相比，Sobel算子通常也會為類似的邊緣生成更高的輸出值。（4）Laplacian算子對噪聲比較敏感，由于其算法可能會出現(xiàn)雙像素邊界，因此常用來判斷邊緣像素位于圖像的明區(qū)還是暗區(qū)。梯度算子應(yīng)用的對比舉例05邊緣和線特征提取首先對待處理的影像進行高斯濾波平滑處理，去除影像中的高斯噪聲，有效抑制高斯噪聲這樣的高頻分量。高斯°波就是對整幅影像進行加權(quán)平均的過程，每個像素點的值都由其本身和鄰域內(nèi)的其他像素灰度值經(jīng)過加權(quán)平均后得到。例如，使用3x3的高斯模板加權(quán)平均公式如下：01Canny算法的具體實現(xiàn)過程如下。02在高斯濾波后，計算像素的梯度幅值和具體方向。該步驟可選用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用較多的是Sobel算子。邊緣和線特征提取進行非極大值抑制。沿著梯度方向?qū)Ψ颠M行非極大值抑制，對提取出的梯度幅值進行網(wǎng)值過濾。具體采用雙閾值技術(shù)進行邊緣遲滯，設(shè)立高、低雙閱值，對應(yīng)進行強邊緣和弱邊緣像索的初步劃分。Canny算法的具體實現(xiàn)過程如下。用雙網(wǎng)值算法檢測。選取系數(shù)高網(wǎng)值在和低值左，比率為2:1或3:1。對邊緣點像素使用8連通區(qū)域進行進一步確認。如果存在連續(xù)臨接的強邊緣像素，則將其確定為輸出邊緣；如果弱邊緣與強邊緣臨接，則弱邊緣同樣被輸出為邊緣；如果弱邊緣像素或強邊緣像素是孤立存在的，則拋棄這些邊緣像素。030405邊緣和線特征提取Snake（ActiveContourModels）邊緣提取模型是KassM于1987年提出的。它可以從比較復(fù)雜的影像中提出感興趣的目標輪廓，并且能高效地跟蹤目標區(qū)域或者物體的運動，因此在醫(yī)學(xué)領(lǐng)域中得到廣泛應(yīng)用。如式（3.16）所示，在處理局部間斷的邊緣時，提取效果比傳統(tǒng)輪廓提取方法的效果好。邊緣和線特征提取邊緣和線特征提取邊緣和線特征提取霍夫變換直線檢測的完整步驟如下。影像預(yù)處理，包括將彩色影像轉(zhuǎn)換為灰度圖，使用一定的平滑濾波器對高頻噪聲進行濾波去噪。進行邊緣像素提取，可以使用Laplacian算子、Canny算子或者Sobel算子等方法，然后對邊緣提取的像素影像進行二值化。二值化的影像的非零點映射到霍夫變換參數(shù)空間，在參數(shù)空間中記錄并存儲落在參數(shù)位置的點的個數(shù)。根據(jù)統(tǒng)計網(wǎng)值進行判斷，當某一參數(shù)位登的落入點個數(shù)大于某個國值時，這里即為潛在的直線參數(shù)。使用非極大值抑制方法在局部范圍內(nèi)取極大值，過濾干擾直線。邊緣和線特征提取03點特征提取】9Harris角點是一種基于灰度影像的角點檢測算法，因此在檢測之前要將彩色影像轉(zhuǎn)換為灰度影像。Harris算法對角點做了一個合理的定義，即在一個固定大小的窗口內(nèi)對窗口內(nèi)的像素求和，如果在向任何方向移動后像素值都發(fā)生較大變化，則該位置即為角點。如果只在一個方向上發(fā)生巨大變化，那么它很可能是一個直線的邊緣，只有當它在所有方向變化巨大時才能被認為是角點，那么變化多大才能算是巨大變化，這決定了檢測出的角點質(zhì)量。點特征提取】9Harris角點提取的流程為：（1）將原始圖像轉(zhuǎn)換為灰度影像。（2）應(yīng)用高斯濾波器來乎滑噪聲。（3）應(yīng)用Sobel算子尋找灰度圖像中每個像素的×方向和，方向的梯度值。（4）對于灰度圖像中的每個像素力，考慮其周圍有一個3x3的窗口，并計算角點強度函數(shù)，稱之為Harris分數(shù)。（5）查找超過某個國值并且是某個窗口中的局部最大值的像素（以防止重復(fù)特征）。（6）對于滿足第（5）條標準的每個像素，計算一個特征描述符。點特征提取FAST角點提取算法具有速度快、點數(shù)目豐富、精度高的優(yōu)點，成為近年來備受關(guān)注的基于模板和機器學(xué)習(xí)的角點檢測方法。FAST角點提取的主要算法步驟如下：

以目標像素力為中心，在半徑為了的圓上提取出16個像素點的亮度值

(p1,p2,-,pl6)

定義一個國值。計算小p9、p5、p13與中心的亮度值的差，若它們的絕對值有至少了個超過亮度國值，則將p當作候選角點，再進行下一步考察；否則，排除其是角點的可能性。點特征提取點特征提取01SIFT特征提取算法首先在像素尺度空間計算像素點上的交度值的梯度影像；然后，提取出具有獨立性和穩(wěn)定性的特征點，并以SIFT描還符進行特征編碼，來適應(yīng)影像的空間尺度變化和旋轉(zhuǎn)變化等影響。下面闡達SIFT特征提取算法的實現(xiàn)步驟。首先構(gòu)建尺度空間。點特征提取02為了檢測D(X,Y,Z)的局部最大值和最小值，將每個采樣點與當前影像中的8個鄰居以及上下比例中的9個鄰居（共26個鄰居）進行比較。特征點定位03特征點過游特征點過濾就是將第2步檢測到的特征點中曲率不對稱的點和對比度低、不穩(wěn)定的點過潔掉，這樣做的目的是提高特征點的抗噪性能和匹配的穩(wěn)定性。04確定特征點的方向點特征提取特征描述符的生成大致有三個步驟：①校正旋轉(zhuǎn)主方向，確保旋轉(zhuǎn)不變性。②生成特征描述子，最終形成一個128維的特征向量。③歸一化處理，將特征向量長度進行歸一化處理，進一步去除光照的影響。特征描述。02點特征提取SURF特征提取算法是在SIFT特征提取算法的基礎(chǔ)上加以改進的一種特征提取算法，SURF特征提取的步驟如下。點特征提取SURF特征提取算法是在SIFT特征提取算法的基礎(chǔ)上加以改進的一種特征提取算法，SURF特征提取的步驟如下。將經(jīng)過Hessian矩陣處理的每個像素點與二維影像空間和尺度空間鄰域內(nèi)的26個點進行比較，初步定位出關(guān)鍵點，再經(jīng)過濾除能量比較弱的關(guān)鍵點以及錯誤定位的關(guān)鍵點，篩選出最終的穩(wěn)定特征點。點特征提取在SURF特征提取算法中，也需要給每個特征點分配一個主方向，這樣才能確保特征點具有旋轉(zhuǎn)不變性。采用的是統(tǒng)計特征點園形鄰域內(nèi)的Haar小波特征。以特征點為中心，計算半徑為6s（s為特征點所在的尺度值）的圓形鄰域內(nèi)的點在x、y方向的Haar小波（Haar小波的邊長取4s）響應(yīng)。特征點主方向分配點特征提取SURF特征描述子。在SIFT算法中，提取特征點周圍4×4個區(qū)域塊，統(tǒng)計每小塊內(nèi)的8個梯度方向，用這4×4×8=128維向量作為SIFT特征的描述子。BRIEF特征描述子。由于通過二進制位的異或操作（XOR運算）和位計數(shù)，可以非常有效地計算漢明距離，因此在計算速度方面，BRIEF特征描達方法很容易勝過其他描述符。點特征提取12oFAST特征提取ORB的特征提取算法稱為OFAST，顧名思義，就是在FAST算法的基礎(chǔ)上加入方向信息，簡單來說就是先用FAST算法檢測出特征點，再給該特征點定義一個方向，從而實現(xiàn)特征點的旋轉(zhuǎn)不變性。rBRIEF特征描述在找到關(guān)鍵點并為其分配方向后，使用修改后的BRIEF版本創(chuàng)建特征向量，無論對象的方向如何，它都可以為關(guān)鍵點創(chuàng)建相同的向量，使得ORB算法具有旋轉(zhuǎn)不變性，意味著它可以在朝著任何角度旋轉(zhuǎn)的影像中檢測到相同的關(guān)鍵點。點特征提取非線性尺度空間的構(gòu)建主要基于非線性擴散濾波原理，非線性擴散濾波的基本公式是:特征點定位與SIFT算法也非常相似，先計算各點在本層、上層和下層3×3×3的立方體空間鄰域內(nèi)響應(yīng)值是否為極值，之后去掉重復(fù)點，最后得到亞像素級別的精確位置。所用的特征點主方向計算方法與SURF算法相似，在此不再贅述。01非線性尺度空間構(gòu)建02特征點定位03計算特征點的主方向點特征提取光流問題是指嘗試找出一幅影像中的點在第二幅影像中移動的位置，通常針對視頻序列數(shù)據(jù)處理。點特征提取近些年隨著卷積神經(jīng)網(wǎng)絡(luò)的推廣，使用CNN進行特征提取和表達的技術(shù)也得到了發(fā)展（如圖3.23所示)。CNN網(wǎng)絡(luò)的卷積層和池化層可以提取圖像特征，經(jīng)過反向傳播最終確定卷積核參數(shù)，得到最終的特征。點特征提取04紋理特征表達】9紋理是一種反映影像中同質(zhì)現(xiàn)象的視覺特征，是影像的重要性質(zhì)，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性，如圖3.24中的舉例所示。紋理特征具有三個特點：某種局部序列性不斷重復(fù)；排列具有一定的隨機性；紋理區(qū)域內(nèi)大致具有一定的統(tǒng)計特性。紋理特征表達01統(tǒng)計型紋理特征基于GICM的紋理特征提取方法主要包括影像預(yù)處理、灰度級量化和計算特征值3個步驟。（1）影像預(yù)處理。（2）交度級量化。（3）計算特征值。紋理特征表達02模型型紋理特征（1）隨機場模型方法：試圖以概率模型來描述紋理的隨機過程，它們對隨機數(shù)據(jù)或隨機特征進行統(tǒng)計運算，進而估計紋理模型的參數(shù)，然后對一系列模型參數(shù)進行聚類，形成和紋理類型數(shù)一致的模型參數(shù)。（2）分形模型方法：分形維作為分形的重要特征和度量，把影像的空間信息和灰度信息簡單而有機地結(jié)合起來，因而在影像處理中備受人們的關(guān)注。分形維在影像處理中的應(yīng)用以兩點為基礎(chǔ)：①自然界中不同種類的形態(tài)物質(zhì)一般具有不同的分形維②自然界中的分形與影像的灰度表示之間存在著一定的對應(yīng)關(guān)系。紋理特征表達信號處理型紋理特征：建立在時域、頻域分析與多尺度分析基礎(chǔ)之上，對紋理影像中某個區(qū)域內(nèi)實行某種變換之后，再提取保持相對平穩(wěn)的特征值，以此特征值作為特征表示區(qū)域內(nèi)的一致性以及區(qū)域間的相異性。結(jié)構(gòu)型紋理特征：提取LBP特征向量的步驟如下，（1）將檢測窗口劃分為16×16的小區(qū)域（Cell），對于每個Cell中的一個像素，將其環(huán)形鄰域內(nèi)的8個點進行順時針或逆時針比較，如果中心像素值比該鄰點大，則將鄰點賦值為1，否則賦值為0，這樣每個點都會獲得一個8位二進制數(shù)（通常轉(zhuǎn)換為十進制數(shù)）。紋理特征表達（2）計算每個Cell的直方圖，即每個數(shù)宇（假定是十進制數(shù)）出現(xiàn)的頻率，然后對該直方圖進行歸一化處理。（3）將得到的每個Cell的統(tǒng)計直方圖進行連接，就得到了整幅圖的LBP紋理特征，然后便可利用支持向量機或者其他機器學(xué)習(xí)算法進行分類了。紋理特征表達】9下面介紹一種方向性紋理紡織物疵點的檢測方法。紡織物疵點檢測的方法有很多，其中與人視覺功能相似的小波和Gabor濾波器是近年來提出的兩種重要的方法，兩者都有多尺度、多分辦率的特性，適用于針對不同特征的疵點檢測。Gabor濾波器作為一種方向性濾波器，在時域和頻域都有著很好的局部性，適合用于具有方向的紋理檢測。紋理特征表達05應(yīng)用舉例粒子濾波（ParticleFilter）跟蹤算法是一種基于粒子分布統(tǒng)計的算法。在跟蹤問題中，首先對興趣目標的特征進行建模，并定義一種相似度度量，確定粒子與目標的匹配程度。均值漂移（Meanshift）算法是一種基于概率密度分布的跟蹤方法，使目標的搜索一直沿著概率梯度上升的方向，迭代收斂到概率密度分布的局部峰值上。利用深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)模型，得到的卷積特征的輸出表達能力更強。01粒子濾波跟蹤算法02均值漂移算法03基于深度學(xué)習(xí)的跟蹤技術(shù)應(yīng)用舉例全景拼接是將對同一場景拍攝的多幅影像根據(jù)其空間對應(yīng)關(guān)系，拼接成一幅大覆蓋范圍的影像。其中，特征提取和匹配技術(shù)是投影變換和像素拼接步驟的關(guān)鍵，具體操作如下。（1）在具有重疊觀測區(qū)域的多幅影像之間，使用點特征提取算法，分別檢測提取特征點，并建立特征描述符。（2）根據(jù)影像之間的特征描述符的匹配關(guān)系，找到同名像素的對應(yīng)關(guān)系。應(yīng)用舉例（3）使用一些誤匹配剔除技術(shù)（如RANSAC算法），獲得穩(wěn)健的特征對應(yīng)，基于特征對應(yīng)計算單應(yīng)轉(zhuǎn)換矩陣。（4）根據(jù)計算的每幅影像的單應(yīng)轉(zhuǎn)換矩陣，將影像進行重采樣，把像素投影到一個統(tǒng)一的成像平面上，獲得拼接圖像。（5）對重疊區(qū)域的像素進行亮度值的均衡化，可以使用直方圖均衡化技術(shù)實現(xiàn)，獲得色調(diào)和諧的全景拼接影像。應(yīng)用舉例06小結(jié)特征提取屬于許多視覺處理任務(wù)中的一個初級處理，它通常是場景三維重建、目標跟蹤定位和語義識別等處理的先決條件。優(yōu)良的特征提取技術(shù)需要對光照、遮擋、尺度差異和變形等干擾問題具有一定的適應(yīng)性。小結(jié)感謝觀看第四章計算機視覺三維測量與建模由運動恢復(fù)結(jié)構(gòu)南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01對極幾何】9在基于影像的三維重建處理之前，參考影像上的像素點m對應(yīng)的三維空間點M在場景中的準確位置是未知的，但它必然在一條通過攝影中心C且與成像平面相交于班點的直線（視線）上。直線，在待匹配的影像的像平面上的投影是線l’，那么在這個像平面上的對應(yīng)的投影點班'也要在這條線上。更進一步，所有位于C、C’和雅三點所確定的平面上的空間點，在兩幅影像上的投影都會落在直線l和l’上?？芍?，每個點的對應(yīng)點都在l’上，反之亦然。對極幾何對極幾何基礎(chǔ)矩陣F有一些重要的特性（1）如果西是一對攝像機矩陣(P，P’)的基礎(chǔ)矩陣，則五是按相反順序?qū)?P',P)的基礎(chǔ)矩陣。（2）對于第一幅影像中的任意點班，對應(yīng)在另一幅影像上的極線為l’=Fm。類似地，I=F^Tp'表示與第二幅影像中的m'對應(yīng)于第一幅影像的極線。（3）對于任何點班（e除外），極線l’=Fm包含第二幅影像中的極點e'。因此，對于所有點m，e滿足e’^T(Fmi)=0，總有(e^T)=0，因此eTF=0，即e'是萬的左零向量。類似地，F(xiàn)e=0，即e是田的右零向量。對極幾何本質(zhì)矩陣E（EssentialMatrix）是由攝像機的外參數(shù)確定的，與攝像機的內(nèi)參數(shù)元素無關(guān)。本質(zhì)矩陣就是在歸一化影像空間坐標條件下的基礎(chǔ)矩陣的特例，基礎(chǔ)矩陣是本質(zhì)矩陣在不考慮攝像機內(nèi)參標定矩陣的推廣。與基礎(chǔ)矩陣相比，本質(zhì)矩陣西具有較小的自由度和附加的性質(zhì)。對極幾何02影像的單應(yīng)變換】9影像的單應(yīng)變換影像的單應(yīng)變換03求解二視圖的基礎(chǔ)矩陣01八點算法基礎(chǔ)求解二視圖的基礎(chǔ)矩陣以用八點算法求解二視圖的基礎(chǔ)矩陣有兩個步驟：建立線性方程4f=0，由系數(shù)短陣A的最小奇異值對應(yīng)的奇異向量f求出初始線性解區(qū)。根據(jù)奇異性約束，使Frobenius范數(shù)1取得最小值的作為最終的解。八點算法的優(yōu)點是容易實現(xiàn)，且線性求解的運行速度快；然而缺點也很明顯，即該算法對噪聲敏感。12求解二視圖的基礎(chǔ)矩陣02歸一化八點算法在實踐中，將方程組歸一化非常重要。系數(shù)矩陣A的元素是由影像像素坐標計算而來的，數(shù)值變換區(qū)間相差多個數(shù)量級。這種情況下SVD分解極易受坐標值測量噪聲的干擾，而使結(jié)果不穩(wěn)定。03非線性最小二乘算法八點算法最小化的誤差是一個代數(shù)錯誤，然而理想的最小化目標函數(shù)是一個幾何意義上的標量?？梢圆扇〉恼`差測量是點與外極線之間的距離D（m，l）。假設(shè)每個特征點上的噪聲都是獨立的零均值高斯，所有點的標準差都相同，則以下形式的最小化會產(chǎn)生最大似然解。求解二視圖的基礎(chǔ)矩陣求解二視圖的基礎(chǔ)矩陣首先對待處理的影像進行高斯濾波平滑處理，去除影像中的高斯噪聲，有效抑制高斯噪聲這樣的高頻分量。高斯°波就是對整幅影像進行加權(quán)平均的過程，每個像素點的值都由其本身和鄰域內(nèi)的其他像素灰度值經(jīng)過加權(quán)平均后得到。例如，使用3x3的高斯模板加權(quán)平均公式如下：01Canny算法的具體實現(xiàn)過程如下。02在高斯濾波后，計算像素的梯度幅值和具體方向。該步驟可選用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用較多的是Sobel算子。求解二視圖的基礎(chǔ)矩陣01隨機抽樣一致性檢驗RANSAC下面總結(jié)了二視圖的對極幾何求解過程。在兩幅影像上分別使用特征提取算法提取特征點，并且對兩幅影像的特征點進行特征匹配，獲得初始匹配點對。從所有的匹配點對中，隨機抽樣選取7組匹配點對，根據(jù)7組點對，計算一個基礎(chǔ)矩陣F并統(tǒng)計能夠滿足F的正常值，inlier）個效。求解二視圖的基礎(chǔ)矩陣01隨機抽樣一致性檢驗RANSAC統(tǒng)計inlier的比例，如果滿足式（4.25）中的F＞95%，則繼續(xù)下一步；否則，跳回第（2）步。使用所有的inlier，重新計算一個優(yōu)化的F。根據(jù)開尋找新的匹配點對。再一次使用所有的匹配點對，優(yōu)化F。求解二視圖的基礎(chǔ)矩陣02RANSAC舉例使用魯棒算法能夠根據(jù)兩幅影像的像點特征對應(yīng)，求解二視圖的基礎(chǔ)矩陣衛(wèi)。根據(jù)RANSAC算法剔除誤匹配可以有效地改善衛(wèi)的求解效率和精度。圖4.5給出了一組檢驗RANSAC算法的實驗圖，圖片內(nèi)容為北京市密云區(qū)古北水鎮(zhèn)景區(qū)的復(fù)古建筑照片，兩幅影像分別為在進行RANSAC驗證前、后的特征匹配對應(yīng)結(jié)果。求解二視圖的基礎(chǔ)矩陣兩個視圖射影幾何的計算要求匹配點對所對應(yīng)的內(nèi)容是在三維場景中的，并且運動不僅僅是純旋轉(zhuǎn)。如果觀察到的三維場景只覆蓋一個平面區(qū)域，則基礎(chǔ)矩陣最多只能確定三個自由度。當攝像機的運動是純旋轉(zhuǎn)時也是奶此。只有一個投影中心，是不能觀測到深度信息的。在沒有噪聲的情況下，對這些退化情況的檢測不會太困難。但實際采集的數(shù)據(jù)是存在噪聲的，方程中剩余的自由度是由噪聲決定的，此時估計退化問題就顯得更加困難。求解二視圖的基礎(chǔ)矩陣可以用與4.3節(jié)中介紹的二視圖幾何計算類似的方式確定三視圖或四視圖兒何。由于滿足三視圖或四視圖幾何的結(jié)構(gòu)點肯定也會滿足二視圖幾何的結(jié)構(gòu)，因此可以采用級聯(lián)的方式進行匹配。求解二視圖的基礎(chǔ)矩陣04攝像機位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)攝像機位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)攝像機位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)對于每一幅新添加的影像視圖，首先確定它在現(xiàn)有重建結(jié)構(gòu)中的位置姿態(tài)參數(shù)，然后更新重建結(jié)構(gòu)，如圖4.8所示。攝像機位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)關(guān)聯(lián)三個點是恢復(fù)影像的姿態(tài)所需條件最少的情況，稱為透視三點（Perspective-3-Point，P3P）問題。擴展到更多的點，此時問題被稱為PnP(Perspective-n-Point)。PnP描述了己知n個三維空間點以及它們的對應(yīng)匹配影像上的像點坐標時，如何求解影像的位姿。如圖4.9所示，實際上，最少3組不共線的匹配點對就可以估計一幅影像的位置姿態(tài)。攝像機位置姿態(tài)和場景結(jié)構(gòu)恢復(fù)05光束法平差】9攝像機拍照的時候，三維空間點投影到影像上的過程是實際投影。根據(jù)影像的肉外參數(shù)和像平面點的匹配信息，可以用三角測量重建三維空間點坐標。將重建得到的三維空間點按照影像的投影矩陣進行再次虛擬投影，會得到在影像上的第二次投影的像素坐標，即重投影。圖4.10表示了一個簡單的SfM光束法平差中的空間點和像平面點的對應(yīng)關(guān)系。光束法平差是以一個投影光束作為平差計算的基本單元，以透視投影的成像方程作為數(shù)學(xué)模型的基本方程。光束法平差】9最小二乘（LeastSquares,LS）法是對過擬合模型的一種最優(yōu)解估計方法，它是應(yīng)用最為廣泛的一種凸優(yōu)化求解方法。過擬合的情形也可以稱為超定系統(tǒng)(Overdetermined

System)。在一組包含未知數(shù)的方程組中，如果方程的數(shù)量大于未知數(shù)的數(shù)量，那么這個系統(tǒng)就是一個超定系統(tǒng)。超定方程組一般是沒有解析解的，只能求近似解。最小二乘法就是求超定方程組近似解的一種方法。在高斯白噪聲的假設(shè)條件下，最小二乘解等價于極大仙然估計解。光束法平差在非線性最小二乘法中，高斯——牛頓(Gauss-Newton，GN)算法具有收斂速度快的特點，因此被廣泛采用。光束法平差列文伯格-馬奎特(Levenberg-Marguardt，LM)算法是一種帶有阻尼項的改化GN算法。通過阻尼項的調(diào)節(jié)作用，該算法在初始解遠離最優(yōu)解時，有最速下降法的特點；在當前解靠近最優(yōu)解時，收斂速率較快，相當于GN算法。列文伯格——馬奎特(Levenberg-Marguardt，LM)算法是一種帶有阻尼項的改化GN算法。通過阻尼項的調(diào)節(jié)作用，該算法在初始解遠離最優(yōu)解時，有最速下降法的特點；在當前解靠近最優(yōu)解時，收斂速率較快，相當于GN算法。光束法平差光束法平差光束法平差光束法平差06應(yīng)用舉例目前，關(guān)于改進和完善SIM技術(shù)的研究主要集中在兩個方面：(1）實時性，同時計算多個攝像機的歐氏重建，即實時在線地估計攝像機的位置姿態(tài)參數(shù)，甚至在未知攝像機參數(shù)的情況下估計內(nèi)參數(shù)，這類研究在增強現(xiàn)實應(yīng)用中具有重要的作用：(2）規(guī)模性，研究奶何有效地重構(gòu)出涵蓋更長的攝像機拍照軌跡，獲得更大、更復(fù)雜的三維場景結(jié)構(gòu)，這類研究主要面向城市類型的大規(guī)模建模應(yīng)用。目前，關(guān)于改進和完善SIM技術(shù)的研究主要集中在兩個方面：（1）實時性，同時計算多個攝像機的歐氏重建，即實時在線地估計攝像機的位置姿態(tài)參數(shù)，甚至在未知攝像機參數(shù)的情況下估計內(nèi)參數(shù)，這類研究在增強現(xiàn)實應(yīng)用中具有重要的作用；（2）規(guī)模性，研究奶何有效地重構(gòu)出涵蓋更長的攝像機拍照軌跡，獲得更大、更復(fù)雜的三維場景結(jié)構(gòu)，這類研究主要面向城市類型的大規(guī)模建模應(yīng)用。應(yīng)用舉例07小結(jié)早期的SfM工作主要集中在剛性場景假設(shè)下的二視圖和三視圖的幾何重建。要使影像重建三維結(jié)構(gòu)正常工作，需要多幅影像從多幅視點觀測同一場景。盡管觀測影像的數(shù)目最小值為兩幅影像。小結(jié)但有時候為了保證處理方法的魯棒性，需要至少三幅影像來觀察每個場景三維點。SIM的重要發(fā)展之一是使用RANSAC技術(shù)在存在噪聲的情況下，能夠在兩個或三個視圖之間穩(wěn)健地恢復(fù)出外極幾何。小結(jié)感謝觀看第五章計算機視覺三維測量與建模雙目立體視覺南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01標準形式的雙目系統(tǒng)】9如果已知一對攝影機的內(nèi)參數(shù)，就可以通過畸變校正算法，去除影像的幾何畸變影響。然后利用對極幾何關(guān)系，對兩幅影像進行極線校正，得到標準形式的二視圖關(guān)系，即極線方向與影像的行掃描線方向平行。接下來就能夠用立體匹配算法進行密集像素匹配，標準立體匹配流程圖如圖5.1所示。標準形式的雙目系統(tǒng)02匹配基礎(chǔ)給定兩幅影像，本章分別約定為參考影像（左影像）工和目標影像（右影像），立體匹配的目標是找到工，中的像素在中的同名點對應(yīng)。極線校正的一種簡單表示方法是將兩個像空間坐標系旋轉(zhuǎn)，使它們的光軸平行，且垂直于光心連線，如圖5.3所示。極線校正之后，兩幅影像上的視差只發(fā)生在x方向上，在y方向上沒有視差。由此將兩幅影像的同名點匹配搜索過程從二維像空間縮減到了一維空間上，從而提高匹配的準確性和計算速度。匹配基礎(chǔ)常用的立體影像極線校正的方法是采用的Bouguet算法，該算法已經(jīng)被集成到OpenCV庫中，可以方便地調(diào)用它來完成二視圖的極線校正。Bouguet算法是將求解出來的旋轉(zhuǎn)矩陣R分解成左、右攝像機各旋轉(zhuǎn)一半的旋轉(zhuǎn)矩陣。分解的原則是使得左、右影像重投影造成的畸變最小，左、右視圖的共同面積最大，主要步驟如下。將右影像平面相對于左影像平面的旋轉(zhuǎn)矩陣分解成兩個矩陣民和R，叫作左、右攝像機的合成旋轉(zhuǎn)矩陣。匹配基礎(chǔ)將左、右攝像機各旋轉(zhuǎn)一半，使得左、右攝像機的光軸平行。此時左、右攝像機的成像面平行，但是基線與像平面不平行。構(gòu)造變換矩陣Rrect使得基線與像平面平行。構(gòu)造的方法是通過右攝像機相對于左攝像機的偏移矩陣t來完成的。匹配基礎(chǔ)通過合成旋轉(zhuǎn)矩陣與變換矩陣相乘獲得左、右攝像機的整體旋轉(zhuǎn)矩陣。左、右攝像機坐標系乘以各自的整體旋轉(zhuǎn)矩陣就可使得左、右攝像機的主光軸平行，且像平面與基線平行。通過上述的兩個整體旋轉(zhuǎn)矩陣，就能夠得到理想的平行配置的雙目立體影像。校正后根據(jù)需要對影像進行裁剪，需重新選擇一個影像中心和影像邊緣，從而讓左、右疊加部分最大。匹配基礎(chǔ)通常影像數(shù)據(jù)在采集時刻會存在高頻噪聲的影晌，通過一個高斯卷積可以明顯改善噪聲的影響。因此在匹配之前進行匹配預(yù)處理十分必要。設(shè)一幀二維影像為f0(x,y)，預(yù)處理過程就是為獲得新的影像匹配基礎(chǔ)視差圖（DisparityMap）和深度圖（DepthMap）是在立體匹配基礎(chǔ)上得到的一組反眏空間二維和三維對應(yīng)關(guān)系的二維圖像。如圖5.6所示，影像上像素位置的視差值對應(yīng)著空間結(jié)構(gòu)到成像光心連線（沿垂直于像平面的方向）的距離，即深度（Depih）。在極線校正后的影像上，每個目標像素點對應(yīng)深度的計算公式為匹配基礎(chǔ)03傳統(tǒng)立體匹配算法】9BM算法首先構(gòu)造一個小窗口，類似于卷積核。窗口的大小可以為3×3~21×21，通常情況下窗口的寬度是奇數(shù)確定窗口大小后，以待匹配的像素為中心，用窗口框選參考影像的區(qū)域內(nèi)的所有像素點，同樣用相同窗口框選目標影像并選出像素點。用兩個窗口范圍內(nèi)的對應(yīng)像素計算匹配代價函數(shù)。傳統(tǒng)立體匹配算法對于紋理缺三的影像區(qū)域，極易出現(xiàn)誤匹配或無法匹配的情況。01但是，該類以窗口匹配為基礎(chǔ)的算法存在以下不足：02對由光照條件的變化所引起的紋理畸變較為敏感。03對攝像機的位置和姿態(tài)變化及場景深度變化所引起的紋理畸變比較敏感。傳統(tǒng)立體匹配算法在紋理重復(fù)的區(qū)域中，可能會出現(xiàn)多個相關(guān)的峰值，這會導(dǎo)致誤匹配的產(chǎn)生。04但是，該類以窗口匹配為基礎(chǔ)的算法存在以下不足：05對遮擋情況沒有很好的處理機制。傳統(tǒng)立體匹配算法匹配算法都需要對像素進行匹配代價函數(shù)設(shè)計，不同的代價函數(shù)會對應(yīng)形成不同的匹配代價度量。在眾多匹配代價度量的算法中，圍繞方差和相關(guān)性展開設(shè)計較為普遍。方差匹配的直觀理解就是兩幅影像的“距離”，也就是它們之間差別大小的量化概念；相關(guān)性則以模板與檢測影像各個像素值相乘后得到的相關(guān)度為基礎(chǔ)。傳統(tǒng)立體匹配算法傳統(tǒng)立體匹配算法代價聚合的目的是讓代價度量的值可以較為精確地反映像素之間的相關(guān)性，單純的代價匹配計算只考志單一路徑以及局部區(qū)共的相關(guān)性。同時，在視差不連續(xù)的區(qū)域與紋理偏弱或重復(fù)紋理的區(qū)域，代價值很有可能無法反映左、右像素點的相關(guān)性，最直接的表現(xiàn)就是自動匹配的同名像點的代價并不是視差搜索范團內(nèi)最優(yōu)的值。傳統(tǒng)立體匹配算法01唯一性檢測傳統(tǒng)立體匹配算法02左右一致性檢測傳統(tǒng)立體匹配算法連通域檢測八點算法最小化的誤差是一個代數(shù)錯誤，然而理想的最小化目標函數(shù)是一個幾何意義上的標量。可以采取的誤差測量是點與外極線之間的距離D(m，l)。假設(shè)每個特征點上的噪聲都是獨立的零均值高斯，所有點的標準差都相同，則以下形式的最小化會產(chǎn)生最大似然解。03傳統(tǒng)立體匹配算法】9動態(tài)規(guī)劃（DynamicPrograrnming，DP）算法應(yīng)用在立體匹配中，是一種比較高效的全局匹配優(yōu)化算法，整體精度相對可革。20世紀50年代初美國數(shù)學(xué)家R.E.Bellman等人在研究多階段決策過程（MultistepDecisionProcess）的優(yōu)化問題時，提出了著名的最優(yōu)性原理。同時，Bellman把多階段過程轉(zhuǎn)化為一系列單階段問題，利用各階段之間的關(guān)系逐個求解，創(chuàng)立了解決多階段決策問題的優(yōu)化方法——動態(tài)規(guī)劃法。傳統(tǒng)立體匹配算法傳統(tǒng)立體匹配算法04圖割優(yōu)化匹配算法圖割優(yōu)化匹配法圖割優(yōu)化匹配法】9圖割優(yōu)化匹配法】9圖割優(yōu)化匹配法本節(jié)介紹一種簡單線性迭代聚類（SimpleLinearIterativeClustering,SLIC）算法來進行超像索分割操作，它是在區(qū)均值聚類分割（K-means）算法的基礎(chǔ)上進行的優(yōu)化算法。下面介紹算法的具體實施步驟。進行分割中心初始化，利用規(guī)則化的格網(wǎng)將影像像素區(qū)間進行原始劃分，格網(wǎng)的尺寸根據(jù)

計算獲得。采樣中心初始化在各個格網(wǎng)的中心，然后在3x3的格網(wǎng)鄰域區(qū)間內(nèi)移動尋找影像梯度變化最小的位置，這樣做可以避免分割中心落在梯度大的邊緣位置。圖割優(yōu)化匹配法對每個像素找到其所屬的初始分割區(qū)間。每個像素僅與最鄰近的聚類中心聯(lián)系在一起，每個聚類中心聯(lián)系的像素范圍為2S×2S，僅當像素落在一個聚類中心的覆蓋區(qū)域內(nèi)時才與該中心進行分析。

迭代更新直至殘差收斂。SLIC分割算法是一種改化的K-Means分類方法，它具有以下兩大特點：（1）通過約束與超像素尺才成正比的搜索空間大小，優(yōu)化過程的距離測度計算涉及的像素被大大減少，因此計算復(fù)雜度是與像素個數(shù)N成正比的線性復(fù)雜度O(N)；（2）加權(quán)相似性測度西數(shù)是一個包含顏色和位置屬性的函數(shù)，它可以控制超像素分割后的各像素塊的尺度和緊湊度。圖割優(yōu)化匹配法圖割優(yōu)化匹配法Middlebury發(fā)布的第二版本測試數(shù)據(jù)包括tsukuba、venus、teddy三組立體影像，三組圖像的最大視差的取值范圍分別為16像素、32像素、64像素，所以具有較好的代表性，圖5.16列出了三組影像的標準數(shù)據(jù)集圖像（上）以及對應(yīng)的真實視差圖（下）。圖割優(yōu)化匹配法05結(jié)構(gòu)光三維掃描如圖5.18所示，空間變化的二維結(jié)構(gòu)照射由特殊投影儀或由空問光調(diào)制器控制的光源產(chǎn)生。一個任意目標的三維表面被結(jié)構(gòu)光投射圖案所照射，該例的結(jié)構(gòu)光的模式圖案是空問變化的。成像傳感器獲取目標在結(jié)構(gòu)光照射下的表面影像。改變?nèi)S曲面的幾何形狀，成像傳感器捕獲的影像也會發(fā)生相應(yīng)的變化。結(jié)構(gòu)光三維掃描結(jié)構(gòu)光三維掃描使用連續(xù)變化的結(jié)構(gòu)光圖案的技術(shù)。01進一步可以將單點拍攝技術(shù)分為三大類：02使用一維編碼方案的技術(shù)（條帶索引)。03使用二維編碼方案（網(wǎng)格索引）的技術(shù)。結(jié)構(gòu)光三維掃描二進制編碼使用黑白條帶形成一系列投影圖案，使得每個點都有唯一的二進制代碼，該代碼不同于其他任何不同點的代碼。結(jié)構(gòu)光三維掃描相移法是一種著名的三維表面成像的條帶投影方法，它投射一組正弦圖家到物體表面（圖5.23），在相鄰光平面之間插值，每幅影像的像素獲得亞像素級別的條帶值。投影三個相移正弦模式，三個投影條帶圖的每個像素(x,y)的強度都可以描述為：結(jié)構(gòu)光三維掃描相移技術(shù)主要存在的問題是相位展開方法只提供相對展開，而不能求解絕對相位。如果兩個表面的不連續(xù)性大于2元，則基于相位展開的任何方法都無法正確地展開這兩個互相關(guān)聯(lián)的表面之間的關(guān)系。這些通常被稱為“整周期模糊度”的問題，可以通過結(jié)合使用灰度碼投影技術(shù)和相移技術(shù)來解決。結(jié)構(gòu)光三維掃描12光度立體法它從同一視點拍攝，通過改變光照射的方向，使用目標表面的影像序列來估計局部表面方向。它通過使用多幅影像解決了傳統(tǒng)的SFS方法中的不適定問題。彩虹三維攝像機圖5.28展示了利用彩虹帶模式的三維攝像機的基本概念，前提假設(shè)是場景不會改變投影儀打出的光顏色。相比于必須從一對立體影像中提取相應(yīng)特征以計算深度值的傳統(tǒng)立體視覺，彩虹三維攝像機可將空間變化的波長照射投影到物體表面。結(jié)構(gòu)光三維掃描34偽隨機二進制陣列一種網(wǎng)格索引的方法，是在網(wǎng)格位置上使用的隨二進制陣列（Pseudo-Random

BinaryArray,PRBA），產(chǎn)生點或其他圖案標記，使任何子窗口的編碼圖案是唯一的。DeBruiin編碼DeBruijn編碼是應(yīng)用了DeBruijn序列的結(jié)構(gòu)光編碼方法。n個字母m階的序列是一個長度為n的圓形字符串，其中長度為m的各子串出現(xiàn)一次。結(jié)構(gòu)光三維掃描】9結(jié)構(gòu)光三維掃描06立體視覺標定】9攝像機標定過程建立了二維影像上的像素與物體點所在的三維空間中的攝影關(guān)系，并且考慮了鏡頭的喂變失真。在大多數(shù)應(yīng)用中，標定技術(shù)可以使用簡化的攝像機模型和一組內(nèi)參數(shù)來表示這個關(guān)系。有幾種方法和相應(yīng)的工具箱可用，這些過程需要不同角度拍攝的照片和已知的標定對象的尺度信息。平面棋盤格是一種常用的標定對象，因為它的制作非常簡單，可以用標準的打印機打印出來，并且有很容易被檢測到的明顯的角點。具體的原理和實現(xiàn)可以參見第2章中的技術(shù)方法。立體視覺標定02投影儀的強度標定此逆模型使得將二維影像上的像素與三維空間中的直線坐標的關(guān)聯(lián)問題變得困難。尋找方法建立這種關(guān)聯(lián)對應(yīng)關(guān)系，就可以使用攝像機標定算法對投影儀進行標定。為了提高對比度，投影儀的強度曲線通常隨著伽馬變換而改變。當在三維成像系統(tǒng)中作為主動光源使用時，標定的目標是恢復(fù)照射強度的線性度。投影儀的幾何標定立體視覺標定式中，d是視差的標準偏差。該方程表明，深度不確定度隨深度呈二次暴增長。因此，標注雙目立體視覺系統(tǒng)通常只能在有限的距離范圍內(nèi)工作。如果目標距離較大，則深度估計變得更不確定。立體視覺標定07應(yīng)用舉例實驗數(shù)據(jù)。算法實現(xiàn)。精度評定。010203這些設(shè)各設(shè)施直接驗證了月球車對地外星體探測的能力，為定量地分析各類算法精度和效率提供了可靠的支持與保障。應(yīng)用舉例08小結(jié)雙目立體視覺技術(shù)涵蓋了前面章節(jié)的許多基礎(chǔ)知識，包括對極幾何、攝像機標定、特征提取與匹配的理論。雙目立體視覺無論是設(shè)備搭建還是程序開發(fā)實現(xiàn)，都是比較容易入手的。小結(jié)感謝觀看第六章計算機視覺三維測量與建模點云濾波與分割南京航空航天大學(xué)研究生教育教學(xué)改革專項（優(yōu)質(zhì)教學(xué)資源建設(shè)）項目資助01采樣點云特性】9隨著數(shù)據(jù)采集設(shè)備的不斷更新發(fā)展，三維點云的獲取變得越米越便捷，采集數(shù)據(jù)的設(shè)備包括數(shù)碼攝像機、結(jié)構(gòu)光掃描儀、LiDAR掃描儀以及彩色深度（RGBD）攝像機等，然而數(shù)據(jù)獲取方式的差異也使采樣點云具有不同的屬性，同時包括各種潛在的數(shù)據(jù)缺陷，是表面重建工作需要面臨的重要挑戰(zhàn)。接下來概括描達采樣點云通常存在的一些典型問題，如圖6.1所示，以一個點云片段的截面為例。采樣點云特性嗓音（Noise）點云噪聲通常是指數(shù)據(jù)點隨機分布在靠近真實表面位置的情況典型的噪聲受以下因素的影響：傳感器的系統(tǒng)性問題、觀測目標的材料散射特性、深度值測量質(zhì)量、傳感器與目標之間的距離等。0102外點（Outliers）外點也叫作異常值或者野值，它是指遠商真實表面的采樣點。小點的產(chǎn)生通常是由于在數(shù)據(jù)采集的過程中出現(xiàn)了結(jié)構(gòu)性的錯誤。主要表現(xiàn)為隨機地分布生真實表面周團的離散點，通常這部分點的密度低于正常采樣數(shù)據(jù)的密度。外點也可以是戲群存在的，比如以較高密度點集群存在于遠離真實表面的位置。03采樣缺失（Missing）采樣缺失是由于在掃描過程中傳感器的采樣范圍有限、目標具有高吸收特性、目標形狀遮擋等因素造成的。這使得部分目標表面沒有采樣數(shù)據(jù)，主采樣密度為零的區(qū)域。采樣點云特性密度不均（UnevenDensity）對目標物表面進行掃描采樣時，點云在對應(yīng)物體表面約密度分布被理解為采樣密度。三維掃描產(chǎn)生的點云通常會具有采樣密度不均勻的特點，這可能是由于采樣目標與掃描儀的距離變化、掃描儀攝影方向變換、采樣目標的自身形態(tài)特征等因素引起的。0405配準錯位（Misalignment）有時數(shù)據(jù)采集不是一次性完成的，而是利用多角度或者多頻次的采樣拼接得到整個目標場景的點云數(shù)據(jù)的。采樣點云特性采樣點云特性】9從程序?qū)崿F(xiàn)的角度出發(fā)，將待估計距離直接用平方項進行比較，避免開平方運算的消耗,可大大提高算法效率。幾乎所有的ANN方法都基于對全空間的劃分，迅速找到查詢點所在的子空間,并將查詢點與子空間內(nèi)的數(shù)據(jù)點進行比較計算。對于具體的應(yīng)用而言,鄰域查詢還被分為兩種類型的查詢,即:找到離查詢點p，最近的k個點，不考慮這些點的分布范圍；找到距p，小于半徑r的至多k個點,此時查詢結(jié)果的個數(shù)可能小于k個。采樣點云特性在這些結(jié)構(gòu)當中，八叉樹和KD樹是三維點云數(shù)據(jù)組織中應(yīng)用最為廣泛的兩種。八叉樹數(shù)據(jù)結(jié)構(gòu)是由二維空間的四叉樹數(shù)據(jù)結(jié)構(gòu)推廣到三維空間而形成的，它是種樹形結(jié)構(gòu)，在空間分解上具有很強的優(yōu)勢。采樣點云特性KD樹是一種用于組織＆維空間中離散數(shù)據(jù)點的數(shù)據(jù)結(jié)構(gòu)，它是一種二叉搜索樹，在最鄰近搜索上具有非常高的效率。采樣點云特性02點云濾波增強】96.1節(jié)所述的建模算法對掃描點云的采樣密度、表面法向量和噪聲分布等特性都有一定的要求，雖然許多隱式建模算法都可以容忍一定程度的點云密度的稀疏分布和法向量的方向翻轉(zhuǎn)錯誤的情況，但當存在大面積連續(xù)的法向量估計錯誤時，表面重建結(jié)果會有顯著的缺陷。因此，準確的法向量估計以及優(yōu)化的點云空間結(jié)構(gòu)，對于表面建模工作具有十分重要的意義。在本節(jié)中，將介紹與點云結(jié)構(gòu)增強相結(jié)合的法向量估計優(yōu)化算法,可以提高離散點云數(shù)據(jù)質(zhì)量。點云濾波增強點云的法向量信息對于采樣點云的平面擬合、特征提取、表面分割、表面建模以及信息提取等研究來說有極其重要的作用。光滑表面在每一點上的法向量都有唯一的定義，即垂直于該點的空間切面的方向，在一個給定的點上切面空間的直觀表示是一個局部表面近似。表面法向量可以是有向的，其中每個法向量始終指向表面的內(nèi)側(cè)或外側(cè)；法向量估計的結(jié)果也可能是無向的，即具體指向不確定。有向的法向量為重建算法提供了非常有用的線索，然而如果與點云相關(guān)的某些信息是不存在的，那么要得到一個方向明確的法向量是非常困難的。點云濾波增強主成分分析算法確定法向量的指向點云濾波增強最小生成樹(MST)算法使用Kruskal算法生成MST的方法可以稱為“加邊法”，初始最小生成樹的邊數(shù)為0，每迭代一次就選擇一條滿足條件的最小代價邊，加入最小生成樹的邊集合里。具體步驟如下：（1）把圖中的所有邊按代價從小到大排序；（2）把圖中的n個頂點視為獨立的由n棵樹組成的森林；（3）按權(quán)值從小到大選擇邊，所選的邊連接的兩個頂點應(yīng)屬于兩棵不同的樹，則成為最小生成樹的一條邊，并將這兩棵樹合并為一棵樹；（4）重復(fù)上一步，直到所有頂點都在一棵樹內(nèi)或者有1-1條邊為止。點云濾波增強一點的局部歐氏坐標系點云濾波增強01基于統(tǒng)計學(xué)的方法一種簡單的基于統(tǒng)計學(xué)方法的原理是假設(shè)點云里的所有點到其鄰域點的平均距離值的概率服從高斯分布，其形狀由均值和標準差決定。在算法處理時，首先將輸入點云數(shù)據(jù)中的每一個點到其鄰近點的距離分布情況進行計算，得到各點到它所有鄰近點的平均距離。然后，將平均距離在標準差范園之外的點定義為離群點，進而將這些離群點從點云中刪除。02基于表面重采樣的方法經(jīng)典的表面重采樣方法從計算機圖形研究領(lǐng)域被推廣到了三維點云處理領(lǐng)域。基于表面重采樣的方法將點投影到估計的局部曲面。點云濾波增強03基于深度學(xué)習(xí)的方法它通過將點斑投影到一個基于學(xué)習(xí)得到的局部框架下，并在有監(jiān)咨的環(huán)境中使用卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)將點斑移動到曲面上來，達到去噪的效果。另一種方法使用PCPNet將噪聲點云投影映射到一個千凈的點云曲面。此外，也有學(xué)者以人造目標為對象，研究用基于深度學(xué)習(xí)的方法提取邊特征，然后在保持邊特征的前提下對點云進行重采樣。點云濾波增強異常值（Outliers）檢測在許多領(lǐng)域都被應(yīng)用，比如統(tǒng)計分析、機器學(xué)習(xí)、模式識別和數(shù)據(jù)壓縮等。采樣點云數(shù)據(jù)通常具有不同的點密度，此外測量誤差會引起稀疏的異常值和退化的結(jié)果。點云濾波增強主成分分析（PrincipalComponentAnalysis,PCA）算法是典型的協(xié)方差矩陣估計算法，它對觀測噪聲十分飯感，當噪聲強烈或有異常點存在時，所計算的結(jié)果會存在嚴重誤差。因此，下面提出了基于局部優(yōu)化投影采樣算法的點云增強算法來滅小噪聲和異常點給法向量估計帶來的不利影響。點云濾波增強】9點云濾波增強03點云超體素分割】9點云分割的目的是將點云集合中的點分割成具有感知意義的符合目標邊界劃分性質(zhì)的若干區(qū)域子集。在同一個區(qū)域中的點應(yīng)該擁有相同的性質(zhì)。該技術(shù)在機器視覺中有很多應(yīng)用，例如，智能交通、現(xiàn)代測繪和自動導(dǎo)航。超體素（SuperVoxel）是一種集合,超體素聚類分割的目的不是完整地分割出某種特定目標,而是對點云實施一種過分割（OverSegmentation）。點云超體素分割】9依據(jù)馬爾可夫隨機場或條件隨機場條件，基于圖的算法將點云內(nèi)部的上下文關(guān)系與對象級的類別先驗知識合并在一起，近些年來獲得了廣泛的研究應(yīng)用。雖然這些技術(shù)的使用取得了顯著的進展，但有一個缺點，即在這些圖上進行推理的計算成本通常會隨肴圖的節(jié)點數(shù)量的增加而急劇增大。這意味著求解以每個點為一個節(jié)點的圖變得非常困難，這限制了算法在需要實時分割的應(yīng)用中的使用。點云超體素分割超體素分割可以提供超體素過分割形式的節(jié)點，代替原始的點，減少了進行推理時必須考慮的節(jié)點數(shù)量，從而減小了后續(xù)處理算法的計算成本?；诔w素的后續(xù)分割或建模算法必須考慮重構(gòu)數(shù)量，并且信息損失最小。點云超體素分割分割方法利用了觀測數(shù)據(jù)點之間的三維幾何關(guān)系，有時也包含附加的投影顏色或深度信息，分段區(qū)域內(nèi)必須具有空間連接性的約束。點云的體素類型包含規(guī)則格網(wǎng)化的體素，這類體素可以認為是一種對空間規(guī)則劃分的具有等尺寸的立方體。另一類體素是不規(guī)則的過分割形式的體素，在本節(jié)討論的超體素指的就是不規(guī)則的過分割超體素。點云超體素分割】9首先考慮相似性度量，通常它是以法向量、曲率和離散度等屬性信息構(gòu)成的特征空間中的特征向量來進行計算的，當點云數(shù)據(jù)的附加信息中具有影像紋理亮度時，亮度參數(shù)也被包含到點的特征向量中。下一步