D感知與目標(biāo)位姿計算課件

Chapter103DSensingandObjectPoseComputation第十章3D感知與目標(biāo)位姿計算Chapter103DSensingandObje舉例多攝像機測量系統(tǒng)通過計算機視覺來識別目標(biāo)并確定目標(biāo)位置舉例多攝像機測量系統(tǒng)通過計算機視覺來識別目標(biāo)并確定目標(biāo)位置通過立體視覺求深度放置兩臺攝像機，使它們的X軸重合，Y軸和Z軸分別相互平行。Y軸垂直于紙面。右側(cè)攝像機的原點或投影中心的偏移量為b，b是立體視覺系統(tǒng)的基線(baseline)。目標(biāo)點P在左圖像中對應(yīng)點為Pl，在右圖像中對應(yīng)點為Pr，可以確定點P位于光線LPl和RPr的交點處。根據(jù)相似三角形：通過立體視覺求深度放置兩臺攝像機，使它們的X軸重合，Y軸和Z通過立體視覺求深度因為坐標(biāo)yl和yr相同。所以點P的兩個未知坐標(biāo)x和z可以表示為：d=xl-xr定義：當(dāng)同一個3D點投影到不同的兩臺攝像機圖像上時，對應(yīng)點在圖像上的位置差稱為視差(disparity)。注意：到點P的距離隨著視差的減小而增加，隨著視差的增大而減小。隨著視差趨近零時，距離趨近無窮。通過立體視覺求深度因為坐標(biāo)yl和yr相同。所以點P的兩個未知建立對應(yīng)關(guān)系1）交叉相關(guān)

對于已知圖像I1(立體圖像對中的第一幅圖像)中的點P1，假設(shè)在圖像I2(立體圖像對中第二幅圖像)中存在某個固定區(qū)域，在該區(qū)域中一定可以找到與P1對應(yīng)的點P2.

區(qū)域的大小由拍攝這些圖像的攝像機設(shè)備信息決定。對于圖像I1的像素P1，搜索I2上的選定區(qū)域，對P1和P2的鄰域進行交叉相關(guān)運算，把交叉相關(guān)影響最大的像素，作為P1的最佳匹配點，并用該像素尋找對應(yīng)3D點的深度。建立對應(yīng)關(guān)系1）交叉相關(guān)對于圖像I1的像素P1，搜索I2上的2）圖符匹配和相關(guān)約束

在一幅圖像中尋找與另一幅圖像特征相匹配的特征。典型特征有連接類型、線段或區(qū)域?？梢圆捎靡恢滦詷?biāo)記尋找匹配。部件集合P是第一幅圖像I1中的特征集合。標(biāo)記集L是第二幅圖像I2的特征集合。P上的空間關(guān)系RP要與L上的空間關(guān)系RL相同。建立對應(yīng)關(guān)系采用連接點關(guān)系對特征進行匹配圖中的L連接和箭頭連接是可能的匹配點。一般避免使用T連接，因為它們通常是遮擋的結(jié)果，而不是3D結(jié)構(gòu)的實際特征。2）圖符匹配和相關(guān)約束建立對應(yīng)關(guān)系采用連接點關(guān)系對特征進行匹2）圖符匹配和相關(guān)約束

存在問題：

1)并非第一幅圖像中所有特征都可以在第二幅圖像中檢測到.2)從第一幅圖像特征到第二幅圖像特征映射后，連接點的對應(yīng)關(guān)系產(chǎn)生的是一個稀疏深度映射，不能完全表示三維信息.

解決方法：

1)允許出現(xiàn)一定的誤差，尋找一種最小誤差映射，或利用連續(xù)松弛法得到近似解.2)在求得的稀疏深度映射點上進行線性插值運算，使稀疏深度映射變得稠密.建立對應(yīng)關(guān)系2）圖符匹配和相關(guān)約束建立對應(yīng)關(guān)系3)外極線約束

兩圖像面位于同一平面并且與基線平行。已知圖像I1中的點P1=(x1,y1)，則圖像I2中的對應(yīng)點P2=(x2,y2)將與P1位于相同的掃描線上，也就是y1=y2。這對圖像為標(biāo)準圖像對。建立對應(yīng)關(guān)系標(biāo)準圖像對的外極線幾何。3D點P在圖像I1中的投影為P1，在圖像I2中的投影為P2，二幅圖像位于同一平面，與兩攝像機間的基線平行。光軸垂直于基線并相互平行。3)外極線約束建立對應(yīng)關(guān)系標(biāo)準圖像對的外極線幾何。3D點P在3)外極線約束

建立對應(yīng)關(guān)系定義：包含3D點P、兩個光心(或攝像機)C1和C2，以及P在兩幅圖像中的投影點P1和P2的平面稱為外極面(epipolarplane).定義：外極面與兩幅圖像平面I1和I2的交線e1和e2稱為外極線(epipolarline).定義：立體圖像對的外極點(epipole)就是所有外極線的交點.3)外極線約束建立對應(yīng)關(guān)系定義：包含3D點P、兩個光心(或攝4）順序約束已知場景中兩個點和它們在兩幅圖像中的投影點。如果這兩點位于場景中的連續(xù)表面上，那么在每幅圖像中，它們以相同的順序位于外極線上。5）誤差與場景覆蓋場景覆蓋與計算深度誤差間尋求平衡。如果基線很短，確定圖像點P1和P2的位置時誤差就較小，但在計算3D點P的深度時誤差就較大。增大基線可以改進搜索精度，但隨攝像機彼此遠離，圖像點之間的對應(yīng)關(guān)系將丟失。建議兩臺攝像機光軸間最好是45度角。建立對應(yīng)關(guān)系4）順序約束建立對應(yīng)關(guān)系一般體視結(jié)構(gòu)兩臺攝像機C1和C2觀察相同的3D工作區(qū)。工件上的點P在第一幅圖像中的投影為1P，在第二幅圖中的投影為2P。兩臺攝像機觀察工作臺上相同的工件區(qū)時，工作臺就是一個完整的3D世界，并且有自己的世界坐標(biāo)系W。工作區(qū)中3D點wP=[wPx,wPy,wPz]的位置，可以通過兩條投影線wP1O和wP2O的交點確定。一般體視結(jié)構(gòu)兩臺攝像機C1和C2觀察相同的3D工作區(qū)。工件上為了進行立體視覺計算，需要已知下列條件：要知道攝像機C1在工作區(qū)W中的位姿，以及攝像機的一些內(nèi)部參數(shù)，如焦距。這些信息用攝像機矩陣(cameramatrix)來表示，對每個圖像點1P通過該矩陣確定3D空間中的一條光線。要知道C2在工作區(qū)W中的位姿以及它的內(nèi)部參數(shù)。要找出3D點與兩個2D圖像點(wP,1P,2P)之間的對應(yīng)關(guān)系。要有公式來計算兩條投影線wP1O和wP2O的交點wP。一般體視結(jié)構(gòu)為了進行立體視覺計算，需要已知下列條件：一般體視結(jié)構(gòu)基于多攝像機的3D點計算根據(jù)兩個像點[r1,c1]和[r2,c2]算出未知的3D點[x,y,z]，兩個像點由標(biāo)定好的兩臺攝像機攝取。去掉齊次坐標(biāo)s和t,可以得到含3個未知數(shù)的4個線性方程。4個方程中任意3個聯(lián)立都可以求出未知點[x,y,z]，但求出的坐標(biāo)值會產(chǎn)生微小的差異?；诙鄶z像機的3D點計算根據(jù)兩個像點[r1,c1]和[r2,問題：因為攝像機模型和圖像點的近似誤差，兩臺攝像機的投影線并沒有在數(shù)學(xué)的3D空間相交于一點。解決方案：計算這兩條空間斜交投影線之間的最短距離，也就是計算它們公垂線段的長度。如果公垂線比較短，就取公垂線的中點作為兩條投影線的交點。如果公垂線比較長，就要判定在進行像點對應(yīng)計算時出現(xiàn)了問題。基于多攝像機的3D點計算P1和P2是一條直線上的兩個點，而Q1和Q2是另外一條直線上的兩個點。u1和u2是沿兩條直線的單位向量。向量V=P1+a1u1-（Q1+a2u2）就是連續(xù)兩條直線的最短距離向量，其中a1和a2是兩個要確定的比例系數(shù)。問題：因為攝像機模型和圖像點的近似誤差，兩臺攝像機的投影線并利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個含未知數(shù)a1和a2的線性方程：利用消元法或者行列式法可以很容易解出a1和a2。如果‖sV‖小于某個閾值，就認為兩條直線相交于點[x,y,z]t=(1/2)[(P1+a1u1)+(Q1+a2u2)]?；诙鄶z像機的3D點計算利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個含未知3D目標(biāo)重建目標(biāo)建模的過程可分為四個步驟：

1）3D數(shù)據(jù)獲取

一般需要8-10張不同角度的視圖來獲得一系列物體表面的深度數(shù)據(jù)。

2）圖像配準

將深度數(shù)據(jù)轉(zhuǎn)換到一個3D坐標(biāo)系的過程為圖像配準過程。

3）表面重建

將3D點云用3D網(wǎng)格及格點間聯(lián)系表示；用一組3D體素表示目標(biāo)的整個體積。

4）優(yōu)化

平滑表面等過程3D目標(biāo)重建目標(biāo)建模的過程可分為四個步驟：視圖配準問題提出：為了覆蓋物體的整個表面，必須根據(jù)多幅視圖得到深度數(shù)據(jù)。解決方法：視圖1到視圖2的變換，要么通過精確的機械運動得到，要么通過圖像對應(yīng)求出。從圖像對應(yīng)求取：相當(dāng)于完成從一幅視圖映射到另一幅視圖的剛性變換。將其轉(zhuǎn)換到同一坐標(biāo)系下。

1）可以借助3D特征如角點和線段特征自動完成，基于特征得到3D-3D的對應(yīng)點，從而計算出變換關(guān)系。

2）利用交互方式，允許用戶在一對目標(biāo)圖像上選擇對應(yīng)點。視圖配準問題提出：為了覆蓋物體的整個表面，必須根據(jù)多幅視圖得視圖配準(左上)對兩組深度數(shù)據(jù)進行配準(右上)用戶交互選取4個對應(yīng)點(右下)存在少量偏差的初始變換(左下)幾次迭代后，兩組深度數(shù)據(jù)得到很好的對齊最近點迭代法：得到初始變換，通過迭代方法，使對應(yīng)3D點之間的距離之和最小化。視圖配準(左上)對兩組深度數(shù)據(jù)進行配準最近點迭代法：得到初始表面重建目標(biāo)：希望重建目標(biāo)與實際物體在外形上盡可能相似并且保持其拓撲結(jié)構(gòu)。(a)配準的椅子深度數(shù)據(jù)(b)重建過程出現(xiàn)的問題(c)具有正確拓撲結(jié)構(gòu)的粗略網(wǎng)格模型表面重建目標(biāo)：希望重建目標(biāo)與實際物體在外形上盡可能相似并且保圖片:

可以作為建模的靈感來源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片的三維重建圖片:可以作為建模的靈感來源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片基本流程基本流程部件一致性分割

[Xuetal.2010]InputmodelsetModelsinpartcorrespondence預(yù)分析候選模型集部件一致性分割[Xuetal.2010]預(yù)分析候選模形變控制單元

[Zhengetal.2011]控制單元:

長方形和廣義圓柱體相互關(guān)系:

對稱,連接,etc.預(yù)分析候選模型集形變控制單元[Zhengetal.2011]預(yù)分析候第一步:模型驅(qū)動的圖像空間結(jié)構(gòu)分析基于單幅圖片的三維重建第一步:基于單幅圖片的三維重建檢索代表模型模型驅(qū)動的標(biāo)號分割圖割法模型驅(qū)動的特征空間結(jié)構(gòu)分析檢索代表模型模型驅(qū)動的標(biāo)號分割圖割法模型驅(qū)動的特征空間結(jié)構(gòu)分基于單幅圖片的三維重建第二步:候選模型檢索基于單幅圖片的三維重建第二步:QueryTop5retrievedresults全局描述子檢索候選模型檢索全局描述子檢索候選模型檢索QueryTop5retrievedresults部件級描述子候選模型也可任意選擇候選模型檢索部件級描述子候選模型也可任意選擇候選模型檢索關(guān)鍵第三步:輪廓驅(qū)動的結(jié)構(gòu)保持形變基于單幅圖片的三維重建關(guān)鍵第三步:基于單幅圖片的三維重建輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)控制優(yōu)化輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)控制優(yōu)化輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimization輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)控制優(yōu)化潛質(zhì)幾何形變Beforeoptimizat輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimizationFinalgeometry輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptInitialcontrollerreconstructionFront-view結(jié)構(gòu)優(yōu)化InitialcontrollerFront-view結(jié)單獨控制對稱交互控制對稱鄰近約束最初構(gòu)造iterative最終結(jié)構(gòu)結(jié)構(gòu)優(yōu)化單獨控制對稱交互控制對稱鄰近約束最初構(gòu)造iterative最結(jié)果結(jié)果?結(jié)果?結(jié)果原始數(shù)據(jù)噪聲點云數(shù)據(jù)未分割有遮擋工具:

MicrosoftKinect實時提供深度和圖像信息小而便宜42數(shù)據(jù)獲取原始數(shù)據(jù)工具:MicrosoftKinect實時42數(shù)據(jù)學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translationalrotational43室內(nèi)場景重構(gòu)識別:

用學(xué)習(xí)到的模型在場景中識別物體學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translation44室內(nèi)場景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型用不同基元進行基本模型表示44室內(nèi)場景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本基元長方體、圓柱體、輻射狀構(gòu)造連通性剛性旋轉(zhuǎn)平移附屬關(guān)系位置信息contacttranslationalrotational45基本模型表示基元contacttranslationalrotation地平面和書桌物體單獨聚類部件通過一致性分類分割與其類似，后面還需修正46點云數(shù)據(jù)分層表示地平面和書桌46點云數(shù)據(jù)分層表示初始分配部件vs.基元簡單的對比高度，法矢量，大小魯棒的形變低漏報精細分配部件vs.模型迭代的解決位置、形變和分割低漏報parts47室內(nèi)場景重構(gòu)-識別階段初始分配部件vs.基元parts47室內(nèi)場景重構(gòu)-識別階初始分配部件vs.基元節(jié)點精細分配部件vs.模型InputpointsInitialobjectsModelsmatchedRefinedobjectsobjectspartsmatched48室內(nèi)場景重構(gòu)-識別階段初始分配部件vs.基元節(jié)點InputpointsIniRecognitionspeed:about200msperobject49合成場景Recognitionspeed:about200m50合成場景50合成場景51合成場景51合成場景丟失數(shù)據(jù)遮擋,材質(zhì),…最初分割容易出錯雜亂的目標(biāo)被合并為一個物體視角選擇影響物體分割，在某個視角下，物體成片狀52限制丟失數(shù)據(jù)52限制大作業(yè)內(nèi)容根據(jù)自己興趣，提交與視覺相關(guān)的綜述論文。比如可以寫圖像分割、三維建模的相關(guān)論文。提交作業(yè)形式郵件附件要命名為“學(xué)號+姓名”。截止日期

2016年07月01日提交郵箱

zhangyannju@;大作業(yè)內(nèi)容謝謝謝謝1、有時候讀書是一種巧妙地避開思考的方法。12月-2212月-22Friday,December9,20222、閱讀一切好書如同和過去最杰出的人談話。17:08:0717:08:0717:0812/9/20225:08:07PM3、越是沒有本領(lǐng)的就越加自命不凡。12月-2217:08:0717:08Dec-2209-Dec-224、越是無能的人，越喜歡挑剔別人的錯兒。17:08:0717:08:0717:08Friday,December9,20225、知人者智，自知者明。勝人者有力，自勝者強。12月-2212月-2217:08:0717:08:07December9,20226、意志堅強的人能把世界放在手中像泥塊一樣任意揉捏。09十二月20225:08:07下午17:08:0712月-227、最具挑戰(zhàn)性的挑戰(zhàn)莫過于提升自我。。十二月225:08下午12月-2217:08December9,20228、業(yè)余生活要有意義，不要越軌。2022/12/917:08:0717:08:0709December20229、一個人即使已登上頂峰，也仍要自強不息。5:08:07下午5:08下午17:08:0712月-2210、你要做多大的事情，就該承受多大的壓力。12/9/20225:08:07PM17:08:0709-12月-2211、自己要先看得起自己，別人才會看得起你。12/9/20225:08PM12/9/20225:08PM12月-2212月-2212、這一秒不放棄，下一秒就會有希望。09-Dec-2209December202212月-2213、無論才能知識多么卓著，如果缺乏熱情，則無異紙上畫餅充饑，無補于事。Friday,December9,202209-Dec-2212月-2214、我只是自己不放過自己而已，現(xiàn)在我不會再逼自己眷戀了。12月-2217:08:0709December202217:08謝謝大家1、有時候讀書是一種巧妙地避開思考的方法。12月-2212月55Chapter103DSensingandObjectPoseComputation第十章3D感知與目標(biāo)位姿計算Chapter103DSensingandObje舉例多攝像機測量系統(tǒng)通過計算機視覺來識別目標(biāo)并確定目標(biāo)位置舉例多攝像機測量系統(tǒng)通過計算機視覺來識別目標(biāo)并確定目標(biāo)位置通過立體視覺求深度放置兩臺攝像機，使它們的X軸重合，Y軸和Z軸分別相互平行。Y軸垂直于紙面。右側(cè)攝像機的原點或投影中心的偏移量為b，b是立體視覺系統(tǒng)的基線(baseline)。目標(biāo)點P在左圖像中對應(yīng)點為Pl，在右圖像中對應(yīng)點為Pr，可以確定點P位于光線LPl和RPr的交點處。根據(jù)相似三角形：通過立體視覺求深度放置兩臺攝像機，使它們的X軸重合，Y軸和Z通過立體視覺求深度因為坐標(biāo)yl和yr相同。所以點P的兩個未知坐標(biāo)x和z可以表示為：d=xl-xr定義：當(dāng)同一個3D點投影到不同的兩臺攝像機圖像上時，對應(yīng)點在圖像上的位置差稱為視差(disparity)。注意：到點P的距離隨著視差的減小而增加，隨著視差的增大而減小。隨著視差趨近零時，距離趨近無窮。通過立體視覺求深度因為坐標(biāo)yl和yr相同。所以點P的兩個未知建立對應(yīng)關(guān)系1）交叉相關(guān)

對于已知圖像I1(立體圖像對中的第一幅圖像)中的點P1，假設(shè)在圖像I2(立體圖像對中第二幅圖像)中存在某個固定區(qū)域，在該區(qū)域中一定可以找到與P1對應(yīng)的點P2.

區(qū)域的大小由拍攝這些圖像的攝像機設(shè)備信息決定。對于圖像I1的像素P1，搜索I2上的選定區(qū)域，對P1和P2的鄰域進行交叉相關(guān)運算，把交叉相關(guān)影響最大的像素，作為P1的最佳匹配點，并用該像素尋找對應(yīng)3D點的深度。建立對應(yīng)關(guān)系1）交叉相關(guān)對于圖像I1的像素P1，搜索I2上的2）圖符匹配和相關(guān)約束

在一幅圖像中尋找與另一幅圖像特征相匹配的特征。典型特征有連接類型、線段或區(qū)域?？梢圆捎靡恢滦詷?biāo)記尋找匹配。部件集合P是第一幅圖像I1中的特征集合。標(biāo)記集L是第二幅圖像I2的特征集合。P上的空間關(guān)系RP要與L上的空間關(guān)系RL相同。建立對應(yīng)關(guān)系采用連接點關(guān)系對特征進行匹配圖中的L連接和箭頭連接是可能的匹配點。一般避免使用T連接，因為它們通常是遮擋的結(jié)果，而不是3D結(jié)構(gòu)的實際特征。2）圖符匹配和相關(guān)約束建立對應(yīng)關(guān)系采用連接點關(guān)系對特征進行匹2）圖符匹配和相關(guān)約束

存在問題：

1)并非第一幅圖像中所有特征都可以在第二幅圖像中檢測到.2)從第一幅圖像特征到第二幅圖像特征映射后，連接點的對應(yīng)關(guān)系產(chǎn)生的是一個稀疏深度映射，不能完全表示三維信息.

解決方法：

1)允許出現(xiàn)一定的誤差，尋找一種最小誤差映射，或利用連續(xù)松弛法得到近似解.2)在求得的稀疏深度映射點上進行線性插值運算，使稀疏深度映射變得稠密.建立對應(yīng)關(guān)系2）圖符匹配和相關(guān)約束建立對應(yīng)關(guān)系3)外極線約束

兩圖像面位于同一平面并且與基線平行。已知圖像I1中的點P1=(x1,y1)，則圖像I2中的對應(yīng)點P2=(x2,y2)將與P1位于相同的掃描線上，也就是y1=y2。這對圖像為標(biāo)準圖像對。建立對應(yīng)關(guān)系標(biāo)準圖像對的外極線幾何。3D點P在圖像I1中的投影為P1，在圖像I2中的投影為P2，二幅圖像位于同一平面，與兩攝像機間的基線平行。光軸垂直于基線并相互平行。3)外極線約束建立對應(yīng)關(guān)系標(biāo)準圖像對的外極線幾何。3D點P在3)外極線約束

建立對應(yīng)關(guān)系定義：包含3D點P、兩個光心(或攝像機)C1和C2，以及P在兩幅圖像中的投影點P1和P2的平面稱為外極面(epipolarplane).定義：外極面與兩幅圖像平面I1和I2的交線e1和e2稱為外極線(epipolarline).定義：立體圖像對的外極點(epipole)就是所有外極線的交點.3)外極線約束建立對應(yīng)關(guān)系定義：包含3D點P、兩個光心(或攝4）順序約束已知場景中兩個點和它們在兩幅圖像中的投影點。如果這兩點位于場景中的連續(xù)表面上，那么在每幅圖像中，它們以相同的順序位于外極線上。5）誤差與場景覆蓋場景覆蓋與計算深度誤差間尋求平衡。如果基線很短，確定圖像點P1和P2的位置時誤差就較小，但在計算3D點P的深度時誤差就較大。增大基線可以改進搜索精度，但隨攝像機彼此遠離，圖像點之間的對應(yīng)關(guān)系將丟失。建議兩臺攝像機光軸間最好是45度角。建立對應(yīng)關(guān)系4）順序約束建立對應(yīng)關(guān)系一般體視結(jié)構(gòu)兩臺攝像機C1和C2觀察相同的3D工作區(qū)。工件上的點P在第一幅圖像中的投影為1P，在第二幅圖中的投影為2P。兩臺攝像機觀察工作臺上相同的工件區(qū)時，工作臺就是一個完整的3D世界，并且有自己的世界坐標(biāo)系W。工作區(qū)中3D點wP=[wPx,wPy,wPz]的位置，可以通過兩條投影線wP1O和wP2O的交點確定。一般體視結(jié)構(gòu)兩臺攝像機C1和C2觀察相同的3D工作區(qū)。工件上為了進行立體視覺計算，需要已知下列條件：要知道攝像機C1在工作區(qū)W中的位姿，以及攝像機的一些內(nèi)部參數(shù)，如焦距。這些信息用攝像機矩陣(cameramatrix)來表示，對每個圖像點1P通過該矩陣確定3D空間中的一條光線。要知道C2在工作區(qū)W中的位姿以及它的內(nèi)部參數(shù)。要找出3D點與兩個2D圖像點(wP,1P,2P)之間的對應(yīng)關(guān)系。要有公式來計算兩條投影線wP1O和wP2O的交點wP。一般體視結(jié)構(gòu)為了進行立體視覺計算，需要已知下列條件：一般體視結(jié)構(gòu)基于多攝像機的3D點計算根據(jù)兩個像點[r1,c1]和[r2,c2]算出未知的3D點[x,y,z]，兩個像點由標(biāo)定好的兩臺攝像機攝取。去掉齊次坐標(biāo)s和t,可以得到含3個未知數(shù)的4個線性方程。4個方程中任意3個聯(lián)立都可以求出未知點[x,y,z]，但求出的坐標(biāo)值會產(chǎn)生微小的差異?；诙鄶z像機的3D點計算根據(jù)兩個像點[r1,c1]和[r2,問題：因為攝像機模型和圖像點的近似誤差，兩臺攝像機的投影線并沒有在數(shù)學(xué)的3D空間相交于一點。解決方案：計算這兩條空間斜交投影線之間的最短距離，也就是計算它們公垂線段的長度。如果公垂線比較短，就取公垂線的中點作為兩條投影線的交點。如果公垂線比較長，就要判定在進行像點對應(yīng)計算時出現(xiàn)了問題?；诙鄶z像機的3D點計算P1和P2是一條直線上的兩個點，而Q1和Q2是另外一條直線上的兩個點。u1和u2是沿兩條直線的單位向量。向量V=P1+a1u1-（Q1+a2u2）就是連續(xù)兩條直線的最短距離向量，其中a1和a2是兩個要確定的比例系數(shù)。問題：因為攝像機模型和圖像點的近似誤差，兩臺攝像機的投影線并利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個含未知數(shù)a1和a2的線性方程：利用消元法或者行列式法可以很容易解出a1和a2。如果‖sV‖小于某個閾值，就認為兩條直線相交于點[x,y,z]t=(1/2)[(P1+a1u1)+(Q1+a2u2)]?；诙鄶z像機的3D點計算利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個含未知3D目標(biāo)重建目標(biāo)建模的過程可分為四個步驟：

1）3D數(shù)據(jù)獲取

一般需要8-10張不同角度的視圖來獲得一系列物體表面的深度數(shù)據(jù)。

2）圖像配準

將深度數(shù)據(jù)轉(zhuǎn)換到一個3D坐標(biāo)系的過程為圖像配準過程。

3）表面重建

將3D點云用3D網(wǎng)格及格點間聯(lián)系表示；用一組3D體素表示目標(biāo)的整個體積。

4）優(yōu)化

平滑表面等過程3D目標(biāo)重建目標(biāo)建模的過程可分為四個步驟：視圖配準問題提出：為了覆蓋物體的整個表面，必須根據(jù)多幅視圖得到深度數(shù)據(jù)。解決方法：視圖1到視圖2的變換，要么通過精確的機械運動得到，要么通過圖像對應(yīng)求出。從圖像對應(yīng)求取：相當(dāng)于完成從一幅視圖映射到另一幅視圖的剛性變換。將其轉(zhuǎn)換到同一坐標(biāo)系下。

1）可以借助3D特征如角點和線段特征自動完成，基于特征得到3D-3D的對應(yīng)點，從而計算出變換關(guān)系。

2）利用交互方式，允許用戶在一對目標(biāo)圖像上選擇對應(yīng)點。視圖配準問題提出：為了覆蓋物體的整個表面，必須根據(jù)多幅視圖得視圖配準(左上)對兩組深度數(shù)據(jù)進行配準(右上)用戶交互選取4個對應(yīng)點(右下)存在少量偏差的初始變換(左下)幾次迭代后，兩組深度數(shù)據(jù)得到很好的對齊最近點迭代法：得到初始變換，通過迭代方法，使對應(yīng)3D點之間的距離之和最小化。視圖配準(左上)對兩組深度數(shù)據(jù)進行配準最近點迭代法：得到初始表面重建目標(biāo)：希望重建目標(biāo)與實際物體在外形上盡可能相似并且保持其拓撲結(jié)構(gòu)。(a)配準的椅子深度數(shù)據(jù)(b)重建過程出現(xiàn)的問題(c)具有正確拓撲結(jié)構(gòu)的粗略網(wǎng)格模型表面重建目標(biāo)：希望重建目標(biāo)與實際物體在外形上盡可能相似并且保圖片:

可以作為建模的靈感來源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片的三維重建圖片:可以作為建模的靈感來源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片基本流程基本流程部件一致性分割

[Xuetal.2010]InputmodelsetModelsinpartcorrespondence預(yù)分析候選模型集部件一致性分割[Xuetal.2010]預(yù)分析候選模形變控制單元

[Zhengetal.2011]控制單元:

長方形和廣義圓柱體相互關(guān)系:

對稱,連接,etc.預(yù)分析候選模型集形變控制單元[Zhengetal.2011]預(yù)分析候第一步:模型驅(qū)動的圖像空間結(jié)構(gòu)分析基于單幅圖片的三維重建第一步:基于單幅圖片的三維重建檢索代表模型模型驅(qū)動的標(biāo)號分割圖割法模型驅(qū)動的特征空間結(jié)構(gòu)分析檢索代表模型模型驅(qū)動的標(biāo)號分割圖割法模型驅(qū)動的特征空間結(jié)構(gòu)分基于單幅圖片的三維重建第二步:候選模型檢索基于單幅圖片的三維重建第二步:QueryTop5retrievedresults全局描述子檢索候選模型檢索全局描述子檢索候選模型檢索QueryTop5retrievedresults部件級描述子候選模型也可任意選擇候選模型檢索部件級描述子候選模型也可任意選擇候選模型檢索關(guān)鍵第三步:輪廓驅(qū)動的結(jié)構(gòu)保持形變基于單幅圖片的三維重建關(guān)鍵第三步:基于單幅圖片的三維重建輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對應(yīng)輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)控制優(yōu)化輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)控制優(yōu)化輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimization輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)控制優(yōu)化潛質(zhì)幾何形變Beforeoptimizat輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimizationFinalgeometry輪廓驅(qū)動的結(jié)構(gòu)保持形變輪廓對應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptInitialcontrollerreconstructionFront-view結(jié)構(gòu)優(yōu)化InitialcontrollerFront-view結(jié)單獨控制對稱交互控制對稱鄰近約束最初構(gòu)造iterative最終結(jié)構(gòu)結(jié)構(gòu)優(yōu)化單獨控制對稱交互控制對稱鄰近約束最初構(gòu)造iterative最結(jié)果結(jié)果?結(jié)果?結(jié)果原始數(shù)據(jù)噪聲點云數(shù)據(jù)未分割有遮擋工具:

MicrosoftKinect實時提供深度和圖像信息小而便宜97數(shù)據(jù)獲取原始數(shù)據(jù)工具:MicrosoftKinect實時42數(shù)據(jù)學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translationalrotational98室內(nèi)場景重構(gòu)識別:

用學(xué)習(xí)到的模型在場景中識別物體學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translation99室內(nèi)場景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型用不同基元進行基本模型表示44室內(nèi)場景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本基元長方體、圓柱體、輻射狀構(gòu)造連通性剛性旋轉(zhuǎn)平移附屬關(guān)系位置信息contacttranslationalrotational100基本模型表示基元contacttranslationalrotation地平面和書桌物體單獨聚類部件通過一致性分類分割與其類似，后面還需修正101點云數(shù)據(jù)分層表示地平面和書桌46點云數(shù)據(jù)分層表示初始分配部件vs.基元簡單的對比高度，法矢量，大小魯棒的形變低漏報精細分配部件vs.模型迭代的解決位置、形變和分割低漏報part