基于結(jié)構(gòu)光與雙目視覺(jué)的三維重構(gòu)技術(shù)研究課件

基于結(jié)構(gòu)光與雙目視覺(jué)的

三維重構(gòu)技術(shù)研究基于結(jié)構(gòu)光與雙目視覺(jué)的

三維重構(gòu)技術(shù)研究應(yīng)用現(xiàn)狀應(yīng)用現(xiàn)狀實(shí)現(xiàn)流程實(shí)現(xiàn)流程關(guān)鍵技術(shù)點(diǎn)和難點(diǎn)1相機(jī)標(biāo)定2立體匹配3雙目測(cè)距4點(diǎn)云重構(gòu)除了雙目測(cè)距關(guān)鍵技術(shù)點(diǎn)難點(diǎn)關(guān)鍵技術(shù)點(diǎn)和難點(diǎn)1相機(jī)標(biāo)定除了雙目測(cè)距關(guān)鍵技術(shù)點(diǎn)難點(diǎn)雙目測(cè)距原理小孔成像模型在構(gòu)建三維測(cè)量模型中起著決定性作用，可以把它理解為視覺(jué)測(cè)量技術(shù)大廈的根基。雙目測(cè)距原理小孔成像模型在構(gòu)建三維測(cè)量模型中起著雙目測(cè)距原理各坐標(biāo)系關(guān)系示意圖雙目測(cè)距原理各坐標(biāo)系關(guān)系示意圖三角法測(cè)量模型三角法測(cè)量模型相機(jī)標(biāo)定相機(jī)標(biāo)定：主要是獲得相機(jī)幾何參數(shù)和光學(xué)參數(shù)（內(nèi)部參數(shù)）以及相機(jī)相對(duì)于世界坐標(biāo)系的空間位置、方向關(guān)系（外部參數(shù)）的過(guò)程。相機(jī)標(biāo)定結(jié)果的精度直接影響著計(jì)算機(jī)視覺(jué)的精度定義分類1傳統(tǒng)標(biāo)定2基于主動(dòng)視覺(jué)的標(biāo)定3自標(biāo)定相機(jī)標(biāo)定相機(jī)標(biāo)定：主要是獲得相機(jī)幾何參數(shù)和光學(xué)相機(jī)標(biāo)定圖像坐標(biāo)系與像素坐標(biāo)系圖像坐標(biāo)系與相機(jī)坐標(biāo)系相機(jī)坐標(biāo)系與世界坐標(biāo)系相機(jī)標(biāo)定圖像坐標(biāo)系與像素坐標(biāo)系圖像坐標(biāo)系與相機(jī)坐標(biāo)系相機(jī)坐標(biāo)相機(jī)標(biāo)定其中：內(nèi)部參數(shù)矩陣：K外部參數(shù)矩陣：M1相機(jī)標(biāo)定其中：內(nèi)部參數(shù)矩陣：K相機(jī)標(biāo)定張正友法張正友在1998年提出了一種基于棋盤格模板的相機(jī)標(biāo)定方法成為相機(jī)標(biāo)定研究的經(jīng)典之作。這種方法由兩部分組成，首先對(duì)相機(jī)的參數(shù)進(jìn)行估計(jì)，再用優(yōu)化函數(shù)進(jìn)行迭代求精。Tsai標(biāo)定算法這種標(biāo)定算法需要一個(gè)精確定制的3D標(biāo)定靶。操作過(guò)程是首先獲取該標(biāo)定靶塊的圖像，并提取出圖像上的角點(diǎn)特征，然后根據(jù)角點(diǎn)坐標(biāo)與其對(duì)應(yīng)空間點(diǎn)的世界坐標(biāo)計(jì)算出攝像機(jī)的內(nèi)、外參數(shù)。相機(jī)標(biāo)定張正友法張正友在1998年提出了一激光輔助標(biāo)定法激光輔助標(biāo)定法立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間建立對(duì)應(yīng)關(guān)系的過(guò)程，它是雙目體視中最關(guān)鍵、困難的一步。方法區(qū)域匹配、特征匹配和相位匹配立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間立體匹配立體匹配求解本身是個(gè)病態(tài)問(wèn)題，需要通過(guò)一些附加信息或約束條件才能得到近似解。立體匹配的約束主要包括搜索范圍的尋找和相似度計(jì)算這兩個(gè)方面。主要包括如下：

極線約束：極線約束主要利用了空間點(diǎn)的投影在對(duì)應(yīng)兩幅圖像的極線上這一條件。

唯一性約束：一幅圖像上的一點(diǎn)只能與另一幅圖像上的一點(diǎn)對(duì)應(yīng)，而不能與多點(diǎn)對(duì)應(yīng)。視差的連續(xù)性約束：除了遮擋區(qū)域和一些視差不連續(xù)的區(qū)域外，其他的區(qū)域視差的變化是平滑的,變化不大。

視差一致性約束：在左右視差圖中，若左圖像的某一點(diǎn)的視差和以此視差對(duì)應(yīng)的右圖像目標(biāo)像素的視差相同,則滿足視差一致性約束。挑戰(zhàn)性問(wèn)題：遮擋、弱紋理、深度不連續(xù)、光照影響、光學(xué)透射立體匹配立體匹配求解本身是個(gè)病態(tài)問(wèn)題，需要通立體匹配立體匹配立體匹配立體匹配點(diǎn)云重構(gòu)定義把點(diǎn)云重構(gòu)成三維立體圖形方法三角剖分貪婪三角剖分Delaunay剖分點(diǎn)云重構(gòu)定義把點(diǎn)云重構(gòu)成三維立體圖形方法三角剖分貪婪三角剖分三角剖分當(dāng)?shù)玫奖粧呙栉矬w的點(diǎn)云后，將進(jìn)行三角剖分。三角剖分將點(diǎn)云組建成一個(gè)由許多三角形組成的網(wǎng)格。通過(guò)三角剖分建立起來(lái)的網(wǎng)格應(yīng)該滿足以下三個(gè)條件：1)除了端點(diǎn)，任意三角形的任意一條邊不包含點(diǎn)云中的任何點(diǎn)。2)任意兩條邊若相交，只在公共端點(diǎn)相交。3)網(wǎng)格內(nèi)的任意一個(gè)面都是三角面，且所有三角面的合集是點(diǎn)云集合的凸包。三角剖分當(dāng)?shù)玫奖粧呙栉矬w的點(diǎn)云后，將進(jìn)行三角剖貪婪三角剖分它從一個(gè)隨機(jī)的點(diǎn)開(kāi)始，將越來(lái)越多的鄰點(diǎn)包含進(jìn)三角化網(wǎng)格，使網(wǎng)格逐漸增長(zhǎng)。在建網(wǎng)的過(guò)程中，每個(gè)點(diǎn)有可能被賦予這四種狀態(tài)：FREE，F(xiàn)RINGE，BOUNDARY，COMPLETED。FREE：未加入任何三角形。FRINGE：已加入一些三角形,還有加入另一些三角形的可能性。BOUNDARY：已位于三角化網(wǎng)格的邊界，即已加入若干三角形，不能加入更多三角形,但未被這些三角形完全包圍。COMPLETED：已加入若干三角形，不能加入更多的三角形，并被這些三角形完全包圍。貪婪三角剖分它從一個(gè)隨機(jī)的點(diǎn)開(kāi)始，將越來(lái)越多的鄰貪婪三角剖分貪婪三角剖分Delaunay三角剖分Delaunay三角剖分的兩個(gè)準(zhǔn)則：唯一性：任意三角形的外接圓內(nèi)不包含任何點(diǎn)且任意四點(diǎn)不共圓。最大化最小角Delaunay三角剖分Delaunay三角剖分的兩個(gè)準(zhǔn)則：TheendThankyou!TheendThankyou!基于結(jié)構(gòu)光與雙目視覺(jué)的

三維重構(gòu)技術(shù)研究基于結(jié)構(gòu)光與雙目視覺(jué)的

三維重構(gòu)技術(shù)研究應(yīng)用現(xiàn)狀應(yīng)用現(xiàn)狀實(shí)現(xiàn)流程實(shí)現(xiàn)流程關(guān)鍵技術(shù)點(diǎn)和難點(diǎn)1相機(jī)標(biāo)定2立體匹配3雙目測(cè)距4點(diǎn)云重構(gòu)除了雙目測(cè)距關(guān)鍵技術(shù)點(diǎn)難點(diǎn)關(guān)鍵技術(shù)點(diǎn)和難點(diǎn)1相機(jī)標(biāo)定除了雙目測(cè)距關(guān)鍵技術(shù)點(diǎn)難點(diǎn)雙目測(cè)距原理小孔成像模型在構(gòu)建三維測(cè)量模型中起著決定性作用，可以把它理解為視覺(jué)測(cè)量技術(shù)大廈的根基。雙目測(cè)距原理小孔成像模型在構(gòu)建三維測(cè)量模型中起著雙目測(cè)距原理各坐標(biāo)系關(guān)系示意圖雙目測(cè)距原理各坐標(biāo)系關(guān)系示意圖三角法測(cè)量模型三角法測(cè)量模型相機(jī)標(biāo)定相機(jī)標(biāo)定：主要是獲得相機(jī)幾何參數(shù)和光學(xué)參數(shù)（內(nèi)部參數(shù)）以及相機(jī)相對(duì)于世界坐標(biāo)系的空間位置、方向關(guān)系（外部參數(shù)）的過(guò)程。相機(jī)標(biāo)定結(jié)果的精度直接影響著計(jì)算機(jī)視覺(jué)的精度定義分類1傳統(tǒng)標(biāo)定2基于主動(dòng)視覺(jué)的標(biāo)定3自標(biāo)定相機(jī)標(biāo)定相機(jī)標(biāo)定：主要是獲得相機(jī)幾何參數(shù)和光學(xué)相機(jī)標(biāo)定圖像坐標(biāo)系與像素坐標(biāo)系圖像坐標(biāo)系與相機(jī)坐標(biāo)系相機(jī)坐標(biāo)系與世界坐標(biāo)系相機(jī)標(biāo)定圖像坐標(biāo)系與像素坐標(biāo)系圖像坐標(biāo)系與相機(jī)坐標(biāo)系相機(jī)坐標(biāo)相機(jī)標(biāo)定其中：內(nèi)部參數(shù)矩陣：K外部參數(shù)矩陣：M1相機(jī)標(biāo)定其中：內(nèi)部參數(shù)矩陣：K相機(jī)標(biāo)定張正友法張正友在1998年提出了一種基于棋盤格模板的相機(jī)標(biāo)定方法成為相機(jī)標(biāo)定研究的經(jīng)典之作。這種方法由兩部分組成，首先對(duì)相機(jī)的參數(shù)進(jìn)行估計(jì)，再用優(yōu)化函數(shù)進(jìn)行迭代求精。Tsai標(biāo)定算法這種標(biāo)定算法需要一個(gè)精確定制的3D標(biāo)定靶。操作過(guò)程是首先獲取該標(biāo)定靶塊的圖像，并提取出圖像上的角點(diǎn)特征，然后根據(jù)角點(diǎn)坐標(biāo)與其對(duì)應(yīng)空間點(diǎn)的世界坐標(biāo)計(jì)算出攝像機(jī)的內(nèi)、外參數(shù)。相機(jī)標(biāo)定張正友法張正友在1998年提出了一激光輔助標(biāo)定法激光輔助標(biāo)定法立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間建立對(duì)應(yīng)關(guān)系的過(guò)程，它是雙目體視中最關(guān)鍵、困難的一步。方法區(qū)域匹配、特征匹配和相位匹配立體匹配定義立體匹配就是在兩幅圖像的匹配基元之間立體匹配立體匹配求解本身是個(gè)病態(tài)問(wèn)題，需要通過(guò)一些附加信息或約束條件才能得到近似解。立體匹配的約束主要包括搜索范圍的尋找和相似度計(jì)算這兩個(gè)方面。主要包括如下：

極線約束：極線約束主要利用了空間點(diǎn)的投影在對(duì)應(yīng)兩幅圖像的極線上這一條件。

唯一性約束：一幅圖像上的一點(diǎn)只能與另一幅圖像上的一點(diǎn)對(duì)應(yīng)，而不能與多點(diǎn)對(duì)應(yīng)。視差的連續(xù)性約束：除了遮擋區(qū)域和一些視差不連續(xù)的區(qū)域外，其他的區(qū)域視差的變化是平滑的,變化不大。

視差一致性約束：在左右視差圖中，若左圖像的某一點(diǎn)的視差和以此視差對(duì)應(yīng)的右圖像目標(biāo)像素的視差相同,則滿足視差一致性約束。挑戰(zhàn)性問(wèn)題：遮擋、弱紋理、深度不連續(xù)、光照影響、光學(xué)透射立體匹配立體匹配求解本身是個(gè)病態(tài)問(wèn)題，需要通立體匹配立體匹配立體匹配立體匹配點(diǎn)云重構(gòu)定義把點(diǎn)云重構(gòu)成三維立體圖形方法三角剖分貪婪三角剖分Delaunay剖分點(diǎn)云重構(gòu)定義把點(diǎn)云重構(gòu)成三維立體圖形方法三角剖分貪婪三角剖分三角剖分當(dāng)?shù)玫奖粧呙栉矬w的點(diǎn)云后，將進(jìn)行三角剖分。三角剖分將點(diǎn)云組建成一個(gè)由許多三角形組成的網(wǎng)格。通過(guò)三角剖分建立起來(lái)的網(wǎng)格應(yīng)該滿足以下三個(gè)條件：1)除了端點(diǎn)，任意三角形的任意一條邊不包含點(diǎn)云中的任何點(diǎn)。2)任意兩條邊若相交，只在公共端點(diǎn)相交。3)網(wǎng)格內(nèi)的任意一個(gè)面都是三角面，且所有三角面的合集是點(diǎn)云集合的凸包。三角剖分當(dāng)?shù)玫奖粧呙栉矬w的點(diǎn)云后，將進(jìn)行三角剖貪婪三角剖分它從一個(gè)隨機(jī)的點(diǎn)開(kāi)始，將越來(lái)越多的鄰點(diǎn)包含進(jìn)三角化網(wǎng)格，使網(wǎng)格逐漸增長(zhǎng)。在建網(wǎng)的過(guò)程中，每個(gè)點(diǎn)有可能被賦予這四種狀態(tài)：FREE，F(xiàn)RINGE，BOUNDARY，COMPLETED。FREE：未加入任何三角形。FRINGE：已加入一些三角形,還有加入另一些三角形的可能性。BOUNDARY：已位于三角化網(wǎng)格的邊界，即已加入若干三角形，不能加入更多三角形,但未被這些三角形完全包圍。COMPLETED：已加入若干三角形，不能加入更多的三角形，并被這