基于雙目視覺的三維重建概要

基于雙目視覺圖像三維重建人機(jī)交互課程基于雙目視覺的三維重建概要第1頁(yè)1.引言2.基于圖像三維重建

2.1攝像機(jī)標(biāo)定2.2特征抽取與特征匹配2.3三維空間點(diǎn)定位2.4表面幾何建模2.5紋理映射3.三維重建效果與應(yīng)用主要內(nèi)容

基于雙目視覺的三維重建概要第2頁(yè)

我們看到世界是三維。人機(jī)交互中計(jì)算機(jī)視覺方面研究目標(biāo)就是為了賦予計(jì)算機(jī)以人類視覺認(rèn)知功效，使計(jì)算機(jī)含有經(jīng)過二維圖像認(rèn)知三維世界能力。1、引言基于雙目視覺的三維重建概要第3頁(yè)

三維信息獲取技術(shù)伎倆通常分三種：第一個(gè)：利用三維建模軟件（如3DSMAX，AutoCAD等）構(gòu)造三維模型；第二種：人們經(jīng)過儀器設(shè)備直接獲取三維信息；第三種：利用圖像或者視頻來重建三維模型；基于雙目視覺的三維重建概要第4頁(yè)

最終一個(gè)基于圖像三維建模方法，經(jīng)過對(duì)物體實(shí)拍圖像序列或者圖像對(duì)來恢復(fù)出物體模型。依據(jù)重建算法復(fù)雜性，建模過程也越來越自動(dòng)化，使得人工勞動(dòng)強(qiáng)度越來越輕，降低了建模成本。而建模所需設(shè)備只需要一個(gè)普通相機(jī)，適合用于任何場(chǎng)景重構(gòu)?；陔p目視覺的三維重建概要第5頁(yè)

基于圖像三維重建常見算法：基于平面三維重建；基于深度圖三維重建；基于輪廓線三維重建；基于立體視覺三維重建；2、基于圖像三維重建圖基于立體視覺三維重建基于雙目視覺的三維重建概要第6頁(yè)

基于立體視覺三維重建流程原始圖像攝像機(jī)基礎(chǔ)矩陣攝像機(jī)標(biāo)定特征點(diǎn)特征點(diǎn)對(duì)特征匹配特征點(diǎn)檢測(cè)對(duì)極線約束空間點(diǎn)定位點(diǎn)云模型表面幾何重建可見外殼紋理映射三維模型基于雙目視覺的三維重建概要第7頁(yè)

2.1攝像機(jī)標(biāo)定

2.1.1定義與幾何意義(1)定義：從攝像機(jī)獲取圖像信息出發(fā)，計(jì)算三維空間中物體幾何信息，并由此重建和識(shí)別物體，而空間物體表面某點(diǎn)三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間相互關(guān)系是由攝像機(jī)成像幾何模型決定，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須經(jīng)過試驗(yàn)與計(jì)算才能得到，這個(gè)過程被稱為攝像機(jī)定標(biāo)(或稱為標(biāo)定)?；陔p目視覺的三維重建概要第8頁(yè)(2)三個(gè)坐標(biāo)系：

a、世界坐標(biāo)系：

b、攝像機(jī)坐標(biāo)系：c、圖像坐標(biāo)系:

Ou攝像機(jī)坐標(biāo)系yxv圖像坐標(biāo)系世界坐標(biāo)系基于雙目視覺的三維重建概要第9頁(yè)對(duì)圖像坐標(biāo)系，如圖，原點(diǎn)定義為攝像機(jī)光軸與圖像平面交點(diǎn)。若在u，v坐標(biāo)系中坐標(biāo)為，每一個(gè)像素在x軸與y軸方向上物理尺寸為dx,dy，則圖像中任意一個(gè)像素在坐標(biāo)系下坐標(biāo)有以下關(guān)系：寫為齊次坐標(biāo)形式圖圖像坐標(biāo)系基于雙目視覺的三維重建概要第10頁(yè)

o寫成齊次坐標(biāo)形式為

（3）兩種攝像機(jī)模型

a、小孔成像模型基于雙目視覺的三維重建概要第11頁(yè)寫成齊次坐標(biāo)形式為

of

b、中心透視投影模型基于雙目視覺的三維重建概要第12頁(yè)

對(duì)于世界坐標(biāo)系中點(diǎn)進(jìn)行變換，其過程包含兩個(gè)部分：一個(gè)是變換部分，一個(gè)是旋轉(zhuǎn)部分。所以攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間關(guān)系能夠用旋轉(zhuǎn)矩陣R與平移矩陣t來描述。所以，空間中某一點(diǎn)P在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系下齊次坐標(biāo)假如分別是與，于是存在以下關(guān)系：(4)世界坐標(biāo)與攝像機(jī)坐標(biāo)關(guān)系基于雙目視覺的三維重建概要第13頁(yè)

由以上推導(dǎo)公式

(5)幾何意義基于雙目視覺的三維重建概要第14頁(yè)最終得到K蘊(yùn)涵了攝像機(jī)焦距等內(nèi)部參數(shù)，被稱為內(nèi)參矩陣；(R,t)則反應(yīng)了攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系方向和位置等外部參數(shù)，稱為外參矩陣。所以，求投影矩陣P過程則成為攝像機(jī)標(biāo)定?；陔p目視覺的三維重建概要第15頁(yè)2.1.2攝像機(jī)標(biāo)定方法

由2.1.1中推導(dǎo)，有圖像像素坐標(biāo)系和世界坐標(biāo)系關(guān)系:

從公式上看，若求矩陣P，則應(yīng)同時(shí)知道空間中若干M點(diǎn)坐標(biāo)以及圖像上對(duì)應(yīng)點(diǎn)M1、M2坐標(biāo)。MM1M2基于雙目視覺的三維重建概要第16頁(yè)通常，能夠采取在攝像機(jī)取景范圍內(nèi)放置定標(biāo)物體方法進(jìn)行攝像機(jī)定標(biāo)，其中定標(biāo)物體三維形狀是已知，即定標(biāo)物體上標(biāo)識(shí)點(diǎn)(也稱為參考點(diǎn))相對(duì)于物體本身坐標(biāo)系三維坐標(biāo)是已知。當(dāng)前廣為采取定標(biāo)物體是一塊畫有棋盤格平板（如圖），只需要用攝像機(jī)從不一樣視角拍攝這個(gè)平板，對(duì)每幅圖像提取標(biāo)識(shí)點(diǎn)(定標(biāo)板上已經(jīng)標(biāo)記好位置)，從而取得定標(biāo)板標(biāo)識(shí)點(diǎn)與圖像標(biāo)識(shí)點(diǎn)間對(duì)應(yīng)關(guān)系，這么，對(duì)每幅圖像就能夠確定一個(gè)投影矩陣P，從而完成攝像機(jī)標(biāo)定?；陔p目視覺的三維重建概要第17頁(yè)

2.2特征提取與特征匹配

2.2.1特征提取特征提取，就是要從大量圖像數(shù)據(jù)中選擇最能反應(yīng)景物屬性特征原因，用于特征匹配。在當(dāng)前特征提取算法中，經(jīng)常采取是區(qū)域特征、邊緣特征和角點(diǎn)特征?；陔p目視覺的三維重建概要第18頁(yè)為空間點(diǎn)定位重建，這里采取提取特征點(diǎn)。圖像特征點(diǎn)提取方法有很多，能夠定義某種算子(Harris算子、DoG算子等)，經(jīng)過在圖像上尋找該算子極值來提取圖像特征點(diǎn)；也能夠經(jīng)過從圖像中提取邊緣，然后，在邊緣上搜索曲率最大點(diǎn)作為特征點(diǎn)等等。圖特征點(diǎn)提取結(jié)果基于雙目視覺的三維重建概要第19頁(yè)2.2.2特征匹配

圖像匹配是圖像處理中主要課題，也是三維重建一個(gè)主要步驟。是為了尋找同一空間場(chǎng)景在不一樣視點(diǎn)下投影圖像像素間對(duì)應(yīng)關(guān)系。對(duì)特征提取出特征點(diǎn)來說，匹配即是在不一樣視角圖像中找出特征點(diǎn)對(duì)應(yīng)點(diǎn)，也稱對(duì)應(yīng)基元匹配?；陔p目視覺的三維重建概要第20頁(yè)（1）對(duì)極幾何約束設(shè)兩相機(jī)中心分別為C和C’，兩圖像平面分別為I和I’，X1、X2為共同視域中場(chǎng)景空間點(diǎn)，它們?cè)趦煞鶊D像平面上投影點(diǎn)分別為，。已知點(diǎn)C，C’，X1，X2組成一個(gè)平面，稱為對(duì)極平面；該平面與成像平面I和I’分別交于直線L和L’，稱為極線。對(duì)極幾何約束能夠描述為：假設(shè)x和x’分別為同一場(chǎng)景空間點(diǎn)X在兩幅圖像平面I，I’上像點(diǎn)，則x’必定位于x對(duì)應(yīng)極線L’上，反之亦然。基于雙目視覺的三維重建概要第21頁(yè)（2）匹配約束條件a、唯一性：在給定兩幅圖中，一幅圖中一點(diǎn)，在另一幅圖中對(duì)應(yīng)匹配點(diǎn)至多只有一個(gè)，反之亦然。b、相同性：對(duì)應(yīng)特征應(yīng)該含有相同屬性。在某種度量下，同一物理特征在兩幅圖像中應(yīng)該表現(xiàn)出相同性質(zhì)。c、連續(xù)性：與觀察點(diǎn)距離相比，物體表面因凸凹不平引發(fā)深度改變是遲緩，因而，視差改變也是遲緩，或者說視差含有連續(xù)性?；陔p目視覺的三維重建概要第22頁(yè)（3）常見算法：

a、區(qū)域匹配；b、相位匹配；c、特征點(diǎn)匹配；圖特征匹配結(jié)果基于雙目視覺的三維重建概要第23頁(yè)

2.3三維空間點(diǎn)定位圖三維空間點(diǎn)定位

如圖，m是提取圖像特征點(diǎn)，經(jīng)過特征匹配得到其在另一平面匹配點(diǎn)為m’。由攝像機(jī)標(biāo)定得知投影矩陣P和P’，故能夠得到這對(duì)匹配點(diǎn)（m，m’）反投影兩條射線。當(dāng)匹配點(diǎn)滿足對(duì)極幾何約束時(shí)，反投影射線會(huì)在空間中相交，交點(diǎn)M坐標(biāo)即為三維空間坐標(biāo)?；陔p目視覺的三維重建概要第24頁(yè)

通常情況下，像點(diǎn)坐標(biāo)都存在測(cè)量誤差，使得對(duì)極幾何約束得不到滿足，無法使用反投影交點(diǎn)方法得到三維空間坐標(biāo)。所以，需要計(jì)算出三維空間坐標(biāo)最正確預(yù)計(jì)值，這個(gè)過程稱為三維空間點(diǎn)定位。可用最小二乘法求取坐標(biāo)，或者用最大似然預(yù)計(jì)法最小化投影誤差。基于雙目視覺的三維重建概要第25頁(yè)

2.4表面幾何建模

2.4.1點(diǎn)云模型建立

概念：點(diǎn)云：三維景物外觀表面點(diǎn)數(shù)據(jù)集合稱之為點(diǎn)云。面片：即三維景物表面某一部分預(yù)計(jì)。由之前方法重建出空間三維點(diǎn)，每個(gè)三維點(diǎn)都會(huì)對(duì)應(yīng)一組面片。依據(jù)PMVS點(diǎn)云生成算法，剔除錯(cuò)誤三維點(diǎn)對(duì)應(yīng)面片，從而得到點(diǎn)云模型。

基于雙目視覺的三維重建概要第26頁(yè)2.4.2表面重建與實(shí)現(xiàn)對(duì)于散亂點(diǎn)云，尋找一個(gè)快速有效曲面重建方法是當(dāng)前一個(gè)研究熱點(diǎn)。（1）依據(jù)重建曲面和數(shù)據(jù)點(diǎn)云之間關(guān)系能夠?qū)⑶嬷亟ǚ譃椴逯捣ê推冉▋纱箢?。前者得到重建曲面完全?jīng)過原始數(shù)據(jù)點(diǎn)。后者得到重建曲面是原始數(shù)據(jù)點(diǎn)一個(gè)迫近。（2）依據(jù)重建曲面表示形式不一樣能夠?qū)⑶嬷亟ǚ譃槲宕箢悾簠?shù)曲面重建、隱式曲面重建、變形曲面重建、細(xì)分曲面重建和分片線性曲面重建。

基于雙目視覺的三維重建概要第27頁(yè)

（3）依據(jù)曲面拓?fù)湫问讲灰粯幽軌驅(qū)⑶嬷亟ǚ椒ǚ譃閮纱箢悾夯诰匦斡蚯娣椒ê突谌怯蚯娣椒??；诰匦斡蚯娼Ｖ饕嫦蛴行驍?shù)據(jù)點(diǎn)云，而基于三角域曲面建模則是面向散亂數(shù)據(jù)點(diǎn)云。這么，經(jīng)過曲面重建算法，能夠得到三維模型可見外殼基于雙目視覺的三維重建概要第28頁(yè)

2.5紋理映射2.5.1紋理映射定義在計(jì)算機(jī)圖形學(xué)中，為了使模型含有視覺上真實(shí)感，經(jīng)常預(yù)先定義一個(gè)紋理圖像，再經(jīng)過某種映射算法建立物體表面點(diǎn)和紋理圖像像素點(diǎn)之間對(duì)應(yīng)關(guān)系，合理填充紋理圖像像素，最終將紋理圖像覆蓋到三維表面上，這一過程就是紋理映射。

基于雙目視覺的三維重建概要第29頁(yè)2.5.2紋理映射基本思想紋理映射以多幅圖像為基礎(chǔ)，需要處理問題是怎樣將存在于不一樣圖像中紋理信息組織起來。這就需要將圖像中有用信息提取出來，用一張紋理圖像進(jìn)行表示。這部分工作通常包含兩個(gè)步驟：第一步是建立幾何模型與紋理圖像間對(duì)應(yīng)關(guān)系；第二步是依據(jù)對(duì)應(yīng)關(guān)系合成紋理圖像。

圖紋理像素映射過程基于雙目視覺的三維重建概要第30頁(yè)

2.5.3模型優(yōu)化可見外殼普通以網(wǎng)格形式表示。網(wǎng)格中三角面片數(shù)目標(biāo)多少，對(duì)模型顯示速度及模型所需存放空間都有非常大影響。

當(dāng)前人們熟知網(wǎng)格優(yōu)化技術(shù)包含網(wǎng)格平滑和網(wǎng)格簡(jiǎn)化。在進(jìn)行紋理映射之前，采取適當(dāng)平滑和簡(jiǎn)化算法對(duì)網(wǎng)格結(jié)構(gòu)進(jìn)行優(yōu)化，有利于提高映射精度。

圖可見外殼基于雙目視覺的三維重建概要第31頁(yè)2.5.4模型展開空間六面體能夠按照一定對(duì)應(yīng)關(guān)系展開二維平面中。基于這個(gè)思想，選定一個(gè)能夠包圍三維模型六面體，將模型向空間六面體六個(gè)面進(jìn)行投影，再經(jīng)過平面展開，就取得了三維模型與二維平面間對(duì)應(yīng)關(guān)系。

圖模型平面參數(shù)化和柱面參數(shù)化圖六面體一個(gè)展開方式基于雙目視覺的三維重建概要第32頁(yè)2.5.5最終紋理合成由同空間點(diǎn)定位方法可知幾何模型與每幅彩色圖像之間投影關(guān)系，我們能夠計(jì)算出模型上每一個(gè)三維點(diǎn)在各幅圖像上所對(duì)應(yīng)象素。經(jīng)過一些處理（面片可見性判斷、加權(quán)平均），就取得了全部三維模型在紋理圖上對(duì)應(yīng)紋理信息，也就臺(tái)成了模型最終紋理圖像。在進(jìn)行繪制時(shí)候只需經(jīng)過新合成紋理圖對(duì)模型進(jìn)行映射，就能正確顯示出三維重建最終止果。

基于雙目視覺的三維重建概要第33頁(yè)紋理映射最終止果展示：基于雙目視覺的三維重建概要第34頁(yè)3、三維重建效果及應(yīng)用（1）

制造業(yè)與逆向工程基于雙目視覺的三維重建概要第35頁(yè)（