基于圖像三維建模技術(shù)綜述

1、CompanyLOGO基于圖像的基于圖像的3-D建模技術(shù)綜述建模技術(shù)綜述 組員：組員：重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器目目 錄錄總結(jié)與展望總結(jié)與展望應(yīng)用應(yīng)用實(shí)現(xiàn)方法實(shí)現(xiàn)方法基本分類基本分類引言引言重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器引引 言言 對(duì)于計(jì)算機(jī)而言，其所能夠直接獲取到的數(shù)據(jù)源僅為二維平面圖像，相對(duì)于真實(shí)的三維景物無疑會(huì)存在著一定程度的信息丟失，因此利用二維圖像來重建三維物體便不可避免的成為一個(gè)重點(diǎn)問題。在實(shí)際工作中采用對(duì)同一物體從不同的角度分別成像，進(jìn)而對(duì)這些數(shù)據(jù)進(jìn)行分析、綜合

2、來恢復(fù)出被攝物體的三維信息。重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器基本分類基本分類1、傳統(tǒng)的三維建模技術(shù) 傳統(tǒng)的三維建模主要使用基于幾何造型的建模方法，由專業(yè)美術(shù)人員通過使用幾何造型軟件（如AutoCAD，3DsMax，Maya等），運(yùn)用計(jì)算機(jī)圖形學(xué)與美術(shù)理論，創(chuàng)建出物體的三維模型。 重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器基本分類基本分類2、非傳統(tǒng)的三維建模技術(shù) 三維漫游效果 三維全景漫游是指在由全景圖像構(gòu)建

3、的全景空間里進(jìn)行切換，達(dá)到瀏覽各個(gè)不同場景的目的。 目前，實(shí)現(xiàn)三維全景漫游的技術(shù)有兩種，一是在三維全景或地圖中添加其他三維全景的鏈接。第二種方法是采用計(jì)算機(jī)視覺技術(shù)和計(jì)算機(jī)圖形圖像技術(shù)，獲取全景圖像對(duì)應(yīng)的環(huán)境模型，實(shí)現(xiàn)全景空間與真實(shí)環(huán)境的一一映射。 重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器基本分類基本分類 主動(dòng)法主動(dòng)法基于圖像的建?；趫D像的建模 被動(dòng)法被動(dòng)法 基于圖像的建?；趫D像的建模能夠生成物體精確的三維幾何模型，根據(jù)圖像采集時(shí)對(duì)光源是否進(jìn)行主動(dòng)控制，基于圖像的幾何建?？梢苑譃橹鲃?dòng)法與被動(dòng)法2 種。重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院

4、電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器主動(dòng)法Text優(yōu)點(diǎn)優(yōu)點(diǎn)得到物體精確的表面細(xì)節(jié)特征缺點(diǎn)缺點(diǎn)成本很高操作不便后期處理有損處理激光掃描法激光掃描法陰影法陰影法結(jié)構(gòu)光法結(jié)構(gòu)光法基本分類基本分類重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器被動(dòng)法并不直接控制光源，而通過被動(dòng)地分析圖像中各種特征信息，逆向地重建出物體的三維模型。Text基本分類基本分類被動(dòng)法被動(dòng)法技術(shù)成熟技術(shù)成熟操作簡單操作簡單對(duì)光照要求低對(duì)光照要求低成本較低成本較低重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法實(shí)現(xiàn)方法實(shí)現(xiàn)方

5、法輪廓法運(yùn)動(dòng)法明暗法紋理法交互法亮度法變焦法重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法輪廓法： 基于輪廓的建模（shape from silhouettes/contours）通過分析物體多視角下的輪廓圖像（contour）或側(cè)影輪廓線（silhouette），得到物體的三維模型。19941983MartinLaurentini將物體所在的三維空間離散化成體素，并使用正向試探，剔除投影在輪廓區(qū)域外的體素，從而得到物體的三維模型?？梢暁な撬休喞獔D像反投影到三維空間中形成的三維錐殼的交集。重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣

6、與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器199320022003SzeliskiFrancoTarini八叉樹數(shù)據(jù)結(jié)構(gòu)Marching Intersection結(jié)構(gòu)兼顧速度與精度重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器多邊形逼近側(cè)影輪廓線多邊形逼近側(cè)影輪廓線消除鋸齒現(xiàn)象消除鋸齒現(xiàn)象Matusik2001背景減除算子實(shí)現(xiàn)亮度圖像建模背景減除算子實(shí)現(xiàn)亮度圖像建模從未定標(biāo)圖像中生成三維可視殼從未定標(biāo)圖像中生成三維可視殼20002004SnowSinhaForbes2006重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技

7、術(shù)與儀器效率最高效率最高通用性好通用性好建模速度快建模速度快魯棒性高魯棒性高復(fù)雜性低復(fù)雜性低透明、透明、紋理欠缺、紋理欠缺、特征點(diǎn)較少特征點(diǎn)較少的物體的建模的物體的建模優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn)精度低精度低物體大致的物體大致的三維輪廓三維輪廓與拓?fù)渑c拓?fù)漭斎朐匆蟾咻斎朐匆蟾咻喞ㄝ喞☉?yīng)用于人機(jī)交互、應(yīng)用于人機(jī)交互、運(yùn)動(dòng)跟蹤運(yùn)動(dòng)跟蹤重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法亮度法：基于亮度的建模（shape from illumination）通過分析物體多個(gè)視角下圖像中亮度特征的一致性關(guān)系，恢復(fù)出其表面的深度信息，并得到其三維幾何模型。

8、亮度一致性算子亮度一致性算子亮度一致性亮度一致性對(duì)于滿足朗伯表面假設(shè)的物體，不論光源方向如何，相同的表面點(diǎn)從任何方向觀察都具有同樣的亮度顏色絕對(duì)差值算子誤差平方和算子歸一化互相關(guān)算子特殊算子（特殊物體）重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器正向法 對(duì)物體所在的三維空間進(jìn)行均勻采樣，將各采樣點(diǎn)投影到所有可見的二維圖像中，若其投影滿足亮度一致性，則說明該三維點(diǎn)屬于物體表面，將其保留，否則，將其剔除。圖像殼（圖像殼（photo hull）（物體的三維采樣表示）（物體的三維采樣表示）基于圖像一致性的重建基于圖像一致性的重建三維模型三維模型 由于采樣點(diǎn)在

9、投影過程中存在的互相遮擋現(xiàn)象會(huì)破壞亮度一致性的判斷，因此，正向法主要需解決遮擋問題。重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器體素顏色法體素顏色法Seitz1997水平集的局部優(yōu)化水平集的局部優(yōu)化Faugeras1998搜索空間由三維降至一維搜索空間由三維降至一維Cheung2003通用體素顏色法通用體素顏色法Culbertson1999空間雕刻法空間雕刻法Kutulakos2000重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器逆向法 在圖像中搜索滿足亮度一致性的匹配點(diǎn)，使用立體視覺的三角測量原理，由這些特

10、征點(diǎn)反算其對(duì)應(yīng)的三維點(diǎn)位置?；诹Ⅲw視覺的建?；诹Ⅲw視覺的建模 由于匹配點(diǎn)的搜索是一個(gè)高自由度的問題，簡單的搜索方法極易陷入局部最優(yōu)，這將極大地影響重建效果。因此，逆向法主要需解決匹配特征點(diǎn)的高效搜索問題。圖像校正圖像校正極線幾何約束極線幾何約束圖像間極線的對(duì)應(yīng)關(guān)系圖像間極線的對(duì)應(yīng)關(guān)系搜索的空間由二維降低到一維搜索的空間由二維降低到一維重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器魯棒性差魯棒性差單點(diǎn)比較單點(diǎn)比較窗口比較窗口比較精確性差精確性差（窗口形狀、大小）（窗口形狀、大小）基于圖割的全局優(yōu)化基于圖割的全局優(yōu)化（添加平滑性約束）（添加平滑性約束）

11、Boykov1998點(diǎn)匹配點(diǎn)匹配重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器靈活性低靈活性低魯棒性低魯棒性低復(fù)雜性高復(fù)雜性高優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn) 亮度法亮度法亮度信息亮度信息無手工交互無手工交互沒有嚴(yán)格的沒有嚴(yán)格的光照條件要求光照條件要求應(yīng)用于文物數(shù)字化、應(yīng)用于文物數(shù)字化、人臉自動(dòng)建模人臉自動(dòng)建模全自動(dòng)全自動(dòng)建模精度高建模精度高重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法運(yùn)動(dòng)法： 基于運(yùn)動(dòng)的建模（shape-structure from motion）通過在2幅或多幅未定標(biāo)圖像中檢測匹配的特征點(diǎn)

12、集，使用數(shù)值方法，同時(shí)恢復(fù)出相機(jī)運(yùn)動(dòng)參數(shù)與場景幾何，并得到物體三維模型。HarrisKLTSIFT 恢復(fù)出相鄰圖像間恢復(fù)出相鄰圖像間相機(jī)的位置關(guān)系相機(jī)的位置關(guān)系重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器因式分解因式分解Tomasi1992幾何約束幾何約束Faugeras1992射影重建射影重建仿射、度量與歐氏層次的重建仿射、度量與歐氏層次的重建重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器Kurppa方程方程與與SVD分解標(biāo)分解標(biāo)Hartley1997相機(jī)內(nèi)參數(shù)自動(dòng)定標(biāo)相機(jī)內(nèi)參數(shù)自動(dòng)定標(biāo)射影層次重建升級(jí)為射

13、影層次重建升級(jí)為度量層次的重建度量層次的重建Pollefeyes1999一般物體的重建，需要知道相機(jī)的內(nèi)部參數(shù)。內(nèi)部參數(shù)不變情況下內(nèi)部參數(shù)不變情況下相機(jī)焦距改變情況下相機(jī)焦距改變情況下重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)用價(jià)值高實(shí)用價(jià)值高魯棒性高魯棒性高建模精度較低建模精度較低優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn) 運(yùn)動(dòng)法運(yùn)動(dòng)法不需預(yù)先標(biāo)定不需預(yù)先標(biāo)定相機(jī)的參數(shù)，相機(jī)的參數(shù)，從而降低了對(duì)從而降低了對(duì)圖像采集過程圖像采集過程的限制的限制對(duì)光照條件對(duì)光照條件圖像噪聲具有圖像噪聲具有魯棒性魯棒性應(yīng)用于室外場景、應(yīng)用于室外場景、自然景觀、建筑物等自然景觀、建筑物等的三維

14、建模。的三維建模。重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法明暗法： 基于明暗度的建模（shape from shading）通過分析圖像中的明暗信息，運(yùn)用反射光照模型，恢復(fù)出物體表面的法向信息，從而得到其三維幾何模型。基于光度立體視覺的建?；诠舛攘Ⅲw視覺的建模使用同一視點(diǎn)、不同光照條件下得到的多幅圖像明暗信息，可以增加明暗度方程的約束，提高求解的精度與魯棒性Woodham1999重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器明暗度方程明暗度方程（二維圖像中各像素明暗度）（二維圖像中各像素

15、明暗度）Horn1975基于粘性約束的建模方法基于粘性約束的建模方法Camilli1996基于圖像邊沿已知基于圖像邊沿已知Lions1993Prados2004實(shí)用方法（文獻(xiàn)？）實(shí)用方法（文獻(xiàn)？）重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器建模精度高建模精度高全自動(dòng)全自動(dòng)靈活性低靈活性低魯棒性低魯棒性低復(fù)雜性高復(fù)雜性高優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn) 明暗法明暗法精確地計(jì)算精確地計(jì)算物體表面的物體表面的法向量與法向量與深度值深度值無手工交互無手工交互沒有嚴(yán)格的沒有嚴(yán)格的光照條件要求光照條件要求應(yīng)用于文物數(shù)字化、應(yīng)用于文物數(shù)字化、人臉自動(dòng)建模人臉自動(dòng)建模重慶科技學(xué)院重

16、慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法紋理法：基于紋理的建模（shape from texture）通過分析單張圖像中物體表面重復(fù)紋理單元的大小、形狀，恢復(fù)出物體的法向、深度等信息，并得到三維幾何模型。 對(duì)于一個(gè)具有光滑表面并覆蓋了重復(fù)模式（紋理單元）的物體，當(dāng)被投影在二維圖像時(shí)，模式會(huì)發(fā)生一定程度的變形。射影變形射影變形透視收縮變形透視收縮變形使得與圖像平面越遠(yuǎn)使得與圖像平面越遠(yuǎn)的紋理單元看上去越小的紋理單元看上去越小使得與圖像平面角度越大使得與圖像平面角度越大的紋理單元看上去越短的紋理單元看上去越短測量變形量，測量變形量，反求物體表面反求

17、物體表面法向、深度，法向、深度，重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器從紋理梯度中從紋理梯度中恢復(fù)平面的法向恢復(fù)平面的法向Gibson1950特征分析法特征分析法1981Witkin從等方性的紋理中從等方性的紋理中恢復(fù)平面的法向恢復(fù)平面的法向 方法比較簡單，卻需要進(jìn)行精確的特征檢測，魯棒性較低，并且對(duì)圖像中紋理信息的利用率不高。重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器譜分析法譜分析法1976 Bajesy 傅里葉變換傅里葉變換1990 Brown 等方性紋理重建等方性紋理重建1992 Gardin

18、g理論聯(lián)系紋理梯度與表面曲面理論聯(lián)系紋理梯度與表面曲面1993Malik仿射變換重建仿射變換重建2002Clerc小波分解小波分解存在過約束存在過約束實(shí)用性較差實(shí)用性較差僅適用于紋理單元僅適用于紋理單元結(jié)構(gòu)不發(fā)生改變結(jié)構(gòu)不發(fā)生改變2005Loh透視投影下的表面重建透視投影下的表面重建2006 Forsyth 正交投影下的表面重建正交投影下的表面重建紋理單元紋理單元拓?fù)渫負(fù)涓淖兏淖冎貞c科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器通用性較低通用性較低優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn) 紋理法紋理法與明暗法與明暗法在數(shù)學(xué)上是等價(jià)的在數(shù)學(xué)上是等價(jià)的基于不同的理論依據(jù)基于不同的理論

19、依據(jù)建模精度對(duì)建模精度對(duì)光照、噪聲不敏感、光照、噪聲不敏感、魯棒性強(qiáng)的優(yōu)勢魯棒性強(qiáng)的優(yōu)勢重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法變焦法： 基于變焦的建模方法（shape from focus/defocus）通過分析相機(jī)焦距、光圈與圖像清晰度之間的關(guān)系，恢復(fù)出物體的深度，從而得到其三維模型。聚焦法聚焦法失焦法失焦法 采集大量不同焦距下物體的圖像，對(duì)于每個(gè)表面區(qū)域，從中檢索出聚焦最佳的圖像，從而反求出物體的深度，并進(jìn)行重建。 在圖像采集的過程中，記錄下改變相機(jī)焦距的多張圖像，通過分析其不同區(qū)域的模糊程度，恢復(fù)出物體表面深度，從而進(jìn)行

20、建模。重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器聚焦法聚焦法2000Yun動(dòng)態(tài)規(guī)劃的優(yōu)化方法動(dòng)態(tài)規(guī)劃的優(yōu)化方法1998Watanabe頻域法頻域法19992005失焦法失焦法FavaroRajagopalan 統(tǒng)計(jì)法統(tǒng)計(jì)法空域法空域法2007Pradeep利用失焦形成的模糊利用失焦形成的模糊2009Hasinoff共焦立體視覺法共焦立體視覺法重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器操作復(fù)雜操作復(fù)雜優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn) 變焦法變焦法在采集圖像的過程中在采集圖像的過程中改變相機(jī)的改變相機(jī)的焦距、光圈等設(shè)置焦距

21、、光圈等設(shè)置物體表面的幾何細(xì)節(jié)物體表面的幾何細(xì)節(jié)對(duì)光照條件不苛刻對(duì)光照條件不苛刻建模效果差建模效果差重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器實(shí)現(xiàn)方法實(shí)現(xiàn)方法交互法： 基于交互的建模方法（shape from interaction）通過引入少量的用戶交互，為建模算法提供數(shù)據(jù)與約束信息，可以方便、快捷、魯棒地生成較精確的三維模型。 這種方法結(jié)合了傳統(tǒng)手動(dòng)建模與基于圖像自動(dòng)建模的優(yōu)勢，實(shí)用性較強(qiáng)。二維圖像點(diǎn)二維圖像點(diǎn)三維空間點(diǎn)三維空間點(diǎn)映射映射重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)與儀器基于單張相片的漫游基于單張相片的漫游Horry1997基于滅點(diǎn)基于滅點(diǎn)與幾何約束與幾何約束1999Cipolla滅點(diǎn)求取相機(jī)參數(shù)滅點(diǎn)求取相機(jī)參數(shù)2000Criminisi單目度量技術(shù)單目度量技術(shù)只能處理一些比較只能處理一些比較規(guī)則的平面與幾何體規(guī)則的平面與幾何體重慶科技學(xué)院重慶科技學(xué)院電氣與信息工程學(xué)院電氣與信息工程學(xué)院測控技術(shù)與儀器測控技術(shù)