攝像機(jī)標(biāo)定和三維重建

攝像機(jī)標(biāo)定和三維重建第1頁(yè)，共46頁(yè)，2023年，2月20日，星期五主要內(nèi)容1、引言2、圖象的形成過(guò)程3、傳統(tǒng)標(biāo)定方法 DLT方法，RAC方法和簡(jiǎn)易標(biāo)定方法4、預(yù)備知識(shí)5、攝像機(jī)自標(biāo)定6、基于主動(dòng)視覺(jué)的攝像機(jī)標(biāo)定7、分層重建理論8、多視點(diǎn)幾何第2頁(yè)，共46頁(yè)，2023年，2月20日，星期五引言幾個(gè)問(wèn)題 什么是攝像機(jī)標(biāo)定？ 為什么要對(duì)攝像機(jī)進(jìn)行標(biāo)定？ 為什么要研究不同的攝像機(jī)標(biāo)定方法？ 什么是三維重建？ 為什么要進(jìn)行三維重建？第3頁(yè)，共46頁(yè)，2023年，2月20日，星期五引言三維重建是人類視覺(jué)的主要目的，也是計(jì)算機(jī)視覺(jué)的最主要的研究方向.(Marr1982)所謂三維重建就是指從二幅和二幅以上圖象恢復(fù)空間點(diǎn)三維坐標(biāo)的過(guò)程。三維重建的三個(gè)關(guān)鍵步驟圖象對(duì)應(yīng)點(diǎn)的確定攝像機(jī)標(biāo)定二圖象間攝像機(jī)運(yùn)動(dòng)參數(shù)的確定第4頁(yè)，共46頁(yè)，2023年，2月20日，星期五第5頁(yè)，共46頁(yè)，2023年，2月20日，星期五圖象的形成過(guò)程和攝像機(jī)針孔模型第6頁(yè)，共46頁(yè)，2023年，2月20日，星期五Ou攝像機(jī)坐標(biāo)系yxv圖像坐標(biāo)系世界坐標(biāo)系1、世界坐標(biāo)系：

2、攝像機(jī)坐標(biāo)系：3、圖像坐標(biāo)系:

說(shuō)明：為了校正成像畸變用理想圖像坐標(biāo)系和真實(shí)圖像坐標(biāo)系分別描述畸變前后的坐標(biāo)關(guān)系

坐標(biāo)系第7頁(yè)，共46頁(yè)，2023年，2月20日，星期五攝像機(jī)光學(xué)成像過(guò)程的四個(gè)步驟

剛體變換透視投影畸變校正數(shù)字化圖像世界坐標(biāo)系攝像機(jī)坐標(biāo)系真實(shí)圖像坐標(biāo)系數(shù)字化圖像坐標(biāo)系理想圖像坐標(biāo)系1、剛體變換公式齊次坐標(biāo)形式第8頁(yè)，共46頁(yè)，2023年，2月20日，星期五CB物體AB圖像Of=OB為透鏡的焦距m=OC為像距n=AO為物距

一般地由于于是這時(shí)可以將透鏡成像模型近似地用小孔模型代替

2、透視投影——透鏡成像原理圖第9頁(yè)，共46頁(yè)，2023年，2月20日，星期五

o寫成齊次坐標(biāo)形式為

2、透視投影——小孔成像模型第10頁(yè)，共46頁(yè)，2023年，2月20日，星期五寫成齊次坐標(biāo)形式為

2、中心透視投影模型of第11頁(yè)，共46頁(yè)，2023年，2月20日，星期五PositionwithdistortionIdealPositiondr:radialdistortiondt:tangentialdistortion3、畸變校正——徑向和切向畸變徑向畸變離心畸變薄透鏡畸變徑向失真切向失真第12頁(yè)，共46頁(yè)，2023年，2月20日，星期五

a:barreldistortionb:pincushiondistortionab3、畸變校正——其它畸變類型桶形畸變a和枕形畸變b薄棱鏡畸變

AxisofmintangentialdistortionAxisofmaxTangentialdistortion第13頁(yè)，共46頁(yè)，2023年，2月20日，星期五

在中的坐標(biāo)為象素在軸上的物理尺寸為

AffineTransformation:4、圖像數(shù)字化UCV齊次坐標(biāo)形式:其中第14頁(yè)，共46頁(yè)，2023年，2月20日，星期五攝像機(jī)的內(nèi)參數(shù)矩陣K第15頁(yè)，共46頁(yè)，2023年，2月20日，星期五線性攝像機(jī)成像模型圖像物理坐標(biāo)系圖像像素坐標(biāo)系攝像機(jī)坐標(biāo)系世界坐標(biāo)系圖像像素坐標(biāo)系世界坐標(biāo)系最終得到：這是忽略畸變的線性成像模型第16頁(yè)，共46頁(yè)，2023年，2月20日，星期五傳統(tǒng)的攝像機(jī)標(biāo)定方法特點(diǎn) 要求攝像機(jī)標(biāo)定塊，算法復(fù)雜，精度高第17頁(yè)，共46頁(yè)，2023年，2月20日，星期五直接線性變換（DLT變換）

DLT:DirectLinearTransformation第18頁(yè)，共46頁(yè)，2023年，2月20日，星期五Abdal-Aziz和Karara于70年代初提出了直接線性變換像機(jī)定標(biāo)的方法，他們從攝影測(cè)量學(xué)的角度深入的研究了像機(jī)圖像和環(huán)境物體之間的關(guān)系，建立了像機(jī)成像幾何的線性模型，這種線性模型參數(shù)的估計(jì)完全可以由線性方程的求解來(lái)實(shí)現(xiàn)。

DLT變換第19頁(yè)，共46頁(yè)，2023年，2月20日，星期五直接線性變換是將像點(diǎn)和物點(diǎn)的成像幾何關(guān)系在齊次坐標(biāo)下寫成透視投影矩陣的形式：

DLT變換其中為圖像坐標(biāo)系下的點(diǎn)的齊次坐標(biāo)，為世界坐標(biāo)系下的空間點(diǎn)的歐氏坐標(biāo)，為的透視投影矩陣，為未知尺度因子。

第20頁(yè)，共46頁(yè)，2023年，2月20日，星期五DLT變換消去，可以得到方程組:第21頁(yè)，共46頁(yè)，2023年，2月20日，星期五當(dāng)已知個(gè)空間點(diǎn)和對(duì)應(yīng)的圖像上的點(diǎn)時(shí)，可以得到一個(gè)含有2*個(gè)方程的方程組：

DLT變換其中為的矩陣，為透視投影矩陣元素組成的向量。

第22頁(yè)，共46頁(yè)，2023年，2月20日，星期五DLT變換像機(jī)定標(biāo)的任務(wù)就是尋找合適的，使得為最小，即

給出約束：

為的前11個(gè)元素組成的向量，為前11列組成的矩陣，為第12列組成的向量。第23頁(yè)，共46頁(yè)，2023年，2月20日，星期五DLT變換是否合理？

約束不具有旋轉(zhuǎn)和平移的不變性,解將隨著世界坐標(biāo)系的選取不同而變化.證明：世界坐標(biāo)系作剛性坐標(biāo)變換則顯然在一般的情況下第24頁(yè)，共46頁(yè)，2023年，2月20日，星期五另一個(gè)約束具有旋轉(zhuǎn)和平移的不變性DLT變換由向量,,是兩兩垂直的單位向量第25頁(yè)，共46頁(yè)，2023年，2月20日，星期五R.Tsai的RAC的定標(biāo)算法

第26頁(yè)，共46頁(yè)，2023年，2月20日，星期五80年代中期Tsai提出的基于RAC的定標(biāo)方法是計(jì)算機(jī)視覺(jué)像機(jī)定標(biāo)方面的一項(xiàng)重要工作，該方法的核心是利用徑向一致約束來(lái)求解除（像機(jī)光軸方向的平移）外的其它像機(jī)外參數(shù)，然后再求解像機(jī)的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過(guò)程快捷，準(zhǔn)確。簡(jiǎn)介第27頁(yè)，共46頁(yè)，2023年，2月20日，星期五像機(jī)模型

徑向一致約束

定標(biāo)算法

主要內(nèi)容

第28頁(yè)，共46頁(yè)，2023年，2月20日，星期五世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系像機(jī)模型第29頁(yè)，共46頁(yè)，2023年，2月20日，星期五攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系的關(guān)系像機(jī)模型第30頁(yè)，共46頁(yè)，2023年，2月20日，星期五理想圖像坐標(biāo)到實(shí)際圖像坐標(biāo)的變換

（只考慮徑向偏差）

像機(jī)模型第31頁(yè)，共46頁(yè)，2023年，2月20日，星期五從實(shí)際圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換

像機(jī)模型第32頁(yè)，共46頁(yè)，2023年，2月20日，星期五徑向一致約束徑向一致約束:

第33頁(yè)，共46頁(yè)，2023年，2月20日，星期五定標(biāo)算法1.利用徑向一致約束來(lái)求解和

定標(biāo)步驟:2.求解有效焦距、方向上的平移和畸變參數(shù)

第34頁(yè)，共46頁(yè)，2023年，2月20日，星期五定標(biāo)算法——步驟一1.求解外像機(jī)參數(shù)旋轉(zhuǎn)矩陣和、方向上的平移

由一個(gè)空間點(diǎn)和其圖像投影點(diǎn),根據(jù)徑向一致約束性可以得到下面的方程

其中

第35頁(yè)，共46頁(yè)，2023年，2月20日，星期五定標(biāo)算法——步驟一如果得到一系列數(shù)目大于7個(gè)的標(biāo)志點(diǎn)和它們的對(duì)應(yīng)投影圖像點(diǎn)，就變成了一個(gè)過(guò)限制方程組，可以由最小二乘法解出以下的7個(gè)變量2.計(jì)算

由

第36頁(yè)，共46頁(yè)，2023年，2月20日，星期五定標(biāo)算法——步驟一3.確定

由，4.計(jì)算旋轉(zhuǎn)矩陣和，并確定的符號(hào)

先假定取正號(hào)，由以下的公式可以計(jì)算出旋轉(zhuǎn)矩陣和

第37頁(yè)，共46頁(yè)，2023年，2月20日，星期五定標(biāo)算法——步驟一取世界坐標(biāo)系中任一標(biāo)志點(diǎn),則可以計(jì)算出其在像機(jī)坐標(biāo)系中的坐標(biāo)同時(shí)取這個(gè)坐標(biāo)點(diǎn)在圖像上的投影點(diǎn)在實(shí)際像機(jī)系統(tǒng)中，應(yīng)該和同號(hào)，如果計(jì)算出兩者異號(hào)，則取為負(fù)號(hào)。最后求解第38頁(yè)，共46頁(yè)，2023年，2月20日，星期五定標(biāo)算法——步驟二對(duì)于一個(gè)標(biāo)志點(diǎn)，可以得到以下的兩個(gè)方程當(dāng)不存在徑向畸變時(shí)，。

式變?yōu)槭降?9頁(yè)，共46頁(yè)，2023年，2月20日，星期五定標(biāo)算法——步驟二對(duì)于一系列的標(biāo)志點(diǎn)，則形成了一個(gè)超定的方程組，可以

用線性最小二乘法求出和。當(dāng)存在徑向畸變時(shí)，仍應(yīng)用式求出和的初始值，然后將求出的和連同作為條件，對(duì)式進(jìn)行非線性優(yōu)化，估計(jì)出、和的真實(shí)值。第40頁(yè)，共46頁(yè)，2023年，2月20日，星期五張正友的平面標(biāo)定方法

第41頁(yè)，共46頁(yè)，2023年，2月20日，星期五張正友的平面標(biāo)定方法基本原理：在這里假定模板平面在世界坐標(biāo)系的平面上其中，為攝像機(jī)的內(nèi)參數(shù)矩陣，為模板平面上點(diǎn)的齊次坐標(biāo)，為模板平面上點(diǎn)投影到圖象平面上對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)，和分別是攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量第42頁(yè)，共46頁(yè)，2023年，2月20日，星期五其中根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即和，每幅圖象可以獲得以下兩個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束由于攝像機(jī)有5個(gè)未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時(shí)，就可以線性唯一求解出張正友的平面標(biāo)定方法第43頁(yè)，共46頁(yè)，2023年，2月20日，星期五張正友方法所用的平面模板張正友的平面標(biāo)定方法第44頁(yè)，共46頁(yè)，2023年，2月20日，星期五算法描述張正友的平面標(biāo)定方法打印一張模板并貼在一個(gè)平面上從不同角度拍攝若干張模板圖象檢測(cè)出圖象中的特征點(diǎn)求