雙目攝像機(jī)標(biāo)定

1、1. 攝像機(jī)標(biāo)定技術(shù)的發(fā)展和研究現(xiàn)狀計(jì)算機(jī)視覺的研究目標(biāo)是使計(jì)算機(jī)能通過(guò)二維圖像認(rèn)知三維環(huán)境，并從中獲取需要的信息用于重建和識(shí)別物體。真實(shí)的3D場(chǎng)景與攝像機(jī)所拍攝的2D圖像之間有一種映射關(guān)系，這種關(guān)系是由攝像機(jī)的幾何模型或者參數(shù)決定的。求解這些參數(shù)的過(guò)程就稱為攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定實(shí)質(zhì)上是確定攝像機(jī)內(nèi)外參數(shù)的一個(gè)過(guò)程，其中內(nèi)部參數(shù)的標(biāo)定是指確定攝像機(jī)固有的、與位置參數(shù)無(wú)關(guān)的內(nèi)部幾何與光學(xué)參數(shù)，包括圖像中心坐標(biāo)、焦距、比例因子和鏡頭畸變等；而外部參數(shù)的標(biāo)定是指確定攝像機(jī)坐標(biāo)系相對(duì)于某一世界坐標(biāo)系的三維位置和方向關(guān)系?？偟膩?lái)說(shuō)，攝像機(jī)標(biāo)定可以分為兩個(gè)大類：傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定法。傳統(tǒng)

2、攝像機(jī)標(biāo)定的基本方法是,在一定的攝像機(jī)模型下,基于特定的實(shí)驗(yàn)條件如形狀、尺寸已知的參照物，經(jīng)過(guò)對(duì)其進(jìn)行圖像處理，利用一系列數(shù)學(xué)變換和計(jì)算方法,求取攝像機(jī)模型內(nèi)部參數(shù)和外部參數(shù)。另外，由于許多情況下存在經(jīng)常性調(diào)整攝像機(jī)的需求,而且設(shè)置已知的參照物也不現(xiàn)實(shí),這時(shí)就需要一種不依賴參照物的所謂攝像機(jī)自標(biāo)定方法。這種攝像機(jī)自標(biāo)定法是利用了攝像機(jī)本身參數(shù)之間的約束關(guān)系來(lái)標(biāo)定的，與場(chǎng)景和攝像機(jī)的運(yùn)動(dòng)無(wú)關(guān)，所以相比較下更為靈活。1966年，B.Hallert研究了相機(jī)標(biāo)定和鏡頭畸變兩個(gè)方面的內(nèi)容，并首次使用了最小二乘方法，得到了精度很高的測(cè)量結(jié)果。1975年，學(xué)者W.Faig建立的一種較為復(fù)雜的相機(jī)成像模型，

3、并應(yīng)用非線性優(yōu)化算法對(duì)其進(jìn)行精確求解，但是仍存在兩個(gè)缺點(diǎn)，一是由于加入了優(yōu)化算法導(dǎo)致速度變慢，二是標(biāo)定精度對(duì)相機(jī)模型參數(shù)的初始值的選擇有嚴(yán)重的依賴性，這兩個(gè)缺點(diǎn)就導(dǎo)致了該標(biāo)定方法不適于實(shí)時(shí)標(biāo)定。1986年Faugeras提出基于三維立方體標(biāo)定物通過(guò)拍攝其單幅圖像的標(biāo)定方法，該方法是基于理想線性模型的，標(biāo)定精度較高，但是對(duì)標(biāo)定立方體的制作和加工的精度要求太高，維護(hù)起來(lái)困難且并未考慮畸變參數(shù)的影響。1986年，在非線性優(yōu)化標(biāo)定理論的基礎(chǔ)上R.Y.Tsai提出了Tsai攝像機(jī)模型，對(duì)應(yīng)這種Tsai攝像機(jī)模型提出了經(jīng)典的Tsai兩步標(biāo)定法。Tsai兩步標(biāo)定法的主要思想是：為了使迭代次數(shù)明顯減少，計(jì)算速

4、度也就得到加快，所以采用了除了少數(shù)標(biāo)定參數(shù)利用了非線性的迭代方法求解，而標(biāo)定過(guò)程中其他大部分參數(shù)則采用了常規(guī)的線性方法直接求解。不過(guò)這種Tsai兩步標(biāo)定法設(shè)定的相機(jī)模型畸變量較簡(jiǎn)單，沒辦法解決實(shí)際中比較復(fù)雜的畸變標(biāo)定問(wèn)題。由于Tsai兩步標(biāo)定法中存在的明顯不足，J.Weng對(duì)Tsai的畸變模型進(jìn)行改進(jìn)之后，在此基礎(chǔ)上對(duì)應(yīng)的標(biāo)定方法就能夠很好的進(jìn)行運(yùn)用和實(shí)現(xiàn)較好的標(biāo)定效果。1999年，微軟研究院的張正友提出了一種基于移動(dòng)平面棋板的攝像機(jī)標(biāo)定方法，該方法縮小了相機(jī)標(biāo)定的成本，而且簡(jiǎn)單明了，并且標(biāo)定的精度也明顯提高了很多。目前已有的自標(biāo)定技術(shù)大致可以分為幾種：利用絕對(duì)二次曲線和極線變換性質(zhì)解Krup

5、pa方程的攝像機(jī)自標(biāo)定方法、分層逐步標(biāo)定法、基于二次曲面的自標(biāo)定方法、基于主動(dòng)視覺的攝像機(jī)自標(biāo)定技術(shù)以及其他改進(jìn)的攝像機(jī)自標(biāo)定技術(shù)。20世紀(jì)90年代初，F(xiàn)augeras,Luong,Maybank等首先提出了自標(biāo)定的概念，使得在場(chǎng)景未知和攝像機(jī)任意運(yùn)動(dòng)的一般情形下標(biāo)定成為可能。Faugeras等從射影幾何的角度出發(fā)證明了每?jī)煞鶊D像問(wèn)存在著兩個(gè)形如Kruppa方程的二次非線性約束，通過(guò)直接求解Kruppa方程組可以解出內(nèi)參數(shù)。鑒于直接求解Kruppa方程的困難，人們乂提出了分層逐步標(biāo)定的思想，即首先對(duì)圖像序列做射影重建，在此基礎(chǔ)上再仿射標(biāo)定和歐氏標(biāo)定。分層逐步標(biāo)定的方法以Hartley的QR分解

6、法，Triggs的絕對(duì)二次曲面法，Pollefeys的模約束法等為代表。由于我們的需求總是在不斷發(fā)生變化，研究效率需要不斷提高，因此我們需要使用更靈活方便、運(yùn)算更快、精度更高的標(biāo)定方法，同時(shí)這也意味著我們需要更好地解決優(yōu)化問(wèn)題中存在的缺陷，這也是目前學(xué)者們不斷提高標(biāo)定技術(shù)的主要方向和研究的重要內(nèi)容，而所說(shuō)的優(yōu)化缺陷指的就是冗余參數(shù)、模型表達(dá)、方程病態(tài)等問(wèn)題。視覺測(cè)量的基礎(chǔ)理論2.1坐標(biāo)系定義一、世界坐標(biāo)系(WorldCoordinateSystem)OwXwYwZw用戶定義的三維坐標(biāo)系，用來(lái)描述真實(shí)物理世界中的物體坐標(biāo)。二、攝像機(jī)坐標(biāo)系(CameraCoordinateSystem)OcXcY

7、cZc原點(diǎn)為攝像機(jī)光心，一般為鏡頭中心點(diǎn)。Zc軸沿光軸指向景物方向，Xc軸和yc軸分別與像素行和歹0平行。三、像平面坐標(biāo)系(ImageCoordinateSystem)qxy原點(diǎn)為光軸與像平面的交點(diǎn)，為軸和乂軸分別與xc軸和尸誨由平行且指向相同。四、像素坐標(biāo)系(PixelCoordinateSystem)ouv像素坐標(biāo)(u,v)實(shí)際上是像點(diǎn)在像素陣列中的行數(shù)與列數(shù)，選擇u軸和v軸分別平行于xc軸和尸誨由且方向相同，原點(diǎn)位于像素陣歹0的一個(gè)角上，陣歹0內(nèi)所有像素的u和v坐標(biāo)為正值。2.2坐標(biāo)系轉(zhuǎn)換是一個(gè)簡(jiǎn)單的線攝像機(jī)的成像模型一般采用針孔模型（Pin-HoleModel）,性模型，與我們中學(xué)時(shí)學(xué)

8、的小孔成像是一個(gè)原理，如圖1所示圖1兩千多年前，墨子和學(xué)生進(jìn)行了世界上第一個(gè)小孔成像實(shí)驗(yàn)如圖2左邊所示，為了把成像模型解釋活楚，我們來(lái)仔細(xì)看看攝像機(jī)的成像幾何關(guān)系。同時(shí)我們把成像平面放到了小孔的前面，這樣成像就是正立著的而不像上圖那樣倒立了。圖2左：針孔成像模型；右：圖像坐標(biāo)系。點(diǎn)稱為攝像機(jī)的光心，由點(diǎn)O與Xc、YC、Zc軸組成攝像機(jī)坐標(biāo)系。I是成像平面（圖像平面），我們把鏡頭對(duì)焦后，物體就成像在這個(gè)平面圖像平面構(gòu)成了一個(gè)像平面坐標(biāo)系，橫坐標(biāo)為為，縱坐標(biāo)為yi。Xc軸和Yc軸與圖像的Xi軸與yi軸平行，Zc軸為攝像機(jī)的光軸，它與圖像平面垂直。光軸與圖像平面的交點(diǎn)，即為像平面坐標(biāo)系的原點(diǎn)Oxy。

9、點(diǎn)和Oxy點(diǎn)之間的長(zhǎng)度為攝像機(jī)焦距f。如圖2右邊所小，像平面坐標(biāo)系以Qy為原點(diǎn)，由x、y軸組成，單位是mm然而，在實(shí)際的相機(jī)中，并不是以物理單位（如mm來(lái)表示某個(gè)成像點(diǎn)的位置的，而是用像素的索引。比如一臺(tái)相機(jī)的像素是1600X1200,說(shuō)明圖像傳感器（也就是以前的膠片）橫向有1600個(gè)捕捉點(diǎn)，縱向有1200個(gè)，合計(jì)192萬(wàn)個(gè)。對(duì)丁某個(gè)成像點(diǎn)，實(shí)際上都是這樣表示的：橫坐標(biāo)第u個(gè)點(diǎn)，縱坐標(biāo)第v個(gè)點(diǎn)（而不是橫坐標(biāo)xmm縱坐標(biāo)ymm。假設(shè)Qy在u、v坐標(biāo)系中的坐標(biāo)為（u0,v0）,每一個(gè)像素在x軸與y軸方向上的物理尺寸為寬dxmm高dymm則圖像中任意一個(gè)像素的索引坐標(biāo)與物理坐標(biāo)滿足下面的換算關(guān)系:x

10、udx(1)將上式寫成矩陣的形式:1dxV0ydyu01dy0v0(2)這里把之前的坐標(biāo)（u,v）和（x,y）都轉(zhuǎn)成齊次坐標(biāo)（u,v,1）和（x,y,1）了。齊次坐標(biāo)（HomogeneousCoordinate）的好處是：即使乘個(gè)系數(shù)k（k0）,仍對(duì)應(yīng)丁原來(lái)的同一個(gè)點(diǎn)。同時(shí)，還便丁幾何變換（旋轉(zhuǎn)、縮放、平移），只需用一個(gè)大一號(hào)的矩陣即可將變換矩陣的乘法（旋轉(zhuǎn)、縮放）和加法（平移）合并到一塊。此外，齊次坐標(biāo)還可表示不同的無(wú)窮遠(yuǎn)點(diǎn)。如圖2左邊所示，空間上任何一點(diǎn)P在圖像上的投影位置p為光心O與P點(diǎn)的連線OP與圖像平面的交點(diǎn)，這種關(guān)系也被稱為中心射影或透視投影。由幾何比例關(guān)系可得出：xfXcZcfY

11、cZcXcxf000c,YcZcy0f00Zc(3)(4)(5)10010其中（x,y）為p的圖像坐標(biāo)，（Xc，Yc，Zc）為空間點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量t來(lái)描述，即：XcXwXwYcRtYwYw，_T_Mb(6)Zc01ZwZw111其中R為3X3的矩陣；t為3X1的向量；Mb為4X4的矩陣，也被稱為攝像機(jī)外部參數(shù)矩陣。我們將公式（2）和公式（5）代入公式（6）,就可以得到P點(diǎn)在世界坐標(biāo)系下的坐標(biāo)（Xw，Yw，Zw）與其在圖像平面的投影點(diǎn)p的坐標(biāo)（u,v）的關(guān)系:uZcv110U0dx1f0V00dy0001000Rtf000T1

12、010XwYwZw1(7)0U00Xw0RtYwyV0-T1Zw00101x00MaMbPwMPw其中，xf,yf；MMaMb為3X4矩陣，稱為投影矩陣；Ma完全由x、y、U0、V0決定的攝像機(jī)內(nèi)部結(jié)構(gòu)（如焦距、光心）有關(guān)，稱為攝像機(jī)內(nèi)部參數(shù)；Mb完全由攝像機(jī)相對(duì)丁世界坐標(biāo)系的方位（如擺放位置和拍攝角度）決定，稱為攝像機(jī)外部參數(shù)。確定某一攝像機(jī)的內(nèi)部和外部參數(shù)，就被稱為攝像機(jī)標(biāo)定（Calibration）。注意，很多情況下的攝像機(jī)定標(biāo)僅指確定攝像機(jī)的內(nèi)部參數(shù)。2. 張正友標(biāo)定法該方法最早由微軟研究院的ZhengyouZhang教授提出，1998年發(fā)表在IEEETRANSACTIONSONPAT

13、TERNANALYSISANDMACHINEINTELLIGENCE為：AFlexibleNewTechniqueforCameraCalibration(一)標(biāo)定平面到圖像平面的單應(yīng)性單應(yīng)性(homography):在計(jì)算機(jī)視覺中被定義為一個(gè)平面到另一個(gè)平面的投影映射。首先看一下，圖像平面與標(biāo)定物棋盤格平面的單應(yīng)性。符號(hào)定義：mu,vT,表示像平面二維點(diǎn)，增廣形式r%u,v,1T;MX,Y,ZT,表示空間三維點(diǎn)，增廣形式X,Y,Z,1T。轉(zhuǎn)換關(guān)系:s%AR,tM%,A00UoVo0(8)其中，s是尺度因子，對(duì)于齊次坐標(biāo)，尺度因子不會(huì)改變坐標(biāo)值的；A表示攝像機(jī)的內(nèi)參數(shù)；因?yàn)橄袼夭皇且?guī)規(guī)矩矩的正

14、方形，代表像素點(diǎn)在x,y方向上尺度的偏差。因?yàn)闃?biāo)定物是平面，所以我們可以把世界坐標(biāo)系構(gòu)造在進(jìn)行單應(yīng)性計(jì)算。令Z=0可以將上式轉(zhuǎn)換為如下形式：Z=0的平面上。然后svAr1r21既然，此變化屆于單應(yīng)性變化XYr3t01Ar1那么我們可以給ri(9)2t一個(gè)名字：?jiǎn)螒?yīng)性矩陣，用H來(lái)表示,sr%hM%,HAr1r2(10)H是一個(gè)3X3的矩陣，并且有一個(gè)元素是作為齊次坐標(biāo)H有8個(gè)所以需因此，未知量待解?，F(xiàn)在有8個(gè)未知量需要求解，所以我們至少需要八個(gè)方程。要四個(gè)對(duì)應(yīng)點(diǎn)。四點(diǎn)即可算出圖像平面到世界平面的單應(yīng)性矩陣H。(2)利用約束條件求解內(nèi)參矩陣A從上面可知，應(yīng)用4個(gè)點(diǎn)我們可以獲得單應(yīng)性矩陣H。但是，H

15、是內(nèi)參陣和外參陣的合體。我們想要最終分別獲得內(nèi)參和外參。所以需要想個(gè)辦法，先把內(nèi)參求出來(lái)。然后外參也就隨之解出了。定義Hhih2h，由(10)可知,h1h2h3Ar1r2t式中是尺度因子因?yàn)閞Tr20,可得兩個(gè)基本限制條件(11)式子中，h1,T.T.1T.T.1hAAhh?AAh?(12)h2是通過(guò)單應(yīng)性求解出來(lái)的那么未知量就僅僅剩下，內(nèi)參矩陣A了。內(nèi)參陣A包含5個(gè)參數(shù):,U0,V0,。那么如果我們想完全解出這五個(gè)未知量，則需要3個(gè)單應(yīng)性矩陣。3個(gè)單應(yīng)性矩陣在2個(gè)約束下可以產(chǎn)生6個(gè)方程。這樣可以解出全部的五個(gè)內(nèi)參了。那我們?cè)鯓硬拍塬@得三個(gè)不同的單應(yīng)性矩陣呢？答案就是，用三幅標(biāo)定物平面的照片。

16、我們可以通過(guò)改變攝像機(jī)與標(biāo)定板間的相對(duì)位置來(lái)獲得三張不同的照片。（當(dāng)然也可以用兩張照片，但這樣的話就要舍棄掉一個(gè)內(nèi)參了0)定義B11B12B13八T八1AAB12B22B23B13B23B331V0U022221(V0U0)222222V0U0(V0U0)V0(V0U0)2222222B2V。2v2(13)(14)注意到矩陣B是對(duì)稱陣，丁是全部未知元素定義成一個(gè)6D欠量bBn,B12,B22,B13,B23,B33矩陣H的第i歹0為hihi1,hi2,hi3T,得到hiTBhjv；b(15)其中，Vijhi1hj1,h1hj2hi2hj1,h2hj2,hi3hj1h1hj3,hi3hj2hi2

17、hj3,hi3hj3因此，約束條件（11）、（12）可以寫成如下形式TVi2i2Tb0(ViiV22)(16)通過(guò)至少含一個(gè)棋盤格的三幅圖像，應(yīng)用上述公式我們就可以估算出得到B后，我們通過(guò)cholesky分解，就可以輕松地得到攝像機(jī)的內(nèi)參陣2V0(Bi2Bi3BiiB23)/(BiiB22Bi2)233Bi3V0(Bi2Bi3BiiB23)/BiiB了。A。Bl2U0V0/(3)已知內(nèi)參矩陣A求解外部參數(shù)從(10)可知,B/BiiBii/(BiiBi2一2/Bi32/(17)i.riAhi,”Aih2,r3rir2,tAh(4) 非線性模型的標(biāo)定之前考慮的都是理性化的針孔相機(jī)模型，真實(shí)的攝像機(jī)鏡頭總是存在著幾何畸變。目前考慮較多并且對(duì)成像影響較大的是徑向畸變。那么如何得到精度更高的標(biāo)定結(jié)果呢？張氏標(biāo)定法采用了最大似然估計(jì)的方法。