雙目攝像機(jī)標(biāo)定

1、1.攝像機(jī)標(biāo)定技術(shù)的發(fā)展和研究現(xiàn)狀計(jì)算機(jī)視覺(jué)的研究目標(biāo)是使計(jì)算機(jī)能通過(guò)二維圖像認(rèn)知三維環(huán)境，并從中獲取需要的信息用于重建和識(shí)別物體。真實(shí)的3D場(chǎng)景與攝像機(jī)所拍攝的2D圖像之間有一種映射關(guān)系，這種關(guān)系是由攝像機(jī)的幾何模型或者參數(shù)決定的。求解這些參數(shù)的過(guò)程就稱為攝像機(jī)標(biāo)定。攝像機(jī)標(biāo)定實(shí)質(zhì)上是確定攝像機(jī)內(nèi)外參數(shù)的一個(gè)過(guò)程，其中內(nèi)部參數(shù)的標(biāo)定是指確定攝像機(jī)固有的、與位置參數(shù)無(wú)關(guān)的內(nèi)部幾何與光學(xué)參數(shù)，包括圖像中心坐標(biāo)、焦距、比例因子和鏡頭畸變等；而外部參數(shù)的標(biāo)定是指確定攝像機(jī)坐標(biāo)系相對(duì)于某一世界坐標(biāo)系的三維位置和方向關(guān)系?？偟膩?lái)說(shuō), 攝像機(jī)標(biāo)定可以分為兩個(gè)大類: 傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定法。傳

2、統(tǒng)攝像機(jī)標(biāo)定的基本方法是, 在一定的攝像機(jī)模型下, 基于特定的實(shí)驗(yàn)條件如形狀、尺寸已知的參照物, 經(jīng)過(guò)對(duì)其進(jìn)行圖像處理, 利用一系列數(shù)學(xué)變換和計(jì)算方法, 求取攝像機(jī)模型內(nèi)部參數(shù)和外部參數(shù)。 另外, 由于許多情況下存在經(jīng)常性調(diào)整攝像機(jī)的需求, 而且設(shè)置已知的參照物也不現(xiàn)實(shí), 這時(shí)就需要一種不依賴參照物的所謂攝像機(jī)自標(biāo)定方法。這種攝像機(jī)自標(biāo)定法是利用了攝像機(jī)本身參數(shù)之間的約束關(guān)系來(lái)標(biāo)定的, 與場(chǎng)景和攝像機(jī)的運(yùn)動(dòng)無(wú)關(guān), 所以相比較下更為靈活。1966年，B. Hallert研究了相機(jī)標(biāo)定和鏡頭畸變兩個(gè)方面的內(nèi)容，并首次使用了最小二乘方法，得到了精度很高的測(cè)量結(jié)果。1975年，學(xué)者W. Faig建立的

3、一種較為復(fù)雜的相機(jī)成像模型，并應(yīng)用非線性優(yōu)化算法對(duì)其進(jìn)行精確求解，但是仍存在兩個(gè)缺點(diǎn)，一是由于加入了優(yōu)化算法導(dǎo)致速度變慢，二是標(biāo)定精度對(duì)相機(jī)模型參數(shù)的初始值的選擇有嚴(yán)重的依賴性，這兩個(gè)缺點(diǎn)就導(dǎo)致了該標(biāo)定方法不適于實(shí)時(shí)標(biāo)定。1986年Faugeras提出基于三維立方體標(biāo)定物通過(guò)拍攝其單幅圖像的標(biāo)定方法，該方法是基于理想線性模型的，標(biāo)定精度較高，但是對(duì)標(biāo)定立方體的制作和加工的精度要求太高，維護(hù)起來(lái)困難且并未考慮畸變參數(shù)的影響。1986年，在非線性優(yōu)化標(biāo)定理論的基礎(chǔ)上R. Y. Tsai提出了Tsai攝像機(jī)模型，對(duì)應(yīng)這種Tsai攝像機(jī)模型提出了經(jīng)典的Tsai兩步標(biāo)定法。Tsai兩步標(biāo)定法的主要思想是

4、：為了使迭代次數(shù)明顯減少，計(jì)算速度也就得到加快，所以采用了除了少數(shù)標(biāo)定參數(shù)利用了非線性的迭代方法求解，而標(biāo)定過(guò)程中其他大部分參數(shù)則采用了常規(guī)的線性方法直接求解。不過(guò)這種Tsai兩步標(biāo)定法設(shè)定的相機(jī)模型畸變量較簡(jiǎn)單，沒(méi)辦法解決實(shí)際中比較復(fù)雜的畸變標(biāo)定問(wèn)題。由于Tsai兩步標(biāo)定法中存在的明顯不足，J. Weng對(duì)Tsai的畸變模型進(jìn)行改進(jìn)之后，在此基礎(chǔ)上對(duì)應(yīng)的標(biāo)定方法就能夠很好的進(jìn)行運(yùn)用和實(shí)現(xiàn)較好的標(biāo)定效果。1999年，微軟研究院的張正友提出了一種基于移動(dòng)平面模板的攝像機(jī)標(biāo)定方法，該方法縮小了相機(jī)標(biāo)定的成本，而且簡(jiǎn)單明了，并且標(biāo)定的精度也明顯提高了很多。目前已有的自標(biāo)定技術(shù)大致可以分為幾種：利用絕

5、對(duì)二次曲線和極線變換性質(zhì)解Kruppa方程的攝像機(jī)自標(biāo)定方法、分層逐步標(biāo)定法、基于二次曲面的自標(biāo)定方法、基于主動(dòng)視覺(jué)的攝像機(jī)自標(biāo)定技術(shù)以及其他改進(jìn)的攝像機(jī)自標(biāo)定技術(shù)。20世紀(jì)90年代初，F(xiàn)augeras，Luong，Maybank等首先提出了自標(biāo)定的概念, 使得在場(chǎng)景未知和攝像機(jī)任意運(yùn)動(dòng)的一般情形下標(biāo)定成為可能。Faugeras等從射影幾何的角度出發(fā)證明了每?jī)煞鶊D像間存在著兩個(gè)形如Kruppa方程的二次非線性約束，通過(guò)直接求解Kruppa方程組可以解出內(nèi)參數(shù)。鑒于直接求解Kruppa方程的困難，人們又提出了分層逐步標(biāo)定的思想，即首先對(duì)圖像序列做射影重建，在此基礎(chǔ)上再仿射標(biāo)定和歐氏標(biāo)定。分層逐步

6、標(biāo)定的方法以Hartley的QR分解法，Triggs的絕對(duì)二次曲面法，Pollefeys的模約束法等為代表。由于我們的需求總是在不斷發(fā)生變化，研究效率需要不斷提高，因此我們需要使用更靈活方便、運(yùn)算更快、精度更高的標(biāo)定方法，同時(shí)這也意味著我們需要更好地解決優(yōu)化問(wèn)題中存在的缺陷，這也是目前學(xué)者們不斷提高標(biāo)定技術(shù)的主要方向和研究的重要內(nèi)容，而所說(shuō)的優(yōu)化缺陷指的就是冗余參數(shù)、模型表達(dá)、方程病態(tài)等問(wèn)題。2.視覺(jué)測(cè)量的基礎(chǔ)理論2.1 坐標(biāo)系定義一、世界坐標(biāo)系（World Coordinate System）用戶定義的三維坐標(biāo)系，用來(lái)描述真實(shí)物理世界中的物體坐標(biāo)。二、攝像機(jī)坐標(biāo)系（Camera Coordi

7、nate System）原點(diǎn)為攝像機(jī)光心，一般為鏡頭中心點(diǎn)。軸沿光軸指向景物方向，軸和軸分別與像素行和列平行。三、像平面坐標(biāo)系（Image Coordinate System）原點(diǎn)為光軸與像平面的交點(diǎn)，軸和軸分別與軸和軸平行且指向相同。四、像素坐標(biāo)系（Pixel Coordinate System）像素坐標(biāo)（，）實(shí)際上是像點(diǎn)在像素陣列中的行數(shù)與列數(shù)，選擇軸和軸分別平行于軸和軸且方向相同，原點(diǎn)位于像素陣列的一個(gè)角上，陣列內(nèi)所有像素的和坐標(biāo)為正值。2.2 坐標(biāo)系轉(zhuǎn)換攝像機(jī)的成像模型一般采用針孔模型（Pin-Hole Model），是一個(gè)簡(jiǎn)單的線性模型，與我們中學(xué)時(shí)學(xué)的小孔成像是一個(gè)原理，如圖1所示

8、。圖1  兩千多年前，墨子和學(xué)生進(jìn)行了世界上第一個(gè)小孔成像實(shí)驗(yàn)如圖2左邊所示，為了把成像模型解釋清楚，我們來(lái)仔細(xì)看看攝像機(jī)的成像幾何關(guān)系。同時(shí)我們把成像平面放到了小孔的前面，這樣成像就是正立著的而不像上圖那樣倒立了。圖2  左：針孔成像模型；右：圖像坐標(biāo)系 點(diǎn)稱為攝像機(jī)的光心，由點(diǎn)O與、軸組成攝像機(jī)坐標(biāo)系。 I是成像平面（圖像平面），我們把鏡頭對(duì)焦后，物體就成像在這個(gè)平面。圖像平面構(gòu)成了一個(gè)像平面坐標(biāo)系，橫坐標(biāo)為，縱坐標(biāo)為。 軸和軸與圖像的軸與軸平行，軸為攝像機(jī)的光軸，它與圖像平面垂直。光軸與圖像平面的交點(diǎn)，即為像平面坐標(biāo)系的原點(diǎn)。 點(diǎn)和點(diǎn)之間的長(zhǎng)度為攝

9、像機(jī)焦距。如圖2右邊所示，像平面坐標(biāo)系以O(shè)xy為原點(diǎn)，由x、y軸組成，單位是mm。然而，在實(shí)際的相機(jī)中，并不是以物理單位（如mm）來(lái)表示某個(gè)成像點(diǎn)的位置的，而是用像素的索引。比如一臺(tái)相機(jī)的像素是1600×1200，說(shuō)明圖像傳感器（也就是以前的膠片）橫向有1600個(gè)捕捉點(diǎn)，縱向有1200個(gè)，合計(jì)192萬(wàn)個(gè)。對(duì)于某個(gè)成像點(diǎn)，實(shí)際上都是這樣表示的：橫坐標(biāo)第個(gè)點(diǎn)，縱坐標(biāo)第個(gè)點(diǎn)（而不是橫坐標(biāo)x mm，縱坐標(biāo)y mm）。假設(shè)Oxy在u、v坐標(biāo)系中的坐標(biāo)為，每一個(gè)像素在x軸與y軸方向上的物理尺寸為寬mm，高mm，則圖像中任意一個(gè)像素的索引坐標(biāo)與物理坐標(biāo)滿足下面的換算關(guān)系： （1

10、）將上式寫成矩陣的形式：      （2）這里把之前的坐標(biāo)和都轉(zhuǎn)成齊次坐標(biāo)和了。齊次坐標(biāo)（Homogeneous Coordinate）的好處是：即使乘個(gè)系數(shù)，仍對(duì)應(yīng)于原來(lái)的同一個(gè)點(diǎn)。同時(shí)，還便于幾何變換（旋轉(zhuǎn)、縮放、平移），只需用一個(gè)大一號(hào)的矩陣即可將變換矩陣的乘法（旋轉(zhuǎn)、縮放）和加法（平移）合并到一塊。此外，齊次坐標(biāo)還可表示不同的無(wú)窮遠(yuǎn)點(diǎn)。如圖2左邊所示，空間上任何一點(diǎn)在圖像上的投影位置為光心與點(diǎn)的連線與圖像平面的交點(diǎn)，這種關(guān)系也被稱為中心射影或透視投影。由幾何比例關(guān)系可得出： （3）    （4） 

11、 （5）其中為p的圖像坐標(biāo)，為空間點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)。攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量t來(lái)描述，即： （6）其中為3×3的矩陣；為3×1的向量；為4×4的矩陣，也被稱為攝像機(jī)外部參數(shù)矩陣。我們將公式（2）和公式（5）代入公式（6），就可以得到P點(diǎn)在世界坐標(biāo)系下的坐標(biāo)與其在圖像平面的投影點(diǎn)p的坐標(biāo)的關(guān)系： （7）其中，；為3×4矩陣，稱為投影矩陣；完全由、決定的攝像機(jī)內(nèi)部結(jié)構(gòu)（如焦距、光心）有關(guān)，稱為攝像機(jī)內(nèi)部參數(shù)；完全由攝像機(jī)相對(duì)于世界坐標(biāo)系的方位（如擺放位置和拍攝角度）決定，稱為攝像機(jī)外部參數(shù)。確定某一攝像機(jī)的內(nèi)部和

12、外部參數(shù)，就被稱為攝像機(jī)標(biāo)定（Calibration）。注意，很多情況下的攝像機(jī)定標(biāo)僅指確定攝像機(jī)的內(nèi)部參數(shù)。3.張正友標(biāo)定法 該方法最早由微軟研究院的Zhengyou Zhang教授提出，1998年發(fā)表在IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，論文題目為：A Flexible New Technique for Camera Calibration。（一） 標(biāo)定平面到圖像平面的單應(yīng)性單應(yīng)性(homography)：在計(jì)算機(jī)視覺(jué)中被定義為一個(gè)平面到另一個(gè)平面的投影映射。首先看一下，圖像平面與標(biāo)定物棋盤格平面的

13、單應(yīng)性。符號(hào)定義：，表示像平面二維點(diǎn)，增廣形式；，表示空間三維點(diǎn)，增廣形式。轉(zhuǎn)換關(guān)系：， （8）其中，是尺度因子，對(duì)于齊次坐標(biāo)，尺度因子不會(huì)改變坐標(biāo)值的；表示攝像機(jī)的內(nèi)參數(shù)；因?yàn)橄袼夭皇且?guī)規(guī)矩矩的正方形，代表像素點(diǎn)在方向上尺度的偏差。因?yàn)闃?biāo)定物是平面，所以我們可以把世界坐標(biāo)系構(gòu)造在Z=0的平面上。然后進(jìn)行單應(yīng)性計(jì)算。令Z=0可以將上式轉(zhuǎn)換為如下形式： （9）既然，此變化屬于單應(yīng)性變化。那么我們可以給一個(gè)名字：?jiǎn)螒?yīng)性矩陣，用來(lái)表示， （10）是一個(gè)3×3的矩陣，并且有一個(gè)元素是作為齊次坐標(biāo)。因此，有8個(gè)未知量待解?，F(xiàn)在有8個(gè)未知量需要求解，所以我們至少需要八個(gè)方程。所以需要四個(gè)對(duì)應(yīng)點(diǎn)。

14、四點(diǎn)即可算出圖像平面到世界平面的單應(yīng)性矩陣。（2）利用約束條件求解內(nèi)參矩陣  從上面可知，應(yīng)用4個(gè)點(diǎn)我們可以獲得單應(yīng)性矩陣。但是，是內(nèi)參陣和外參陣的合體。我們想要最終分別獲得內(nèi)參和外參。所以需要想個(gè)辦法，先把內(nèi)參求出來(lái)。然后外參也就隨之解出了。定義，由（10）可知，式中是尺度因子。因?yàn)?，可得兩個(gè)基本限制條件 （11） （12）式子中，, 是通過(guò)單應(yīng)性求解出來(lái)的那么未知量就僅僅剩下，內(nèi)參矩陣了。內(nèi)參陣包含5個(gè)參數(shù)：，。那么如果我們想完全解出這五個(gè)未知量，則需要3個(gè)單應(yīng)性矩陣。3個(gè)單應(yīng)性矩陣在2個(gè)約束下可以產(chǎn)生6個(gè)方程。這樣可以解出全部的五個(gè)內(nèi)參了。那我們?cè)鯓硬拍塬@得三個(gè)不同的單應(yīng)性矩陣

15、呢？答案就是，用三幅標(biāo)定物平面的照片。我們可以通過(guò)改變攝像機(jī)與標(biāo)定板間的相對(duì)位置來(lái)獲得三張不同的照片。（當(dāng)然也可以用兩張照片，但這樣的話就要舍棄掉一個(gè)內(nèi)參了）定義（13）注意到矩陣是對(duì)稱陣，于是全部未知元素定義成一個(gè)6D矢量 （14）矩陣的第列為，得到 （15）其中，。因此，約束條件（11）、（12）可以寫成如下形式 （16）通過(guò)至少含一個(gè)棋盤格的三幅圖像，應(yīng)用上述公式我們就可以估算出了。得到后，我們通過(guò)cholesky分解 ，就可以輕松地得到攝像機(jī)的內(nèi)參陣。 （17）（3）已知內(nèi)參矩陣求解外部參數(shù)從（10）可知，（4）非線性模型的標(biāo)定之前考慮的都是理性化的針孔相機(jī)模型，真實(shí)的攝像機(jī)

16、鏡頭總是存在著幾何畸變。目前考慮較多并且對(duì)成像影響較大的是徑向畸變。那么如何得到精度更高的標(biāo)定結(jié)果呢？張氏標(biāo)定法采用了最大似然估計(jì)的方法。評(píng)價(jià)函數(shù)： （18）其中，是圖片張數(shù)，是特征點(diǎn)個(gè)數(shù)。使（18）最小是一個(gè)非線性優(yōu)化問(wèn)題，使用Levenberg-Marquardt算法可以解出。該方法需要較準(zhǔn)確的初值，可以由前述方法給出。（5）總結(jié)張氏標(biāo)定的過(guò)程：       1.      打印一張棋盤格，把它貼在一個(gè)平面上，作為標(biāo)定物。       2.      通過(guò)調(diào)整標(biāo)定物或攝像機(jī)的方向，為標(biāo)定物拍攝一些不同方向的照片。  &#