雙目攝像機標定

1、攝像機標定技術的發(fā)展和研究現(xiàn)狀計算機視覺的研究目標是使計算機能通過二維圖像認知三維環(huán)境，并從中獲取需要的信息用于重建和識別物體。真實的3D場景與攝像機所拍攝的2D圖像之間有一種映射關系，這種關系是由攝像機的幾何模型或者參數(shù)決定的。求解這些參數(shù)的過程就稱為攝像機標定。攝像機標定實質上是確定攝像機內外參數(shù)的一個過程，其中內部參數(shù)的標定是指確定攝像機固有的、與位置參數(shù)無關的內部幾何與光學參數(shù)，包括圖像中心坐標、焦距、比例因子和鏡頭畸變等；而外部參數(shù)的標定是指確定攝像機坐標系相對于某一世界坐標系的三維位置和方向關系?？偟膩碚f,攝像機標定可以分為兩個大類:傳統(tǒng)的攝像機標定方法和攝像機自標定法。傳統(tǒng)攝像機

2、標定的基本方法是,在一定的攝像機模型下,基于特定的實驗條件如形狀、尺寸已知的參照物,經過對其進行圖像處理,利用一系列數(shù)學變換和計算方法,求取攝像機模型內部參數(shù)和外部參數(shù)。另外,由于許多情況下存在經常性調整攝像機的需求,而且設置已知的參照物也不現(xiàn)實,這時就需要一種不依賴參照物的所謂攝像機自標定方法。這種攝像機自標定法是利用了攝像機本身參數(shù)之間的約束關系來標定的,與場景和攝像機的運動無關,所以相比較下更為靈活。1966年，B.Hallert研究了相機標定和鏡頭畸變兩個方面的內容，并首次使用了最小一乘方法，得到了精度很咼的測量結果。1975年，學者W.Faig建立的一種較為復雜的相機成像模型，并應用

3、非線性優(yōu)化算法對其進行精確求解，但是仍存在兩個缺點，一是由于加入了優(yōu)化算法導致速度變慢，一是標定精度對相機模型參數(shù)的初始值的選擇有嚴重的依賴性，這兩個缺點就導致了該標定方法不適于實時標定。1986年Faugeras提出基于三維立方體標定物通過拍攝其單幅圖像的標定方法，該方法是基于理想線性模型的，標定精度較高，但是對標定立方體的制作和加工的精度要求太高，維護起來困難且并未考慮畸變參數(shù)的影響。1986年，在非線性優(yōu)化標定理論的基礎上R.Y.Tsai提出了Tsai攝像機模型，對應這種Tsai攝像機模型提出了經典的Tsai兩步標定法。Tsai兩步標定法的主要思想是：為了使迭代次數(shù)明顯減少，計算速度也就

4、得到加快，所以采用了除了少數(shù)標定參數(shù)利用了非線性的迭代方法求解，而標定過程中其他大部分參數(shù)則采用了常規(guī)的線性方法直接求解。不過這種Tsai兩步標定法設定的相機模型畸變量較簡單，沒辦法解決實際中比較復雜的畸變標定問題。由于Tsai兩步標定法中存在的明顯不足，J.Weng對Tsai的畸變模型進行改進之后，在此基礎上對應的標定方法就能夠很好的進行運用和實現(xiàn)較好的標定效果。1999年，微軟研究院的張正友提出了一種基于移動平面模板的攝像機標定方法，該方法縮小了相機標定的成本，而且簡單明了，并且標定的精度也明顯提高了很多。目前已有的自標定技術大致可以分為幾種：利用絕對二次曲線和極線變換性質解Kruppa方

5、程的攝像機自標定方法、分層逐步標定法、基于二次曲面的自標定方法、基于主動視覺的攝像機自標定技術以及其他改進的攝像機自標定技術。20世紀90年代初，F(xiàn)augeras，Luong，Maybank等首先提出了自標定的概念，使得在場景未知和攝像機任意運動的一般情形下標定成為可能。Faugeras等從射影幾何的角度出發(fā)證明了每兩幅圖像間存在著兩個形如Kruppa方程的二次非線性約束,通過直接求解Kruppa方程組可以解出內參數(shù)。鑒于直接求解Kruppa方程的困難，人們又提出了分層逐步標定的思想，即首先對圖像序列做射影重建，在此基礎上再仿射標定和歐氏標定。分層逐步標定的方法以Hartley的QR分解法，T

6、riggs的絕對二次曲面法，Pollefeys的模約束法等為代表由于我們的需求總是在不斷發(fā)生變化，研究效率需要不斷提高，因此我們需要使用更靈活方便、運算更快、精度更高的標定方法，同時這也意味著我們需要更好地解決優(yōu)化問題中存在的缺陷，這也是目前學者們不斷提高標定技術的主要方向和研究的重要內容，而所說的優(yōu)化缺陷指的就是冗余參數(shù)、模型表達、方程病態(tài)等問題。視覺測量的基礎理論2.1坐標系定義一、世界坐標系(WorldCoordinateSystem)O-XYZwwww用戶定義的三維坐標系，用來描述真實物理世界中的物體坐標。二、攝像機坐標系CameraCoordinateSystem-XYZcccc原點

7、為攝像機光心，一般為鏡頭中心點。z軸沿光軸指向景物方向，x軸cc和y軸分別與像素行和列平行。c三、像平面坐標系(ImageCoordinateSystem)o-xyi原點為光軸與像平面的交點，軸和y軸分別與x軸和y軸平行且指向相同iicc四、像素坐標系(PixelCoordinateSystem)o一uv像素坐標(u，v)實際上是像點在像素陣列中的行數(shù)與列數(shù)，選擇u軸和v軸分別平行于x軸和y軸且方向相同，原點位于像素陣列的一個角上，陣列內cc所有像素的u和v坐標為正值。2.2坐標系轉換攝像機的成像模型一般采用針孔模型(Pin-HoleModel)，是一個簡單的線性模型，與我們中學時學的小孔成像

8、是一個原理，如圖1所示圖1兩千多年前，墨子和學生進行了世界上第一個小孔成像實驗如圖2左邊所示，為了把成像模型解釋清楚，我們來仔細看看攝像機的成像幾何關系。同時我們把成像平面放到了小孔的前面，這樣成像就是正立著的而不像上圖那樣倒立了圖2左：針孔成像模型；右：圖像坐標系O點稱為攝像機的光心，由點O與X、Y、Z軸組成攝像機坐標系。cccI是成像平面（圖像平面），我們把鏡頭對焦后，物體就成像在這個平面圖像平面構成了一個像平面坐標系，橫坐標為x,縱坐標為y。iiX軸和Y軸與圖像的x軸與y軸平行，Z軸為攝像機的光軸，它與圖像cciic平面垂直。光軸與圖像平面的交點，即為像平面坐標系的原點O。xyO點和O點

9、之間的長度為攝像機焦距f。xy如圖2右邊所示，像平面坐標系以Oxy為原點，由X、y軸組成，單位是mm。然而，在實際的相機中，并不是以物理單位（如mm）來表示某個成像點的位置7)x3)cc的，而是用像素的索引。比如一臺相機的像素是1600 x1200,說明圖像傳感器（也就是以前的膠片）橫向有1600個捕捉點，縱向有1200個，合計192萬個。對于某個成像點，實際上都是這樣表示的：黃坐標第u個點，縱坐標第v個點（而不是橫坐標xmm，縱坐標ymm）。假設Oxy在u、v坐標系中的坐標為打）,每一個像素在x軸與y軸方向上的物理尺寸為寬mm,高dmm,則圖像中任意xy一個像素的索引坐標與物理坐標滿足下面的

10、換算關系：xu=u+-1)0dx丄yv=v+-0dy將上式寫成矩陣的形式：-1T0u0ux01xv=vyd01y10012)這里把之前的坐標（u,v）和（x,y）都轉成齊次坐標（u,v,1）和（x,y,1）了。齊次坐標（HomogeneousCoordinate）的好處是：即使乘個系數(shù)k（k豐0），仍對應于原來的同一個點。同時,還便于幾何變換（旋轉、縮放、平移）,只需用一個大一號的矩陣即可將變換矩陣的乘法（旋轉、縮放）和加法（平移）合并到一塊。此外,齊次坐標還可表示不同的無窮遠點。如圖2左邊所示，空間上任何一點P在圖像上的投影位置p為光心O與P點的連線OP與圖像平面的交點，這種關系也被稱為中心

11、射影或透視投影。由幾何比例關系可得出：yZcf0000f000010XcYcZc1其中（X,y）為p的圖像坐標，（X,Y,Z）為空間點P在攝像機坐標系下的坐標。ccc攝像機坐標系與世界坐標系之間的關系可以用旋轉矩陣R與平移向量t來描述，即：_X_X_X_cwwYRt_YYc=w=MwZ0T1ZbZcww1116）其中R為3x3的矩陣；t為3x1的向量；M為4x4的矩陣，也被稱為攝b像機外部參數(shù)矩陣。我們將公式（2）和公式（5）代入公式（6），就可以得到P點在世界坐標系下的坐標（X,Y,Z）與其在圖像平面的投影點p的坐標（u,v）的關系：www0ud0XuXf000_w1Rt_YZv=0v0f0

12、0wcT00t1Z1y001011w0011X_a0u0_wX0Rt_Y0av0wy00t1Z00101-w-1二MMP二MPabww其中，Q=f,Q=f；M=MM為3x4矩陣，稱為投影矩陣；M完全由xdydabaxyQ、Q、u、v決定的攝像機內部結構（如焦距、光心）有關，稱為攝像機內xy00部參數(shù)；M完全由攝像機相對于世界坐標系的方位（如擺放位置和拍攝角度）b決定，稱為攝像機外部參數(shù)。確定某一攝像機的內部和外部參數(shù)，就被稱為攝像機標定（Calibration）。注意，很多情況下的攝像機定標僅指確定攝像機的內部參數(shù)。張正友標定法該方法最早由微軟研究院的ZhengyouZhang教授提出，199

13、8年發(fā)表在IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE，論文題目為：AFlexibleNewTechniqueforCameraCalibration。（一）標定平面到圖像平面的單應性單應性（homography）：在計算機視覺中被定義為一個平面到另一個平面的投影映射。首先看一下，圖像平面與標定物棋盤格平面的單應性。符號定義：m=u,vT，表示像平面二維點，增廣形式m=u,v,1t；M=X,Y,Zt，表示空間三維點，增廣形式M=X,Y，乙1t。轉換關系：u0v008)qYsm=AR,tM，A=0卩00其中，s是尺度因子，對于齊次

14、坐標，尺度因子不會改變坐標值的；A表示攝像機的內參數(shù)；因為像素不是規(guī)規(guī)矩矩的正方形，丫代表像素點在x,y方向上尺度的偏差。因為標定物是平面，所以我們可以把世界坐標系構造在z=0的平面上。然后進行單應性計算。令Z=0可以將上式轉換為如下形式：既然，=Arrrt123XY01=Arrt12此變化屬于單應性變化。那么我們可以給Ari9)rt一個名字：單2應性矩陣，用H來表示，10)sm=HM，H=Arrt12H是一個3x3的矩陣，并且有一個元素是作為齊次坐標。因此，H有8個未知量待解?，F(xiàn)在有8個未知量需要求解，所以我們至少需要八個方程。所以需要四個對應點。四點即可算出圖像平面到世界平面的單應性矩陣H。(2)利用約束條件求解內參矩陣A從上面可知，應用4個點我們可以獲得單應性矩陣H。但是，H是內參陣和外參陣的合體。我們想要最終分別獲得內參和外參。所以需要想個辦法，先把內參求