攝像機(jī)標(biāo)定(中科院)PPT課件

.,攝相機(jī)標(biāo)定,中國科學(xué)院自動化研究所模式識別國家重點實驗室,.,主要內(nèi)容,1、引言：什么是攝相機(jī)標(biāo)定2、攝相機(jī)標(biāo)定方法的分類3、傳統(tǒng)攝相機(jī)標(biāo)定方法（或利用景物信息的標(biāo)定方法）4、主動視覺攝相機(jī)標(biāo)定方法5、攝相機(jī)自標(biāo)定方法,.,1、引言,.,視覺目的,三維重建是人類視覺的主要目的，也是計算機(jī)視覺的最主要的研究方向.(Marr1982)所謂三維重建就是指從圖象出發(fā)恢復(fù)出空間點三維坐標(biāo)的過程。三維重建的三個關(guān)鍵步驟圖象對應(yīng)點的確定攝像機(jī)標(biāo)定二圖象間攝像機(jī)運動參數(shù)的確定,.,1、世界坐標(biāo)系：2、攝像機(jī)坐標(biāo)系：3、圖像坐標(biāo)系:,坐標(biāo)系,.,在中的坐標(biāo)為象素在軸上的物理尺寸為,AffineTransformation:,圖像數(shù)字化,齊次坐標(biāo)形式:,其中,.,攝像機(jī)的內(nèi)參數(shù)矩陣K,.,2、攝相機(jī)標(biāo)定方法分類,.,分三類,傳統(tǒng)攝像機(jī)標(biāo)定方法主動視覺攝像機(jī)標(biāo)定方法攝像機(jī)自標(biāo)定方法,.,1.傳統(tǒng)的攝像機(jī)標(biāo)定方法,特點利用已知的景物結(jié)構(gòu)信息。常用到標(biāo)定塊。,.,1.傳統(tǒng)的攝像機(jī)標(biāo)定方法,優(yōu)點可以使用于任意的攝像機(jī)模型，標(biāo)定精度高不足標(biāo)定過程復(fù)雜，需要高精度的已知結(jié)構(gòu)信息。在實際應(yīng)用中很多情況下無法使用標(biāo)定塊。,.,2.主動視覺攝像機(jī)標(biāo)定方法,特點已知攝像機(jī)的某些運動信息優(yōu)點通?？梢跃€性求解，魯棒性比較高不足不能使用于攝像機(jī)運動未知和無法控制的場合,.,3.攝像機(jī)自標(biāo)定方法,特點僅依靠多幅圖像之間的對應(yīng)關(guān)系進(jìn)行標(biāo)定優(yōu)點僅需要建立圖像之間的對應(yīng)，靈活性強(qiáng)，潛在應(yīng)用范圍廣。不足非線性標(biāo)定，魯棒性不高,.,3、攝像機(jī)傳統(tǒng)標(biāo)定方法,.,主要內(nèi)容,3.1、DLT方法3.2、RAC方法3.3、張正友的平面標(biāo)定方法(ICCV,1999)3.4、孟胡的平面圓標(biāo)定方法(PR,2003)3.5、吳毅紅等的平行圓標(biāo)定方法(ECCV,2004),.,3.1、直接線性變換（DLT變換）,DLT:DirectLinearTransformation,.,Abdal-Aziz和Karara于70年代初提出了直接線性變換像機(jī)定標(biāo)的方法，他們從攝影測量學(xué)的角度深入的研究了像機(jī)圖像和環(huán)境物體之間的關(guān)系，建立了像機(jī)成像幾何的線性模型，這種線性模型參數(shù)的估計完全可以由線性方程的求解來實現(xiàn)。,.,直接線性變換是將像點和物點的成像幾何關(guān)系在齊次坐標(biāo)下寫成透視投影矩陣的形式：,其中為圖像坐標(biāo)系下的點的齊次坐標(biāo)，為世界坐標(biāo)系下的空間點的歐氏坐標(biāo)，為的透視投影矩陣，為未知尺度因子。,.,消去，可以得到方程組:,.,當(dāng)已知個空間點和對應(yīng)的圖像上的點時，可以得到一個含有2*個方程的方程組：,其中為的矩陣，為透視投影矩陣元素組成的向量。,.,像機(jī)定標(biāo)的任務(wù)就是尋找合適的，使得為最小，即,給出約束：,為的前11個元素組成的向量，為前11列組成的矩陣，為第12列組成的向量。,.,是否合理？,約束不具有旋轉(zhuǎn)和平移的不變性,解將隨著世界坐標(biāo)系的選取不同而變化.,證明：世界坐標(biāo)系作剛性坐標(biāo)變換,則,顯然在一般的情況下,.,另一個約束具有旋轉(zhuǎn)和平移的不變性,由,向量,是兩兩垂直的單位向量,.,3.2、R.Tsai的RAC的定標(biāo)算法,.,80年代中期Tsai提出的基于RAC的定標(biāo)方法是計算機(jī)視覺像機(jī)定標(biāo)方面的一項重要工作，該方法的核心是利用徑向一致約束來求解除（像機(jī)光軸方向的平移）外的其它像機(jī)外參數(shù)，然后再求解像機(jī)的其它參數(shù)?；赗AC方法的最大好處是它所使用的大部分方程是線性方程，從而降低了參數(shù)求解的復(fù)雜性，因此其定標(biāo)過程快捷，準(zhǔn)確。,簡介,.,像機(jī)模型徑向一致約束定標(biāo)算法,主要內(nèi)容,.,世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的關(guān)系,像機(jī)模型,x,y,在Tsai的方法中，K取作：,.,理想圖像坐標(biāo)到數(shù)字圖像坐標(biāo)的變換（只考慮徑向偏差）,像機(jī)模型,(u,v)為一個點的數(shù)字化坐標(biāo)，（x,y）為理想的數(shù)字化坐標(biāo)，（uc,vc）為畸變中心。,（uc,vc）,(u,v),（x,y）,.,徑向一致約束,在圖像平面上，點（xc,yc），（x,y），（u,v)共線，或者直線(xc,yc)(x,y)與直線（xc,yc）（u,v）平行或斜率相等，則有：,通常把圖像中心取作畸變中心和主點的坐標(biāo)，因此：,.,定標(biāo)算法,.,定標(biāo)算法步驟一,1.求解像機(jī)外參數(shù)旋轉(zhuǎn)矩陣和、方向上的平移,.,定標(biāo)算法步驟一,.,定標(biāo)算法步驟一,.,定標(biāo)算法步驟二,2.求解t3,f,k1,k1=0作為初始值，則：,.,定標(biāo)算法步驟二,.,定標(biāo)算法步驟二,將求出的和連同作為初始值，對下式進(jìn)行非線性優(yōu)化,估計出、和的真實值。,.,3.3、張正友的平面標(biāo)定方法,.,張正友方法,.,張正友方法,基本原理：,在這里假定模板平面在世界坐標(biāo)系的平面上其中，為攝像機(jī)的內(nèi)參數(shù)矩陣，為模板平面上點的齊次坐標(biāo)，為模板平面上點投影到圖象平面上對應(yīng)點的齊次坐標(biāo)，和分別是攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量,H,.,根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，即和，每幅圖象可以獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束,由于攝像機(jī)有5個未知內(nèi)參數(shù)，所以當(dāng)所攝取得的圖象數(shù)目大于等于3時，就可以線性唯一求解出,張正友方法,.,張正友方法所用的平面模板,張正友方法,.,算法描述,張正友方法,打印一張模板并貼在一個平面上從不同角度拍攝若干張模板圖象檢測出圖象中的特征點求出攝像機(jī)的內(nèi)參數(shù)和外參數(shù)求出畸變系數(shù)優(yōu)化求精,.,張正友方法,張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法。它既避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣等缺點，又較自標(biāo)定方法精度高，符合辦公、家庭使用的桌面視覺系統(tǒng)(DVS)的標(biāo)定要求。張的方法是需要確定模板上點陣的物理坐標(biāo)以及圖像和模板之間的點的匹配，這給不熟悉計算機(jī)視覺的使用者帶來了不便。,.,3.4、孟曉橋、胡占義的圓標(biāo)定方法,.,孟胡方法,.,孟胡方法,從至少三個不同方位拍攝模板圖象，根據(jù)射影不變性計算出每幅圖象上的圓環(huán)點像的坐標(biāo)，得到關(guān)于內(nèi)參數(shù)矩陣的至少六個方程，即可解出所有內(nèi)參數(shù)。,.,孟胡方法,計算圓環(huán)點像的原理：,圓環(huán)點為無窮遠(yuǎn)點，它是絕對二次曲線上的一對共軛點,(1,i,0,0)(1,-i,0,0)是一對圓環(huán)點,.,孟胡方法,在圖像上，兩個圓環(huán)點的圖像被計算出，則有：,.,孟胡方法,孟胡的方法與張的方法相比：過程相似；所用的模版不同，孟胡的方法基于曲線擬合（穩(wěn)定），并且不需要任何匹配，而張的方法基于點，需要匹配模版的點和圖像點。,.,3.5、吳等的平行圓標(biāo)定方法,.,吳等的標(biāo)定方法,平行圓：同一個平面上的圓、或平行平面上的圓。原理：利用攝像機(jī)成像的準(zhǔn)仿射不變性，計算圖像上二此曲線的交點，得到圓環(huán)點的圖像,進(jìn)而：,.,該方法從平行圓的最小個數(shù)出發(fā)，基于準(zhǔn)仿射不變性，分析了所有可能情況的計算圓環(huán)點的方法,吳等的標(biāo)定方法,共面分布：,.,吳等的標(biāo)定方法,以上可進(jìn)行推廣到非共面的平行圓的情形,.,吳等的標(biāo)定方法,利用K重建一個垂直角；重建平行線之間的交角,.,吳等的標(biāo)定方法,該方法和以往的基于圓的標(biāo)定方法相比:(1).從最小個數(shù)出發(fā);(2).計算圓環(huán)點圖像簡單;(3).只需要從擬合的二次曲線出發(fā),不需要任何匹配,不需要計算圓心;(4).應(yīng)用場合廣泛,不僅僅限于平面的情形.可應(yīng)用基于轉(zhuǎn)盤的重構(gòu)。,.,H.Wu,Q.Chen,T.Wada,VisualLineEstimationfromaSingleImageofTwoEyes.ICPR(3)2004.,應(yīng)用于:,G.Jiang,L.Quan,H.T.Tsui,Circularmotiongeometrybyminimal2pointsin4images,ICCV2003.,自動化所一角,(1)視線定位,(2)基于轉(zhuǎn)盤的重建,(3)車輛機(jī)器人等的定位,.,4、主動視覺標(biāo)定方法,.,胡占義等的主動視覺標(biāo)定方法,基于平面單應(yīng)矩陣的正交運動方法基于外極點的正交運動方法,.,胡主動視覺標(biāo)定方法,基于平面單應(yīng)矩陣的正交運動方法原理是攝像機(jī)一組正交的平移運動，兩個單應(yīng)矩陣：滿足：,.,胡主動視覺標(biāo)定方法,基于平面單應(yīng)矩陣的正交運動方法原理即：，其中五組兩正交運動可完全求解5個內(nèi)參數(shù)。,.,胡主動視覺標(biāo)定方法,第1、2幅圖像在第0幅圖像的外極點分別是：則：,基于外極點的正交運動方法原理,0,1,2,.,胡主動視覺標(biāo)定方法,基于外極點的正交運動方法原理從而：五組兩正交運動可完全求解5個內(nèi)參數(shù)。,.,胡主動視覺標(biāo)定方法,這兩種主動視覺標(biāo)定方法與最經(jīng)典的主動視覺標(biāo)定方法（馬頌德的三正交運動法）相比，具有如下優(yōu)點：照相機(jī)的二正交運動比三正交運動更容易實現(xiàn)?？梢郧蠼鈹z像機(jī)的所有5個內(nèi)參數(shù)，馬頌德的方法可以求解4個內(nèi)參數(shù)。,.,5、攝像機(jī)自標(biāo)定方法,.,主要內(nèi)容,5.1、預(yù)備知識：什么是攝像機(jī)自標(biāo)定？為什么要對攝像機(jī)進(jìn)行自標(biāo)定？對極幾何5.2、基于Kruppa方程的自標(biāo)定方法5.3、基于絕對二次曲面、無窮遠(yuǎn)平面的自標(biāo)定方法5.4、幾種自標(biāo)定方程的關(guān)系,.,5.1、預(yù)備知識,.,攝像機(jī)自標(biāo)定是指不需要標(biāo)定塊，僅僅通過圖象點之間的對應(yīng)關(guān)系對攝像機(jī)進(jìn)行標(biāo)定的過程。,什么是自標(biāo)定？,為什么要進(jìn)行自標(biāo)定？,實際應(yīng)用的需求，主要應(yīng)用場所的轉(zhuǎn)移,優(yōu)缺點：,優(yōu)點：靈活，方便缺點：精度不太高，魯棒性不足,.,自標(biāo)定的基本假設(shè)及任務(wù),1、假定圖象點之間的對應(yīng)關(guān)系已經(jīng)確定。2、一般來說，認(rèn)為在拍攝不同圖象時，攝像機(jī)的內(nèi)參數(shù)沒有發(fā)生變化,3、所謂的自標(biāo)定，就是要標(biāo)定攝像機(jī)的內(nèi)參數(shù)矩陣K,.,一些預(yù)備知識,1、點的齊次坐標(biāo)二個齊次坐標(biāo)如相差一個非零因子，則這二個齊次坐標(biāo)相同,2、無窮遠(yuǎn)直線上的點如點為無窮遠(yuǎn)直線上的點，則t=0,.,一些預(yù)備知識,3、通過二點的直線如果為二圖象點，則通過該二點的直線的參數(shù)向量為：,L,x1,x2,.,一些預(yù)備知識,反對稱矩陣（Anti-symmetricorSkew-Symmetricmatrix),給定向量，其對應(yīng)的反對稱矩陣定義為：,則對應(yīng)任意的向量b,有,.,一些預(yù)備知識,對偶原理,如果C為一非退化的圖象二次曲線，即：,則,過x處的切線參數(shù)向量為：,則,代入上式可得：,對偶線坐標(biāo)曲線,點坐標(biāo)曲線,.,一些預(yù)備知識,對偶曲線示意圖,C,點坐標(biāo)曲線,對偶線坐標(biāo)曲線,x1,x2,x3,.,一些預(yù)備知識,歐幾理得空間下的投影矩陣,如果X為空間某一點，兩攝像機(jī)間的坐標(biāo)變換為：,則歐幾理得空間下的兩投影矩陣為：,K為攝像機(jī)的內(nèi)參數(shù)矩陣,其中X為空間點，ml,mr對應(yīng)于X的一對圖象對應(yīng)點,投影關(guān)系,.,一些預(yù)備知識,對極幾何（EpipolarGeometry),N,.,一些預(yù)備知識,基本矩陣的推導(dǎo)及形式,F的秩為2，F(xiàn)在相差一個常數(shù)因子下是唯一確定的。F可以通過8對圖象對應(yīng)點線性確定。,.,一些預(yù)備知識,對極幾何的一些代數(shù)性質(zhì),基本矩陣和外極點的關(guān)系,所有的外極線都過對應(yīng)的外極點，外極點是光心連線與圖象平面的交點。對應(yīng)外極線束構(gòu)成一射影變換,如果m位于極線l上，n位于極線l上，m,n不一定是對應(yīng)點,下述關(guān)系仍然成立：,.,一些預(yù)備知識,.,一些預(yù)備知識,中心投影下，如果射影平面與空間曲線相切，則射影平面與圖象平面的交線必與空間曲線在圖象平面上的投影曲線相切,圖象平面,空間曲線,.,一些預(yù)備知識,絕對二次曲線攝像機(jī)自標(biāo)定的參考標(biāo)定物,絕對二次曲線是無窮遠(yuǎn)平面上的一條二次曲線，它的數(shù)學(xué)定義為：,.,一些預(yù)備知識,絕對二次曲線在圖象上投影的性質(zhì),絕對二次曲線的象僅與攝像機(jī)的內(nèi)參數(shù)有關(guān)，與攝像機(jī)的運動參數(shù)無關(guān),從定義XTX0知，,給定正定矩陣，則K可以通過Cholesky分解唯一確定,.,自標(biāo)定的基本思路,通過絕對二次曲線建立關(guān)于攝像機(jī)內(nèi)參數(shù)矩陣的約束方程，稱之為Kruppa方程,求解Kruppa方程確定矩陣C,通過Cholesky分解得到矩陣K,如何進(jìn)行,.,5.2、基于Kruppa方程的自標(biāo)定方法,.,推導(dǎo)Kruppa方程的示意圖,.,Kruppa方程,x為位于ll上的任意一點，則,則,則,對偶,.,w的組成形式,對偶曲線,.,關(guān)于Kruppa方程的幾點說明,1、在Kruppa方程中，F(xiàn),e為已知數(shù)，w為未知數(shù),2、w有5個獨立未知變量,3、每個Kruppa方程最多可以提供2個關(guān)于未知變量的獨立約束，約束方程為5元二次方程,4、每對圖象可以得到一個Kruppa方程，故至少需要3對圖象來標(biāo)定攝像機(jī)，且攝像機(jī)的內(nèi)參數(shù)必須保持不變,5、假定內(nèi)參數(shù)都在變，任意兩幅圖像間有兩個獨立的Kruppa方程，則N(=3)幅圖像之間有N(N-1)個Kruppa方程，其中只有5N-9個方程是獨立的。,.,5.3、基于絕對二次曲面、無窮遠(yuǎn)平面的自標(biāo)定方法,.,絕對二次曲面,將世界坐標(biāo)系取作第一個攝像機(jī)的坐