多視幾何學仿射重構(gòu)

本章主要目的是從射影重構(gòu)實現(xiàn)仿射重

假定n個視點的射影投影矩陣是已知的，記P1=(I,0),Pj=(Hj,ej (2≤j≤=Xp={Xp1,...,Xpk三維點X的齊次坐標表示為X=(XT1)TX是它的非齊次坐標。記無窮遠平面π∞=(xT,1，則對射影重構(gòu)Xp施行射影變換? 0?Hp=x?

1得到X的仿射重1Xa=HpXp={Xa1,...,Xak

對射影投影矩陣P1=(I,0),Pj=(Hj,ej施行射影變H?1

?

? 1?得到相應的仿射投影矩陣?

0

? Pa1=(I,0) 1?,Paj=(Hj,ej)? 1

2仿射幾何

將仿射重構(gòu)Xa的第4個分量歸一化得到它的非齊次坐標Xai

1+xT

(1≤i≤仿射幾何約束原理X的任何仿射不變量，affine(X=a，都導致法affine(Xa)= 3和仿射的，則(1)是一個恒等式，對法向量x不構(gòu)成任何約束。例如共線性和共面性，它們同時是射影不變性質(zhì)和仿射不變性平行線段假定不在同一直線上的兩線段X1X2,X3X4相互平行，記作X1X2&X3X4。平行具有仿射不變性，即對任意仿射變換X′=AX，必有X′X′&X′3X′4。令4M=(X2?X1,X4?X3)

記Mij為M的第ij行所構(gòu)成2階子矩陣，則X1X2&X3X4的充Mij=0affineij(X)Mij=0(1≤i<j≤3) 令Maij是矩陣Ma=(Xa2?Xa1,Xa4?Xa3的第ij行所構(gòu)成的2階子矩陣，根據(jù)仿射幾何約束原理得到法向量x的約束：affineij(Xa)Maij=0(1≤i<j≤ (Xp1?a1Xp2)Tx+(1?a1)= (a2Xp3+a3Xp4)Tx+(a2+a3)= 5

(a1,a2,a3)T=(Xp2,Xp3,Xp4)?1 平行四點形令{X1,X2,X3,X4}是平行四點形，不失一般性，假X1X2& X1X3&不難驗證，平行四點形有仿射不變量[Wu-(X,X,X)?1

=(?1,1,

因此(Xa1,Xa2,Xa3)?1Xa

=(?1,1, 6將Xaj

11+xT

(1≤j≤4)代入(5)，可以得到法向量xa +

? — )T?x=?a

? ? T

?a3Xp3

p4)

? 其中(a1,a2,a3)T=(Xp1,Xp2,Xp3)?1Xp 7共線點簡比假定{X1,X2,X3是空間中的三共線點。則存在唯一的標量λ使得X1?X3=λ(X2? Xa1?Xa3=λ(Xa2?Xa簡比λ已知時，(8)導致兩個相互等價的線性約束(Xp3+a1(1?λ)Xp1)Tx+(1?(1?λ)a1)=0(Xp3+a2(1?λ)Xp2)Tx+(λ+(1?λ)a2)=0

8其中

(a1,a2)T=((Xp1,Xp2)T(Xp1,Xp2))?1(Xp1,Xp2)T 共面三點形的面積比令{X1,X2,X3和{Y1,Y2,Y3是兩個共面三點形，則它們的面積比是仿射不變量X1,X1,X2,Y1,Y2,因此，當已知σ時，從仿射幾何約束原理得Xa1,Xa2,Xa

=σYa1,Ya2,Ya它導致法向量的三次約束(1+xTYp1)(1+xTYp2)(1+xTYp3)=σ′(1+xTXp1)(1+xTXp2)(1+xTXp 9其Yp1,Yp2Yp1,Yp2,Xp1,Xp2,X

恒定內(nèi)本節(jié)假定所有視點的內(nèi)參數(shù)矩陣相同，記為K。視點(i,j)的無窮單應能被表示H∞ij=KRijK?1∝(Hj?ejxT)(Hi?eixT)?其中

(1≤i<j≤無窮遠Cayley記C∞是H∞=KRK?1CayleyC∞=?(H∞)=K?(R)K?1=并稱它為無窮遠Cayley變換(ICT)

ICT的基本性質(zhì)C∞有形如{0ai,?ai的特征值，因而tr(C)=0，|C∞|=0，其中tr(?)表示矩陣的跡。

=λ?

vaT

=λ

?,C∞ ava=K?Tw,v=Kw,λ=?aTv= w

C∞ω*=[K?Ta

(w=|K|w)，其中ω是ωC∞=w (w=|K|?1w)，其中ω*分別v證明，不難計 稱矩陣[w]×的特征值是{0,±iw}。由于C∞，[w]×相似，因此它們有相同的特征值，于是(a)成立×通過直接計算，得到[w]2=wwT w2I，因× =K[w]2

=KwwT

w2=(Kw)(K?Tw)T?(K?Tw)T(Kw)I)

=λ

vaT av根據(jù)等式[w]3=?×

w2[w]得到 =K[w]3K?1=

。所以成立由于C∞=K[w]×K?1=(K[w]×KT)(K?TK?1)=|K|[K?Tw]×ω所C∞ω*=[K?Tw (w=|K|w*) 稱矩陣[a]×與可逆矩陣B乘積運算中，通常涉及下述公式：[a]×B

B由于C∞=K[w]×K?1=(KKT)(K?T[w]×K?1)=ω*|K|?1[Kw]ωC∞=[Kw]×(w=|K|?1w于是(d)成立。(c)的幾何意義?n∈Z，根據(jù)(b)=C2n? (n=

vaTC= IC= I aTv

其中a=K?Tw是與R旋轉(zhuǎn)軸正交平面 線，v=Kw是R旋軸 點，λ=?||w||2

由于C∞=(I?H∞)(I+H∞)1=(I+H∞)1(I?H∞)，所以C∞以視為圖像平面內(nèi)的變換矩陣。從v∞變換的觀點，C2n1ICT自身∞∞任意自然數(shù)n，C2n是同一個二維中心∞CC影變換，它的投影中心和像直線分別 點v 線a，如圖右圖所示 ω(c)的幾何意義α2+γ2+??ω*=KKT= γβ+??

γβ+ uv?β2+v v?

? ?r

1 ?a2 ?a ?0 Cp=??a?,Cq=?0?,Cr= 1 ?0

?3qq ?a1 ?2a由于aTC∞ω=aT[a]×= ，所aC∞p,C∞q和C∞r(nóng)都 線a上， C∞p 線a上的無窮遠點。此外，意到lTC q=0, r=0，其中l(wèi)T=(0,1,0)和lT=(1,0,0)分 C∞r(nóng) 線a與y-軸的交點視點(i,j的無窮遠單應的射影表示H∞ij∝(Hj?ejxT)(Hi?eixT)?

(1≤i<j≤令 Hij=HjH?1, eij=ej?Hij xi=H?T

iσi=1?i

無窮遠單應的射影表達能被簡化ijH∞ij∝σiHij?eij并ijH∞ji∝adj(σiHij?exT)ij視點(i,j)(1≤i<j≤N的ICT有下述射影表達C∞ij

=

(μij(σj

—exT)?

?exT)

jiijjiij μij=tr(σiHij?eijxT),

μji(σiμji|Hij|+μ2

因此，在相差一個非零因子意義下ICT能被表達C∞ij

=μij(σj

–e

?e

jiij法向量約束jiij零特征約束（ZEC）法向量滿足下述四次多項式方程Ze

H2μ3?σ

H μ=μ=

這正是由[Pollefeys- 模約束

共軛特征約束（CEC）法向量滿足下述四次多項式不等式Ceij (C∞ij)11+(C∞ij)22+(C∞ij)33> 其中(C∞ij)kk是C∞ij的(k,k)-元素的余因子+共軛特征約束的等價+

Hj)(σiμji

)> 法向量約束：三視三視行約束（3-VRC）令C(s)T是C的三行則對任意三視點(i,j 法向量存在下述三個6次多項式方程約束C(s)TC

= s=1,2,

證明：記ω*=(rq,p)ICT的性質(zhì)(c)，對任意C∞C(1)Tr=0,C(2)Tq=

C(3)Tp=∞于是∞C(1)T

(2)T

(3)T?∞ij ?∞ij ?∞ij?C(1)T?r=0,?C(2)T?q=0,?C(3)T?p=

?∞ik ?∞ik ?∞ik∞jk∞jk∞jk (2) (3)∞jk∞jk∞jk從rank(ω*=3r≠0,q≠0和p≠0，因此(22)中的三個方都至少有一個非零解，因此(s)T

?∞ijrank?C(s)T?≤

s=1,2,?∞ik∞jk(s)T∞jk所以(21)成立三視列約束（3-VCC）令C∞(s)(s=12,3)分別是C∞∞ij(s)

C∞ik(s)C∞jk(s)

= s=1,2,

STEP1：ZEC約束Zeij(x)=0(1≤i<j≤N被分成若干組，并且每組恰好包含3個ZECIijk={Zeij(x)=0,Zeik(x)=0,Zejk(x)= 1≤i<j<k≤STEP2：找出方程組Iijk滿足CEC約束Ceij(x)>0,Ceik(x)>0,Cejk(x)>0Sijk={xijk,xijk,..., 1≤i<j<k≤n n(ijk然后，令S=∪Sijk并選 x0=argmin?∑?λ(Ze2(x)+Ze2(x)+Ze2(x))+(1?λ)∑(Rol2(x)+Col2(x)x∈S

?i,

l

?? χ

=∑?λ(Ze2(x)+Ze2(x)+Ze2(x))+(1?λ)∑(Rol2(x)+Col2(x) l l取λ=0.90。變化內(nèi)

記x是無窮遠平面的法向量，ωj=KTK1j視點ICA，則它 (Hj?ejxT)?Tω1(Hj?ejxT)?1∝ωj j=2, 其中，ωj(1≤j≤n是第j視點IAC。從這個方程組可以看出，未知量的個數(shù)大于方程的個數(shù)，因此求解所有的未知量是不能的。 對 機的內(nèi)參數(shù)知識，在實踐中通常使用下述4參數(shù)模型α

? uj?

?Kj=?

vj

1本節(jié)主要討論來自4參數(shù)模型的無窮遠平面的法向量約束基本方根據(jù)Sherman- 的求逆引理 (H?1e (H?exT

=?I

1

(σ=1?xTH?1e 1?xT(H?1e

1(σH?1+(H?1e)(H?Tx)Tσ σj∝σjH?1

(H?1ej)(jGj

于是，約束方程(24)可改寫GT(x)ωG(x)∝ (2≤j≤n 4參數(shù)模型，第j視點IAC必有下述形式

βj?j ?u βj?j ωj=K?TK?1

?v

α2β2

j j j j?u α2β2+α2vj j j 因此，從[ωj]12=0(2≤j≤n)和(26)可得到(xω1)的約束方程組 (x)ω (x)= j=2, 其中，Gj(k是Gj的第k列向量。此方程組可寫成下述矩陣形aT

? T? ??=

(ω11,ω22,ω33,ω13,ω23)

? ? an(x)?j這里aT(x)的每個元素都是法向量x的二次多項式j法向量約法向x使得方程組(29)關于?有非零解此在一般情況下rank(A(x))=4，于是得到法向量x的約束方程組Aijklm

= 2≤i<j<k<l<m≤

其中Aijklm(x)是A(x的第ij,k,l,m行所構(gòu)成的5×5矩陣在理論上可通過求解(30)確定法向量由于數(shù)據(jù)噪聲和數(shù)值計算數(shù)值算法從數(shù)值解確定法向量的初始最小化下述準則精化初始解χNormal(x)

2≤i<j<k<l<m≤

(x) Step1：零行列式約束Aijklm(x)=0(2≤i<j<k<l<m≤n)被分成若干{Iabc Aijklm{aaaa

=

ijklijkl

=

Aijklmccc

=0Step2：找出方程組

abc的實解：S

={xabc,xabc,...,

}。然后 令S=∪Sabc并選取x0=argmin{χNormal

記Gj(x)的前兩列分別

(x)

(g(1)(x),g(1)(x),g(1)(x))T, (x)

j j j j

?β2 (a(u,x),b(v,x),c(x))?α2?=

11??a(u,

b(v,

α2β2)? c(x) ?

??α

?=

# n? ?22n?n1n1a(u, b(v, n1n1

α1β1)

Bijk(u1,v1,

= 2≤i<j<k≤ 其中Bijk(u1,v1x)是B(u1,v1x)的第i,j,k行所構(gòu)成的3×3矩陣。當主點(u1,v1)已知時，{aj(u1x),bj(u1x),cj(x都是法向量的二次多項式，因此(35)6次多項式方程組。實踐中，根據(jù)主點(u1,v1)的猜測值可以通過低階多項式方程組35)Step1：給定第1視 機主點的一個猜測值，比如圖像中心，后建立零行列式約Bijk(u1,v1,x)=0(2≤i<j<k≤nStep2：零行列式約束被分成若干組，其中每組恰好包含3個約束{Iabc Bijk(u1,v1,{aa

=

Bijk(u1,v1,

=

Bijk(u1,v1,cc

=bbStep3：找出bb

abc的實解：S

={xabc,xabc,...,

}。然后 令S=∪Sabc，選取x0=argmin{χNormal

混合運動

在給定的n個視點中如果同時存在平移運動的視點和一般運動的 運動序列。當混合運動序列中的視點內(nèi)參數(shù)都相同時， 不妨假定最初兩個視點之間的運動是平移運動(如圖所示(I,t1) (R2,t2) (Rn?1,tn?1) Kn 并假定射影重構(gòu)是已知的，記P1=(I,0),Pj=(Hj,ej j=2, 令x=(x1x2x3)T是無窮遠平面