張正友相機標定法

1、張正友相機標定方法,曲峰,2020/3/31,1,相機畸變,鏡頭畸變實際上是光學透鏡固有的透視失真的總稱,枕形畸變：又稱鞍形畸變，視野中邊緣區(qū)域的放大率遠大于光軸中心附近,區(qū)域放大率。常出現(xiàn)在遠攝鏡頭中。,桶形畸變：同枕形相反，視野中光軸中心附近區(qū)域放大率遠大于邊緣區(qū)域。,常出現(xiàn)于廣角鏡頭和魚眼鏡頭。,線性畸變：光軸同所拍攝的如建筑物類物體的垂平面不正交，則本應相互,平行的遠端一側同近端一側，以不相同的角度匯聚產(chǎn)生畸變。這種畸變本,質(zhì)上是一種透視變換，即在某一特定角度，任何鏡頭都會產(chǎn)生相似的畸變。,枕形畸變,桶形畸變,線性畸變,1,針孔模型和透視投影,針孔模型：,1/f=1/u+1/v,透視投

2、影：中心投影法將形體投射到投影面上,坐標系,?,世界坐標系（,Xw Yw Zw,）,用戶定義的空間三維坐標系，用來描述三維空間中的物體和相機之間的坐標位置，滿足右手法,則,?,攝像機坐標系（,Xc Yc Zc,）,以相機的光心作為原點，,Zc,軸與光軸重合，并垂直于成像平面，且取攝影方向為正方向，,Xc,、,Yc,軸與圖像物理坐標系的,x,y,軸平行，且,OcO,為攝像機的焦距,f,?,圖像坐標系,是以圖像的左上方為原點，的圖像坐標系（,u v,）（此坐標以像素為單位），這里我們建立了圖,像物理坐標系（,x y,）為,xoy,坐標系（此坐標系以毫米為單位）。,一個二維點坐標被表示為,，一個三維

3、點被表示為,，我們使用,去表示通過在矩陣最后面的元素加一個,1,的向量：,和,，相機通常都是針孔模型：它的,3D,點,M,和它的圖像投影,點,m,的關系為：,T,Z,Y,X,M,?,T,v,u,m,?,T,v,1,u,m,?,T,Z,Y,1,X,M,?,M,t,R,A,m,s,?,x,二維坐標,任意數(shù),內(nèi)參矩陣,旋轉矩陣,平移矩陣,三維坐標,?,?,?,?,?,?,?,?,?,?,?,1,0,0,0,0,0,v,u,A,?,?,?,1,坐標變換,首先從二維坐標變換進行理解,?,?,?,?,?,?,?,?,?,0,0,cos,sin,sin,cos,y,y,x,y,x,y,x,x,?,?,?,?

4、,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,0,0,cos,sin,sin,cos,y,x,y,x,y,x,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,0,0,0,cos,sin,sin,cos,1,0,0,y,x,y,x,y,x,?,?,?,?,矩陣表示,齊次坐標,0,1,2,1,2,2,2,1,?,?,?,?,r,r,r,r,1,坐標變換,引申到三維空間，第一個階段：我們依舊從旋轉和平移兩個步驟,來推算從世界坐標系到相機坐

5、標系的坐標變換，,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,0,0,0,cos,sin,0,sin,cos,),(,cos,0,sin,0,1,0,sin,0,cos,),(,cos,sin,0,sin,cos,0,0,0,1,),(,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,z,Rot,y,Rot,x,Rot,1,坐標變換,引申到三維空間，第一個階段：我們依舊從旋轉和平移兩個步驟,來推算從世界坐標系到相機坐標系

6、的坐標變換,0,1,1,3,3,2,2,1,2,3,2,2,2,1,?,?,?,?,?,?,?,?,?,r,r,r,r,r,r,r,r,r,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,0,0,0,cos,cos,cos,sin,sin,sin,cos,cos,sin,cos,cos,sin,cos,cos,sin,sin,sin,cos,sin,sin,sin,sin,cos,cos,cos,1,0,0,0,z,y,x,z,y,x,z,y,x,?,?,?,?,?,?,?,

7、?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,3,2,1,r,r,r,R,?,T,t,t,t,T,),(,3,2,1,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,0,1,z,y,x,T,R,z,y,x,?,?,sin,cot,0,0,dy,y,v,v,dx,y,dx,x,u,u,d,d,d,?,?,?,?,?,在,中的坐標為,象素在軸上的物理尺寸為,1,O,v,u,?,?,0,0,v,u,dy,dx,Affine Transformation :,圖像數(shù)字化,U,1,O

8、,?,?,0,u,d,y,d,x,0,v,C,d,Y,d,X,V,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,0,0,sin,/,0,cot,1,0,0,d,d,v,u,u,y,x,v,f,u,f,f,v,u,?,?,齊次坐標形式,:,其中,dy,f,dx,f,v,u,1,1,?,?,1,坐標變換,第二個階段，空間點向像點轉化：,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,0,1,0,0,0,0,0,0,0,0,

9、1,1,c,c,c,c,z,y,x,f,f,z,y,x,第三個階段，像點向像素坐標轉化：,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,0,0,),sin,*,/(,1,0,/,cot,/,1,1,u,0,0,y,x,v,d,u,d,d,v,y,x,x,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,0,0,sin,/,0,cot,1,0,0,w,w,w,A,v,u,u,c,z,y,x,v,ff

10、,u,ff,ff,v,u,z,t,R,?,?,?,?,?,?,?,?,?,?,?,?,?,M,t,R,A,m,s,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,s,3,2,1,Z,Y,X,t,r,r,r,A,v,u,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,0,1,s,2,1,3,2,1,Y,X,t,r,r,A,Y,X,t,r,r,r,A,v,u,展開,Z=0,平面,我們假定,?,?,t,r,r,A,2,1,H,

11、?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,1,s,2,1,Y,X,t,r,r,A,v,u,則原式可化為：,M,H,m,s,?,這里，矩陣,H,就是從世界坐標系到圖像坐標系的,3,3,大小的單應性矩陣。,對,H,再次進行變形，假設,h1,h2,h3,是,H,的列向量，有：,?,?,?,?,t,r,r,A,h,h,h,H,2,1,3,2,1,?,?,?,0,1,1,3,3,2,2,1,2,3,2,2,2,1,?,?,?,?,?,?,?,?,?,r,r,r,r,r,r,r,r,r,2,1,2,1,1,1,1,1,h,A,r,h,A,r,?,?

12、,?,?,?,?,0,2,1,?,r,r,T,1,2,1,?,?,r,r,2,單應性矩陣推導,0,2,1,1,?,?,?,h,A,A,h,T,T,2,1,2,1,1,1,1,1,h,A,r,h,A,r,?,?,?,?,?,?,0,2,1,?,r,r,T,1,2,1,?,?,r,r,?,2,1,2,1,1,1,h,A,A,h,h,A,A,h,T,T,T,T,?,?,?,?,?,對單應性矩陣,H,的估算,?,H,就是我們常說的單應性矩陣，在這里描述的是空間中平面三維點,和相機平面二維點之間的關系。因為相機平面中點的坐標可以通過,圖像處理的方式（哈里斯角點，再基于梯度搜索的方式精確控制點,位置）獲取

13、，而空間平面中三維點可以通過事先做好的棋盤獲取。,所以也就是說每張圖片都可以計算出一個,H,矩陣。,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,32,31,23,22,21,13,12,11,3,2,1,2,1,h,h,h,h,h,h,h,h,h,h,h,t,r,r,A,H,假設,M,H,m,s,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,32,31,23,22,21,13,12,11,h,X,h,s,h,Y,h,X,h,sv,h,Y,h,X,h,su,?,?,?,?,?,?,?,?,?,?,?,?,?,23,22,21,32,31,13,12,11,3

14、2,31,h,Y,h,X,h,v,vYh,vXh,h,Y,h,X,h,u,uYh,uXh,?,?,1,32,31,23,22,21,13,12,11,h,h,h,h,h,h,h,h,h,?,令,0,1,0,0,0,0,0,0,1,?,?,?,?,?,?,?,?,?,?,?,?,?,h,v,vY,vX,Y,X,u,uY,uX,Y,X,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,1,),(,2,),(,),(,1,1,2,2,0,2,2,2,0,0,2,0

15、,2,0,0,2,0,0,2,0,2,2,0,0,2,2,2,2,0,0,2,2,33,23,13,23,22,21,13,12,11,1,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,v,u,v,v,u,v,u,v,v,u,v,u,v,B,B,B,B,B,B,B,B,B,A,A,B,T,?,?,?,?,?,?,?,?,?,?,?,1,0,0,0,0,0,v,u,A,?,?,?,很顯然，,B,是一個對稱矩陣，我們假定：,?,?,T,B,B,B,B,B,B,b,33,23,13,22,12,11,?

16、,3,閉合形解,?,?,T,i,i,i,i,h,h,h,h,3,2,1,?,設,H,矩陣中第,i,列的向量為,b,v,h,B,h,T,ij,j,T,i,?,帶入到,0,2,1,1,?,?,?,h,A,A,h,T,T,中有：,解得：,?,?,3,3,3,2,2,3,3,1,1,3,2,2,1,2,2,1,1,1,j,i,j,i,j,i,j,i,j,i,j,i,j,i,j,i,j,i,ij,h,h,h,h,h,h,h,h,h,h,h,h,h,h,h,h,h,h,v,?,?,?,?,2,1,2,1,1,1,h,A,A,h,h,A,A,h,T,T,T,T,?,?,?,?,?,0,2,1,1,?,?,?

17、,h,A,A,h,T,T,0,12,?,b,v,T,0,),(,22,1,1,?,?,b,v,v,T,0,),(,22,11,12,?,?,?,?,?,?,?,?,?,?,b,T,v,v,T,v,0,?,Vb,?,V,矩陣是,2*6,矩陣，也就是說每張照片可建立起兩個方程組，,6,個未知,數(shù)。根據(jù)線性代數(shù)知識可知，解,6,個未知數(shù)需至少,6,個方程組，所以,也就是說我們至少需要三張照片才能求解未知數(shù)。,b,矩陣的解出，相,機內(nèi)參矩陣,A,也就求解出，從而每張圖像的,R,，,t,也迎刃而解。,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,

18、?,?,?,?,/,/,/,),/(,/,/,),(,),/(,),(,2,13,0,0,2,12,2,12,22,11,11,11,11,23,11,13,12,0,2,3,1,33,2,12,22,11,23,11,13,12,0,u,v,v,u,v,u,f,B,f,sv,u,f,f,B,s,B,B,B,B,f,B,f,B,B,B,B,B,v,B,B,B,B,B,B,B,B,B,v,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,2,1,1,1,3,1,2,1,3,2,1,2,1,1,1,1,1,h,A,h,A,h,A,t,r,r,r,h,A,r

19、,h,A,r,?,?,?,?,最大似然估計,?,以上求解旋轉矩陣,R,的方法是基于最小距離的，不具備物理意義。接,下對上面得到結果用最大似然估計來進行優(yōu)化。,?,轉動標定模板，從不同的角度拍攝棋盤標定模板的,n,幅圖像，設每幅,圖像都具有相同的標定點，標定點的個數(shù)為,m,，并假設每個標定點,的坐標都有獨立同分布的噪聲，因為初始的參數(shù)已經(jīng)求解，所以我,們將每張圖像的控制點根據(jù)求解的參數(shù)重投影回三維空間，最小化,與真實值的差異，其實就是建立非線性最小化模型：,?,?,?,?,?,?,?,n,i,m,j,j,i,i,ij,M,t,R,A,m,m,1,1,?,?,?,其中,mij,是三維場景中第,j,

20、個物點在第,i,幅圖像上的像點坐標矢量，,Ri,是第,i,幅圖像的旋轉矩陣，是,ti,第,i,幅圖像的平移向量，,Mj,是三維場景中第,j,個物點的空間坐標，,是通,過已知初始值得到的像點估計坐標。,?,的求解是一個經(jīng)典的非線性優(yōu)化的問題，使評價函數(shù)最小的,A,，,Ri,，,ti,就是,這個問題的最優(yōu)解?？梢匀〉谝淮蔚玫降木€性求解結果作為,A,、,的初始值，解決,這類問題的方法很多,，在計算機視覺領域里通常使用,Levenberg-Marquarat,算法進行求解。,?,?,?,?,?,?,?,n,i,m,j,j,i,i,ij,M,t,R,A,m,m,1,1,?,?,?,?,j,i,i,M,t,R,A,m,?,?,?,j,i,i,M,t,R,A,m,?,?,?,n,i,t,R,i,i,?,1,?,畸變校正模型,),(,),(,2,2,2,2,2,2,1,y,x,k,y,x,k,x,x,x,?,?,?,?,?,?,),(,),(,2,2,2,2,2,2,1,y,x,k,y,x,k,y,y,y,?,?,?,?,?,?,),(,),(,),(,2,2,2,2,2,2,1,0