11-攝像機-標(biāo)定教學(xué)課件

機器視覺及應(yīng)用第十一章攝像機標(biāo)定主要內(nèi)容標(biāo)定過程標(biāo)定原理坐標(biāo)系之間的轉(zhuǎn)換關(guān)系鏡頭畸變1、圖像的像素坐標(biāo)反映的是目標(biāo)對象在圖像中的位置。攝像機標(biāo)定的過程是建立真實世界三維坐標(biāo)與圖像上二維坐標(biāo)之間的關(guān)系。建立這種關(guān)系是利用圖像進(jìn)行準(zhǔn)確測量目標(biāo)對象的必要過程。2、攝像機在安裝時，如果無法保證成像平面與被測對象平行，將會導(dǎo)致透視失真。因此，有必要對鏡頭進(jìn)行畸變校正。3、標(biāo)定后可以目標(biāo)對象在世界坐標(biāo)系下的長度單位坐標(biāo)。建立真實世界三維坐標(biāo)到圖像坐標(biāo)的關(guān)系包括了鏡頭的畸變校正。標(biāo)定原理4、為了描述真實世界三維坐標(biāo)與圖像坐標(biāo)之間的關(guān)系，需要建立四個基本的坐標(biāo)系。分別是世界坐標(biāo)系、攝像機坐標(biāo)系、像平面坐標(biāo)系和圖像坐標(biāo)系。標(biāo)定原理5、世界坐標(biāo)系

稱為絕對坐標(biāo)系，是客觀世界的絕對坐標(biāo)。描述現(xiàn)實世界的目標(biāo)位置常采用該坐標(biāo)系來表示。6、攝像機坐標(biāo)系

是以攝像機為中心的坐標(biāo)系。一般選擇攝像機的光軸為z軸，以攝像機光心為坐標(biāo)原點。標(biāo)定原理7、像平面坐標(biāo)系

是成像平面上的坐標(biāo)系，其坐標(biāo)原點為光軸與像平面的交點，x軸和y軸的方向與攝像機坐標(biāo)系的x、y軸分別平行。

的連線長度為

，表示攝像機常量或主距，不是攝像機的焦距。8、圖像坐標(biāo)系是以圖像的左上角為原點，u方向與像平面坐標(biāo)系的x軸平行，v方向與像平面坐標(biāo)系的y軸平行標(biāo)定原理1、標(biāo)定的過程也是世界坐標(biāo)系下三維坐標(biāo)到圖像二維坐標(biāo)的映射過程，該映射可以用固定數(shù)量的參數(shù)來表示。這些參數(shù)也稱為攝像機參數(shù)，標(biāo)定即為確定這些攝像機參數(shù)。2、攝像機相對于視覺坐標(biāo)的位置參數(shù)稱為攝像機外方位參數(shù)或外部參數(shù)，簡稱外參。攝像機本身的參數(shù)稱為攝像機內(nèi)方位參數(shù)或內(nèi)部參數(shù)，簡稱內(nèi)參。坐標(biāo)系之間的轉(zhuǎn)換關(guān)系標(biāo)定原理3、真實世界上一點

需要通過攝像機坐標(biāo)、像平面坐標(biāo)和圖像坐標(biāo)轉(zhuǎn)換到圖像中對應(yīng)點位置

。從世界坐標(biāo)到攝像機坐標(biāo)之間的轉(zhuǎn)換屬于剛性變換，就是通過平移和旋轉(zhuǎn)可以完成該轉(zhuǎn)換。設(shè)旋轉(zhuǎn)矩陣為R，平移矩陣為T。則世界坐標(biāo)與像機坐標(biāo)之間的關(guān)系表示如下：坐標(biāo)系之間的轉(zhuǎn)換關(guān)系標(biāo)定原理4、設(shè)繞攝像機坐標(biāo)系z軸旋轉(zhuǎn)的角度為

，繞y軸旋轉(zhuǎn)角度為

，繞x軸旋轉(zhuǎn)角度為

。因此，旋轉(zhuǎn)矩陣R也可以表示如下：坐標(biāo)系之間的轉(zhuǎn)換關(guān)系旋轉(zhuǎn)矩陣R滿足如下約束條件:標(biāo)定原理5、由三個旋轉(zhuǎn)角度

和三個平移距離

就決定了攝像機相對于世界坐標(biāo)系的位置，因此，這六個參數(shù)就是攝像機的外參。坐標(biāo)系之間的轉(zhuǎn)換關(guān)系6、成像平面坐標(biāo)系與攝像機坐標(biāo)系之間的關(guān)系可以用相似三角形成比例得出因此有：采用矩陣表示如下：標(biāo)定原理5、設(shè)圖像坐標(biāo)系的中心坐標(biāo)為

，

表示一個像素在x和y方向上的物理尺寸，也可以稱為縮放因子，圖像坐標(biāo)系相對于像平面坐標(biāo)系只是原點位置坐了偏移。因此，兩者之間的轉(zhuǎn)換關(guān)系如下：坐標(biāo)系之間的轉(zhuǎn)換關(guān)系以上即為世界坐標(biāo)系到圖像坐標(biāo)系之間的轉(zhuǎn)換標(biāo)定原理6、參數(shù)

只與攝像機內(nèi)部結(jié)構(gòu)有關(guān)，即為攝像機內(nèi)參。標(biāo)定過程就是確定攝像機外參和內(nèi)參的過程。聯(lián)立以上公式，就可以得到世界坐標(biāo)到圖像坐標(biāo)之間的關(guān)系，寫成矩陣形式如下：坐標(biāo)系之間的轉(zhuǎn)換關(guān)系標(biāo)定原理7、為的投影矩陣，有時也將稱為內(nèi)參矩陣，稱為外參矩陣。因此，上式也可以表示為如下所示：坐標(biāo)系之間的轉(zhuǎn)換關(guān)系展開成方程的形式：標(biāo)定原理8、將上式中第一和第二個方程分別除以第三個方程，消去

，整理得到如下所示方程：坐標(biāo)系之間的轉(zhuǎn)換關(guān)系上式只包括了真實世界的三維坐標(biāo)

和對應(yīng)的圖像坐標(biāo)

。變換矩陣

有十二個參數(shù)，如果已知

和

，選取足夠多的標(biāo)定點（至少6個標(biāo)定點），則可以求解矩陣，從而求解出內(nèi)參矩陣

和外參矩陣

。標(biāo)定原理1、以上坐標(biāo)轉(zhuǎn)換過程為線性標(biāo)定過程，沒有考慮鏡頭畸變造成的影響，是一個完整的從三維世界坐標(biāo)到二維圖像坐標(biāo)的轉(zhuǎn)換過程。2、鏡頭在制造、安裝過程中不可避免的會出現(xiàn)誤差，由于這種鏡頭畸變，導(dǎo)致投影到成像平面后，坐標(biāo)

將會發(fā)生變化。3、鏡頭畸變主要有徑向畸變、偏心畸變以及薄棱鏡畸變。徑向畸變是指由于光學(xué)鏡頭的徑向曲率變化引起的沿著矢徑方向的變化導(dǎo)致圖像變形，偏心畸變是單個鏡頭的光軸沒有完全對齊造成的圖像變形，薄棱鏡畸變指鏡頭制造誤差和成像元件制造誤差引起的圖像變形。鏡頭畸變標(biāo)定原理1、在大部分的機器視覺應(yīng)用中，鏡頭畸變都可以近似為基于除法模型的徑向畸變。設(shè)

，這種除法模型表示的徑向畸變引起的坐標(biāo)變化可以表示為如下式所示：鏡頭畸變參數(shù)k稱為徑向畸變系數(shù)。如果k<0，稱為桶形畸變，如果k>0，稱為枕形畸變。標(biāo)定原理2、除法模型可以方便的進(jìn)行畸變校正。在通過圖像坐標(biāo)進(jìn)行世界坐標(biāo)的轉(zhuǎn)換時，可以通過下式實現(xiàn)：鏡頭畸變其中：無畸變桶形畸變枕形畸變標(biāo)定原理3、對于某些情況如果只用徑向畸變不夠精確，需要加上偏心畸變。這時除法模型可能不夠精確，但是，可以采用多項式模型進(jìn)行畸變校正。多項式畸變校正模型下式所示：鏡頭畸變是徑向畸變系數(shù)，是偏心畸變系數(shù)，通常，取、、、、，更高階項對結(jié)果的影響可以忽略。標(biāo)定原理4、如果對除法模型的校正因子展開為幾何級數(shù)，可以得到下式所示：鏡頭畸變則除法模型就是沒有偏心畸變的多項式模型令標(biāo)定原理5、結(jié)合像平面坐標(biāo)向圖像坐標(biāo)的轉(zhuǎn)換方式，如果加上鏡頭畸變校正，可以得到如下公式：鏡頭畸變因此，加上畸變校正系數(shù)

，攝像機的內(nèi)參應(yīng)該是

六個參數(shù)。對于針孔攝像機而言，攝像機標(biāo)定即為標(biāo)定六個內(nèi)參和六個外參。它們決定了攝像機的方位以及世界坐標(biāo)系下的三維坐標(biāo)向圖像坐標(biāo)系下的二維坐標(biāo)投影關(guān)系。標(biāo)定過程1、標(biāo)定過程就是確定攝像機內(nèi)參和外參的過程。從標(biāo)定原理可以知道，必須知道世界坐標(biāo)系下三維坐標(biāo)與圖像二維坐標(biāo)之間的對應(yīng)關(guān)系。2、為了準(zhǔn)確滿足這種對應(yīng)關(guān)系，一般采用容易提取特征的標(biāo)定板來實現(xiàn)。標(biāo)定板相對于世界坐標(biāo)系的位置可以方便的確定，通常情況下直接將世界坐標(biāo)系的原點設(shè)置在標(biāo)定板的中心位置。標(biāo)定過程3、標(biāo)定板上的標(biāo)識通常做成圓或方格形狀。圓形結(jié)構(gòu)形狀可以準(zhǔn)確的提取中心坐標(biāo)，而方格形狀也可以準(zhǔn)確提取角點位置坐標(biāo)。采用標(biāo)定板還有一個好處是可以方便的確定標(biāo)定板上的標(biāo)識在圖像中的對應(yīng)關(guān)系。下圖是halcon中使用的標(biāo)定板示意圖。halcon中使用的標(biāo)定板標(biāo)定過程4、設(shè)標(biāo)定板上的標(biāo)識在世界坐標(biāo)系下的坐標(biāo)為

，在對應(yīng)圖像上提取的坐標(biāo)為

。如果給定攝像機外參和內(nèi)參的初始值，則可以通過世界坐標(biāo)與圖像坐標(biāo)之間的投影變換關(guān)系，求解

對應(yīng)在圖像上的坐標(biāo)。設(shè)L表示世界坐標(biāo)與圖像坐標(biāo)之間的投影變換關(guān)系，相機的參數(shù)用向量表示，即

則標(biāo)定過程為下式所示的優(yōu)化過程。標(biāo)定過程5、上式中，

代表標(biāo)識的數(shù)量，如圓形標(biāo)識的數(shù)量。優(yōu)化過程是一個非線性優(yōu)化過程。因此，選擇好的初始值非常重要。攝像機的內(nèi)參初始值可以通過其說明書得到，攝像機的外參初始值可以通過標(biāo)識點投影得到的橢圓尺寸得到。6、上式不能得到攝像機的所有參數(shù)，內(nèi)參

具有相同的縮放因子，外參在在Z軸上的距離

與內(nèi)參f同樣有相同的縮放因子。因此，參數(shù)

不能得到唯一解。為了解決該問題，通常在優(yōu)化過程中保持

不變。同時，采用多幅圖像進(jìn)行標(biāo)定。標(biāo)定過程具有相同的縮放因子具有相同的縮放因子標(biāo)定過程7、除了采用多幅圖像進(jìn)行標(biāo)定之外，還需要保證標(biāo)定板圖像要完全在圖像視野范圍內(nèi)。此外，所拍攝的圖像需要保證相互之間不能平行。一般在標(biāo)定板水平放置的時候采集一幅圖像，在四個角落位置分別繞

軸旋轉(zhuǎn)一定角度并采集一幅圖像來進(jìn)行標(biāo)定。設(shè)采集的圖形數(shù)量為n，因此，上式的優(yōu)化模型修改為下式所示。如果采集的圖像數(shù)量越多