圖像幾何畸變校正方法

1、圖像幾何畸變校正方法范勇，張佳成，陳念年，周敬濱，王俊波fan yong，zhang jia-cheng，chen nian-nian，zhou jing-bin，wang jun-bo西南科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，四川 綿陽 621010department of computer science and technology，southwest university of science and technology，mianyang，sichuan 621010，chinae-mail：fanyongfan yong，zhang jia -cheng，chen nian -nian

2、，et al.new method for image geometric distortion correction .computerengineering and applications，2009，45（29）：194-197.abstract：there is often some extent distortion existing in the short focal length and wide angle lens camera which is used formachine vision detection，in order to carry out high prec

3、ision measurement，the lens distortion must be corrected first.a new method for distortion correction is proposed.it obtains the initial distortion coefficients by combining the optical image theory with distortion correction model at first，then the optimization function is used to find the optimal d

4、istortion coefficients，cubic b-spline interpolation method is adapted for gray rebuilding at last.experiments indicate that this method shows perfect results，the radial correction rms is 0.45 pixel and the gray rebuilding rms is 0.36 pixel.key words：image processing；geometric distortion；correction a

5、lgorithm；gray rebuilding摘 要：在機器視覺檢測中大視場短焦距攝像機鏡頭一般都存在一定程度的光學(xué)畸變，在高精度測量中必須對攝像機鏡頭畸變進行校正。提出利用光學(xué)成像規(guī)律和鏡頭畸變校正模型相結(jié)合的畸變校正方法求出初始畸變系數(shù)，然后通過優(yōu)化目標(biāo)函數(shù)求出最優(yōu) 畸變系數(shù)，最后采用三次 b 樣條插值對畸變圖像進行灰度重建。實驗結(jié)果表明該方法在不依賴攝像機內(nèi)部參數(shù)的前提下，校正后 徑向均方根誤差為 0.45 個像素，灰度重建后徑向均方根誤差為 0.36 個像素。關(guān)鍵詞：圖像處理；幾何畸變；校正算法；灰度重建doi：10.3778/j.issn.1002-8331.2009.29.057

6、文章編號：10028331（2009）29-0194-04文獻標(biāo)識碼：a中圖分類號：tp391.11引言目前，在航天和航空攝影、醫(yī)療以及各種高精度測量儀器 上，為獲取更多關(guān)于目標(biāo)景物的圖像信息，常采用大視場短焦 距鏡頭。這類鏡頭在成像過程中一般都存在一定程度的光學(xué)畸 變，使成像圖像的大小和形狀發(fā)生了某些變化，圖像的質(zhì)量下 降，給后面的圖像分析和圖像測量帶來誤差，甚至造成誤判，因 此必須對大視場短焦距攝像機鏡頭所造成的圖像幾何畸變進 行校正。對于攝像機鏡頭非線性畸變的校正算法可分為兩類：第一 類是基于標(biāo)定模板方法，如采用點陣圖、平面網(wǎng)格、同心圓環(huán)、 西洋棋盤等，根據(jù)模板上特征點的位置和其理想點的

7、位置偏差 來求取畸變系數(shù)；若特征點空間坐標(biāo)已知，采用攝像機標(biāo)定算 法則可同時求出攝像機內(nèi)外參數(shù)1-4。第二類是不使用標(biāo)定模 板，如基于畸變率5、基于畸變等效曲面6、基于測量設(shè)備7等校 正算法迭代或直接求出畸變系數(shù)?；跇?biāo)定模板的畸變圖像校正分兩步：坐標(biāo)變換和灰度重建。坐標(biāo)變換可以分為從畸變圖像到理想圖像的前向映射方法和從理想圖像到畸變圖像的后向映射方法；而灰度重建目前有 鄰近插值法、雙線性插值法和立方卷積插值法。鄰近插值法精 度不高，立方卷積插值法精度高但運算量大，雙線性插值可以 折中鄰近插值法和立方卷積插值法。大視場短焦距鏡頭的畸變?yōu)榉蔷€性畸變，一般分成兩個部 分：徑向畸變和切向畸變8。ts

8、ai 已經(jīng)證明：對于大多數(shù)計算機 視覺應(yīng)用來說，切向畸變可以忽略9。另外，許多的文獻研究表明，在機器視覺測量中只需要考慮低次項的畸變系數(shù) k19-10。該文詳細分析了大視場短焦距鏡頭的畸變校正模型，利用光學(xué)成像規(guī)律，根據(jù)圓點在成像前后具有良好的保形性和圓點的質(zhì)心 坐標(biāo)能真實地逼近樣本點的坐標(biāo)值，在文獻10的基礎(chǔ)上，提出 了一種基于點陣模板的圖像幾何畸變校正算法。該算法克服了 采用平面網(wǎng)格作和棋盤為標(biāo)定模板時，提取的特征點坐標(biāo)常產(chǎn) 生奇異值導(dǎo)致偏離真實坐標(biāo)較大等缺點，在不依賴攝像機鏡頭 內(nèi)部參數(shù)和簡單的測量裝置條件下，有效地提高了畸變校正后基金項目：國家自然科學(xué)基金（the national n

9、atural science foundation of china under grant no.10676029，no.10776028）；四川省教育廳項目（theresearch project of department of education of sichuan province，china under grant no.2006c074）。作者簡介：范勇（1972-），男，博士，副教授，研究生導(dǎo)師，主要研究方向為機器視覺與可視化計算；張佳成，碩士研究生，主要研究領(lǐng)域為計算機視 覺；陳念年，男，講師，主要研究方向為圖像處理與軟件工程；周敬濱，碩士研究生，主要研究領(lǐng)域為計算機視覺；

10、王俊波，男，教授，博士生導(dǎo)師。收稿日期：2009-03-26修回日期：2009-06-02的圖像質(zhì)量。向擬合各 4 條一元三次曲線，求取每個方向的 4 條曲線拐點均值作為 ccd 的光學(xué)中心（cx，c）y ；然后在二維支架上移動標(biāo)定 模板，使得離光心最近的圓點質(zhì)心與 ccd 光中心（cx，c）y 重合。徑向畸變模型圖 1 是攝像機系統(tǒng)的成像模型，它包含了 4 個坐標(biāo)系，其 中 xw yw zw 表示世界坐標(biāo)系，xc yc zc 表示攝像機坐標(biāo)系，xy 表示 圖像平面坐標(biāo)系，xf yf 表示計算機幀存坐標(biāo)系。在針孔成像模型 下，世界坐標(biāo)系中的一點 p（xw yw zw）通過攝像機鏡頭光心成像 在

11、圖像平面的 p（i x，y）處，p（xw yw zw）在攝像機坐標(biāo)系的坐標(biāo)為 p（xc yc z）c ，則針孔成像模型可表示為：2畸變系數(shù)的初始值求取利用光學(xué)成像第一和第二個特性對畸變校正模型進行簡3.2化。水平過光心的直線成像后沒有失真，則在公式（2）中 yd=cy；垂直過光心的直線成像后沒有失真，則 xd=cx。于是對畸變系數(shù)的求取可以在這兩條相互垂直并過光心的直線上進行。利用第二和第三條特性，可以分別在水平和垂直方向求出畸變系數(shù) k1 和 k2，取它們的平均值 k 作為初始的畸變系數(shù)。即：如果在沒有 畸變的情況下，兩條直線上的圓點間距應(yīng)該是相等的。如圖 2（b）。在水平方向取 7 個點，

12、其中第 7 個點為光心點（cx，c）y ，以（x0，y0）代替（cx，c）y ，在水平直線上有：x2 -x1 = =x7 -x6，由公式（2）得：xd2+k1（1 xd2-x0）3-xd1-k1（1 xd1-x0）3=（x yf，）fp（i x，y）ycyw（i w ，w ，w）p xy zo（0，0，0）zcxcxd7+k1（1 xd7-x0）3-xd6-k1（1 xd6-x0）3由于 x7=x0，故可得：（3）zwxwo（ 0，0，f）p（i xd，yd）圖攝像機幾何成像系統(tǒng) xd7-xd6-xd2-xd1 k11=1（4）（xd6-x0）3+（xd2-x0）3-（xd1-x0）3x=f

13、xc ，y=f yc利用上述計算方法可在水平直線上計算出 15 個 k 值，在垂直方向計算出 6 個 k 值。（1）zczc對于大視場短焦距鏡頭成像過程并不滿足針孔模型，使得圖像平面上實際像點 p（i xd，yd）偏離理想位置 p（i x，y）。若給定 一組畸變數(shù)據(jù)點 p（i xd，yd），用畸變校正模型11可獲得無畸變的 理想點 p（i x，y），即：j=15k1jj = 1j=6k2jj = 1，k =（5）k1=2156初始畸變系數(shù)為 k 與 k 的平均值：122x=xd +（xd -cx）（kr ）k= k1+k2（6）d（2）2畸變系數(shù)的優(yōu)化求解2y=yd +（yd -cy）（kr

14、）d3.322其中（cx，c）y 表示攝像機鏡頭的光學(xué)中心，rd= 姨（xd-c）x +（yd-c）y。正如前面提到的，公式（2）忽略了切向畸變，同時只考慮了視場 函數(shù)的初級畸變系數(shù) k1。22為求得最佳的畸變系數(shù)，設(shè)置目標(biāo)函數(shù) = 姨 1 +2 進行優(yōu)化求解，1 和 2 表示如下： j=ni=n） 12）姨 n （xj -xdj （xi -xdi-徑向畸變校正為對攝像機鏡頭徑向畸變進行校正，必須求得畸變系數(shù) k。從公式（2）可知，該方程是非線性的，為簡化求解過程，利用 光學(xué)成像的幾個規(guī)律對畸變校正模型進行分析求解。（1）通過光心的直線成像后仍為直線10；（2）光軸中心附近畸變量最??；（3）垂

15、直于光軸的物平面上兩條長度相等的直線段，在理 想光學(xué)系統(tǒng)（無畸變）條件下成像在像平面上對應(yīng)的兩條線段長度相同。n3 =j = 1i = 1 1 （7）j=ni=n（y -y ）- 1 （y -y ）2姨j dji din2 =j = 1i = 1n其中 和 分別為校正后水平和垂直均方根誤差， 為徑向12均方根誤差，n 為樣本點個數(shù)。求出 21 個初始畸變系數(shù) k 后，i對這些 k 值求出期望 和均方根 ，在-，+范圍內(nèi)一定i步長進行搜索，直到目標(biāo)函數(shù) 滿足設(shè)定的閾值 t?；儓D像重建利用求出的畸變系數(shù) k 代入公式（2）即可對畸變圖像進行 校正。然而不幸的是公式（2）所表示的坐標(biāo)變換并不能完全

16、覆 蓋校正后圖像上的點，會在校正后圖像上產(chǎn)生一些點的灰度缺 失，如圖 3 中白色的線條就是灰度缺失點。為獲得良好的校正 圖像，必須對校正后圖像進行灰度重建，即灰度插值。 雙線性 插值和立方卷積插值都是后向映射函數(shù)，不適用公式（2）從畸 變圖像到理想圖像的坐標(biāo)變換。為此，對圖 3 用加權(quán)線性插值 進行灰度重建，得到圖 4。校正的精度大大提高，視覺效果良 好。但仔細辨認圖 4，會發(fā)現(xiàn)有些圓點經(jīng)過插值后已經(jīng)失真，不3.4光學(xué)中心計算首先利用直線截取相等的方法12獲得良好的畸變圖像，使 圖像畸變大致關(guān)于圖像幾何中心點對稱，如圖 2（a）。用圖像處 理技術(shù)精確獲得畸變圖像邊沿上圓點的中心坐標(biāo)，這里用圓點

17、 區(qū)域內(nèi)的質(zhì)心坐標(biāo)作為圓點的中心坐標(biāo)。分別在水平和垂直方3.1為定量評價該文提出的鏡頭畸變校正算法，采用圖像中所有圓點質(zhì)心坐標(biāo)作為樣本點，用水平方向、垂直方向和徑向畸 變誤差均方根來評估，實驗結(jié)果如表 2 所示。為評價光學(xué)中心 的偏移對畸變系數(shù)的影響，在光心點的 99 鄰域內(nèi)求取畸變系 數(shù)。從表 2 可以看出光心位置的偏移對畸變系數(shù)的求解影響比 較大，因此在求解以前必須保證光學(xué)中心與標(biāo)定模板圖像中心 部位的某個圓點中心重合。圖 3畸變圖像上的圖 4加權(quán)線性插值校正不完全映射細分析了畸變校正模型，對公式（2）進行簡單變換得：2 242 6r =rd +2krd +k rd表 2 該文畸變校正方法

18、評估像素（8） 序號光學(xué)中心水平 erms垂直 erms徑向 erms畸變系數(shù)值2222其中，r= 姨（x-cx） +（y-cy），rd= 姨（xd -cx）+（yd -cy 。），12345156.01 118.21155.01，118.21154.01，118.210.401 4190.377 8050.359 2820.344 3490.335 7330.289 1550.288 1880.287 9360.290 8470.294 4340.494 7200.475 1730.460 4250.450 7420.446 5512.526 904e-62.526 904e-62.516

19、904e-62.516 904e-62.506 904e-6用卡丹（cardnano）公式解方程（10）得：3 r 1 r 32rd = 姨 2k + 姨（3k ） +（2k ），+153.01 118.21152.01，118.213 r 1 r 32姨 2k - 姨（3k ） +（2k ）（9）求得最佳畸變系數(shù)后，分別用雙線性插值、一元立方插值、三次 b 樣條插值等算法對畸變圖像進行灰度重建，對圖 2（a）進行插值后如圖 5。從圖 5 中可看出一元立方插值和三次 b 樣 條插值后的圖像視覺效果良好，圓點規(guī)則，幾乎沒有失真；而雙線性插值和加權(quán)線性插值后的圖像都有不同程度的失真。為定 量評價幾

20、種插值方法的優(yōu)劣，采用圖像樣本點校正后圓點的質(zhì) 心與理想位置下圓點質(zhì)心差值的均方根作為評價指標(biāo)，實驗結(jié)果如表 3。于是重寫公式（2）得：姨）rd姨姨xd =cx +（x-cxr姨姨 姨（10）姨）rd姨姨yd =cy +（y-cyr姨 姨接下來用公式（10）做坐標(biāo)變換，分別用雙線性、一元立方、三次b 樣條進行灰度插值。表 3 重建誤差實驗結(jié)果像素4實驗結(jié)果與分析綜上所述，攝像機鏡頭畸變校正算法流程如圖 5 所示，i 為目標(biāo)函數(shù)，t 為閾值。在 vc6.0 環(huán)境下開發(fā)了具有畸變校正 功能的應(yīng)用程序，采用 webcom001 數(shù)碼通訊 m15 型攝像頭為 圖像成像設(shè)備，視場角為 62，焦距為 3.

21、66.0 mm 之間，圖像分 辨率為 320240。名稱水平 erms垂直 erms徑向 erms加權(quán)線性插值雙線性插值 一元立方插值 三次 b 樣條插值0.398 1130.455 7630.340 3950.304 6910.722 1600.549 3780.318 0430.189 8020.824 6260.713 8180.465 8540.358 973由表 3 知，三次 b 樣條插值方法進行灰度重建的誤差最小。徑向 rms 僅為 0.36 個像素。開始結(jié)束it（a）三次 b 樣條插值 （b）一元立方插值圖 6 灰度重建（c）雙線性插值為評價該文提出的畸變校正算法性能，選取經(jīng)典校

22、正算-法11和文獻3中的算法進行實驗對比，用校正后水平 erms、垂直 erms、徑向 erms、水平最大偏差和垂直最大偏差等 5 個指標(biāo)評價畸變校正算法的優(yōu)劣，取圖像中所有圓點作為校正檢 驗點，實驗對比結(jié)果見表 4。圖 5 相機校正流程圖首先根據(jù)圖 2（a）上邊沿圓點中心坐標(biāo)擬合水平方向和垂 直方向各 4 條一元三次曲線，求拐點均值得光學(xué)中心坐標(biāo)：（152.01，118.21），然后移動標(biāo)定模板使圖像中心部位某圓點中 心跟光學(xué)中心重合，質(zhì)心法求取過光心并相互垂直的兩條圓點帶上的圓點中心坐標(biāo)，采用公式（3）（6）求取初始畸變系數(shù) ki， 如表 1。表 1 初始畸變系數(shù)結(jié)算結(jié)果表 4 畸變校正算

23、法實驗對比像素水平erms垂直erms徑向erms水平最大偏差垂直最大偏差畸變校正算法經(jīng)典校正算法mq 校正算法 提出算法0.290.320.300.290.270.190.410.420.361.370.990.840.880.920.58名稱畸變系數(shù) k（i e-6）由表 4 知，提出的圖像幾何畸變校正算法優(yōu)于經(jīng)典校正算法和 mq 算法。用標(biāo)定好畸變系數(shù)和光學(xué)中心的攝像機對其他景物進行 拍攝并進行校正，如圖 7 所示。水平畸變系數(shù)垂直畸變系數(shù) 平均值 方差（rms）1.813 6272.940 1822.376 9043.402 164ki+采用優(yōu)化目標(biāo)函數(shù) i 求 取最佳的畸變系數(shù)yn得

24、到最佳的畸變系數(shù) k計算鏡頭的光學(xué)中心，移動 二維平臺確保光學(xué)中心與圖 像中央某個圓點質(zhì)心重合計算初始畸變系數(shù) ki，均 值 和方差 誤差均達到亞像素級。該算法適用于大多數(shù)大視場短焦距鏡頭畸變校正，具有一定的工業(yè)推廣價值。參考文獻：1 zhang z y.a flexible new technique for camera calibrationj.ieee transactions on pattern analysis and machine intelligence ，2000，22（11）：1330-1334.2 王占斌，趙輝，陶衛(wèi)，等.廣角鏡頭桶形畸變的樣條函數(shù)修正方法j.光電工程

25、，2008，35（4）：140-144.3 馬廣彬，章文毅，陳甫.圖像幾何畸變精校正研究j.計算機工程與 應(yīng)用，2007，43（9）：45-48.4 郭永剛，葛慶平，馮平，等.一種基于控制點自動提取的圖像畸變校 正算法j.計算機工程與應(yīng)用，2007，43（2）：214-216.5 崔洪州，孔淵，周起勃，等.基于畸變率的圖像幾何校正j.應(yīng)用光學(xué)，2006，27（3）：183-185.6 韓廣良，宋建中.一種基于畸變等效曲面的圖像畸變校正j.光學(xué)技 術(shù)，2005，31（1）：122-124.7 郭羽，楊紅，楊照金，等.ccd 攝像系統(tǒng)鏡頭的畸變測量j.應(yīng)用光 學(xué)，2008，29（2）：279-28

26、2.8 lin j m，xing m l，sha d g，et al.distortion measurement of ccdimaging system with short focal length and large-field objectivej. optics and lasers in engineering，2005，43：1137-1144.9 tsai r y.a versatile camera calibration technique for high-accu racy 3d machine vision metrology using off-the-shelf

27、 tv cameras（a）畸變圖像（b）校正圖像圖 7 校正實例圖影響鏡頭畸變校正精度的因素很多，大致有：光學(xué)中心估 計誤差、圓點中心定位誤差、灰度重建誤差、截取誤差。因此要 提高校正精度，可以從以下幾個方面著手：（1）增密模板圖像上 的樣本點，在擬合邊緣曲線求拐點來估算光學(xué)中心將更加準(zhǔn) 確，用多點平均值求取無畸變理想圖像的圓點距也將更精確。（2）用直方圖統(tǒng)計求得合適閾值或者用分塊自適應(yīng)閾值把圓點 分割出來。（3）采用神經(jīng)網(wǎng)絡(luò)插值再次減少灰度重建誤差13。（4）標(biāo)定模板圖在成像時并不能完全保證畸變圖像具有良好對 稱性，可以在截取線段上畫上等間距的刻度以減少截取誤差。其中光學(xué)中心估計誤差和圓點

28、中心定位誤差是主要誤差來源。5 結(jié)論提出了一種基于點陣圖模板的鏡頭畸變校正方法，結(jié)合光 學(xué)成像規(guī)律和畸變校正模型，對畸變模型進行了一些變換，并采用三次 b 樣條插值對校正后圖像進行灰度重建，有效地提 高了畸變圖像校正的精度，減少了畸變圖像灰度重建誤差。首先用一元三次曲線求拐點來估算光學(xué)中心，簡單精確；然后在 過光心的兩條相互垂直線上求取初始畸變系數(shù)，簡便易懂；接 著利用優(yōu)化目標(biāo)函數(shù)求取最佳畸變系數(shù)，精確高效；最后對畸變校正模型進行適當(dāng)變換，并用三次 b 樣條插值來進行灰度 重建，使圖像校正后視覺效果良好，灰度重建徑向均方根誤差大大降低。該方法簡便、實用，不依賴攝像機鏡頭的內(nèi)部參數(shù)和 復(fù)雜的測量

29、裝置，校正后的校正均方根誤差和灰度重建均方根and lensesj.ieee journal of robotics and automation，1987，3（4）：323-344.10 曾巒.短焦距攝像頭的畸變校正方法j.裝備指揮技術(shù)學(xué)院學(xué)報，2002，13（2）：53-55.11 weng j y，cohen p，herniou m.camera calibration with distortion models and accuracy evaluation j.ieee transactions on pattern analysis and machine intelligenc

30、e，1992，14（10）：965-980.12 朱日宏，李建欣.光學(xué)成像系統(tǒng)中非線性畸變的數(shù)字校正方法j.南京理工大學(xué)學(xué)報，2004，28（4）：414-416.go jinwook，sohn kwanghoon，lee chulhee.interpolation usingneural networks for digital still camerasj.ieee trans on con sumer electronics，2000，46（3）：610-616.13（上接 90 頁）6 elson j e，girod l，estrin dfine grained time synchr

31、onization using reference broadcastsc/the 5th symp on operation system design and implementation，boston，2002.7 li q，rus dglobal clock synchronization in sensor networks jieee transactions on computers，2006，55（2）：214-226.8 dai h，han rtsync：a lightweight bidirectional time synchroniza tion service for wireless sensor networksjacm mobile computing and communications review，2004，8（1）：125-139.9 xu chaonong，zhao lei，xu yongjun，et albroadcast time synchro nization algorithm for wireless sensor networksc/the 1st conf on se