一種實用的雙目顯微鏡視覺系統(tǒng)標定設計

一種實用的雙目顯微鏡視覺系統(tǒng)標定設計李惠光;梁畢輝;鄒立穎;沙曉鵬【摘要】本文針對顯微鏡光路復雜對三維物體的放大倍數(shù)過大使得采集的圖像樣本不理想的情況，將雙目視覺系統(tǒng)的標定原理與顯微系統(tǒng)產(chǎn)生的虛擬雙目成像原理結(jié)合，提出了一種雙目顯微小孔成像模型.深入分析了顯微攝像機系統(tǒng)的標定及畸變模型，然后，根據(jù)張正友的平面模板標定方法和Brown的方法，提出了一種雙目標定算法，求解了攝像機內(nèi)外參數(shù)和非線性畸變參數(shù).最后結(jié)合Bouguet算法對圖形進行校正，通過實驗驗證了本文所提方法的有效性.【期刊名稱】《高技術(shù)通訊》【年(卷)，期】2018(028)005【總頁數(shù)】9頁(P442-450)【關鍵詞】顯微鏡;雙目標定;小孔成像;機器視覺【作者】李惠光;梁畢輝;鄒立穎;沙曉鵬【作者單位】燕山大學電氣工程學院秦皇島066004;燕山大學電氣工程學院秦皇島066004;燕山大學電氣工程學院秦皇島066004濟齊哈爾大學通信與電子工程學院齊齊哈爾161006;東北大學秦皇島分?？刂乒こ虒W院秦皇島066000【正文語種】中文0引言在微觀領域中，顯微立體視覺是測量、三維定位與三維重建等微觀系統(tǒng)中的必要環(huán)節(jié)。但由于攝像機存在的非線性畸變，導致采集的圖像信息存在誤差，因此，攝像機標定技術(shù)，作為一種消除和減少攝像機固有的非線性畸變的重要方法，應用于微觀領域中。如何快速、高精度地標定顯微成像系統(tǒng)是本文研究的重點問題。在國內(nèi)外，許多研究學者對攝像機標定方法進行了大量的研究［1］。其方法主要分為兩種情況：傳統(tǒng)標定法和自標定法［2-4］。傳統(tǒng)標定法是根據(jù)已知參照物給定的特定條件如形狀，尺寸等，經(jīng)過對圖像的采集、處理以及一系列的數(shù)學方法得到攝像機的內(nèi)外卜參數(shù)。如，F(xiàn)aig［5］利用針孔攝像機模型的共面約束條件，考慮多種限制因素提出攝像機的標定模型。對于每幅圖采用至少17個參數(shù)對該約束條件進行約束，計算量非常大。自標定法是不依賴于參照物，僅僅依靠攝像機在運動過程中圖像之間的相對關系完成標定。如馬頌德［6］提出通過控制攝像機進行特殊的兩組三正交運動完成自標定，但是對于攝像機的移動精度要求非常高，無法靈活運動。結(jié)合傳統(tǒng)標定的方法和自標定的方法，張正友提出的標定方法［7］，很好地說明了攝像機內(nèi)外參數(shù)的推導方法，得到了廣泛的應用。由于單目視覺標定無法獲得深度信息等方面的約束，雙目視覺標定在單目視覺標定的基礎上發(fā)展起來并得到廣泛的應用。孔筱芳［8］等為了減輕標定過程中對高精度靶標的依賴提出了一種GPS雙目攝像機標定及空間坐標重建方法。張超［9］等為了解決誤差大的標定圖像造成的影響，提出了一種基于位姿約束的雙目攝像機標定算法，利用雙目攝像機之間的三維位姿關系，求解內(nèi)外參數(shù)。由于顯微鏡光路復雜，且存在景深限制，不能完全按照宏觀攝像機的方法進行標定?？壮?0］等，利用網(wǎng)格標定板并搭建精密的實驗平臺，綜合考慮徑向和切向畸變模型，采用Tsai自標定算法完成標定，但是，此方法僅僅適用于對規(guī)則物體的測量。本文將宏觀攝像機的雙目標定方法與顯微鏡成像原理相結(jié)合，分析了顯微鏡成像原理，進而將其映射到小孔成像原理中，提出一種基于小孔成像的顯微系統(tǒng)標定模型，在新的模型下可以完成光學顯微鏡下的攝像機標定。并通過分析攝像機非線性畸變模型，結(jié)合張正友平面標定算法和Brown的方法求解攝像機內(nèi)參數(shù)，并通過分析顯微鏡下雙目攝像機成像模型，求解攝像機外參數(shù)。最后應用Levenberg-Marquardt算法結(jié)合最大似然估計對所得參數(shù)進行優(yōu)化處理。通過實驗，該方法可以快速，高精度地完成顯微系統(tǒng)的標定，經(jīng)過校正后修復了圖像的畸變。1顯微鏡系統(tǒng)組成及標定模型1.1顯微鏡系統(tǒng)組成如圖1所示，顯微鏡系統(tǒng)由COM型光學體視顯微鏡、固定在目鏡部位的兩部CCD攝像機組成。圖1顯微鏡系統(tǒng)組成1.2單目顯微視覺成像模型顯微鏡系統(tǒng)由復雜的光學器件組合而成，將其目鏡環(huán)節(jié)增加攝像頭即可組成，“顯微鏡-攝像機”的電子顯微成像系統(tǒng)，進一步達到視覺顯微控制的目的。該成像系統(tǒng)原理，如圖2所示。圖2顯微鏡成像系統(tǒng)組成原理顯微鏡成像原理［11］如下：顯微鏡放大的光學系統(tǒng)由兩級組成。第一級是物鏡，物體AB通過物鏡得到放大的倒立實像A1B1。第二級放大是通過目鏡來完成。當經(jīng)第二級放大的倒立實像處于目鏡的主焦點以內(nèi)時，人眼可通過目鏡觀察到二次放大倒立的虛象A3B3。由于從成像系統(tǒng)的成像鏡頭部分來看，后部分就是一套普通成像系統(tǒng)，它完成“將普通圖像轉(zhuǎn)換為數(shù)字圖像”的作用。于是，就要求系統(tǒng)前一部分完成〃將顯微圖像轉(zhuǎn)換成為普通圖像”的任務。根據(jù)顯微鏡頭的光學成像原理可見：該部分恰好可以完成這一作用一一將顯微圖像轉(zhuǎn)換成為普通圖像（虛像）對于x-z坐標系統(tǒng)，可以進一步轉(zhuǎn)化為如下等價的小孔成像原理圖，如圖3所示。xm是顯微目標點，對應顯微成像系統(tǒng)的AB,X是放大后的虛擬目標點，對應顯微成像系統(tǒng)的A3B3,x是攝像機的成像點，對應顯微成像系統(tǒng)的A1B1,f為攝像機焦距，zm是顯微等價物距，z是虛擬等價物距。圖3等價的小孔成像原理圖如取顯微鏡的等價放大倍數(shù)為km，有Z=kmzm顯然有以下關系式成立：同理，可以得到y(tǒng)-z坐標系的關系Y=kmymZ=kmzm由此可建立顯微鏡下攝像機透視成像模型，如圖4所示。圖4理想攝像機透視成像模型根據(jù)此模型，從顯微鏡下虛擬目標點變換到成像平面以像素為單位的成像點大致分為4個步驟，如圖5所示。圖5從虛擬目標點到成像像素點的變換過程首先根據(jù)由顯微鏡成像系統(tǒng)轉(zhuǎn)化為的小孔成像模型將實際目標點p轉(zhuǎn)化為虛擬目標點P。關系可表示為：(1)式(1)中，km為顯微鏡的等價放大倍數(shù)。三維空間物體上的實際目標點Pm從實際坐標系Om-xmymzm轉(zhuǎn)換到攝像機坐標系Oc-xcyczc的變換關系可表示為將式(1)帶入，可得出虛擬目標點P從世界坐標系轉(zhuǎn)換到攝像機坐標系(2)式(2沖，R是3x3的旋轉(zhuǎn)矩陣，T是1x3的平移向量。從攝像機坐標系Oc-XcYcZc轉(zhuǎn)換到以毫米為單位的成像平面坐標系O1-XY的變換關系可表示為(3)式(3)中，f是攝像機的光心Oc到成像平面中心點01之間的距離，稱為物理焦距。投影點m(x,y)從成像平面坐標O1-XY系轉(zhuǎn)換到成像平面坐標O0-UV，其變換關系可表示為(4)式(4)中，O1-XY是以毫米為單位，O0-UV是以像素為單位。dx、dy分別是O1-XY成像平面沿X,Y方向的單位像素的物理長度°(u0,v0)是攝像機光軸與成像平面O0-UV的交點，及主點O1在成像平面上的坐標，理想情況下位于成像平面的中心。聯(lián)立式(2)、(3)、(4)可以得到三維空間上的任意一點P從世界坐標系轉(zhuǎn)換到以像素為單位的成像片面坐標系的變換關系：式(5)中，fx、fy是焦距f換算成以像素為單位后在U軸和V軸方向的比例因子；Min由參數(shù)fx、fy、u0和v0決定，為攝像機的內(nèi)參數(shù)，此參數(shù)由相機的內(nèi)部結(jié)構(gòu)決定；旋轉(zhuǎn)矩陣R3x3和平移向量T3x1組成Mout為攝像機的夕卜參數(shù)，此參數(shù)由相機與世界坐標的相對位姿決定；Min、Mout相乘可表示為矩陣H,其含義是三維空間物體上的點從客觀場景到數(shù)字圖像的成像變換的單應性矩陣。2攝像機主要畸變模型攝像機的主要畸變(非線性畸變)分為兩種[12]:徑向畸變和切向畸變。其中徑向畸變來自于透鏡制造商的缺陷，切向畸變來自于整個攝像機的組裝過程，如圖6所示。對于徑向畸變[13]，成像儀中心(光學中心)的畸變?yōu)?，隨著向邊緣移動，畸變會越來越嚴重。如圖7所示。圖6攝像機的非線性畸變模型圖7徑向畸變示意圖實際情況中，可以用r=0位置周圍的泰勒級數(shù)展開的前幾項描述，本文選取展開式的前三項。其變換關系式如下：xd=x+x[k1(x2+y2)+k2(x2+y2)2+k3(x2+y2)3]yd=y+y[k1(x2+y2)+k2(x2+y2)2+k3(x2+y2)3](6)ud=u+(u-u0)[k1(x2+y2)+k2(x2+y2)2+k3(x2+y2)3]vd=v+(v-v0)[k1(x2+y2)+k2(x2+y2)2+k3(x2+y2)3]⑺其中xd、yd是以毫米為單位的成像平面中發(fā)生畸變后的投影點的坐標；ud、vd是以像素為單位發(fā)生畸變后投影點的坐標；x、y是以毫米為單位的成像平面的理想投影點坐標；u、v是以像素為單位的成像平面的理想投影點坐標。k1、k2、k3是徑向畸變參數(shù)。對于切向畸變［14］，是在透鏡不完全平行于圖像平面的時候產(chǎn)生的，這時的圖像與成像平面存在小的傾斜角，如圖8所示。圖8切向畸變示意圖切向畸變分為X軸和Y軸兩個方向。其表達式如下：Sxd=2p1xy+p2(x2+y2+2x2)Syd=2p1(x2+y2+2y2)+2p2xy(8)式(8)中的p1、p2為切向畸變參數(shù)。&d、8yd是2個方向的切向畸變變量。綜上，畸變參數(shù)主要由k1、k2、k3、p1、p25個參數(shù)組成。3雙目顯微鏡攝像機成像模型如圖9所示，左、右攝像機圖像平面分別稱為xl-yl平面和xr-yr平面，xl和xr在同一水平線上，可令y=yl=yr。兩攝像機光心01和Or之間的基線距離為B，顯微鏡虛擬目標點P(Xw,Yw,Zw)在左、右攝像機成像平面的投影點分別為m1(xl,yl)、m2(-xr,yr)。圖9左、右攝像機成像平面的投影顯微鏡虛擬目標點P(Xw,Yw,Zw)投影到Xw-Zw平面和Yw-Zw平面成像圖分別如圖10和圖11所示。圖10Xw-Zw平面成像圖圖11Yw-Zw平面成像圖根據(jù)三角形相似幾何關系，由圖9和圖10可得如下關系式成立⑼(10)(11)由以上各式可得三維物點的深度為(12)式中xl-xr為三維物點在兩攝像機成像平面的視差。因此，通過三維物點在雙目攝像機成像平面上的投影點可直接計算出該三維物點在世界坐標系下的實際位置坐標P(Xw,Yw,Zw)。當左、右攝像機的攝像機外部參數(shù)分別確定以后，就可以利用如下關系確定雙目攝像機的結(jié)構(gòu)參數(shù)(左右兩攝像機在世界坐標系中的相對位置關系，即旋轉(zhuǎn)矩陣R和平移向量T)□(13)式中,Rl、Tl和Rr、Tr分別為左右攝像機的外卜部參數(shù)。其中平移向量T包含基線距離B。4標定實驗與結(jié)果本實驗采用燕山大學機器視覺研究室中微動平臺系統(tǒng)作為實驗設備，其系統(tǒng)組成如圖12所示，實物圖如圖13所示。圖12微動平臺系統(tǒng)組成框圖圖13微動平臺系統(tǒng)該系統(tǒng)主要由顯微視覺模塊和運動控制模塊兩大部分組成，本次實驗主要應用其中的顯微視覺模塊。該模塊主要包括體式顯微鏡，左右CCD攝像機以及視頻采集卡。標定目標采用5x7棋盤格標定板，每個方格的邊長為0.25mm。CCD采集的圖像像素大小為670x480。利用前文提出的顯微小孔成像模型，并分析顯微視覺成像模型和非線性畸變模型之間的聯(lián)系，提出基于張正友的平面模板標定方法求解攝像機內(nèi)外參數(shù)和基于Brown的方法求解非線性畸變參數(shù)的融合算法來對系統(tǒng)進行設計，在VC++編譯環(huán)境下調(diào)用OpenCV相關庫函數(shù)進行攝像機的標定實驗，求出攝像機的標定參數(shù)，最后用Bouguet算法對圖像進行校正。首先，將世界坐標系建立在平面模板上，令Zw=0，用ri表示旋轉(zhuǎn)矩陣R3x3的列向量，則式(5)可表示為Zcm=HPw(14)令，再根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，對每一個棋盤視場獲得的圖像可以得到對內(nèi)參數(shù)的兩個約束方程為(15)令那么如果有兩幅以上的目標圖像，就可以從B矩陣的封閉解中可以線性唯一地解出攝像機的內(nèi)參數(shù)fx、fy、u0和v0，同時外參數(shù)(旋轉(zhuǎn)矩陣和平移向量)可以由各自的模板圖像根據(jù)單應性條件得到。為了求出全局優(yōu)化的攝像機內(nèi)夕卜參數(shù)和畸變參數(shù)，以第一步求出的參數(shù)值為初值，融合2階徑向畸變和切向畸變模型，同時應用Levenberg-Marquardt算法對模板圖像中沒有考慮畸變影響的圖像點與實際的再投影點之間的距離和進行非線性最小優(yōu)化，通過最大似然估計就可以得到精度更高的攝像機標定參數(shù)值。其優(yōu)化模型如下：minC=Ri,Ti,Pwj)||(16)式中mdij是實際檢測到的第i副圖像中的第j個像點，Pwj是模板平面上的第j個空間點，Ri,Ti是第i副圖像所對應的外參數(shù)，k1,k2,k3的初始值為零，m是Pwj經(jīng)過校正畸變后的投影坐標值。最后通過式(13)求解雙目標定的相關參數(shù)。用Bouguet算法再進行校正。標定過程采用VS2010和Opencv2.4.10，程序流程圖如圖14所示。通過微動平臺對標定板進行微動操作，平移，旋轉(zhuǎn)后用CCD的左右攝像機分別采集22幅圖樣，然后進行標定。標定結(jié)果如下：左、右攝像機內(nèi)參數(shù)與畸變參數(shù)如表1所示，外參數(shù)如表2所示：圖14程序流程圖表1左、右攝像機內(nèi)參數(shù)與畸變參數(shù)參數(shù)左攝像機右攝像機廣義焦距fx7.983e+0027.983e+002廣義焦距fy7.983e+0027.983e+002圖像中心坐標u03.342e+0023.051e+002圖像中心坐標v03.586e+0023.528e+002徑向畸變參數(shù)k1-5.686e-001-4.711e-001,徑向畸變參數(shù)k21.228e+0002.358e-001徑向畸變參數(shù)k3-2.478e+0007.243e-002切向畸變參數(shù)p100切向畸變參數(shù)p200像素誤差s0.0380.035表2左、右攝像機外參數(shù)左攝像機右攝像機旋轉(zhuǎn)矩陣Rl[9.998e-001,1.647e-002,9.053e-003;-1.642e-002,9.998e-001,-6.275e-003;-9.155e-003,6.125-003,9.999e-001]旋轉(zhuǎn)矩陣Rr[9.985e-001,4.813e-002,-2.631e-002;-4.797e-002,9.988e-001,6.834e-003;-2.661e-002,-5.562-003,9.996e-001]兩攝像機相對旋轉(zhuǎn)矩陣R[9.9886e-001,-3.135e-002,3.594e-002;3.178-002,9.994e-001,-1.139e-002;-3.557e-002,1.252e-002,9.993e-001]兩攝像機相對平移矩陣T[-4.308e+000,2.077-001,1.135-001]T根據(jù)表后得到的參數(shù)，選取其中一組圖像為例，用VS2010+Opencv2.10進行校正實驗。如圖15、圖16所示，根據(jù)圖像對比可以直觀看出：復原圖像消除了非線性畸變，并通過標定出的相對位置關系R、T，調(diào)整了左右圖像的相對位置。用同樣的過程，用張正友標定算法對相同參照物在相同條件下進行標定求出張氏標定下的畸變參數(shù)和像素誤差，如表3所示。圖15校正前的左右圖像圖16校正后的圖像表3張氏標定法下左、右攝像機外參數(shù)參數(shù)左攝像機右攝像機徑向畸變參數(shù)k1-8.566e-001-7.411e-001徑向畸變參數(shù)k23.824e+0005.012e-001徑向畸變參數(shù)k3-5.356e+0002.852e-002切向畸變參數(shù)p100切向畸變參數(shù)p200像素誤差s0.40.39在Matlab環(huán)境下，統(tǒng)計本文算法與張正友標定算法在相同標定參照物條件下，標定棋盤格從第8張到第22張標定所需的時間，如圖17所示。結(jié)合表3和圖17可以看出本文提出的算法相對于張正友標定像素誤差縮小10倍，說明標定精度很大程度上得到提高。該方法標定耗時短，并且隨著棋盤格圖片的增加相對張氏標定法的耗時更加的短。圖17不同算法雙目標定所用時間5結(jié)論本文提出的標定系統(tǒng)針對的是體式顯微鏡下的攝像機，是面對具體應用的實用性設計。首先介紹了基于顯微鏡成像原理和小孔成像原理推導出的顯微鏡視覺標定系統(tǒng)的模型，然后分析了視覺系統(tǒng)的非線性畸變模型，提出基于張正友的平面模板標定方法求解攝像機內(nèi)外參數(shù)和基于Brown的方法求解非線性畸變參數(shù)的融合算法來對系統(tǒng)進行設計，并提出優(yōu)化模型。最后結(jié)合Bouguet算法對圖形進行校正。在VS2010環(huán)境下調(diào)用Opencv數(shù)據(jù)庫，完成標定，并對圖像進行了對比校正。結(jié)果表明，該方法具有誤差小、耗時短等優(yōu)點，并解決了具有復雜光路的顯微鏡下標定困難的問題，且VC++編譯環(huán)境代碼開源，可以在此基礎上編寫更多實用性程序供后續(xù)研究，具有很高的實用價值。參考文獻【相關文獻】鄭楷鵬.攝像機標定及立體匹配技術(shù)研究:[碩士學位論文][D].南京：南京理工大學電子工程與光電技術(shù)學院,2017FaugerasO,ToscaniG.Thecalibrationproblemforstereo[C].In:ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,Miami,USA,1986.15-20BenallalM,MeunierJ.Cameracalibrationwithsimplegeometry[C].In:Proceedingsofthe2003InternationalConferenceonImageandSignalProcessing,Agadir,Morocco,2003.1-6GuillouE,MeneveauxD,MaiselE,etal.Usingcanishingpointsforcameracalibrationandcoarse3Dre