一種多特征點自動身份識別方法

一種多特征點自動身份識別方法

在許多應用中，可以在測量對象的表面上分布一些具有明顯特征和易于識別的元素作為標記點，如圓形和交叉雕刻線。一旦加載唯一身份信息，則可以編碼標記點，識別圖像中標記點的唯一身份，以便方便可靠地實現多個圖像中標記點的對應匹配。這里沒有編碼的標記點被稱為“非編碼元”，編碼的標記點被稱為“編碼元”。非編碼元以圓形標記的應用最為廣泛.因為圓成像后成為橢圓,橢圓所具有的幾何特征使其易于實現特征提取的算法.橢圓提取的算法很多,包括Hough變換、遺傳算法及最小二乘模板匹配等.Hough變換方法提取橢圓準確率及效率很低.遺傳算法能夠得到較準確的結果,但算法的實現非常復雜.最小二乘模板匹配方法是近景攝影測量中常用的橢圓提取方法,但是在實際圖像中,往往存在一些呈橢圓狀或與橢圓形狀接近的非標記點目標,這些非標記點目標也可能被最小二乘匹配法提取出來,對后續(xù)的對應匹配及三維重建算法造成干擾.另外,最小二乘擬合方法雖然能夠進行橢圓中心的亞像素定位,但其定位精度不如質心法、高斯最小二乘等算法.給標記點加載編碼的方法大大降低了對應匹配的復雜度,為此不少學者作了這方面的研究.Schneider、VandenHeuvel、KeithsForbes以及Ahn等設計了各種不同的編碼元.KeithsForbes所采用的編碼元與Schneider的編碼元類似,但是對Schneider的編碼識別方案進行了改進,這種編碼元基本不受旋轉、縮放和變形的影響,應用非常廣泛.本文在待測物體表面混合分布非編碼元與編碼元作為標記點.非編碼元為近景攝影測量中常用的圓形標記,編碼元為文獻提出的編碼方案,標記點特征的詳細介紹見第1節(jié).其中,編碼元身份的唯一性方便建立多角度圖像之間編碼元的對應關系,用于確定各次拍攝時的相機姿態(tài);非編碼元黏貼于物體表面,用于物體表面點的重建.根據后續(xù)相機標定和三維重建的要求,本文標記點自動檢測的任務是提取圖像中的標記點、確定編碼元的身份信息及所有標記點的中心位置.本文提出以下標記點自動檢測算法.為保證標記點提取的準確性,本文全面結合標記點的尺寸、形狀、灰度變化及位置分布等各種特征在最小二乘模板匹配的基礎上添加一系列準則來排除圖像中的非標記點目標.然后,在文獻的基礎上提出了一種改進的編碼元身份識別方法,將非編碼元與編碼元分類.最后采用定位精度高且易于實現的質心法進行標記點的亞像素定位.1特征的標記分析1.1圓形標記成像法本文采用的非編碼元如圖1所示.內部圓形為待檢測的“目標點”.利用前景(白色)與背景(黑色)之間灰度的強烈對比,易于實現“目標點”的自動識別.圓形標記成像后呈橢圓狀,橢圓的中心對應于圓形標記的中心.文中所采用非編碼元“目標點”的直徑為5mm,背景所在圓環(huán)外徑為10mm.1.2編碼元的解碼本文采用文獻中提出的編碼元.如圖2(a)所示,編碼元中心為圓形“目標點”.“目標點”周圍為與其同心的分段環(huán)狀區(qū)域,用來確定編碼元的身份信息,稱為“編碼帶”.該圓環(huán)按照角度平均分為15份,每份24°,相當于一個二進制位.每一位可以取前景色(白色)或背景色(黑色),相應的二進制碼為“1”或“0”,如圖2(b)所示.編碼元的解碼詳見2.2節(jié),編碼元各部分尺寸如圖2(c)所示.2編碼元的分類本文的標記點自動檢測算法主要包括以下3個主要過程:①標記點目標的提取;②編碼元身份識別及非編碼元與編碼元的分類;③標記點中心的亞像素定位.前兩步為標記點的識別,第三步完成標記點的定位.2.1標記點目標提取非編碼元及編碼元的“目標點”是自動提取的目標,兩者為大小相同的圓形,經CCD成像后呈橢圓狀.因此,標記點目標提取的任務就是從圖像中提取滿足標記點特征的橢圓目標.本節(jié)首先采用Canny算子進行圖像分割,在圖像中提取代表不同區(qū)域的輪廓信息,然后提出以下幾個判斷準則來提取滿足條件的橢圓輪廓.(1)投影角度對系統輪廓長度的影響目標點成像后變?yōu)闄E圓,投影角度(即標記點所在平面的法線方向與投影方向的夾角)在0°～70°之間時,圖像中橢圓輪廓的周長P應滿足Ρmin≤Ρ≤Ρmax(1)式中,Pmin、Pmax分別是投影角度在0°～70°之間時輪廓周長可能的最小值和最大值.需要指出的是,從不同角度對場景進行拍攝時,不可避免地會使某些標記點在某些圖像中的投影角度大于70°,后續(xù)應用中一般不希望利用這些標記點,因為過大的投影角度不但使識別的穩(wěn)定性降低,而且也使目標點的中心位置精度降低.因此,這里只考慮投影角度在0°～70°之間的周長變化.(2)pse41.5.2穩(wěn)定邊緣輪廓的提取首先,橢圓輪廓應為規(guī)則的凸性封閉輪廓.其次,當投影角度小于70°時,橢圓圓度Cellipse應滿足1.0≤Cellipse4π≤1.5(2)最后,采用魯棒性最小二乘橢圓擬合方法來匹配圖像中剩余的輪廓.最小二乘擬合誤差ε滿足式(3)為候選橢圓ε≤εmax(3)式中,εmax為誤差允許的最大值.圖3(a)所示為放有標記點的顯示器的局部圖像,圖3(b)為該圖像經Canny邊緣檢測提取的邊緣輪廓.圖3(c)和圖3(d)是按照順序采用尺寸準則和形狀準則對圖3(b)過濾的結果.(3)橢圓e1、k本文采用的標記點目標前景(白色)與背景(黑色)對比度強烈.這是標記點目標區(qū)別于其他非標記點目標的顯著特征.本節(jié)根據標記點的這種灰度特征來進一步排除非標記點目標,可將真實場景中一些具有橢園形狀或者與橢園形狀接近的非標記點目標排除.如圖4所示,若E1為標記點中心圓形輪廓,E2為與E1同心、直徑為10mm的圓.E′1、E′2分別為E1、E2成像后的橢圓.由于標記點所在區(qū)域的深度變化遠小于它到相機的距離,其成像過程可用近似仿射變換來表示.因此,橢圓E′2的中心和旋轉角度應與橢圓E′1相同,長短軸長度可由式(4)求得{aE′2=aE′1×kbE′2=bE′1×k(4)式中,k=rE2/rE1,rE1、rE2分別是E1、E2的半徑,rE1=5mm,rE2=10mm,aE′1、bE′1分別表示已擬合的橢圓E′1的長軸和短軸長度,aE′2、bE′2分別表示橢圓E′2的長軸和短軸長度.顯然,對所有標記點,橢圓E′1內部Sforeground區(qū)域為前景,像素點灰度趨向白色;E′1和E′2之間的環(huán)狀區(qū)域Sbackground為背景,像素點灰度趨向黑色,且兩者對比度應足夠大.分別以Sforeground區(qū)域內像素點的灰度均值Mf作為前景灰度,Sbackground區(qū)域內像素灰度均值Mb作為背景灰度,則Mf和Mb應滿足{Μf≥ΜtΜb≤ΜtΜf-Μb≥ΔΜt(5)式中,Mt為區(qū)分前景灰度與背景灰度的閾值,ΔMt為前景灰度與背景灰度之差應滿足的最小值.方差表示的是區(qū)域內各像素灰度值與均值的偏差.若區(qū)域內像素灰度均勻,則各像素灰度值與均值的偏差應該很小,即方差足夠小.因此,為保證均勻性,Sforeground區(qū)域內像素灰度的方差Vf及Sbackground區(qū)域內像素灰度的方差Vb應滿足{Vf≤δfVb≤δb(6)式中,δf、δb分別為Sforeground和Sbackground區(qū)域內允許的最大灰度方差.對所有經最小二乘擬合出來的橢圓,都假設存在這樣的兩個區(qū)域Sforeground和Sbackground,計算這兩個區(qū)域內像素灰度的均值和方差,滿足式(5)和(6)方為候選標記點目標.圖3(e)為將圖3(d)中輪廓通過該準則過濾后的結果,可見,本例中非編碼元與顯示器表面之間的邊界不滿足該灰度準則,因而可以被排除.(4)標記點目標提取上述各準則的應用將大量不滿足標記點目標特征的輪廓剔除,但是編碼元周圍“編碼帶”上的小塊經常會滿足以上各準則而無法將其排除(如圖3(e)所示).這些小塊的輪廓處于某個編碼元的“編碼帶”上,因此輪廓中心與該編碼元中心的距離較小.采用2.2節(jié)的方法將編碼元與非編碼元分類后,計算非編碼元與編碼元中心距離d,如果滿足式(7),則剔除該目標點.d≤dmax(7)式(7)中,dmax取編碼元“編碼帶”外邊界上像素點距編碼元中心的最大距離,即“編碼帶”外邊界橢圓長軸的長度.需要注意的是,位置準則是在編碼元的解碼過程完成之后進行的,關于編碼元的解碼算法見稍后的2.2節(jié).圖3(f)給出了圖3(e)經位置準則過濾的結果.在近景攝影測量中,要求標記點提取算法能夠有效地排除非標記點目標.因為標記點提取作為近景攝影測量的首要步驟,該過程中被錯誤提取的目標將會影響后續(xù)的對應匹配和三維重建算法,從而產生不正確的三維重建結果.本節(jié)標記點目標提取算法的優(yōu)點在于全面結合了標記點目標的各種特征,不僅包括標記點的幾何特征(尺寸和形狀),還包括文中采用標記點的灰度特征以及標記點在待測物體表面的分布情況,因而能夠準確地提取標記點目標,更多實驗分析見3.1節(jié).2.2改進編碼識別方法本節(jié)根據編碼元編碼帶上的灰度變化,進行編碼元的身份識別,同時將非編碼元與編碼元分類.如圖5所示,若D為識別出的橢圓目標,A、C分別為對應于編碼帶外邊界和內邊界的橢圓,橢圓B位于A和C中間.文獻將橢圓B映射為一個單位圓,使得單位圓上各像素的灰度與B上的像素灰度一一對應,然后在此單位圓上尋找一個起始點,每隔24°對各二進制位進行解碼,從而獲得編碼元的ID.這種方法僅用單像素寬橢圓B上的灰度變化來確定編碼元的編碼,而沒有考慮整個“編碼帶”的影響,受噪聲等因素影響較大.如圖6(a)所示為一個現場測量環(huán)境造成的表面帶有污點的編碼元圖像,為便于觀察,將該編碼元“編碼帶”上的像素變換到圖6(b)所示矩形上顯示,橢圓B上像素對應圖6(b)矩形在BB線上的像素.圖6(c)中虛線表示了橢圓B上各二進制位的灰度值變化.由于污點的影響,第4位上大部分像素灰度更趨向于背景灰度,從而導致編碼錯誤.本文在文獻方法的基礎上提出了一種改進的編碼識別方法.如圖5所示,直線OTB是橢圓B上的一個像素點TB與橢圓中心O確定的一條直線,OTB與橢圓A、C的交點分別為TA、TC,將線段TATC上所有像素按照灰度大小進行排序,取灰度值居中的像素灰度作為像素點TB的灰度,用式(8)表示,即ΙB=Ιm=median{fAC}(8)式(8)中,fAC表示線段AC上各像素的灰度值.這種方法相當于對點TB在一個線形窗口內進行一次中值濾波.采用中值濾波后橢圓B上新的灰度值來確定編碼元每一位的二進制碼,考慮了編碼帶內所有像素的灰度值,能夠消除孤立噪聲的影響.圖6(c)實線所示為橢圓B上新的灰度值.可見,第4位的像素灰度正確,取中值的方法消除了噪聲的影響.對大量的現場拍攝圖像的處理結果表明,這一方法對提高編碼元身份識別的魯棒性十分有效.本文編碼元識別算法的具體實現步驟如下:(1)采用2.1節(jié)的方法,根據擬合出的橢圓D(如圖5所示)計算橢圓B、C的參數(包括橢圓中心坐標、長短軸及旋轉角),并進一步獲得橢圓B、C上各像素點的位置坐標.(2)以D所包圍的區(qū)域內所有像素灰度的中值作為前景灰度,C和D之間區(qū)域內所有像素灰度的中值作為背景灰度.前景灰度與背景灰度的均值作為閾值,用于后續(xù)確定編碼元各二進制位的碼值.(3)采用以上討論的中值濾波方法得到橢圓B上各像素點的新灰度值.(4)如圖7所示,對坐標系xy中橢圓B上各點按照式(9)做逆仿射變換,使橢圓B對應坐標系x′y′中的單位圓.X″=[a-1b-1][cosαsinα-sinαcosα](X-Xo)(9)式中,X″是與TB對應的單位圓上點的坐標,X是點TB的坐標,Xo是橢圓B的中心O的坐標,a、b分別是橢圓B的長軸和短軸的長度,α是橢圓B的旋轉角.(5)對單位圓上像素作二值化處理,取其中的一個邊緣點作為起始點.(6)從起始點開始,按照順時針順序在該單位圓上每隔24°作為一個二進制位,計算各位內所有像素點的平均灰度值.若某位的灰度平均值大于閾值,則該位取二進制碼為“1”;否則取“0”.從而可以得到編碼元的一個二進制編碼.選取的起始點不同,編碼元所對應的二進制碼也不一樣,即每個編碼元可能對應15種不同的二進制碼,每個二進制碼對應一個十進制數,取其中最小的十進制數為編碼元的ID,本文將所有編碼元的編號保存于查找表中.在查找表中查找該ID號,若存在說明該目標為編碼元,否則為非編碼元.2.3標記點的定位文獻中對幾種亞像素定位方法進行了比較,其中質心法是一種易于實現且精度較高的方法,本文采用這種方法按照式(10)來進行標記點的定位.式中,(xc,yc)為標記點中心坐標,Ii,j為區(qū)域內像素點(i,j)的灰度值.{xc=∑j∑ii?Ιi,j/∑j∑iΙi,jyc=∑j∑ij?Ιi,j/∑j∑iΙi,j(10)3實驗數據及分析本文提出的算法已采用VC++實現.本節(jié)設計兩個實驗分別驗證標記點提取算法和編碼元識別算法.以下實驗數據均為在主頻2.6GHz、內存512MB的PentiumIV微機上的實驗結果.文中實際圖像從Nikon數碼相機(分辨率4256×2848)獲得.3.1標記點識別的準確性分析本節(jié)通過仿真圖像和實際圖像來驗證標記點提取算法.以下識別率Prec指的是識別出的正確的標記點目標個數與圖像中總的標記點目標個數之比,識別錯誤率Prec-error指誤識別出的非標記點目標個數與識別出的非標記點目標總和之比.首先構造兩個系列的仿真圖像分別考察投影角度和噪聲對算法的影響.仿真圖像的大小均為480×320.第一系列分為8組,每組包括30幅圖像(共240幅).該系列的圖像用來考察投影角度的影響,各組分別為標記點的投影角度θ取0°～70°(間隔10°)之間各值的圖像.圖8表示了投影角度改變時識別率的變化趨勢,可見,本文算法能保持較高的識別率.從圖9(a)中的曲線可以看出隨著噪聲百分比Pnoise的增大,本文算法的識別率有所降低,但在噪聲百分比為5%時,識別率仍在90%左右.從圖9(b)中可以看出,本文算法受噪聲的影響小,錯誤率很低,這是因為本文不僅考慮了標記點的幾何特征,還考慮了標記點的灰度變化和位置分布特征,保證了識別的準確性.在目前已有的參考文獻中,文獻考慮了利用前景與背景之間的對比度來提取標記點目標,而未提出具體的應用方法,且沒有考慮標記點目標前景與背景灰度的均勻性;其余的參考文獻均未采用灰度準則和位置準則.本文還給出兩個不同類型的實際場景來驗證標記點提取算法.場景1在放置于水磨石地面的工程中常見金屬材質零件表面分布標記點,場景2在放置于水磨石地面的顯示器表面分布標記點.顯示器頂部大量的散熱孔及水磨石地面可能對標記點提取算法產生干擾,設計這兩個場景在一定程度上可以考察本文標記點提取算法的準確性.本節(jié)對每個場景取不同角度的50幅圖像(共100幅)進行識別.圖10(a)為場景1在零件表面曲率較大的局部檢測結果,圖10(b)為場景2在顯示器的一角受頂部散熱孔和水磨石地面影響時的檢測結果.表1對仿真圖像和實際圖像的識別率Prec、識別錯誤率Prec-error及運行時間進行統計.可以看出,應用該算法對圖像進行標記點提取,能夠達到很高的識別率,且產生錯誤的概率低.在不添加位置準則和灰度準則的情況下,則會產生許多不正確的識別結果.圖11(a)為圖10(a)不采用位置準則時提取的結果,編碼元“編碼帶”上的小塊(如Ⅰ、Ⅱ、Ⅲ處)被錯誤提取.如圖11(b)為圖10(b)在不采用灰度規(guī)則時的提取結果,水磨石地面的一些斑點如Ⅳ、Ⅴ和Ⅵ處被誤認為標記點.表1的結果顯示應用本文算法在仿真圖像中檢測標記點的速率很快.對實際高分辨率圖像進行識別時,運行時間約為3s.表1的結果還表明本文算法能夠正確對編碼元和非編碼元進行分類,分類的錯誤概率很小.3.2編碼元識別算法在