基于顏色分割和形狀分析的交通標(biāo)志檢測方法

基于顏色分割和形狀分析的交通標(biāo)志檢測方法

交通標(biāo)志是城市交通的重要組成部分，在規(guī)范交通、警告駕駛員和提供有用信息方面發(fā)揮著作用。日本從20世紀(jì)80年代開始研究基于顏色和形狀的交通標(biāo)志。目前，大多數(shù)具有代表性的研究集中在美國、日本和歐洲，中國也有相關(guān)研究。交通標(biāo)志檢測主要基于顏色和形狀的方法，現(xiàn)在主要通過顏色和形狀的結(jié)合進(jìn)行研究。交通標(biāo)志的自動檢測是識別系統(tǒng)的首要環(huán)節(jié),為解決這一問題,我們使用改進(jìn)后的簡單向量濾波進(jìn)行顏色分割,對不同顏色進(jìn)行相應(yīng)形狀檢測,同時達(dá)到檢驗與分類的目的.對矩形與三角形標(biāo)志采用拐角檢測與幾何特征分析同步進(jìn)行的方式,對圓形檢測提出一種基于對稱性的編碼搜索.文中的實驗主要針對3類最常見的交通標(biāo)志:禁令標(biāo)志(紅色圓形)、警告標(biāo)志(黃色三角形)與指示標(biāo)志(藍(lán)色圓形)展開,實際上,算法可以推廣到具有相同形狀特征的其它交通標(biāo)志,如紅色三角形標(biāo)志、藍(lán)色的圓形標(biāo)志等.1彩色空間h分量分割顏色無疑是交通標(biāo)志最顯著的特征之一.基于顏色的分割能通過少量運算去除大片非感興趣區(qū)域,對交通標(biāo)志檢測系統(tǒng)的實時性非常有益.Asakura等提出一種能高速提取指定顏色,去除物體輪廓的簡單向量濾波器(SimpleVectorFilter,SVF).多數(shù)的色彩分割是基于彩色(chromaticcolor)進(jìn)行的,SVF則使用單色(achromaticcolor).SVF基于HSI三色系統(tǒng),當(dāng)向量方向相同時,顏色元素相同,單色具有相同的向量方向.單色的計算如下:result=|red?green|+|green?blue|+|blue?red|3D(1)result=|red-green|+|green-blue|+|blue-red|3D(1)當(dāng)result≥=1為彩色,當(dāng)result<1為單色.Red、Green、Blue分別為亮度分量,D是單色提取系數(shù),這里取20.Asakura等將該算子應(yīng)用于紅色標(biāo)志的提取,我們在實驗中發(fā)現(xiàn),該算子對藍(lán)色和黃色像素也有較好的分割效果,可將其推廣到具有這兩種顏色特征的標(biāo)志檢測.我們將SVF與目前常用的HSV彩色空間H分量分割進(jìn)行了比較,范例如圖1所示.大量實驗表明,SVF通過簡單的運算能較完好地保留有效色彩(紅色、藍(lán)色、黃色),并排除大部分干擾區(qū)域.但由于沒有對特定的彩色分量進(jìn)行約束,SVF對一些符合式(1)的非交通標(biāo)志色彩不具有排除作用.通過對實驗樣本的分析,我們發(fā)現(xiàn)SVF算子錯誤保留的多數(shù)像素屬于亮綠色,因此,我們在系統(tǒng)中加上綠色分量的排除.排除條件設(shè)置為:Green?RedRed≥1?GreenBlue≥1?Green?Blue<40.Green-RedRed≥1?GreenBlue≥1?Green-Blue<40.實驗結(jié)果表明,改進(jìn)后的SVF能夠有效地排除錯誤保留的綠色區(qū)域.另外,為降低后期工作的計算量,顏色分割中產(chǎn)生的噪聲點可用均值濾波或中值濾波去除.2形狀檢測2.1搜索函數(shù)的構(gòu)造拐角是物體的重要特征之一,Rangarajan等提出一種拐角檢測優(yōu)化算法,該算法對不同的拐角構(gòu)造不同的掩模(mask),通過掩模與圖像的卷積運算檢測拐角.其數(shù)學(xué)模型表述如下:將拐點視為原點,則X軸定為拐角的底邊,此時圖像灰度為I(x,y)={A?x>0,mx<y<mx0?其它?(2)Ι(x,y)={A?x>0,mx<y<mx0?其它?(2)其中m是拐角上邊緣的斜率.在非理想狀態(tài)下,圖像灰度實際上是F(x,y)=I(x,y)+n(x,y)(3)其中n(x,y)代表白噪聲,則構(gòu)造的搜索函數(shù)g(x,y)應(yīng)該滿足:1)卷積O(x,y)=F(x,y)*g(x,y)應(yīng)該拐角處達(dá)到最大值;2)g(x,y)具有一定抗噪能力;3)O(x,y)應(yīng)在拐點處取得最大.用數(shù)學(xué)的方式描述這些標(biāo)準(zhǔn),則有g(shù)(x,y)=c1sinmπxW[?(ezW+e?zW)+eyW+e?yW](4)g(x,y)=c2sinn1πxWsinn2πyW(5)g(x,y)=c1sinmπxW[-(ezW+e-zW)+eyW+e-yW](4)g(x,y)=c2sinn1πxWsinn2πyW(5)其中W是掩模的大小,c1、c2、m、n1、n2、z是常量.式(4)代表圖像中的目標(biāo)部分,式(5)代表背景部分,c1、c2表示掩模中所有值的乘積,由于0<y<W,式子的后半部分總是負(fù)的,為了使代表物體部分的式(4)得到正值,m必須取-1.為了使代表背景部分的式(5)取得負(fù)值,取n1=1,n2=-1,對z的賦值并沒有確定的結(jié)論,這一理論的提出者通過實驗認(rèn)為0.2是比較合適的取值.該算法很適合交通標(biāo)志檢測,因為交通標(biāo)志的拐角特征是相對穩(wěn)定且簡單的.DelaEscalera在文獻(xiàn)中對矩形和正三角形的3個角構(gòu)造了3類共7種特征角的9×9掩模,實驗表明這些掩模能比較準(zhǔn)確地定位相應(yīng)拐角,并對噪聲和輕度形變有一定魯棒性.本文沿用了其中兩個掩模,分別對應(yīng)矩形拐角和正三角形的頂角(圖2).圖中用黑線描出的部分代表拐角的形狀,圖2a是矩形左下角的掩模,實際上矩形左上、右上、右下角的掩模都可以根據(jù)對稱性得到.2.2繪制有效的掃描算法DelaEscalera等提出一種基于拐角提取的矩形標(biāo)志檢測算法.首先使用對應(yīng)矩形4角的4個掩模對分割結(jié)果圖分別進(jìn)行卷積運算,其次在圖中搜索構(gòu)成同一矩形的4種拐角,以確定矩形是否存在.該文對三角形檢測也采用類似策略.這種算法的缺點是當(dāng)圖像較復(fù)雜時,具有相應(yīng)特征的拐角數(shù)量眾多,計算量增長很快,且容易帶來誤檢.本文對該算法進(jìn)行了改進(jìn),提出一種拐角檢測與幾何特征分析同步的方法,對一種圖形只提取一類特征拐角,由于本文采用自上向下、從左到右的掃描方法,假定矩形標(biāo)志沒有大幅度旋轉(zhuǎn),首先掃描到的應(yīng)該是位于左上角的頂點,因此采用左上角掩模,對全圖進(jìn)行如下操作,具體算法如下:1)使用左上角掩模對未處理的藍(lán)色像素點進(jìn)行卷積,當(dāng)卷積值大于預(yù)先給定的閾值,則認(rèn)為該點為所求拐點.2)從拐角處沿水平方向掃描,直到無法找到藍(lán)色像素點,記錄此時的偏移值,若超過最小長度,則記錄為長,否則返回步驟1).3)同理從拐角處沿豎直方向掃描,直到無法找到藍(lán)色像素,記錄此時的偏移,若超過最小寬度,記為寬,否則返回步驟1).4)驗證(i)長與寬的比例不超過0.8～1.5;(ii)該區(qū)域內(nèi)不應(yīng)有藍(lán)色和白色以外的色彩.5)若條件滿足,則認(rèn)為該處為矩形交通標(biāo)志,將區(qū)域內(nèi)的點全部標(biāo)記為已處理,返回1),直到圖像掃描結(jié)束.幾個值得注意的問題:首先,由于交通標(biāo)志內(nèi)部圖形的存在,掃描過程中可能有小段藍(lán)色像素的中斷,針對這種情況,可以定義只有當(dāng)連續(xù)多行/列(本文取20行)無法搜索到藍(lán)色像素時,才認(rèn)為掃描結(jié)束.其次,為了使算法對小角度的偏移及分割造成的特征缺失有一定魯棒性,本文采用多行/列同時掃描的方法,只要其中有一行/列搜索到藍(lán)色像素,掃描就繼續(xù)進(jìn)行.第三,一旦某候選區(qū)域被確定為交通標(biāo)志,區(qū)域內(nèi)的所有點都被標(biāo)記為已處理,避免了大量重復(fù)運算.步驟2)和3)中提到的最小長度和最小寬度是我們對檢測目標(biāo)規(guī)模的一個限制,在450×337的實驗圖中取10×10到50×50像素,隨著實驗圖像尺度的變化,這個范圍應(yīng)相應(yīng)變化.實驗結(jié)果見第三部分.2.3正三角形的確定三角形標(biāo)志檢測與矩形標(biāo)志檢測的思路類似,對黃色像素使用圖2b所示的正三角形頂角掩模,對求得的拐點向下掃描直到滿足停止條件(連續(xù)20行搜索不到黃色像素),此時求得的量理想狀況下就是正三角形的高,對正三角形來說,一旦頂點和高確定,三角形構(gòu)成的區(qū)域也就確定了.后期的驗證仍然以顏色分量的比例為主.另外,考慮到圖像中的三角形標(biāo)志由于偏轉(zhuǎn)可能產(chǎn)生形變,我們將統(tǒng)計范圍擴(kuò)大到頂角為68°左右的區(qū)域.實驗結(jié)果見第三部分.2.4圓形搜索的檢測算法圓形標(biāo)志表現(xiàn)為邊緣或整體為紅色的圓形.目前許多研究都針對這類標(biāo)志進(jìn)行.文獻(xiàn)提出可以用矩形模版(圖2a)近似檢測圓形位于45°、135°、225°及315°處的拐點,但實驗表明,當(dāng)圓形標(biāo)志處于中、遠(yuǎn)距離時,這一掩模無法準(zhǔn)確定位所求點,并會帶來大量誤檢.因此,我們提出一種基于鄰域特征和對稱特征的簡單編碼進(jìn)行圓形標(biāo)志檢測.根據(jù)文獻(xiàn)的定義,分割后的橢圓邊緣點可以按其鄰接點的狀況進(jìn)行編碼,如圖3所示.對點P定義如下規(guī)則:若點L與U均為背景點,則P屬于LU類;若點R與U均為背景點,則P屬于RU類;若點L與D均為背景點,則P屬于LD類;若點R與D均為背景點,則P屬于RD類.我們根據(jù)對稱性將圓形編碼進(jìn)一步簡化為兩類特征點,將中心對稱的兩類合并,即LU與RD為一類,記為A類點;RU與LD一類,記為B類點,這樣,圓形標(biāo)志實際上轉(zhuǎn)化為一個由相互對稱的A類點和B類點構(gòu)成的區(qū)域,圖4是實驗中編碼實例的放大圖,A類點用黑色標(biāo)注,B類點用灰色標(biāo)注,編碼較好的保留了圓形特征.這樣,圓形搜索問題就轉(zhuǎn)化為空間中同類對稱點的搜索問題,但還有不少問題需要解決.首先,圖像中可能出現(xiàn)具有類似鄰域特征的散點或小邊緣.這些散點不但會帶來計算量的增加,還可能造成誤檢.因此必須尋找一種有效的散點去除法.如圖4b所示,從A類特征點中任取點O,若O處于關(guān)鍵特征點(圓心角135°或315°方位)附近,那么以O(shè)為原點做坐標(biāo)系,則O處于一、三象限的3×3鄰域應(yīng)該有同類特征點存在.在前期分割效果非常差的情況下,這一結(jié)論可能不滿足,但多數(shù)情況下可以有效判斷A類點是否處于圓周關(guān)鍵特征點附近,B類點的操作類似.利用該法能夠有效去除散點和小邊緣.其次,不少圓形交通標(biāo)志呈現(xiàn)圖4a右圖所示結(jié)構(gòu),A類特征不僅出現(xiàn)在圓兩端,也出現(xiàn)在圓中部.在掃描過程中,若沿對角線方向搜索到同類點,應(yīng)檢查以起始點相對當(dāng)前點對稱的方位是否有同類點出現(xiàn),有則認(rèn)為當(dāng)前點處于圓中,否則處于圓周.第三交通標(biāo)志的紅色邊緣多呈環(huán)狀,編碼后在圓的同側(cè)會出現(xiàn)兩條同類弧線(如圖4b所示),必須保證沿起始點向?qū)蔷€方向掃描獲得的同類點是處于對稱位置或圓中,而不是同側(cè)圓環(huán).我們將掃描實際開始位置定在起始點沿對角線方向向右向下8個像素點處,這樣可以克服環(huán)形特征帶來的影響,同時保證最小允許尺度(10×10像素)以上的小目標(biāo)能夠正常掃描.最后,理想的搜索應(yīng)該開始于圓心角135°方位,即沿圖4b中l(wèi)1方向.但在自上向下、從左往右的掃描中,首先搜索成功的方位往往比l1略高,大致在l2方位,因此求得的圓心偏高、半徑偏小.這一誤差是可以估算的,精確估算可以根據(jù)取得的掃描線長度按一定比例增加,粗略估算取3～5像素即可達(dá)到糾正效果.圓形檢測算法如下:1)依照上文定義的規(guī)則從顏色分割的結(jié)果中提取特征點.2)進(jìn)行無效特征點排除.3)自上向下,從左往右掃描全圖:i)若點P為未處理A類特征點,則沿P對角線方向向右向下搜索直到超過給定閾值.若存在點Q為A類特征點:a)判斷其處于圓中或圓周,確定圓心位置和半徑大小.b)根據(jù)圓心及半徑大小在圓周角為45°和225°方位搜索B類特征點,若其中一個方位搜索到一定量特征點,則標(biāo)記搜索到的區(qū)域為圓.區(qū)域內(nèi)所有點標(biāo)記為已處理.ii)否則標(biāo)記P為已處理,返回1).將驗證標(biāo)準(zhǔn)定為在45°或135°方向找到第2類特征點,主要是基于增加算法對遮擋的魯棒性這一考慮,該算法無法檢測A類特征受大面積遮擋的情況,如果對B類特征進(jìn)行同樣操作可以在一定程度上提高算法對遮擋的魯棒性,但必須以增加額外計算量為代價.實驗結(jié)果見第三部分.3實驗結(jié)果分析我們將本文算法與DelaEscalera,A算法進(jìn)行比較.結(jié)果顯示,在交通標(biāo)志拐角特征保留完整、干擾拐角較少的情況下,兩種方法效果相當(dāng).在干擾拐角較多(圖5a1)及拐角特征缺失(圖5b1)的情況下,本文方法更好.兩種算法的時效性基本一樣.另外,我們對不同場景、天氣情況做了大量實驗,獲得較為滿意的效果,實驗結(jié)果如圖6所示.算法在標(biāo)志尺度較小(圖6a、b)和標(biāo)志尺度較大(圖5a1、b1)的情況下均能較準(zhǔn)確地定位交通標(biāo)志,具有放縮穩(wěn)定性;矩形、三角形檢測算法對旋轉(zhuǎn)較敏感,圓形檢測算法在旋轉(zhuǎn)尺度較小(圖6d)的情況下能實現(xiàn)準(zhǔn)確定位.實驗結(jié)果表明,該算法能適應(yīng)復(fù)雜場景,對天氣變化也有較好魯棒性,能較為準(zhǔn)確地定位交通標(biāo)志,為識別工作打下良好基礎(chǔ).另外,該算法可以推廣到比較少見的紅色三角標(biāo)志和藍(lán)色圓形標(biāo)志.與已有的一些形狀檢測方法相比,本文采用拐角檢測與幾何特征結(jié)合的方法,有效地抑制了干擾拐角帶來的影響,但對旋轉(zhuǎn)帶來的形變較敏感.此外,測試中也發(fā)現(xiàn)一些漏檢、誤檢的情況,主要原因有:(1)由于光照影響在初步分割階段丟失特征.(2)檢驗約束條件導(dǎo)致的漏檢,一些標(biāo)志盡管拐角能夠被正確定位,但由于標(biāo)志圖案對分割效果的影響導(dǎo)致檢