基于投影的曲線模型在汽車檢測中的應(yīng)用

基于投影的曲線模型在汽車檢測中的應(yīng)用

1基于模型的方法車輛檢測算法是車輛輔助駕駛系統(tǒng)的主要算法之一。車輛檢測是自主導(dǎo)航、碰撞避免等應(yīng)用不可缺少的環(huán)節(jié)。由于車輛不僅自身的形狀、尺寸、顏色各不相同,而且外觀隨著姿態(tài)而變化,戶外環(huán)境引起光照條件的變化,復(fù)雜的背景并隨著攝像機的運動不斷變化,路面車輛檢測一直是計算機視覺領(lǐng)域一項極富挑戰(zhàn)性的任務(wù)。目前車輛檢測的方法主要有以下幾類:(1)基于特征的方法;(2)基于運動分析的方法;(3)基于模型的方法。在基于特征的方法中,利用前方車輛圖像中的一些顯著特征來將車輛從背景中分割出來,常用的特征有陰影、對稱性、邊緣等。運動分析的方法通過分析圖像序列中的相鄰幀計算光流場,利用被檢車輛運動造成的光流場與攝像機運動造成的背景光流的不一致確定被檢車輛的位置?；谀Ｐ偷姆椒ń④囕v的3維或2維模型,與待檢測圖像進行匹配從而達(dá)到車輛檢測的目的。Charkari等人利用柏油馬路上車輛底部的陰影作為車輛的特征進行車輛檢測。Hoffman等人利用陰影和對稱性作為車輛的特征進行檢測。李斌等人利用了陰影,邊緣特征和對稱特性來確認(rèn)識別目標(biāo)車輛,以提高識別的準(zhǔn)確性。多種特征的融合是基于特征方法的發(fā)展方向。由于前方距離較遠(yuǎn)的車輛的相對運動較小,無法將車輛運動造成的光流變化和攝像機運動造成的背景光流區(qū)分開來,因此基于運動分析的方法通常用來檢測從旁邊超過的車輛。Bensrhair等人在ARGO實驗車中利用2維矩形作為車輛模型,通過搜索矩形的4個角的方法進行模型匹配,并利用透視和尺寸作為約束條件。Collado等人建立了較為精細(xì)的車輛2維幾何模型,利用構(gòu)造能量函數(shù)的方法進行匹配操作,能量函數(shù)中包括了對稱性、形狀和陰影的信息,并利用遺傳算法進行搜索匹配。在文獻中,采用了兩種車輛模型,近距離車輛的矩形模型和遠(yuǎn)距離車輛的U形模型,利用PETS2001提供的圖像序列進行了初步的實驗。在德國慕尼黑大學(xué)的VaMoRs實驗車中,采用了3維模型匹配的車輛檢測方法。本文提出了一種新的曲線模型匹配和相似性度量方法,并在此基礎(chǔ)上進行車輛模型的匹配。2線投影的模型匹配方法圖像與模型的匹配是基于模型的檢測方法的關(guān)鍵。常用的匹配方法是基于Hausdorff距離的匹配。Hausdorff距離定義了模型點集到圖像點集的距離度量方法。計算Hausdorff距離需要計算正向Hausdorff距離和反向Hausdorff距離,取其大者為最終距離。不管是正向距離還是反向距離都要進行匹配點的搜索,計算量非常大,難以用在實時系統(tǒng)中。另外Hausdorff距離依賴于兩個點集中最不匹配點的距離,這使得它對噪聲點非常敏感。這里提出一種基于曲線投影的模型匹配方法,利用曲線的完整度、相對于模型的偏移量期望值和方差的加權(quán)和作為實際曲線與模型的相似度量。這里所說的曲線不是數(shù)學(xué)意義上的曲線,而是具有一定寬度,允許有偏斜、不完整的物理意義上的曲線。如圖1所示,給定曲線模型M,長度為LM,寬度為e,模型寬度實際上是匹配點相對于模型點的允許偏移范圍。定義實際曲線和模型的相似度為S=w1I+w2(1?|O|)+w3(1?V)(1)S=w1Ι+w2(1-|Ο|)+w3(1-V)(1)式中,I為曲線的完整度,O為歸一化的偏移量期望,V為歸一化的偏移量方差。w1,w2,w3為權(quán)值;完整度、歸一化的偏移量期望值和方差由下式給出:I=LP/LM(2)O=1eLP∫P±2hds(3)V=1e2LP∫P(2h?eO)2ds(4)Ι=LΡ/LΜ(2)Ο=1eLΡ∫Ρ±2hds(3)V=1e2LΡ∫Ρ(2h-eΟ)2ds(4)式中,P是曲線在模型上的投影,LP為曲線到模型的投影長度;h為曲線點到模型投影點的距離,h≤e2h≤e2,符號定義如下:模型兩邊的匹配點具有不同的符號,同一側(cè)的匹配點的距離符號相同,定義沿模型起點向終點方向行走,左手邊為負(fù),右手邊為正;完整度I是曲線在模型上的投影長度和模型長度的比值,反映了實際曲線相對于模型的完整程度;歸一化的偏移量期望值O反映曲線偏離模型的程度;歸一化的偏移量方差V是實際曲線點相對于模型的離散程度。對于給定的匹配點集,可以直接使用投影的方法進行匹配。若未給定匹配點,則采用在圖像中搜索匹配的方法,就是沿模型曲線的法線方向以模型點為中心進行搜索,取離模型點距離最近的點作為匹配點。3計算匹配點搜索根據(jù)曲線模型匹配和相似度量方法,給出模型與灰度圖像邊緣輪廓點進行匹配的算法如下:如圖2所示,給定邊緣檢測的亮度閾值tI,斜率閾值tS。步驟1搜索匹配點將模型等間距分為n個點,從模型的起始點到結(jié)束點,重復(fù)以下步驟:(1)取以模型點為中心沿法線方向向兩邊搜索亮度超過亮度閾值tI的點,搜索寬度為e/2;若找到多個點,則取離模型點最近的點。若沒有找到,則認(rèn)為沒有找到匹配點,轉(zhuǎn)結(jié)束。(2)以找到的亮度極大點為中心沿模型法線方向向兩邊搜索斜率大于斜率閾值tS的點,搜索范圍同樣為以模型點為中心兩邊寬度為e/2;若找到斜率大于斜率閾值tS的點,則認(rèn)為找到匹配點。否則認(rèn)為沒有找到匹配點。(3)結(jié)束。步驟2計算相似度設(shè)模型點數(shù)為n,找到的匹配點數(shù)為k,匹配點到對應(yīng)模型點的距離為h;將式(2)～(4)離散化得到:完整度I=knΙ=kn;歸一化的偏離量期望值O=1ek∑i=1k±2hiΟ=1ek∑i=1k±2hi;歸一化的方差V=1e2k∑i=1k(2hi?eO)2V=1e2k∑i=1k(2hi-eΟ)2;相似度S=w1I+w2(1?|O|)+w3(1?V)S=w1Ι+w2(1-|Ο|)+w3(1-V)。圖3給出了幾種人眼可感知的垂直線段,第1種是由一系列水平線段的端點組成的垂直線段;第2種是黑白方塊之間的垂直間隔線;第3種是不完整和不平直的垂線;第4種是兩段虛線的組合,我們可以把它看成是一條寬的垂線,也可以看成是兩條垂直虛線,也可以看成是很多小的垂線段。圖中數(shù)據(jù)是利用上面給出的模型匹配算法進行垂線段檢測的結(jié)果。這里的結(jié)果是在鼠標(biāo)點擊處進行匹配的結(jié)果,并不是搜索得到的最佳匹配。設(shè)定垂線模型線寬為5個像素,模型長度為50個像素。和經(jīng)典的Hough變換進行直線檢測的算法進行比較,對于第1種和第2種垂線,Hough變換根本無法檢測出正確的結(jié)果,第3種直線Hough變換檢測的結(jié)果是幾條垂線,第4種Hough變換可以檢測出2條直線。而利用本文中的模型匹配算法通過設(shè)置合適的模型寬度、長度等參數(shù),可以得到和人眼感知完全相同的結(jié)果。4車輛標(biāo)識4.1部分模型的線寬建立合適的車輛模型是基于模型匹配的車輛檢測的基礎(chǔ)。這里使用的車輛模型如圖4所示。圖中模型的陰影部分表示模型的線寬。模型1對于大多數(shù)車輛都適用,矩形代表車輛的外輪廓,矩形中的上面一條橫線表示車窗的位置,下面的橫線代表車輛尾部的保險杠。模型2適用于卡車和大客車;模型3是油罐車的模型。模型的線寬設(shè)定為5個像素,矩形的上下邊以及車窗的位置和保險杠的模型線寬設(shè)的略大,以適應(yīng)不同的車型變化。4.2常見分布匹配算法為了縮小搜索匹配的范圍,首先要確定感興趣區(qū)域ROI(RegionofInterest)。這里利用車輛的陰影來確定感興趣區(qū)域ROI。車輛底部陰影的模式如圖5所示。先將圖像進行閾值化并灰度反轉(zhuǎn)之后得到陰影區(qū)為1的二值圖像。搜索匹配的方法如下:(1)從下至上同時搜索3行,若某一列3行中的點不全為0,則作為可能的陰影起始列;然后從此列開始向右,同時搜索,直到找到3行全為0的列;若搜索到的列數(shù)總和小于設(shè)定的陰影最小寬度,則認(rèn)為此處不是陰影,繼續(xù)搜索下一個3行不都為0的列。(2)搜索左右非陰影區(qū)和底部非陰影區(qū),要求非陰影區(qū)所有點都為0。陰影區(qū)和外圍非陰影區(qū)匹配成功后則認(rèn)為找到車輛陰影。由于實際陰影并不像所給出的模式那樣完整,對于陰影區(qū),將每一列的像素進行或操作,只要所有列的結(jié)果都為1則認(rèn)為陰影區(qū)匹配成功。陰影區(qū)的高度設(shè)為3個像素,底部非陰影區(qū)高度為20個像素,左右兩側(cè)非陰影區(qū)寬度為2個像素。檢測到陰影之后,取陰影上方寬度略大于陰影寬度的正方形區(qū)域作為ROI。4.3最佳匹配結(jié)果確定車輛檢測的算法流程如圖6所示。模型匹配是在利用Sobel算子得到的梯度邊緣圖像中進行的。搜索到ROI之后,在ROI區(qū)域內(nèi)采用模型由大到小進行搜索匹配的方法。首先確定模型的初始大小,將陰影的寬度加上一增量作為模型的初始寬度,按比例逐步縮小模型進行搜索匹配,若模型匹配的相似度超過預(yù)先設(shè)定的閾值,則認(rèn)為檢測到車輛。將3種模型依次進行匹配,取相似度最大的作為最佳匹配。圖7中可以看到3種模型的實際匹配結(jié)果。車輛邊緣的白點是模型實際搜索到的匹配點。對于矩形的模型由于模型的線寬允許有一定的適應(yīng)范圍,所以對于有一定弧度的曲線也可以進行匹配,這和車輛的實際輪廓是相符的。完整度可以很好地反映由于光照變化、部分遮擋等原因造成的車輛邊緣缺失,模型線寬可以適應(yīng)不同車型外型長寬比例的變化以及車窗等結(jié)構(gòu)位置的變化,這使得本文算法有較強的適應(yīng)能力。采用多個模型不僅能夠提高算法的適應(yīng)性,而且根據(jù)匹配結(jié)果可以大致判斷檢測到的車型。確定最佳匹配模型后,開始對檢測到的車輛進行模型匹配跟蹤。模型匹配跟蹤的方法就是根據(jù)上一幀檢測的車輛位置在以當(dāng)前幀對應(yīng)位置為中心的一定搜索范圍內(nèi)進行模型匹配,取匹配相似度最大的位置作為當(dāng)前幀車輛的位置。為了適應(yīng)車輛圖像大小的變化,進行模型匹配時對模型進行按比例縮放,寬度變化范圍在±2個像素之間,同樣是取相似度最大的作為新的模型。跟蹤的同時記錄跟蹤區(qū)域,再次檢測時已經(jīng)跟蹤的區(qū)域就不再進行檢測。5模型匹配算法測試下面給出利用模型匹配算法進行車輛檢測和跟蹤的實驗結(jié)果。視頻序列是利用安裝在車輛前方的攝像頭在路面行駛過程中采集的實際數(shù)據(jù),幀圖像大小為320×240像素。實驗系統(tǒng)在WinXP系統(tǒng)下利用VC++2003編寫完成。在PentiumⅣ2.8GHzPC系統(tǒng),代碼未進行優(yōu)化的情況下,處理速度平均為每秒15幀。其中閾值化、灰度反轉(zhuǎn)、搜索陰影區(qū)3項共耗時11ms,Sobel邊緣檢測23ms左右。因為目標(biāo)大小不一,檢測一個目標(biāo)需10～30ms左右,跟蹤一個目標(biāo)大約10～20ms。圖8是利用本文算法進行各種車輛檢測和跟蹤的結(jié)果,可以看到模型匹配算法可以適應(yīng)各種車型、顏色,對多個目標(biāo)進行檢測和跟蹤。并且能夠適應(yīng)由于相對距離變化引起的車輛圖像大小的變化,可檢測的最小車輛寬度為15個像素寬,可跟蹤的最小車輛寬度為10個像素寬。圖9是跟蹤過程中的幾段圖像序列。圖9(a)的第3幀圖像可以看到由于車輛顛簸造成攝像機的劇烈抖動引起的圖像模糊,該算法也能很好地適應(yīng)沒有引起跟蹤的失敗。從圖9(b)中可以看到由于車輛姿態(tài)的變化造成固定模型匹配相似度的降低,當(dāng)匹配的完整度低于0.7時系統(tǒng)自動用虛線表示匹配結(jié)果,當(dāng)車輛重新回到前方正常位置時模型又能夠很好的匹配,并沒有引起跟蹤的丟失。圖9(c)顯示了光照變化對跟蹤的影響。由于光照的降低使得目標(biāo)邊緣變的模糊,致使模型的匹配度降低,從第3幅圖可以看到,模型移動到目標(biāo)上部較清晰匹配度相對較大的地方;當(dāng)光照條件恢復(fù)時跟蹤又回到正常狀態(tài)。圖9(d)是由于光照條件的劇烈變化引起的跟蹤丟失的情況。前面的小轎車由于進入隧道,其邊緣模糊造成模型無法搜索到匹配點,造成跟蹤丟失。對于這種情況可以采取當(dāng)匹配相似度低于某一設(shè)定的閾值時就結(jié)束跟蹤,當(dāng)目標(biāo)車輛重新出現(xiàn)時再次進行檢測并跟蹤。6自適應(yīng)模型算法提出了一種新的基于曲線投影的模型匹配方法,在此基礎(chǔ)上利用構(gòu)造的車輛模型進行模型匹配的車輛檢測和跟蹤。實驗結(jié)果表明該基于模型匹配的車輛檢測和跟蹤算法具有良好的適應(yīng)能力,對不同車型、大小、顏色的車輛都能夠進行很好的檢測和跟蹤,并能夠在車輛顛簸造成攝像機抖動的情況下保持目標(biāo)的穩(wěn)定跟蹤。模型與圖像的匹配是基于模型方法的關(guān)鍵。在Bensrhair等人的方法中,由于使用的是矩形作為車輛模型通過搜索矩形的4個角的方法進行模型匹配,只是得到粗略的結(jié)果,而依靠立體視覺對結(jié)果進行修正。在Collado等人的方法中,由于沒有模型線寬的概念,模型匹