基于視頻的夜間環(huán)境車輛檢測與跟蹤

1、基于視頻的夜間環(huán)境車輛檢測與跟蹤 徐文聰1，劉海2（山東大學威海分校，機電與信息工程學院，山東省 威海市 264209）摘要：針對夜間交通環(huán)境的特點，提出一種基于車燈的夜間交通流視頻檢測算法。首先，提出一種自適應閾值分割算法提取候選車燈連通域。接著，利用空間距離信息配對和分組屬于同一輛車的連通域，根據(jù)規(guī)則集定位車燈，建立車輛假設。然后，通過線性搜索，結合最近鄰準則和形狀屬性匹配在幀間關聯(lián)車輛假設。對于部分和全部遮擋情況，結合Kalman濾波器處理。根據(jù)關聯(lián)信息的連續(xù)性，確認車輛存在并保存跟蹤軌跡。實驗表明，該算法復雜度低，能夠在夜晚多種交通環(huán)境下實時檢測和跟蹤車輛，誤檢和漏檢率低，并且對遮擋情

2、況具有一定的魯棒性。關鍵字： 夜間車輛檢測，自適應閾值分割，卡爾曼濾波，車輛跟蹤Video-based Vehicle Detection and Tracking at NighttimeXU Wen-cong1，LIU Hai2(School of Mechanical，Electrical & Information Engineering，Shandong University At Weihai，Weihai 264209，China)Abstract: For traffic data extraction at nighttime, a headlights-based

3、vehicle detection algorithm is proposed. Firstly, headlights candidates are extracted by an adaptive segmentation algorithm. Secondly, the headlights candidates are paired and grouped by spatial information. Then real headlights are located by rule-based reasoning to generate vehicle hypotheses. Thi

4、rdly, these potential targets are tracked over frames by linear searching combined with nearest neighbor rules and shape matching. A Kalman Filter is integrated into tracking module to handle partial and total occlusions. The spatial continuity extracted from tracking process is used to confirm vehi

5、cles presence. The results of experiments demonstrate that the proposed algorithm is effective and robust for vehicle detection and tracking at nighttime in real-time.Key words: nighttime，adaptive threshold segmentation，Kalman Filter，vehicle detection，vehicle tracking基于視頻的交通數(shù)據(jù)采集技術由于其成本的低廉以及安裝，維護的便利已

6、經廣泛地引起研究者的關注。然而，大部分交通視頻檢測算法的研究都集中在白天，由于夜晚交通場景的很多特殊性，許多適用于白天的視頻檢測算法，如背景消減，幀間差分等，并不適應夜間環(huán)境。夜晚是交通事故的高發(fā)時段，穩(wěn)定和準確的夜間交通檢測算法研究具有很高的理論和應用價值。作者簡介：徐文聰1（1986-），男，安徽省馬鞍山人，在讀碩士，主要研究方向為數(shù)字圖像處理與視覺測量；劉海2（1964-），男，山東省榮成人，教授，主要研究方向為計算機測控技術。1 算法的概述夜間環(huán)境下，車燈是車輛最明顯和穩(wěn)定的特征。我們以車前燈作為車輛的特征，設計夜間交通檢測算法。先標定攝像機，對視頻圖像進行灰度變換，算法只處理灰度圖像

7、。為提取車燈，通過一種自適應閾值分割算法提取候選車燈連通域。將屬于同一輛車的候選車燈連通域配對，分組，建立初始車輛假設。然后，幀間關聯(lián)候選目標，結合空間和運動信息排除干擾和錯誤假設，完成車輛的檢測和跟蹤。算法框圖如圖1所示：攝像機標定提取候選車燈連通域配對和分組候選車燈連通域初始化車輛假設車輛假設的判斷車輛假設的幀間關聯(lián)車輛的檢測車輛的跟蹤提取交通數(shù)據(jù)圖1 算法框圖2 車輛檢測和跟蹤2.1. 安裝和標定攝像機為了便于攝像的機標定和距離信息的測量，保持攝像機鏡頭從正面俯視路面，道路方向與圖像縱軸基本平行。在圖像中人工設置感興趣區(qū)域ROI(Region of Interest)，如圖2中紅色直線所

8、示。算法只處理屬于紅色邊界以內的圖像部分。攝像機標定的目的是從圖像坐標系的坐標得到世界坐標系中的坐標。在交通視頻監(jiān)控中，準確的攝像機標定是交通數(shù)據(jù)采集的基礎，如車速，車長估計，排隊長度估計等。我們采用了Song1的線性小孔成像模型和攝像機標定算法。由于夜間環(huán)境照度低，沒有采用基于圖像變換的方法提取車道線位置，而是在圖像中人工標記車道線，如圖2藍色直線所示。圖2 在夜晚交通圖像上設置ROI和車道線求解出圖像坐標系坐標與世界坐標系坐標的轉換矩陣，如公式(1):其中，是圖像坐標系中的坐標，是世界坐標系中的坐標，忽略車輛在世界坐標系中的Z軸坐標值，恒等于0。標定算法并不是本文討論的重點，具體細節(jié)參考1

9、。2.2. 提取候選車燈連通域由于夜間的環(huán)境光源相對較弱，車燈中心在圖像中的像素值靠近255，然后沿徑向快速衰減。另外，車燈照射路面時產生的反光灰度值也很高。以車燈作為主要特征的車輛檢測方法，準確定位車燈是識別和跟蹤車輛的基礎。R. Taktak2等使用白頂帽變換提取明亮的車燈，但是出現(xiàn)亮色車輛時，如白色車輛，大面積車體，車燈反光和車燈一起被分割為前景像素，前后靠近的車輛很容易產生粘連。Kostia Robert3等提出在白頂帽變換得到的二值圖像上建立多個車燈位置假設，再建立決策樹排除錯誤的假設。由于白頂帽變換將大量非車燈像素分割為前景像素，初始化時存在很多不必要的錯誤假設，大大增加了后續(xù)計算

10、和判斷的復雜度。Rita Cucchiara4認為夜間環(huán)境下交通場景的灰度直方圖符合雙峰形狀，提出采用閾值分割法提取車燈。但是夜晚交通場景的灰度直方圖在很多情況下并不符合明顯的雙峰形狀。Otsu算法5是一種經典的自適應閾值分割算法，能夠自適應地計算閾值，分割圖像的前景和背景。在Matlab上對夜間交通截圖進行分割，由于大部分像素集中在低灰度值，直接利用Otsu算法求得的閾值偏低，大面積亮色車體和環(huán)境干擾被錯誤地分割為前景。根據(jù)這一特點，提出一種改進的Otsu自適應閾值分割算法，先對圖像進行閾值分割，排除圖像中灰度值偏低的像素。再在分割后的子圖像上求自適應閾值。改進的Otsu算法步驟(目標圖像大

11、小為):步驟 1統(tǒng)計閾值分割后圖像的直方圖: 其中，是圖像ROI部分的灰度直方圖的主峰值對應的灰度值，是常整數(shù)，使得位于主峰值右邊。步驟 2閾值遍歷到255，計算相應的類內均值和類間方差 將式(12)代入式(13),得到等價公式(14):步驟 3通過比較，求得使類間方差最大的閾值。改進的Otsu算法很好地提取了候選車燈像素，得到的二值連通域相對獨立和完整，排除了大量干擾。另外，由于舍去了大量低于閾值的像素，降低了計算復雜度，更利于滿足實時性要求。分割后的二值圖像如圖3所示。圖3 基于改進Otsu閾值分割的二值圖像對二值連通域用圓形結構元素進行形態(tài)學開閉運算，去掉車燈邊緣的尖刺，使連通域的形狀更

12、接近圓形。然后，利用一種快速連通域標記算法6標記連通域，并計算每一個標記后連通域的形狀屬性，包括外接矩形在軸的長度和軸上的長度，長寬比，面積(屬于該連通域的像素數(shù)目)，周長(連通域邊界的像素數(shù)目)，圓形度()等。對于面積小于一定閾值的連通域直接丟棄。同時，計算每個連通域對應于世界坐標系中的質心坐標。2.3. 配對和分組候選車燈連通域將屬于同一輛車的連通域配對和分組，然后定位大前燈（一般為車輛的遠光燈）作為后續(xù)跟蹤的對象。R.Taktak2和Rita Cucchiara4都認為車前燈在圖像上表現(xiàn)為規(guī)則的幾何形狀，通過搜索形狀對稱的連通域進行配對。然而，夜晚車燈對的形狀在圖像上并不完全對稱：首先，

13、近光燈，轉向燈與遠光燈在圖像上可能粘連，產生不規(guī)則的幾何形狀。其次，由于攝像機拍攝角度，車燈對中的某一個車燈的燈光可能直射入鏡頭，在圖像上產生比另一個車燈大很多的連通域。基于形狀屬性的配對準則可能開始就錯誤地排除了一些車燈對假設的建立，造成漏檢。我們利用空間距離信息而不是形狀信息配對連通域。小型車，如轎車，大前燈對的距離一般在1m左右；大型車，如卡車，大前燈對的距離在1.5m左右。利用攝像機標定結果，將質心距離在1m左右或者1.5m左右的連通域配對。候選車燈連通域的配對情況如圖4所示。這樣的連通域配對既包含真實車燈對，也包含其他情況：(1)車燈路面反光的灰度值也常?？拷鼒D像峰值，被配對的可能是

14、真實車燈對，也可能是車燈路面反光。如圖4右上所示。(2)相鄰車道并排行駛車輛的車燈之間也可能滿足距離約束，不同車輛的車燈可能被錯誤的配對。為了減少這樣的錯誤，將連通域按照質心坐標，從上到下，從左到右排序。配對時，從圖像最左邊的連通域開始，只比較和配對尚沒有被配對的連通域。圖4 候選車燈連通域配對配對之后，剩下的落單連通域可能是車輛本身只打開了一個車燈，也可能屬于不可預知的環(huán)境干擾，需要進一步判斷。屬于同一輛車的車燈及其路面反光彼此靠近，利用距離信息，將分布在一定范圍內的連通域分為一組?？臻g距離的計算都映射到世界坐標系進行。1.2.2.1.2.2.2.3.2.4. 建立車輛假設通過規(guī)則集在連通域

15、分組中定位車燈，建立當前幀的車輛假設。車輛假設保存車燈對或者單個車燈的位置信息以及相應的連通域形狀信息，作為后續(xù)幀間關聯(lián)的對象。規(guī)則集如下：規(guī)則 1 分組中只存在1對連通域配對，用該連通域配對直接建立車輛假設；規(guī)則 2 分組中存在2對連通域配對，認為分別對應車燈對和車燈路面反光或者大前燈對和小前燈對，利用中點坐標在v軸上較小的連通域配對建立車輛假設。規(guī)則 3 分組中存在多對（大于2）連通域配對，認為車輛打開多對前車燈。如果存在車燈路面反光的連通域，一定位于最前方，并且面積變化較大。排除分組中中點坐標在v軸上最大的配對，然后利用面積最大的連通域配對建立車輛假設；規(guī)則 4 既包含配對連通域，又包含

16、落單連通域的分組，認為落單連通域是路面反光或者其他干擾，只利用連通域配對建立車輛假設；規(guī)則 5 對于只包含落單連通域的分組，為了盡量減少漏檢，保存分組中全部連通域的信息，建立車輛假設。2.5. 幀間關聯(lián)車輛假設每一個車輛假設在幀間的信息建立一條相應的鏈表保存。通過線性搜索，結合歐式距離空間最近鄰準則和形狀屬性匹配，關聯(lián)已經建立的車輛假設鏈表和當前幀中的車輛假設。幀間關聯(lián)信息的連續(xù)性，為排除錯誤假設，確認車輛的存在提供依據(jù)。一旦確認車輛存在，幀間關聯(lián)信息就是車輛跟蹤軌跡?？紤]到相鄰兩幀間的時間非常短(幀率25fps時，即1/25秒)，即使變道的車輛在幀間也不會發(fā)生空間位置上的劇烈變化。因此，車輛

17、在相鄰兩幀間可以近似看作勻速直線運動。根據(jù)車輛公路行駛的最高速度限制(144Km/h,即40m/s)，估計出車輛在幀間沿直線移動的最大距離，如(15) 式：其中，f是幀率，(f=25時，)。根據(jù)車前燈在上一幀的位置信息，搜索和匹配車前燈在當前幀中的位置。沿直線在矩形窗口內搜索車燈連通域；匹配分為車燈對的匹配和單個車燈的匹配以及遮擋情況的處理。(1)對于車燈對，在其上一幀位置的前方矩形窗口內搜索包含車燈對的車輛假設。如果矩形窗口內存在多個車燈對，根據(jù)當前幀和上一幀車燈對中點坐標之間的歐式距離，匹配距離最近的車燈對。矩形窗口的大小為。其中，為幀間運動的最大直線距離；為連通域配對的左，右外邊界之間的

18、最大距離。矩形窗口在相鄰兩幀間的示意圖，如圖5所示：0uv圖5 矩形窗口在幀間示意圖(2)對于落單的車燈連通域，按照與車燈對匹配完全類似的矩形窗口向前搜索。矩形窗口的長度是幀間運動的最大直線距離，寬度比單個連通域左，右外邊界的水平距離稍大，在矩形窗口內根據(jù)連通域的形狀屬性匹配單個連通域。定義形狀相似度函數(shù) 其中，是第i個車燈連通域的第k個形狀屬性；是第j個車燈連通域的第k個形狀屬性。是投影變換向量，通過LDA算法7得到。我們從交通視頻圖像序列中，人工提取了100個正樣本集和100個負樣本集。正樣本集是形狀匹配的車燈對截圖；負樣本集是兩個形狀差異較大的高亮連通域截圖，包括車燈和車燈路面反光，不同

19、車輛的車燈，車燈和環(huán)境干擾等。按照的定義，分別計算正，負樣本集中連通域的各形狀屬性比，并歸一化，構成正，負向量集，。最優(yōu)投影變換是使類間距離與類內距離之比最大的投影方向：其中，是投影變換后類內平均值；是投影變換后類內散布矩陣。定義類內散布矩陣，如式(16)，(17)；類間散布矩陣，如式(18)：其中，是類內均值；是正，負向量集的向量個數(shù)；是向量總體均值。通過解最大特征值對應的特征向量求解投影變換向量 。降到一維后訓練樣本的分布如圖6所示：圖6 降維后樣本的分布在圖6中，紅色”+”是降維后的正樣本集，藍色”*”是降維后的負樣本集。假設正，負兩類的先驗概率相等，類內服從高斯分布，根據(jù)投影變換后類內

20、均值，類內協(xié)方差。求得判別函數(shù)如式(19)：令當，判定第i個車燈連通域和第j個車燈連通域形狀是匹配的。否則，判定不匹配。如果在矩形窗口內搜索到多個形狀匹配的連通域，根據(jù)的大小，匹配值較小的。(3)遮擋情況的處理由于攝像機在一定高度從正面俯拍道路，遮擋一般發(fā)生在大型車遮擋后方小型車車頭。車輛離攝像機越近越不易被遮擋。因此，當車輛位置超過圖像縱軸長度的一半時，不再進行遮擋判斷和處理。a) 部分遮擋。對于鏈表中的車燈對記錄，如果在當前幀的矩形窗口內只存在落單的連通域，認為發(fā)生了部分遮擋。按照形狀屬性匹配，關聯(lián)落單連通域與上一幀連通域配對中最靠近的連通域，并估計被遮擋車燈連通域的質心坐標以及中點坐標。

21、b) 全部遮擋。如果矩形窗口內不存在連通域，認為發(fā)生了全部遮擋。對于全部遮擋，我們利用基于勻速直線運動模型的Kalman濾波器預測車輛在當前幀的位置。Kalman濾波器8是一種對動態(tài)系統(tǒng)的狀態(tài)序列進行線性最小方差誤差估計的算法。狀態(tài)方程和觀測方程如(20)和(21)式：其中，狀態(tài)向量各分量分別是車輛在世界坐標系中的坐標向量和速度向量。觀測向量是車輛在世界坐標系中的坐標向量。狀態(tài)轉移矩陣觀測矩陣忽略狀態(tài)噪聲和觀測噪聲。狀態(tài)向量中的坐標向量由車輛假設的初始位置初始化。對于速度向量，由于幀間時間非常短，如果利用前兩幀的運動距離和時間的比值初始化，很小的距離偏差也會引起速度估計的劇烈波動。因而，我們用

22、固定值初始化速度向量。Kalman濾波器的迭代細節(jié)參考8。由于只考慮車與車之間遮擋的情況，遮擋不會連續(xù)維持多幀。如果連續(xù)兩幀僅用Kalman濾波器的預測值更新位置之后，仍然無法從圖像中關聯(lián)上新的位置，判定關聯(lián)失敗。2.6. 判斷車輛假設車輛假設的判斷流程主要分為三個狀態(tài)：車輛的出現(xiàn)，車輛位置的更新和車輛的離開。(1)車輛的出現(xiàn)如果當前幀的某一個車輛假設沒有被任何車輛假設鏈表關聯(lián)上，推斷可能有新的車輛進入了檢測區(qū)域，初始化一條車輛假設鏈表。為了對假設做進一步判斷，為每一條車輛假設鏈表設置相應的車輛存在信心分數(shù)，初始化為1。同時，根據(jù)車燈對左，右車燈之間的距離將車輛類型分為大型車和小型車。(2)車

23、輛位置的更新對于某一條車輛假設鏈表，如果在當前幀中關聯(lián)上新的位置，車輛存在信心分數(shù)加1，；如果在當前幀中關聯(lián)失敗，相應的分數(shù)減1，。如果連續(xù)多幀關聯(lián)上，即車輛存在信心分數(shù)增加到一定閾值，認為該條車輛假設成立，確認車輛的存在。值得一提的是，落單連通域組成的車輛假設，如果其中至少存在一個在當前幀匹配到新位置的連通域，認為關聯(lián)有效，相應分數(shù)加1；如果全部關聯(lián)失敗，相應分數(shù)減1。(3)車輛的離開對于某一條車輛假設鏈表，當連續(xù)多幀沒有關聯(lián)上而且減少到0時，如果已經確認了車輛的存在，認為此時車輛離開；如果尚沒有確認車輛的存在，認為該假設無效，直接刪除。3 實驗結果及分析算法實現(xiàn)的硬件平臺為Intel Co

24、re2 Duo CPU 2.0GHz，內存2.0GB，編程環(huán)境為VC+6.0。視頻樣本1采集自北京的保福寺橋。輸入視頻大小為，幀數(shù)25幀/秒，時間長度6min12sec，人工統(tǒng)計視頻中通過的車輛數(shù)目為402輛，圖7是視頻樣本1的處理結果截圖。表1是視頻樣本1的交通數(shù)據(jù)采集結果。 圖7 視頻樣本1的實驗結果截圖 表1 視頻樣本1的交通數(shù)據(jù)采集結果交通參數(shù)類型實驗結果車道1車輛數(shù)目74車道2車輛數(shù)目88車道3車輛數(shù)目118車道4車輛數(shù)目107大型車數(shù)目7小型車數(shù)目380車輛檢測總數(shù)目387車輛實際總數(shù)目402檢測率96.27%視頻樣本2采集自北京中關村東路的一處天橋上。由于存在路燈照明，圖像整體亮

25、度高于視頻樣本1。輸入視頻大小為，幀數(shù)25幀/秒 ，時間長度10min06sec，人工統(tǒng)計視頻中通過的車輛數(shù)目為221輛。圖8是視頻樣本2的處理結果截圖。表2是視頻樣本2的交通數(shù)據(jù)采集結果。圖8 視頻樣本2的實驗結果截圖利用VC+6.0中的定時器估計處理視頻樣本1和視頻樣本2一幀圖像的平均時間分別是27毫秒和24毫秒，滿足實時性要求。實驗結果表明，本文算法的準確率高，計算復雜度低，并且對環(huán)境光源干擾，遮擋等具有一定魯棒性。表2 視頻樣本2的交通數(shù)據(jù)采集結果交通參數(shù)類型實驗結果車道1車輛數(shù)目68車道2車輛數(shù)目54車道3車輛數(shù)目94大型車數(shù)目18小型車數(shù)目198車輛檢測總數(shù)目216車輛實際總數(shù)目2

26、21檢測率97.74%4 結束語針對夜間環(huán)境下交通場景照度低，對比度低，前景和背景不易區(qū)分等特點，本文提出一種基于車燈的車輛檢測和跟蹤算法。實驗結果證明，該算法能夠在夜間環(huán)境下有效地為交通數(shù)據(jù)采集提供檢測信息，檢測率在96%以上。另外，算法能夠穩(wěn)定地跟蹤車輛，并對遮擋情況具有一定的魯棒性，得到的車輛運動軌跡可以進一步作為交通事件檢測的基礎。在保持較高準確性和魯棒性的同時，該算法計算復雜度低，適合實時的交通監(jiān)控應用場合，可以很好地作為日間檢測算法在夜間的補充。參考文獻：1 Kai-TaiSong and Jen-Chao Tai, Dynamic calibration of pan-tilt-

27、zoom cameras for Pan-Tilt-Zoom Cameras for Traffic Monitoring J.IEEE Transactions on Systems, Man, and Cybernetics, Oct.2006, Vol.36, No.4:1091-1103.2 R. Taktak, M. Dufaut, R. Husson. , Vehicle Detection at Night using Image Processing and Pattern RecognitionA. International Conference on Image Processing, Austin, Texas, USA, Nov. 1994 : 296-300.3 Kostia Robert. , Night-Time Traffic Surveillance a robust framework for multi-vehicle detection classification and trackingA