視頻分析在交通控制中的應(yīng)用

1、在交通管理中，帶有智能分析的監(jiān)控系統(tǒng)可以實現(xiàn)實時監(jiān)控和預(yù)警功能。本 文提出了從視頻中提取圖像的方法，并且建立了統(tǒng)計車流量的數(shù)學(xué)模型。問題一中，首先將題中視頻轉(zhuǎn)化為matlab可以讀取的avi格式視頻圖像，然 后對每一幀圖片進(jìn)行灰度處理，再通過中值濾波去除噪音干擾，并對得到的圖像 進(jìn)行加強，這就完成了圖像的預(yù)處理。接下來，根據(jù)一種改進(jìn)后的平均法提取出 圖像背景，由于視頻總長只有5分05秒，所以可以將得到的背景用于整個視頻， 即不進(jìn)行背景更新。對前景圖像的提取，首先使用背景差分法得到差分后的圖像; 然后對圖像進(jìn)行二值化處理，得到二值化后的圖像；然后為了去掉圖像中不屬于 車輛上的小白點和填補車輛上的

2、小黑洞以及狹縫，通過形態(tài)學(xué)中的開運算和閉運 算對圖像進(jìn)行后處理得到最終的前景圖像，從而監(jiān)測出了圖像中的運動目標(biāo)（車 輛），即完成了視頻圖像的提取。問題二中，首先通過分析選擇虛擬線圈作為合適的檢測區(qū)域，并且確定出虛 擬線圈的大小、數(shù)量以及位置；然后根據(jù)檢測區(qū)域的工作原理建立了統(tǒng)計車輛數(shù) 的數(shù)學(xué)模型；再通過matlab編程實現(xiàn)統(tǒng)計車輛數(shù)模型的算法，最后根據(jù)車輛總 數(shù)和統(tǒng)計時長計算出車流量，并且與實際車流量（人工統(tǒng)計的）作比較。本文最后提出了模型的優(yōu)缺點和推廣。關(guān)鍵詞：中值濾波；改進(jìn)平均法；背景差分法；二值化處理；形態(tài)學(xué)處理問題重述、傳統(tǒng)的視頻監(jiān)控由人工進(jìn)行視頻監(jiān)測發(fā)現(xiàn)安全隱患或異常狀態(tài)，或者用于事

3、 后分析，這種應(yīng)用具有其固有的缺點，難以實現(xiàn)實時的安全監(jiān)控和檢測管理。視 頻分析是指將先進(jìn)的信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子控制技術(shù)、計算機處理 技術(shù)等應(yīng)用于工業(yè)生產(chǎn)，從而提高生產(chǎn)效率。在交通管理中，帶有智能分析功能 的監(jiān)控系統(tǒng)可以通過區(qū)分監(jiān)控對象的外形、動作等特征，做到主動收集、分析數(shù) 據(jù)，并根據(jù)預(yù)設(shè)條件執(zhí)行報警、記錄、分析等動作。對于視頻分析而言，其關(guān)鍵 技術(shù)是建立合理的數(shù)學(xué)模型。利用你所學(xué)知識解決以下問題：問題一：根據(jù)提供的視頻，建立提取附錄提供的視頻圖像的數(shù)學(xué)模型。問題二：結(jié)合已提取的背景，建立計算車流量數(shù)學(xué)模型。二、模型假設(shè)1、假設(shè)在視頻時間內(nèi)，光照、天氣不會發(fā)生劇烈的改變；2、假設(shè)

4、高速公路上車流量密度適中，很少出現(xiàn)車輛緊挨的情況；3、假設(shè)道路上除了車輛沒有其它運動物體；4、假設(shè)監(jiān)測設(shè)備不會因為來往車輛的影響而發(fā)生震動。三、符號說明符號含義f 3, y)灰度函數(shù)k離散的灰度級數(shù)Q單位時間內(nèi)車流量T記錄車流的時間段C表示在時間T內(nèi)經(jīng)過的車輛總數(shù)S檢測區(qū)域的狀態(tài)變量四、問題分析問題一中，需要建立提取視頻圖像的模型，本文中首先對視頻圖像進(jìn)行預(yù)處 理，然后根據(jù)一種改進(jìn)平均法提取背景圖像，再利用背景差分法得到前景差值圖 像，對差值圖像通過二值化和形態(tài)學(xué)處理后得到最終的前景圖像，從而完成對視 頻圖像的提取。具體的流程如下圖所示：問題二中，要求根據(jù)問題一中所提取的背景，建立計算車流量的

5、數(shù)學(xué)模型。 本文中通過分析選取合適類型的檢測區(qū)域，并確定檢測區(qū)域的大小、位置和數(shù)量， 然后根據(jù)檢測區(qū)域狀態(tài)變量的變化建立計算車輛數(shù)的模型，進(jìn)而計算出車流量。五、模型建立與求解5.1問題一模型的建立與求解問題一中需要建立提取附錄提供的視頻圖像的數(shù)學(xué)模型，實際上就是建立一 個可以對來往車輛準(zhǔn)確識別的模型。圖像預(yù)處理我們將附錄中提供的視頻轉(zhuǎn)化為每秒25幀的avi格式視頻圖像，以便于 Matlab讀取，這樣整個視頻可以轉(zhuǎn)化為7625張圖像。灰度處理通過matlab進(jìn)行灰度處理后的圖像與原圖像對比如下圖所示：圖1原圖像圖2灰度處理后圖像中值濾波圖像在采集、轉(zhuǎn)換和傳輸過程中，經(jīng)常會受到成像設(shè)備、傳輸設(shè)備以

6、及外部 環(huán)境噪聲的影響，使得數(shù)字化后的圖像或多或少的帶有各種噪聲。在圖像上表現(xiàn) 為原本均勻連續(xù)變化的灰度突然變大或者變小，從而導(dǎo)致出現(xiàn)虛假邊緣和輪廓。 由于噪聲的影響，在對圖像進(jìn)行視頻分割操作前，需消除或減弱噪聲對圖像的影 響。為此，我們采用中值濾波的方法對圖像進(jìn)行處理。中值濾波是指用局部中值來代替目標(biāo)像素點的灰度值，即以目標(biāo)像素點為中 心的某個窗口的各像素的中間值作為處理后圖像中該點像素的灰度值。在中值濾波算法中，首先確定一個以3, y）為中心的N個像素（N為奇數(shù)）的移動窗W，窗口內(nèi)各像素按灰度大小排序后，用其中間值f 3,y）來代替f 3,y），用公式表 示如下：f 3, y） = med

7、ian f （x 一 k, y 一 t）, k, t w WW為選定窗口大小。中值濾波后的圖像與灰度處理后的圖像對比如下圖所示:2011040130 星期三 12：01：38圖3中值濾波后圖像圖2灰度處理后圖像圖像增強對于采集到的視頻圖像，常見的缺陷是整幅圖像偏暗或者偏亮，這主要是由 亮度范圍不足或非線性等因素造成的對比度不足，造成視覺效果不理想。如果設(shè) 全幅圖像的灰度范圍是從0255級，若相鄰物體目標(biāo)灰度相差小于10級，那么 就會超過人眼對灰度差的感知能力，人眼就難以分辯。為此，需要增加圖像的對 比度來改善圖像的視覺效果。增強圖像的對比度一般是通過對圖像灰度直方圖的 變換來實現(xiàn)的。通過加大圖

8、像灰度動態(tài)范圍，圖像對比度得到擴(kuò)張，細(xì)節(jié)特征更 加明顯。直方圖均衡化處理的中心思想是把原始圖像的灰度直方圖從比較集中的某 個灰度區(qū)間變成在全部灰度范圍內(nèi)的均勻分布，增加了像素灰度值的動態(tài)范圍， 從而達(dá)到增強圖像整體對比度的效果，是一種常用的灰度增強算法。其中，p (s )代表原始圖像中灰度出現(xiàn)的概率。以n為自變量，以p (s )為 k kkk k函數(shù)得到的曲線就是圖像的直方圖。設(shè)f (x, y)和g(x, y)分別為增強前和增強后的圖像，而EH代表增強操作。若EH是定義在每個(x, y)上的，則EH是點操作。這種情況下，g(x, y)的值取決于在(x, y)處的f (x, y)值，而EH就是一

9、個灰度變換。如以s和f分別代表f (x, y)和g(x, y)在(x, y)位置處的灰度值，則此時的點處理增強可用如下式表示：t = EH (s)這里，增強函數(shù)需要滿足兩個條件：EH(s)在0 s L-1范圍內(nèi)是一個單值單增函數(shù)；對 0 s L -1 有 0 EH (s) L-10。其中條件(1)保證原圖各灰度級在變換后仍保持從黑到白或從白到黑的排列 次序。條件(2)保證變換后灰度值動態(tài)范圍的一致性。累積分布函數(shù)滿足上述兩個條件并能將s的分布轉(zhuǎn)換為t的均勻分布。事實 上s的累積分布函數(shù)就是原始圖的累積直方圖，此時有t = EH(s ) = E p (s ) = E 匕0 s Tg 3, y)=

10、0,iff 3, y) T當(dāng)車輛部位清晰，輪廓明顯，干擾較小時這是一種行之有效的方法，但是這 種方法存在明顯的缺點：、不能根據(jù)圖像確定它的最佳閾值。、確定閾值T后，光源等外界條件改變時，不能使閾值隨之改變。因此，本文采用最大方差比法來確定最佳閾值。最大方差比法又稱為Otsu閾值化方法，它是一種自動的非參數(shù)無監(jiān)督的閾 值選擇法，它基于類間方差為最大的測度準(zhǔn)則，最佳的閾值是在該測度函數(shù)取最 大時得到的。該方法計算簡單，自適應(yīng)性強，在一定條件下不受圖像對比度和亮 度變化的影響，因而在一些實時圖像處理系統(tǒng)中得到了廣泛的應(yīng)用。該方法的基 本思路是：選取的最佳閾值應(yīng)當(dāng)使得不同類間分離性最好。具體做法如下：

11、設(shè)圖像灰度級1 M，第i級像素個,總象素N =於七，則第i級灰度出現(xiàn)i =1的概率為P = n / N。最大方差比法無需給出特定的條件，首先根據(jù)灰度直方圖選取閾值T將圖像 分成q和C2兩類，其中C1類像素灰度值比T值高，類像素灰度值比T值低， 計算類間方差C 2和類內(nèi)方差Q %由下式給出：類間方差：b 2(T) = W ( ) + W ( -) TOC o 1-5 h z B1 12 2類內(nèi)方差：b 2 (T) = W b 2 + W b 2W1 12 2其中，W和W分別是類C和類C的像素數(shù)，R和R分別是類C和類C中12121212像素的灰度平均值，R是所有像素的灰度平均值，b；和b 2分別是

12、類C1和類C2的 灰度方差。使分離n (T)為最大值的閾值T即為最佳閾值，即: HYPERLINK l bookmark88 o Current Document 門(T) = maxb2(T)/b2 (T) BWOtsu方法是通過尋找一個最大方差值，來將圖像分割成兩部分。因為方差是 圖像灰度分布均勻性的一種度量，方差值越大，說明構(gòu)成圖像的兩部分差別越大， 當(dāng)部分目標(biāo)錯分為背景或部分背景錯分為目標(biāo)都會導(dǎo)致兩部分差別變小，因此使 類間方差最大的分割意味著錯分概率最小，因此Otsu方法具有很好的閾值分割效 果。通過matlab編程計算得到二值化處理后的圖像，與原圖像比較如下圖所示：圖7差分后圖像圖

13、8二值化后圖像后處理（形態(tài)學(xué)處理）在對圖像前景的提取和分割時，由于受到噪聲的影響，會使一些屬于背景上 的點被錯誤地檢測為前景運動目標(biāo)，也會使前景目標(biāo)點被錯誤地檢測為背景點。 為了消除這些影響，需要對獲得前景圖像作一些后處理，才能更精確地進(jìn)行后續(xù) 的車流量統(tǒng)計。本文中采用數(shù)學(xué)形態(tài)學(xué)對圖像進(jìn)行后處理。形態(tài)學(xué)的組合運算分為開運算和 閉運算，開運算是指對圖像先進(jìn)行腐蝕操作再進(jìn)行膨脹操作，閉運算是指對圖像 先進(jìn)行膨脹操作再進(jìn)行腐蝕操作。由于開閉運算的操作順序不同，所以兩者的作 用效果也不同。開運算用來刪除小物體、將物體拆分為小物體以及平滑大物體邊 界而不明顯改變它們的面積。閉運算可以填充物體的小洞、連接

14、相近的物體和平 滑物體的邊界而不明顯改變它們的面積。圖9形態(tài)學(xué)處理后圖像在本題中，由于前景圖像中車輛表面存在著一些未處理掉的小白點以及有可 能將一輛車分為兩輛的小洞或狹縫，所以先用開運算再用閉運算對圖像進(jìn)行處 理，通過matlab編程計算，得到最終處理后的圖像，與處理前的圖像對比如下 圖所示：圖8二值化后圖像5.2問題二模型的建立與求解問題二要求建立計算車流量的模型，而車流量是指單位時間內(nèi)通過道路上某 斷面的車輛數(shù)，即：式中2表示車流量，T表示記錄車流的時間段，C表示在時間T內(nèi)經(jīng)過的車 輛總數(shù)。所以只需要根據(jù)問題一中提取的圖像，選擇合適的檢測區(qū)域建立車輛記 數(shù)模型即可求得車流量。檢測區(qū)域的選擇

15、要想測得某段道路的車流量，必須選擇合適的檢測區(qū)域，包括檢測區(qū)域的類 型、位置、數(shù)量以及大小等。常見的檢測區(qū)域類型有三種：（1）、檢測線檢測線是設(shè)置在交通流場景中的一條垂直于道路方向的直線，其寬度覆蓋要 檢測的車道，高度為1-3個像素之間。由于檢測線只有一兩個像素高，抗噪聲能 力較差，因此很容易因噪聲而導(dǎo)致誤檢；同時，它對運動目標(biāo)提取的質(zhì)量要求很 高，一旦提取的運動目標(biāo)中存在“孔洞”或“斷層”，則很容易將一輛車檢測為 兩輛，導(dǎo)致多檢；此外，它對攝像機的安裝條件也有較高的要求，通常只適用于 攝像機安裝在道路正中央的情況（例如安裝在橫跨道路的天橋上），否則很容易由 于車輛遮擋或“粘連”而導(dǎo)致漏檢。由

16、于缺點較多，因此基于檢測線的車流量統(tǒng) 計方式在實際工程應(yīng)用中較少被采用。（2）、檢測帶檢測帶是設(shè)置在交通流場景中的一條垂直于道路方向的帶狀區(qū)域，其寬度覆 蓋要檢測的車道，高度為8-14個像素之間。由于檢測帶具有一定的高度，因而該 方式的抗噪能力比檢測線方式強，由于提取的運動目標(biāo)中存在“孔洞”或“斷層” 而導(dǎo)致的多檢現(xiàn)象也比檢測線方式少。但是與檢測線方式一樣，該方式通常也只 適用于攝像機安裝在道路正中央的情況；攝像機安裝在路側(cè)時容易由于車輛遮擋 或“粘連”而導(dǎo)致漏檢。（3）、虛擬線圈虛擬線圈是設(shè)置在交通流場景圖像待檢測車道上的矩形或四邊形區(qū)域，其寬 度比一個車道略小，高度一般為一輛小車的長度?；?/p>

17、于虛擬線圈的車流量統(tǒng)計方 式的優(yōu)點有很多：首先，它的位置設(shè)置很靈活，對攝像機安裝條件的要求較低， 可以根據(jù)實際拍攝的交通流場景來相應(yīng)地調(diào)整每個虛擬線圈的位置，從而減少由 于車輛遮擋和“粘連”而導(dǎo)致的漏檢現(xiàn)象；其次，它的抗噪能力比檢測帶方式更 強，而且也不容易由于提取的運動目標(biāo)中存在“孔洞”或“斷層”而導(dǎo)致多檢。 它的缺點在于：當(dāng)車輛騎線或變線行駛時容易導(dǎo)致漏檢或多檢；另外，由于虛擬 線圈的高度較大，當(dāng)交通流場景的車流密度較大時，容易發(fā)生“粘連”現(xiàn)象，即 將同一車道前后相鄰較近的兩輛車檢測為一輛車，導(dǎo)致漏檢。因此，基于虛擬線 圈的車流量統(tǒng)計方式不太適合用于城市道路等車流密度較大的交通流場景，而比

18、 較適合用于高速公路等車流密度較小的交通流場景。所以在本文中采用虛擬線圈作為檢測區(qū)域。通過仔細(xì)觀察題中的視頻，我們本著漏檢率最小和重檢率最小兩個原則，在 畫面的下方選取了四個位于不同車道的虛擬線圈，如下圖所示：/on : CM i： I !： T! M 睥 4：圖10選定的檢測區(qū)域?qū)D中的檢測區(qū)域從左向右依次編號為1、2、3、4,然后根據(jù)虛擬線圈的 一般大?。▽挾缺纫粋€車道略小，高度為一輛小車的長度），我們選取四個虛擬 線圈的大小如下表所示：表2虛擬線圈的大小虛擬線圈編號虛擬線圈大?。ㄏ袼攸c個數(shù)）130X15245X15325X15430X15檢測區(qū)域的工作原理因為四個虛擬線圈的工作原理相同，

19、所以我們以1號虛擬線圈為例說明車流 量的統(tǒng)計原理。定義虛擬線圈的狀態(tài)為S，當(dāng)虛擬線圈中無車時狀態(tài)為0，當(dāng)虛擬線圈中有 車時狀態(tài)為1，即：0 無車s T1有車記虛擬線圈中運動目標(biāo)（灰度值為255）特征像素點的數(shù)目為，全部像素 點（灰度值為0和255）的數(shù)目為N。進(jìn)而我們給出有車和無車的定義，在理想 情況下，車輛所在像素點的灰度值為255,其余各點的像素值為0，然而在實際 中往往會因為噪音或采集設(shè)備等造成某些不是車輛上的點的灰度值也是255,所 以在這里設(shè)定一個閾值上，當(dāng)n/N k時，認(rèn)為虛擬線圈內(nèi)有車，此時的狀態(tài)變量賦1。然后判斷當(dāng)前幀是否有車輛，如果當(dāng)前幀圖像沒有車輛，前一幀圖像也沒有 車輛，

20、則表示無車輛通過，流量不記數(shù)；如果當(dāng)前幀圖像有車輛，前一幀圖像沒 有車輛，則表示有車輛駛?cè)霗z測區(qū)，流量不記數(shù)；如果當(dāng)前幀圖像有車輛，前一 幀圖像也有車輛，則表示該車還未駛出檢測區(qū)，流量不記數(shù)；如果當(dāng)前幀圖像沒 有車輛，前一幀圖像有車輛，則表示該車駛出檢測區(qū)，流量記數(shù)。車流量的具體統(tǒng)計流程如下圖所示：圖11車流量統(tǒng)計流程圖根據(jù)上述流程圖，程序中運行時，首先掃描每一幀圖像中檢測區(qū)域的每個像 素點，得到該區(qū)域的狀態(tài)變量，如下圖所示：該圖是以3號檢測區(qū)域為例，掃描前500幀圖像得到該區(qū)域的狀態(tài)變量，從 圖中可以看出只需要記從1變到0的個數(shù)，就可以統(tǒng)計出車輛數(shù)，這也是程序最 終運行的結(jié)果，如下表所示：表

21、3車流量計算結(jié)果與實際結(jié)果的比較1號檢測區(qū)域2號檢測區(qū)域3號檢測區(qū)域4號檢測區(qū)域?qū)嶋H計算實際計算實際計算實際計算開始一1min23141610101691min2min29301924191511112min3min1523202515131893min4min1418810121412134min結(jié)束910461491214總車數(shù)/輛6984658170616956車流量/ （輛/分）13.616.512.815.913.812.013.611.0正確率（）78.375.487.181.2從表中可以看出，四個檢測區(qū)域及四個車道的車流量統(tǒng)計正確率在80%左 右，正確率并不是很高主要是兩方面原因

22、導(dǎo)致的，第一，視頻中光線條件不是很 好，并且監(jiān)測設(shè)備擺放位置不好，所以不能清晰的識別每一輛車；第二，在實際 中存在大車擋住小車以及兩車首尾相連進(jìn)入檢測區(qū)域的情況，這樣導(dǎo)致漏檢或重 檢的發(fā)生。從表中還能看出，3號車道由于受其它車道車輛的干擾較小所以正確 率相對高于其余車道，而1號和2號車道由于存在車輛互相影響而導(dǎo)致正確率相 對低于其它車道。六、模型的評價與改進(jìn)優(yōu)點：本文從實際出發(fā)，為保證視頻分析的實時性，考慮采用計算量小的方法提 取初始背景，首先采用了多幀圖像平均法，得到的結(jié)果不能令人滿意，接下來對 平均法進(jìn)行了改進(jìn)，改進(jìn)后的平均法既保留了多幀圖像平均法計算簡單、易實現(xiàn) 視頻實時分析的特點，又提

23、高了提取背景的質(zhì)量，并對兩種方法得到的背景進(jìn)行 了比較，取得了滿意的結(jié)果。對差值圖像進(jìn)行二值化處理時，采用了 OTSU動態(tài)自適應(yīng)閾值分割法得到 了最優(yōu)閾值，并進(jìn)行了二值化處理，這樣最大限度的避免了運動目標(biāo)信息的丟失， 保證了得到的二值圖像的質(zhì)量，使得對車輛的提取更清晰，為問題二中車流量的 準(zhǔn)確統(tǒng)計奠定了基礎(chǔ)。在監(jiān)測區(qū)域狀態(tài)的定義時，對于運動目標(biāo)像素點在監(jiān)測區(qū)域所占比重的閾 值的設(shè)置，有效地消除了實際情況中噪聲帶來的影響，減小了模型的誤檢率。同 時，閾值的設(shè)置，除了會在一定程度上影響車輛進(jìn)入監(jiān)測區(qū)域時間的判定外，并 不會對車輛的數(shù)目帶來干擾。另外，由于圖像經(jīng)二值化處理和形態(tài)學(xué)處理后質(zhì)量 較高，導(dǎo)致閾值的選取空間也較大，但不會影響判別結(jié)果的準(zhǔn)確性。缺點：模型中并沒有進(jìn)行背景的實時更新，所以模型中未考慮到天氣、光線帶來 的影響，導(dǎo)致提取的背景未必是全局最優(yōu)圖像，這樣會使個別差值圖像中有較多 的噪音點。對于遮擋嚴(yán)重、相鄰緊密的車輛無法準(zhǔn)確