基于幀差的mean-sshr算法全自動跟蹤

基于幀差的mean-sshr算法全自動跟蹤

運動目標的提取和跟蹤已成為國內外研究的熱點問題，它的應用非常廣泛。它在智能交通系統(tǒng)（it）、車輛控制、軍事調查、機器人視覺等領域具有重要意義和應用。1目標提取方法自動視頻監(jiān)視技術的主要內容之一就是監(jiān)視特定場景中是否出現(xiàn)新目標,并完整地提取目標。簡單來看,這個任務可分兩步來完成,第一是目標檢測,第二是目標提取。所謂目標檢測,就是檢測視頻序列圖像中被監(jiān)視的場景圖像是否有所變化,如果圖像有變化,則說明有新的目標出現(xiàn),反之則認為沒有新目標出現(xiàn)。而目標提取,就是當目標檢測算法檢測到有目標出現(xiàn)時,把這個目標從視頻序列圖像中分割提取出來,為下一步目標跟蹤和識別提供數(shù)據(jù)。因此一個視頻監(jiān)視系統(tǒng)工作的好與壞,目標檢測和提取算法是非常關鍵的。目標提取是指利用灰度、顏色、紋理、形狀等信息從視頻序列中提取感興趣的目標,它是圖像工程中目標表達、特征提取和參數(shù)測量的基礎。目前目標提取方法特別多,主要有幀差法、光流法、輪廓提取法和背景減除法。由于幀差法思想簡單,算法易實現(xiàn),處理速度快,本文采用幀差法來提取運動目標。1.1圖像形態(tài)學處理對于靜止背景下的視頻序列,對當前第k,k-2幀圖像進行平滑去噪,再做幀差處理,用當前第k幀減去第k-2幀,得到二值圖像F;這里之所以選取第k,k-2幀是因為第k,k-1幀圖像間的變化可能不大,幀差法效果不一定理想。這里閾值d根據(jù)經(jīng)驗選取,若d選取過大,則目標將可能產(chǎn)生大的空洞甚至出現(xiàn)目標斷裂,若d選取過小,將出現(xiàn)大量噪聲。形態(tài)學處理:由于存在著噪聲的干擾以及目標與背景圖像之間往往有小部分顏色或灰度相似,二值化后得到的圖像中往往會含有許多孤立的點、小區(qū)域、小間隙和孔洞,在這里白色代表變化的區(qū)域,這些均會干擾運動目標的檢測,需要將孤立的點、小區(qū)域去除,而將小間隙連接,小孔洞填充。本文采用圖像形態(tài)學中二值圖像的膨脹和腐蝕方法來實現(xiàn)。區(qū)域標記和判別形態(tài)學處理完圖像后,一些小的干擾區(qū)域已經(jīng)被去除,小的間隙和孔洞也已經(jīng)被填充,但是仍然會有面積相對較大的黑色孔洞存在。這是因為引起背景變化的目標,往往會在前后兩幀圖像中有部分重疊,那么在變化檢測時往往在連通的白色區(qū)域之中會產(chǎn)生較大的黑色孔洞。為了將這些較大的黑色孔洞填充,首先計算各個連通的黑色區(qū)域的面積,當某一黑色區(qū)域的面積小于給定的閾值時,就將該區(qū)域改為白色區(qū)域;完成上述處理后就可以計算各個連通的白色區(qū)域的面積。當某白色區(qū)域的面積大于給定的閾值時就認為該區(qū)域為檢測到的運動目標區(qū)域。1.2陰陽檢測方法當檢測到當前幀中有目標出現(xiàn)時,并確定了大致的運動區(qū)域,但此區(qū)域中還包含了陰影,陰影嚴重影響了目標提取和后續(xù)的跟蹤精度,必須有效的去除陰影。陰影檢測的方法主要有兩大類:基于陰影特征和基于幾何模型。其中,前者通過陰影的幾何特性、亮度和顏色來區(qū)分?；陬伾匦缘姆椒ù蠖嗷谝韵吕碚?背景在陰影覆蓋和無陰影覆蓋下,只在亮度方面有差異,而在色彩方面并無差異。文獻提出一種基于HSV顏色空間的陰影檢測方法。與RGB顏色空間相比,HSV更利于陰影邊緣的檢測。本文采用的陰影檢測方法將陰影消除和邊緣檢測結合在一起。首先,利用幀差法法獲得圖像移動區(qū)域,同時采用基于模型的方法建立陰影的粗模型,二者結合快速獲取陰影的粗略區(qū)域,只對該區(qū)域圖像使用基于HSV顏色空間的陰影檢測方法。再對移動區(qū)域和陰影區(qū)域進行邊緣檢測,最后將得到的兩區(qū)域邊緣信息進行相減,得到真實目標的邊框信息。實驗證明該法計算量小,檢測效果好。2mean-加快迭代算子的算法運動目標跟蹤作為計算機視覺研究的一個分支,今年來成為視頻處理研究的重要內容,研究結果被廣泛的應用于人機交互視頻監(jiān)控場合。經(jīng)典的目標跟蹤方法有:模板匹配,光流法,Kalman濾波,基于顏色直方圖特征分布的Mean-shift算法和粒子濾波跟蹤算法。Mean-shift算法是目前較為流行的無參數(shù)模式快速匹配算法,此算法計算量小,實時性較好,采用核函數(shù)直方圖建模,對邊緣遮擋和背景運動不均不敏感等優(yōu)點。但Mean-shift算法存在半自動跟蹤缺陷,在起始跟蹤幀,需要通過手動確定搜索窗口來選擇目標,不利于無人監(jiān)控跟蹤,且窗口和目標模板一旦固定,無法跟新,在遇到目標大小發(fā)生變化時,很容易發(fā)生跟偏甚至跟丟現(xiàn)象,本部分就著重解決這些問題。Mean-shift算法簡介:Mean-shift這個概念最早是由Fukunaga等人于1975年在一篇關于概率密度梯度函數(shù)的估計中提出來的,其最初含義正如其名,就是偏移的均值向量,在這里Mean-shift是一個名詞,它指代的是一個向量,但隨著Mean-shift理論的發(fā)展,Mean-shift的含義也發(fā)生了變化,如果我們說Mean-shift算法,一般是指一個迭代的步驟,即先算出當前點的偏移均值,移動該點到其偏移均值,然后以此為新的起始點,繼續(xù)移動,直到滿足一定的條件結束。1995年,YizongCheng在定義了一族核函數(shù),使得隨著樣本與被偏移點的距離不同,其偏移量對均值偏移向量的貢獻也不同。Mean-shift核心思想:在起始跟蹤幀計算核函數(shù)加權下的搜索窗口的直方圖分布,用同樣的方法計算當前幀候選目標的直方圖分布,用Bhattacharyya系數(shù)來描述兩個分布的相似程度,以兩個分布的相似性最大為原則,通過Mean-shift向量的迭代運算,使搜索窗口沿密度增加最大的方向運動,收斂于最佳位置。假設通過前文獲得的跟蹤窗口中心位于x0,通過核函數(shù)運算建立目標模型,顏色特征向量u∈(1,m)在核窗口的概率為式(2)中k(x)為核函數(shù),并滿足;b(x)是像素點特征值的量化函數(shù);m是顏色空間量化后互不相交的特征子空間;n是核窗口包含的像素個數(shù);x0是起始幀核窗口中心二維坐標;xi是核窗口內第i個像素的二維坐標;h是核函數(shù)的帶寬;δ是Kroneckerdelta函數(shù);C為歸一化系數(shù)候選目標在當前幀中以y為中心,選用相同的核函數(shù)和核半徑,則候選目標模板可以描述為式(4)中因此物體跟蹤可以簡化為尋找最優(yōu)的y,使得與qu最相似。與qu的最相似性用Bhattacharrya系數(shù)ρ(y)來度量分布,即式(6)在puy0點泰勒展開可得,把式(4)帶入式(7),整理可得,式(8)中,對式(8)右邊的第二項,我們可以利用Mean-shift算法進行最優(yōu)化,從而得到候選區(qū)域中心y0移向真實目標區(qū)域y的向量:式(10)中g(x)=-k′(x)。求得y1后就完成一次均值偏移,隨后可令y1進行下一次均值偏移。由均值偏移的性質可知,其總是向Bhattacharyya系數(shù)的局部峰值移動,因此當核函數(shù)窗寬的位置移動到峰值時y0≈y1,即y0-y1≤ε,此時核窗口將在目標所處位置收斂,從而完成對目標的定位。傳統(tǒng)的Mean-shift算法目標模板統(tǒng)計始終選用起始幀來計算目標直方圖分布qu,沒有對目標模板進行實時更新,一段時間間隔過后,候選目標模板pu(y)與初始目標模板qu之間就會產(chǎn)生偏差,容易導致目標跟蹤失敗。同時,由于核函數(shù)半徑h始終不變,無法自適應跟蹤漸變的目標。本文通過增加相似性測度ρ(y)相對變化量r方法來更新模板,解決目標尺度變化的問題。整個跟蹤過程中,當Bhattacharyya系數(shù)的相對變化量r超過一定閾值,說明當前候選目標與目標模板已有很大的偏差,這時重新啟動幀差法,根據(jù)新的跟蹤窗口的大小與位置,對初始目標分布qu進行更新,以提高跟蹤的準確性,同時更新的跟蹤窗口也可以更好地適應跟蹤尺寸變化的目標。通過判斷相似性測度相對改變量r來更新目標模板。當目標出現(xiàn)遮擋時,可結合Kalman濾波器預測窗口中心來解決這個問題。3目標的提取實驗步驟:Step1:讀入視頻序列;Step2:對當前k,k-2兩幀序列進行預處理,主要做些平滑去噪;Step3:對k,k-2幀圖像做幀差,得fk-2;設定閾值d,并轉為二值圖像F;Step4:對F進行形態(tài)學處理,完成區(qū)域標記,并判別是否有新目標出現(xiàn)。若無,k=k+1,轉Step2,出現(xiàn)目標轉下步;Step5:只對運動區(qū)域進行HSV變換,結合邊緣信息,消除陰影,提取目標邊框和中心點;Step6:將Step5中得到的目標作為Meanshift算法的目標模板,并初始化;Step7:對后續(xù)視頻序列逐幀進行目標跟蹤,并判斷相似性測度相對改變量r是否超過閾值。若超過給定閾值,對當前幀和后一幀轉Step2,重新獲得目標模板和窗口。若r沒有超過閾值,跟蹤下一幀,直到整個視頻序列處理完畢!實驗結果:本文實驗首先采用室內攝像頭拍攝的一段視頻(320×240pixel),圖1是原始視頻的第9幀,圖2為第11幀原圖,圖3為第11幀減去第9幀所得f,圖四為對f進行二值化,形態(tài)學處理和區(qū)域標記,并經(jīng)過HSV空間變化,結合邊緣信息,分離出陰影和人體,紅色為陰影區(qū)域。圖5就是除去陰影的影響,得出完整的人體。圖6是第9幀視頻圖像(圖1)加上目標提取的邊框,并計算出目標質心位置;通過圖6,可以