智能監(jiān)控中人體目標(biāo)自動(dòng)檢測方法研究

智能監(jiān)控中人體目標(biāo)自動(dòng)檢測方法研究

近年來，人類的視覺分析已成為計(jì)算機(jī)視覺領(lǐng)域的研究領(lǐng)域。主要研究是對(duì)人類行為的識(shí)別、識(shí)別、跟蹤和理解。人類視覺分析在智能監(jiān)控、高級(jí)人機(jī)接口、人類運(yùn)動(dòng)分析、虛擬現(xiàn)實(shí)和基于內(nèi)容的圖像搜索和存儲(chǔ)方面具有廣闊的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值。特別是在遠(yuǎn)程可視化監(jiān)控系統(tǒng)中，傳統(tǒng)的監(jiān)控模式需要員工對(duì)不同的監(jiān)控圖像進(jìn)行監(jiān)控，這不僅工作量大，效率低，而且容易丟失。如果系統(tǒng)能夠進(jìn)行目標(biāo)自動(dòng)檢測、識(shí)別和跟蹤，并能夠提高系統(tǒng)的可靠性，實(shí)現(xiàn)自動(dòng)化和智能監(jiān)控。在各種以人體為研究對(duì)象的系統(tǒng)中,特別是在可視化智能監(jiān)控系統(tǒng)中,人體目標(biāo)的自動(dòng)檢測是首要步驟.由于人體的非剛性運(yùn)動(dòng)以及目標(biāo)之間互遮擋與自遮擋等因素的影響使得人體檢測成為一項(xiàng)極具挑戰(zhàn)性的課題.VSAM主要研究用于戰(zhàn)場及普通民用場景進(jìn)行監(jiān)控的自動(dòng)視頻理解技術(shù),能夠?qū)崟r(shí)檢測和跟蹤運(yùn)動(dòng)目標(biāo)(包括人體目標(biāo));Kuno等人利用投影直方圖分析目標(biāo)形狀,區(qū)分人體目標(biāo)與非人體目標(biāo);Nicolaou等人利用標(biāo)準(zhǔn)矩和人工神經(jīng)網(wǎng)絡(luò)識(shí)別人形目標(biāo),這方面的研究國內(nèi)相對(duì)較少.以上這些方法都是需要目標(biāo)的整體形狀信息,結(jié)合傳統(tǒng)統(tǒng)計(jì)理論識(shí)別人體目標(biāo),而在實(shí)際應(yīng)用場合中,一方面由于運(yùn)動(dòng)目標(biāo)不可避免地會(huì)受到一些遮擋,特別是在室內(nèi)環(huán)境中,人體目標(biāo)會(huì)受到種種不同物體的遮擋,這時(shí)那些依靠目標(biāo)整體形狀信息分析的方法將會(huì)失效;另一方面由于實(shí)際條件的限制,學(xué)習(xí)樣本有限,而傳統(tǒng)統(tǒng)計(jì)理論通常要求有大量的學(xué)習(xí)樣本,在小樣本條件下容易出現(xiàn)欠學(xué)習(xí)和過學(xué)習(xí)現(xiàn)象.為此本文提出一種基于目標(biāo)局部形狀分析,即人的頭肩特征分析,結(jié)合統(tǒng)計(jì)學(xué)習(xí)理論——支持向量機(jī)的方法,研究智能監(jiān)控的人體目標(biāo)自動(dòng)檢測,為人體目標(biāo)監(jiān)控和跟蹤提供理論和技術(shù)基礎(chǔ).1基于svm的人體檢測方法由于人體運(yùn)動(dòng)的復(fù)雜性,很難用一種模型來描述一個(gè)人體,但對(duì)于一個(gè)人體目標(biāo)來說,其頭部和肩部的形狀是最容易區(qū)分的,相對(duì)于其他部位來說變化較小,而且最不容易受到遮擋,因此可以將人體目標(biāo)的頭部和肩部的形狀作為一個(gè)二維的識(shí)別模型.而支持向量機(jī)(SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的一種新的模式識(shí)別方法,最早由Vapnik等人提出,在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢.傳統(tǒng)的機(jī)器學(xué)習(xí)方法普遍采用的是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則,而SVM采用了基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化(structuralriskminimization,SRM)原則,使得在有限樣本條件下,SVM方法比基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的傳統(tǒng)方法如人工神經(jīng)網(wǎng)絡(luò)(artificialneuralnetwork,ANN)方法具有更好的泛化能力.基于上述思想,本文提出一種新的人體檢測方法,其原理是:首先利用背景相減將運(yùn)動(dòng)目標(biāo)從復(fù)雜的背景中提取出來,通過后繼處理消除目標(biāo)圖像的影子等干擾,提高目標(biāo)提取的準(zhǔn)確性;然后在此基礎(chǔ)上,提取運(yùn)動(dòng)目標(biāo)的頭肩模型,并結(jié)合不變矩提取特征向量;最后利用訓(xùn)練好的支持向量機(jī)區(qū)分是否為人體目標(biāo).其原理框圖如圖1所示.2各種目標(biāo)消除方法的對(duì)比由于本文涉及的目標(biāo)分類利用的是目標(biāo)的形狀信息,因此如何準(zhǔn)確地將運(yùn)動(dòng)目標(biāo)提取出來是人體檢測的第一步.本文采用了類似于Pfinder中采用的背景相減方法.但在背景相減法中,運(yùn)動(dòng)目標(biāo)會(huì)造成目標(biāo)附近光照條件的變化,形成影子等情況,尤其在室內(nèi)環(huán)境,影子會(huì)嚴(yán)重影響運(yùn)動(dòng)目標(biāo)的提取,甚至有可能造成目標(biāo)提取的失敗,因此,必須采取措施消除.目前,大多是借助顏色信息來消除影子的影響,但是該方法在消除目標(biāo)影子影響的同時(shí)也將目標(biāo)與背景顏色相近的區(qū)域去除,難以獲得完整的目標(biāo)的形狀.本文提出了一種新的方法,在消除目標(biāo)影子的同時(shí)不影響目標(biāo)的完整性.2.1基色、差分圖像假設(shè)攝像機(jī)相對(duì)背景來說是靜止的,且背景不單一,場景及光照有變化,但相對(duì)目標(biāo)的運(yùn)動(dòng)變化要慢.本文采用RGB三基色進(jìn)行場景建模:{μr,μg,μb},當(dāng)前圖像為{sr,sg,sb}.差分圖像可用下式得到:d=max(|sr-μr|,|sg-μg|,|sb-μb|).這里采用三基色,主要是考慮盡可能地將運(yùn)動(dòng)區(qū)域檢測出來,避免由于灰度圖像無法將顏色不同而亮度相似的區(qū)域檢測出來.為了減少圖像噪聲的影響,用高斯濾波器對(duì)圖像進(jìn)行濾波處理.2.2建立階微分濾波通過對(duì)多幅運(yùn)動(dòng)目標(biāo)影子圖像的觀察與分析后發(fā)現(xiàn),在非強(qiáng)光照條件下,目標(biāo)的影子區(qū)域?qū)⑹蔷徸兊?不會(huì)造成額外的強(qiáng)邊緣,而目標(biāo)輪廓的變化是比較明顯的,這點(diǎn)從差分圖像也可以觀察到.也就是說在目標(biāo)輪廓處的圖像梯度較大,而在影子區(qū)域,梯度則比較小,利用這點(diǎn)可以檢測目標(biāo)的輪廓,消除目標(biāo)的影子.由于高斯函數(shù)的可分離性以及一階微分在噪聲抑制和邊緣保持能取得較好的平衡,本文按以下方式得到差分圖像的梯度圖像.由高斯函數(shù)h(t)構(gòu)造其一階微分濾波算子h′=ue014h/ue014t,計(jì)算差分圖像的水平梯度與垂直梯度:{gx[x,y]=d[x,y]*h′,gy[x,y]=[d[x,y]Τ*h′]Τ,g[x,y]=√(gx)2+(gy)2.{gx[x,y]=d[x,y]*h′,gy[x,y]=[d[x,y]T*h′]T,g[x,y]=(gx)2+(gy)2??????????√.為了減少噪聲的干擾,將小于某一閾值的像素點(diǎn)置為0,其他的為1,主要為差分圖像的邊緣信息.為了便于輪廓跟蹤,將圖像邊緣作細(xì)化處理.2.3目標(biāo)輪廓跟蹤與連接通過梯度處理后的二值圖消除了大部分的影子區(qū)域,同時(shí)在目標(biāo)內(nèi)部造成空洞,而且由于光照不均勻,或者目標(biāo)與背景在顏色與亮度上相似,使得某些區(qū)域梯度值較小,進(jìn)而造成目標(biāo)輪廓的斷裂,如果只將被輪廓包圍的區(qū)域認(rèn)為是目標(biāo)區(qū)域,就會(huì)造成額外區(qū)域的丟失,使得提取的目標(biāo)不完整.本文采用了目標(biāo)輪廓跟蹤與連接的方法獲得完整的運(yùn)動(dòng)目標(biāo).從上到下,從左到右掃描圖像,找到目標(biāo)的第一個(gè)輪廓點(diǎn),按順時(shí)針方向進(jìn)行輪廓跟蹤,遇上斷裂的輪廓線,按已跟蹤到的輪廓線走向,搜索最近的端點(diǎn),并用單像素寬度的線條連接兩端點(diǎn),直到得到完整的目標(biāo)輪廓.此時(shí)得到的目標(biāo)輪廓有可能凹凸不平,需對(duì)輪廓線進(jìn)行平滑處理,將輪廓內(nèi)部像素點(diǎn)全部置為1.由圖2中可以看出用本方法基本消除了目標(biāo)的影子.2.4基于1-2t2t的2t2t考慮場景光照有變化,背景模型用一個(gè)簡單的自適應(yīng)算法進(jìn)行實(shí)時(shí)更新:μt=αμt-1+(1-α)st,σ2t2t=α[σ2t-1+(μt-μt-1)2]+(1-α)(st-μt)2,式中:α為更新率(0<α<1),依賴于幀率與場景的變化率,本文采用α=0.9.這個(gè)不停迭代更新的過程使得即使有大的背景變化也能在較短的時(shí)間內(nèi)得到根本性的補(bǔ)償.3頭肩模型直方圖投影通過前面得到的二值圖像對(duì)抽取人體目標(biāo)頭肩模型的過程進(jìn)行說明.計(jì)算圖2(c)的垂直直方圖,將直方圖進(jìn)行平滑處理,結(jié)果如圖3(a)所示,A為直方圖的上限,可以認(rèn)為是人體目標(biāo)的頭頂.對(duì)于一個(gè)通常情況下的頭肩模型直方圖投影曲線,在靠近頭頂附近存在一局部最大值點(diǎn)D,此最大值即為頭的寬度,按人體學(xué)的知識(shí)可以取頭寬度的2.5~3.0倍作為頭肩模型的高度,這樣得到A點(diǎn)至B點(diǎn)的直方圖即為頭肩模型的投影直方圖,將頭肩模型進(jìn)行水平方向的直方圖投影,得到如圖3(b)所示曲線,E、F為圖像的最左、最右點(diǎn),可得模型的高度為H,寬度為L(單位都為像素).對(duì)于在場景中有多個(gè)人體目標(biāo)的情況,如果目標(biāo)互不遮擋,則可以用同樣的方法對(duì)各個(gè)區(qū)域進(jìn)行分別處理.如果抽取頭肩模型失敗,則也認(rèn)為是非人體目標(biāo).4外包頭肩模型在本文中目標(biāo)的識(shí)別主要利用的是目標(biāo)的形狀信息,而且目標(biāo)識(shí)別的對(duì)象是二值圖.由于不變矩具有平移、比例和旋轉(zhuǎn)不變性被廣泛應(yīng)用于各種物體的形狀識(shí)別,本文采用了Hu的7個(gè)不變矩組F={?φ1,?φ2,?φ3,?φ4,?φ5,?φ6,?φ7}作為抽取到的頭肩模型的特征向量.由于Hu的不變矩其數(shù)值分布范圍比較大,本文中對(duì)上述的7個(gè)不變矩進(jìn)行如下調(diào)整:φ1′=φ1?φ2′=3√φ3?φ3′=3√φ3?φ4′=4√φ4,φ5′=4√φ5?φ6′=5√φ6?φ7′=5√φ7.部分頭肩模型的特征向量如圖4所示,從圖中可以看出由于右側(cè)面與左側(cè)面模型形狀比較相似,其特征向量也比較接近.5非頭肩樣本集的建立樣本集是構(gòu)造支持向量機(jī)分類器的基礎(chǔ),并且樣本集的性能直接影響SVM分類器的性能.本文中樣本主要包含兩類:頭肩樣本與非頭肩樣本.對(duì)于頭肩樣本主要用以下方式進(jìn)行采集:拍攝人體各個(gè)姿態(tài)(包括正面、背面、右側(cè)面及左側(cè)面等各個(gè)不同角度)的錄像,利用前述的運(yùn)動(dòng)目標(biāo)提取方法,獲得頭肩樣本.由于非頭肩樣本的多樣性,往往需要大量的非頭肩樣本,然而龐大的非頭肩樣本空間使得訓(xùn)練過程中迭代次數(shù)增加,影響收斂速度.為了減小非頭肩樣本集的規(guī)模,采用自舉的方式可以使樣本更具代表性,從而提高分類器的訓(xùn)練速度及分類的正確率.非頭肩樣本的收集從各類非頭肩形狀的圖像中獲得,包括各類動(dòng)物、車輛等.從非頭肩樣本中抽出部分與頭肩樣本組成訓(xùn)練樣本集,送入SVM進(jìn)行訓(xùn)練,得到一個(gè)初步的SVM分類器,將其余的非頭肩樣本作為測試集,從錯(cuò)誤區(qū)分的樣本中隨機(jī)挑選一部分與前面的非人體樣本組成新的非人體樣本集.重復(fù)此過程直至收集到足夠的非頭肩樣本.按上述方法最終得到的樣本集包含頭肩樣本350個(gè),非頭肩樣本460個(gè),將7維的特征向量作為輸入,送入SVM進(jìn)行訓(xùn)練,最后得到的支持向量247個(gè),構(gòu)成最終的SVM分類器.將頭肩模型的不變矩特征向量作為SVM分類器的輸入,輸出為兩類:人體目標(biāo)與非人體目標(biāo).根據(jù)輸出結(jié)果對(duì)目標(biāo)進(jìn)行標(biāo)記.6svm的比較實(shí)驗(yàn)為了測試SVM分類器的性能,準(zhǔn)備了一個(gè)獨(dú)立于訓(xùn)練集的測試集.利用攝像頭與圖像采集卡得到含有人體的圖像860張、非人體的其他各類運(yùn)動(dòng)物體(包括動(dòng)物、汽車等)920張,并對(duì)該測試集進(jìn)行了測試.對(duì)于不同的內(nèi)積函數(shù)具有不同的分類性能,對(duì)3種常用的內(nèi)積函數(shù)的SVM進(jìn)行了比較實(shí)驗(yàn),目的在于尋找哪一種內(nèi)積函數(shù)的SVM最適合于人體目標(biāo)的分類.測試結(jié)果(正確率)如表1所示.從測試結(jié)果中可以看出,采用徑向基函數(shù)的SVM性能最好.最后將算法實(shí)施在實(shí)時(shí)序列圖像的處理.使用一臺(tái)CPU為PIII800,內(nèi)存256Mb的微機(jī),視頻采集卡為天敏SDK-2000,處理圖像大小為352×288.實(shí)驗(yàn)結(jié)果(部分實(shí)驗(yàn)結(jié)果如圖5所示)表明,系統(tǒng)能快速可靠地將正常行走的人體檢測出來,且容許目標(biāo)有適當(dāng)?shù)恼趽?如圖5(b)),處理速度可達(dá)8幀/s.但系統(tǒng)目前只能處理單個(gè)人體或互不遮擋的多個(gè)人體,對(duì)于多個(gè)互有遮擋的人體的處理以及目標(biāo)的實(shí)時(shí)跟蹤將是下一階段的工作.