基于序列匹配的人的行為識別算法

基于序列匹配的人的行為識別算法

1.運動的視覺分析小型監(jiān)控系統(tǒng)不僅可以跟蹤目標物體，還可以正確評估目標狀態(tài)及其與環(huán)境的互動程度。一個能準確判斷并且分析人類異常行為的系統(tǒng),對于日常生活有極大的用處。例如人行道、斑馬線等環(huán)境,進行行人異常行為分析,判斷是否有人在斑馬線上跌倒發(fā)生危險情況。計算機視覺中人運動的視覺分析是從圖像序列中進行人的檢測、跟蹤、識別和行為理解;而模式識別中生物特征識別技術(shù)是利用人的生理或行為特征進行身份鑒,被廣泛應用于計算機智能視頻監(jiān)控領(lǐng)域。人的行為作為一種可識別的生物技術(shù),其難點在于如何描述一個行為以及如何從視頻序列中檢索一個行為。人體運動不同時刻的姿勢,從側(cè)面觀察投影圖不同,所以不同行為的識別很大程度依賴于行為序列的人體側(cè)影隨時間的變化,所以可以將行為序列看成有一組靜態(tài)的姿勢所組成的模式。Cunado等將大腿建模為鏈接的鐘擺,并從其傾斜角度信號的頻率分量中獲取步態(tài)特征。Little等從光流圖像中獲取頻率和相位特征來識別個人。王亮等提出一種基于人體側(cè)影輪廓的人的身份的識別技術(shù),EKINCI擴展該方法,提出使用基于人體側(cè)影輪廓投影進行身份識別的方法。本文提出一種基于傅立葉描繪子和序列匹配的行為識別算法。首先獲取人體側(cè)影的輪廓線,使用傅立葉描繪子提取特征,結(jié)合改進的序列匹配算法實現(xiàn)行為識別,并驗證算法的有效性。2.特征描述2.1時間變化的影響確定行人內(nèi)在運動的一個重要線索是人體輪廓形狀隨著時間的變化。為了降低信息冗余度及減少計算復雜度,我們將二維輪廓形狀變化轉(zhuǎn)換為一維的距離信號來近似表達時空變化模式,其過程如圖1所示。2.2心坐標的計算假設C是二維輪廓形狀的順時針方向的簡單封閉輪廓線,輪廓線邊界上的點用復數(shù)z表示為。輪廓線矩心坐標zc使用公式(1)計算,其中N是輪廓邊界像素總數(shù)。邊界上任意一點到矩心的距離表示為:考慮質(zhì)心到人體輪廓點的距離構(gòu)成一個向量R=r1,r2,…,rN,N為人體輪廓邊界點的個數(shù),R的離散傅立葉變換(DFT)為:對序列進行歸一化操作,使用式(4)描述的特征向量表示特征:3.基于序列的相似度處理通常使用時空相關(guān)來對行為建模,即通過依賴時間對行為的動態(tài)變換進行編碼。文章提出了一種簡單而有效地表示方法,運動序列被表示成一組可判別的靜態(tài)的關(guān)鍵姿態(tài)的樣例。此方法采用時間不變的表示?；谔卣髌ヅ涞男蛄邢嗨贫鹊挠嬎愣夹枰崛√卣餍蛄?由于一個行為可能出現(xiàn)的姿勢并不是特定的,所以應該避免使用逐幀比較,同時幀與幀的比較也應該不依賴于身高、圖像的大小等參數(shù)。假設視頻序列中只有一個人產(chǎn)生行為,但是同一個序列可以出現(xiàn)多個行為,首先將特征圖像歸一化,使人體出現(xiàn)在視頻的中心對稱的位置,并通過雙線性差值算法使圖像的高度相同。使用Frobenius范數(shù)作為序列的相似性度量,對于序列X與序列Y,首先利用公式(5)計算幀P與幀Q之間的相似度。然后利用算法1計算序列之間的距離。假設一個訓練好的特征序列數(shù)據(jù)集Xi=[x1,x2,…,xn],i=1,2,…,N,表示分類為ci的特征序列,N表示已知分類個數(shù),ni是樣例集Xi的樣本數(shù)量。給定一個時間連續(xù)的輸入序列,我們的目標是在輸入序列中分割出視頻中所包含的行為片段。假設一個視頻序列中只包含一個人的行為,如圖2所示,為能夠分辨出行為類別,我們將輸入序列分割成連續(xù)的視頻片段,如Y=y1,y2,…,yn是已經(jīng)分割的視頻片段,問題轉(zhuǎn)化為找到滿足最小值問題argminid*(Y,Xi)的樣例分類ci,使樣例Xi與序列Y的距離最小,問題是如何比較兩個視頻序列的相似度以及序列Y如何分割,多長才合適?具體計算如算法1所示。算法1序列匹配算法:第1步:定義樣例序列Xi中的幀xj與測試序列Y的最小距離幀的距離,記為dj(Y)=d(xj,yopt)。第2步:計算特征序列Xi的每一幀與序列Y的距離構(gòu)成一個距離向量D(Y)并計算距離向量的期望值mi作為序列Xi與序列Y的距離,式(6)中ni表示序列Xi的長度。第3步:應用公式(5)計算幀與幀之間的距離。第4步:計算最小值問題argminid*(Y,Xi)=argminimi,序列Y被最終判定為分類ci。從視頻序列中分割n=maxi|xi|,i=1,2,…,N幀作為測試序列,這個長度的序列包含所有樣例庫中可能的完整行為周期,當檢測完一個行為之后需要繼續(xù)檢測下一個行為的時候,由于前一次匹配的行為所使用的視頻序列長度沒有達到n,所以必須回溯,下一輪分割從上一次匹配的最后一幀的下一幀開始。4.結(jié)果4.1基于同幀相似性的背景差法提取Weizmann行為數(shù)據(jù)庫包含9個人10種不同的行為序列。數(shù)據(jù)庫提供的是avi格式的視頻文件。圖3顯示daria的10種不同行為序列中的一個典型特征幀。實驗中首先將視頻文件分解為視頻圖像幀序列,采用鄰幀差法從圖像序列中動態(tài)構(gòu)建背景,算法主要利用兩幀相差提取第k,k+1幀中的共同背景子區(qū)域B(k,k+1,x,y),k=1,2,…,N-1,利用公式(8)來逼近重建背景。公式(8)表示將k,k+1幀中共同背景拼接到已經(jīng)估計的背景區(qū)域B(x,y)中,∪表示拼接算子。采用背景差法提取運動對象,利用形態(tài)學算子對前景物區(qū)塊內(nèi)的小洞進行修補。Weizmann行為數(shù)據(jù)庫一個行為序列以及提取的側(cè)影如圖4所示。由于行走方向及人體身高等因素的影響,視頻序列中不同幀之間人體側(cè)影大小是有差別的,因此在進行區(qū)域分割之前,我們首先對目標高度進行歸一化。具體方法如下:假設fi視頻序列中的第i幀中只包含人體部分的矩形區(qū)域,其大小為Mi×Ni。利用雙線性插值將進行等比例縮放,縮放之后的圖像高度為M,將序列中的所有幀進行同樣處理,獲得歸一化的人體區(qū)域圖像序列,則該序列的所有圖像的高度均為M。4.2算法驗證實驗由于樣本數(shù)量較少,無法從訓練樣本中準確估計概率密度函數(shù),因此可以采用非參數(shù)的方法設計分類器,本文采用近鄰分類算法(NN),測試樣本被歸入與其距離最近的標本所在的類別。圖5顯示一個測試幀和從訓練序列中找到的最相似的幀。本文使用OpenCV在C#環(huán)境下完成測試實驗,OpenCV是一個開源的視頻圖像處理開發(fā)包,C#版本是原始C語言版本的托管代碼封裝,方便在Microsoft.NET環(huán)境下快速開發(fā)。實驗中選擇Weizmann行為數(shù)據(jù)庫,該行為數(shù)據(jù)庫被廣大的同類文章作為驗證算法的首選,其中包含10種不同的行為,每個行為包含9個演員的序列,通過留一校驗(leaveoneoutcrossvalidation)的方法,計算正確識別率CCR(CorrectClassificationRate)。表1給出不同算法CCR測試結(jié)果。表2描述了在Weizmann行為數(shù)據(jù)庫的測試結(jié)果,其中a1-a10表示10種不同行為序列,s1-s9表示不同的演員,最后一列表示分類器正確分類的序列數(shù)量,表示分類失敗,√表示分類正確。各種行為的含義:a1-彎腰,a2-原地站起,a3-跳,a4-單腳跳,a5-跑,a6-側(cè)行,a7-滑行,a8-走,a9-單手揮動,a10-雙手揮動。5.