人體行為識別

1、人體行為識別概述人體行為識別概述機器視覺團隊：歐陽寒機器視覺團隊：歐陽寒Page 2行為識別現(xiàn)狀行為識別現(xiàn)狀n VSAM(Visual Surveillance and Monitoring) 1997n IVPL實驗室實驗室(The Image and Video Processing Laboratory)n AIRVL實驗室實驗室(Artificial Intelligence，Robotics，and Vision Laboratory)n LPAC實驗室實驗室(Laboratory for Perception，Action and Cognition)n KNIGHT系統(tǒng)系統(tǒng)n I

2、SCAPs(Integrated Surveillance of Crowded Areas for Public Security)n REASON(Robust Methods for Monitoring and Understanding People in Public spaces)n CANTATA(Content Aware Networked systems Towards Advanced and TailoredAssistance)n 中國科學(xué)院自動化所的生物識別與安全技術(shù)研究中心中國科學(xué)院自動化所的生物識別與安全技術(shù)研究中心CBSRn 微軟亞洲研究院微軟亞洲研究院參考

3、文獻(xiàn)：監(jiān)控視頻中的人體異常行為檢測研究Page 3行為識別前景行為識別前景n high-level video indexing and retrievaln “smart” video surveillance systems 自動檢測異常行為，輔助檢索一個特定的事件。自動檢測異常行為，輔助檢索一個特定的事件。n The analysis of sport videos 幫助教練進(jìn)行戰(zhàn)略分析。識別不同的游泳風(fēng)格。幫助教練進(jìn)行戰(zhàn)略分析。識別不同的游泳風(fēng)格。n Hand gesture recognition 虛擬現(xiàn)實虛擬現(xiàn)實n Human-Computer Interaction (HCI)

4、systems kidsRoom、Smart room 、Facial action用于分析精神病病人的情感行為。用于分析精神病病人的情感行為。n roboticsn medical area 輔助診斷病人的運動問題。另一個是對老年人提供遠(yuǎn)程協(xié)助。輔助診斷病人的運動問題。另一個是對老年人提供遠(yuǎn)程協(xié)助。參考文獻(xiàn)：Action Recognition in Videos:from Motion Capture Labs to the WebPage 4行為識別的流程行為識別的流程參考文獻(xiàn)：運動人體行為分析 視頻中的人體運動分析及其應(yīng)用研究 n 目標(biāo)的運動特征，可以用于運動表述，是行為理解等高層部分

5、的基礎(chǔ)。目標(biāo)的運動特征，可以用于運動表述，是行為理解等高層部分的基礎(chǔ)。n 常見的運動表述方法有：常見的運動表述方法有：運動軌跡、時空圖表述運動軌跡、時空圖表述和光流。和光流。Page 5行為識別的流程行為識別的流程。Page 6目錄目錄目標(biāo)檢測目標(biāo)檢測目標(biāo)分類目標(biāo)分類特征提取特征提取行為理解行為理解目標(biāo)跟蹤目標(biāo)跟蹤Page 7運動目標(biāo)檢測運動目標(biāo)檢測參考文獻(xiàn)：視頻中的人體運動分析及其應(yīng)用研究.nh 運動目標(biāo)跟蹤算法研究綜述.pdfn 對于不依賴先驗知識的目標(biāo)跟蹤來講，運動檢測是實現(xiàn)跟蹤的第一步對于不依賴先驗知識的目標(biāo)跟蹤來講，運動檢測是實現(xiàn)跟蹤的第一步n 運動檢測即為從序列圖像中將變化區(qū)域從背

6、景圖像中提取出來。運動檢測即為從序列圖像中將變化區(qū)域從背景圖像中提取出來。Page 8目標(biāo)檢測目標(biāo)檢測時間差分法時間差分法n 在連續(xù)的圖像序列中在連續(xù)的圖像序列中兩幅或三幅相鄰幀兩幅或三幅相鄰幀之間采用之間采用基于像素基于像素的時間差分，的時間差分，并對差分結(jié)果進(jìn)行并對差分結(jié)果進(jìn)行閾值化處理閾值化處理以以提取提取圖像中的圖像中的前景前景運動區(qū)域。運動區(qū)域。n 缺點：缺點：n 前景、背景區(qū)域的確定與前景、背景區(qū)域的確定與閾值的選取閾值的選取有很大的關(guān)系有很大的關(guān)系 當(dāng)灰度圖像序列對比度較低時，由于相鄰兩幀的差當(dāng)灰度圖像序列對比度較低時，由于相鄰兩幀的差(前景與背景之差前景與背景之差)的范圍很小，

7、的范圍很小，閾值難以選取閾值難以選取，影響前景目標(biāo)的分割結(jié)果。，影響前景目標(biāo)的分割結(jié)果。n 區(qū)域區(qū)域灰度值灰度值變化較為變化較為平坦時平坦時，容易在人體二值圖像內(nèi)產(chǎn)生，容易在人體二值圖像內(nèi)產(chǎn)生空洞現(xiàn)象空洞現(xiàn)象，給后續(xù)的目標(biāo)分類、跟蹤和識別造成不便。給后續(xù)的目標(biāo)分類、跟蹤和識別造成不便。n 優(yōu)點：優(yōu)點：n 對于對于動態(tài)環(huán)境動態(tài)環(huán)境有有較強較強的自的自適應(yīng)性適應(yīng)性Page 9目標(biāo)檢測目標(biāo)檢測光流法光流法n 基于光流法的運動檢測，是利用運動物體隨時間變化在圖像中表現(xiàn)的基于光流法的運動檢測，是利用運動物體隨時間變化在圖像中表現(xiàn)的光流特性，通過計算位移向量光流場來提取運動目標(biāo)。光流特性，通過計算位移向量

8、光流場來提取運動目標(biāo)。n 光流是空間運動物體在觀測成像面上對應(yīng)像素運動的瞬時速度，是空光流是空間運動物體在觀測成像面上對應(yīng)像素運動的瞬時速度，是空間物體可見點的三維速度矢量在成像平面上的投影，它攜帶了豐富的間物體可見點的三維速度矢量在成像平面上的投影，它攜帶了豐富的運動和結(jié)構(gòu)信息。運動和結(jié)構(gòu)信息。n 優(yōu)點優(yōu)點：n 即使在攝像機運動的情況下也能檢測出獨立的運動目標(biāo)。即使在攝像機運動的情況下也能檢測出獨立的運動目標(biāo)。n 缺點缺點：n 由于噪聲、多光源、陰影和遮擋等原因，計算出的光流場分布并不十由于噪聲、多光源、陰影和遮擋等原因，計算出的光流場分布并不十分可靠和準(zhǔn)確。分可靠和準(zhǔn)確。n 多數(shù)光流法計算

9、復(fù)雜、耗時，在實際的系統(tǒng)中沒有特殊的硬件支持時，多數(shù)光流法計算復(fù)雜、耗時，在實際的系統(tǒng)中沒有特殊的硬件支持時，很難實現(xiàn)實時檢測。很難實現(xiàn)實時檢測。Page 10目標(biāo)檢測目標(biāo)檢測背景減除法背景減除法n 最常用且有效的是背景減除法。最常用且有效的是背景減除法。n 背景減除法最簡單的實現(xiàn)方法是預(yù)先選取不含前景運動目標(biāo)的背景圖背景減除法最簡單的實現(xiàn)方法是預(yù)先選取不含前景運動目標(biāo)的背景圖像，然后將當(dāng)前圖像幀與背景圖像相減得到前景目標(biāo)。像，然后將當(dāng)前圖像幀與背景圖像相減得到前景目標(biāo)。n 背景減除法通常在背景減除法通常在攝像機固定的情況下使用攝像機固定的情況下使用，關(guān)鍵關(guān)鍵是建立隨場景變化是建立隨場景變化不

10、斷更新的背景模型不斷更新的背景模型。n 有有兩類兩類常用的背景更新方法常用的背景更新方法:n 1、建立背景模型并采用自適應(yīng)方法對模型參數(shù)進(jìn)行調(diào)整，從而獲得、建立背景模型并采用自適應(yīng)方法對模型參數(shù)進(jìn)行調(diào)整，從而獲得新背景圖像新背景圖像;n 2、從過去的一組觀測圖像中按一定的假設(shè)選擇像素值構(gòu)成當(dāng)前背景、從過去的一組觀測圖像中按一定的假設(shè)選擇像素值構(gòu)成當(dāng)前背景圖像。圖像。Page 11目標(biāo)分類目標(biāo)分類參考文獻(xiàn)：視頻中的人體運動分析及其應(yīng)用研究Page 12人體描述人體描述參考文獻(xiàn)：Human Motion: Modeling and Recognition of Actions and Intera

11、ctions Page 13運動跟蹤運動跟蹤參考文獻(xiàn)：運動目標(biāo)跟蹤算法研究綜述n 運動目標(biāo)的跟蹤，即通過目標(biāo)的有效表達(dá)，在圖像序列中尋找與目標(biāo)運動目標(biāo)的跟蹤，即通過目標(biāo)的有效表達(dá)，在圖像序列中尋找與目標(biāo)模板最相似候選目標(biāo)區(qū)位置的過程。模板最相似候選目標(biāo)區(qū)位置的過程。n 就是在序列圖像中為就是在序列圖像中為目標(biāo)定位目標(biāo)定位。n 范例范例Page 14四種跟蹤方法的比較四種跟蹤方法的比較。Page 15運動目標(biāo)的特征運動目標(biāo)的特征參考文獻(xiàn)：自動目標(biāo)識別與跟蹤技術(shù)研究綜述Page 16運動表征運動表征。Page 17行為識別行為識別n 人的行為理解與描述是指對人的運動模式進(jìn)行分析和識別人的行為理解與

12、描述是指對人的運動模式進(jìn)行分析和識別, 并用自然語并用自然語言等加以描述言等加以描述. n 可以簡單地認(rèn)為是時變數(shù)據(jù)的分類問題，即將測試序列與預(yù)先標(biāo)定的代可以簡單地認(rèn)為是時變數(shù)據(jù)的分類問題，即將測試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配表典型行為的參考序列進(jìn)行匹配. n 行為理解的行為理解的關(guān)鍵問題關(guān)鍵問題是如何從學(xué)習(xí)樣本中是如何從學(xué)習(xí)樣本中獲取參考行為序列獲取參考行為序列, 并且學(xué)習(xí)并且學(xué)習(xí)和匹配的行為序列能夠處理在相似的運動模式類別中空間和時間尺度上和匹配的行為序列能夠處理在相似的運動模式類別中空間和時間尺度上輕微的特征變化輕微的特征變化.Page 18行為識別方法行為識別方法Pa

13、ge 19基于模板匹配的方法基于模板匹配的方法n 首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式n 然后在識別過程中用輸入圖像序列提取的特然后在識別過程中用輸入圖像序列提取的特征與在訓(xùn)練階段預(yù)先存儲的動作行為模板進(jìn)征與在訓(xùn)練階段預(yù)先存儲的動作行為模板進(jìn)行行相似度比較相似度比較，在比較數(shù)據(jù)可以有輕微變化，在比較數(shù)據(jù)可以有輕微變化下識別人體行為。下識別人體行為。M H V(Motion History Volumes)Page 20基于模板匹配的方法之基于模板匹配的方法之DTWn DTW（dynamic time warping）動態(tài)時間規(guī)整動態(tài)時間規(guī)整n DTW是一種時

14、變數(shù)據(jù)序列匹配方法是一種時變數(shù)據(jù)序列匹配方法n DTW 優(yōu)點：概念簡單、算法魯棒，能夠?qū)D像序列進(jìn)行分類。優(yōu)點：概念簡單、算法魯棒，能夠?qū)D像序列進(jìn)行分類。n DTW缺點：算法計算量較大，缺乏考慮相鄰時序之間的動態(tài)特性，缺點：算法計算量較大，缺乏考慮相鄰時序之間的動態(tài)特性，而在實際中，運動序列中相鄰序列在時間和空間上有高度的相關(guān)性。而在實際中，運動序列中相鄰序列在時間和空間上有高度的相關(guān)性。Page 21基于狀態(tài)空間的方法基于狀態(tài)空間的方法n 將圖像序列中的每個將圖像序列中的每個靜態(tài)姿勢或運動狀態(tài)作為一個狀態(tài)節(jié)點靜態(tài)姿勢或運動狀態(tài)作為一個狀態(tài)節(jié)點，這些狀，這些狀態(tài)節(jié)點之間由給定的概率聯(lián)系起來。

15、態(tài)節(jié)點之間由給定的概率聯(lián)系起來。n 任何的任何的動作序列動作序列可以認(rèn)為是這些靜態(tài)動作在不同狀態(tài)節(jié)點中的可以認(rèn)為是這些靜態(tài)動作在不同狀態(tài)節(jié)點中的一次遍一次遍歷過程歷過程，計算這個遍歷過程的聯(lián)合概率，計算這個遍歷過程的聯(lián)合概率，取其最大值取其最大值作為分類標(biāo)準(zhǔn)。作為分類標(biāo)準(zhǔn)。n 基于狀態(tài)空間的方法已經(jīng)被廣泛應(yīng)用于基于狀態(tài)空間的方法已經(jīng)被廣泛應(yīng)用于預(yù)測、估計和檢測預(yù)測、估計和檢測時間序列。時間序列。Page 22基于狀態(tài)空間的方法基于狀態(tài)空間的方法HMM隱馬爾可夫模型的基本結(jié)構(gòu)隱馬爾可夫模型的基本結(jié)構(gòu)Page 23基于狀態(tài)空間的方法基于狀態(tài)空間的方法DBNsn 動態(tài)貝葉斯網(wǎng)絡(luò)動態(tài)貝葉斯網(wǎng)絡(luò)(dyn

16、amic Bayesian networks，DBNs) 由于由于HMMs不能有效處理三個或三個以上獨立的過程，作為不能有效處理三個或三個以上獨立的過程，作為HMMs的推廣方法。的推廣方法。n 是一種對隨機過程描述的有向圖解是一種對隨機過程描述的有向圖解n 利用先驗知識建立視覺特征之間的因果關(guān)系來處理視頻處理中固有的利用先驗知識建立視覺特征之間的因果關(guān)系來處理視頻處理中固有的不確定性問題。不確定性問題。n 優(yōu)點：優(yōu)點：n 可以任意改變拓?fù)浣Y(jié)果或增刪變量以反映變量間各種不同的關(guān)聯(lián)關(guān)系，可以任意改變拓?fù)浣Y(jié)果或增刪變量以反映變量間各種不同的關(guān)聯(lián)關(guān)系，而不影響訓(xùn)練算法本身，因此具有而不影響訓(xùn)練算法本身

17、，因此具有良好的可解釋性良好的可解釋性，其拓?fù)浣Y(jié)構(gòu)具有，其拓?fù)浣Y(jié)構(gòu)具有精確及易于理解的概率語義精確及易于理解的概率語義。n 相比馬爾可夫鏈，貝葉斯網(wǎng)絡(luò)訓(xùn)練比較復(fù)雜。相比馬爾可夫鏈，貝葉斯網(wǎng)絡(luò)訓(xùn)練比較復(fù)雜。Page 24基于狀態(tài)空間的方法基于狀態(tài)空間的方法ANNn 人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動態(tài)系統(tǒng)，它通人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理，在分析時變數(shù)據(jù)過對連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理，在分析時變數(shù)據(jù)時具有很大的優(yōu)勢。時具有很大的優(yōu)勢。n 缺點：需要用大量的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)缺點：需要用大量的數(shù)據(jù)來

18、訓(xùn)練網(wǎng)絡(luò)n TDNN(time-delay neural network)時延神經(jīng)網(wǎng)絡(luò)時延神經(jīng)網(wǎng)絡(luò)n 是在多層前饋感知器神經(jīng)網(wǎng)絡(luò)模型中引入時延單元使得神經(jīng)網(wǎng)絡(luò)增加是在多層前饋感知器神經(jīng)網(wǎng)絡(luò)模型中引入時延單元使得神經(jīng)網(wǎng)絡(luò)增加記憶功能；記憶功能； n 時變序列的前述值被用來預(yù)測下一個值。由于大量數(shù)據(jù)集成為可能，時變序列的前述值被用來預(yù)測下一個值。由于大量數(shù)據(jù)集成為可能，時延神經(jīng)網(wǎng)絡(luò)的重點就可以放在時分信息的表達(dá)時延神經(jīng)網(wǎng)絡(luò)的重點就可以放在時分信息的表達(dá)n 這樣由此導(dǎo)出的神經(jīng)網(wǎng)絡(luò)模型適合應(yīng)用于處理序列數(shù)據(jù)。這樣由此導(dǎo)出的神經(jīng)網(wǎng)絡(luò)模型適合應(yīng)用于處理序列數(shù)據(jù)。Page 25基于狀態(tài)空間的方法基于狀態(tài)空間

19、的方法SVMn 支持向量機支持向量機(support vector machine，SVM )n 優(yōu)點：優(yōu)點：n 能夠較好地解決常見的非線性分類問題中的小樣本、非線性、高維數(shù)能夠較好地解決常見的非線性分類問題中的小樣本、非線性、高維數(shù)和局部極小點等實際問題和局部極小點等實際問題n 可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點問題可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點問題Page 26兩種方法比較兩種方法比較n 模板匹配方法的優(yōu)點是計算復(fù)雜度低、操作和實現(xiàn)簡單，但缺乏考慮模板匹配方法的優(yōu)點是計算復(fù)雜度低、操作和實現(xiàn)簡單，但缺乏考慮運動序列中相鄰時序之間的動態(tài)特性，對于噪聲和運動時間間隔的變運動序列中相鄰時

20、序之間的動態(tài)特性，對于噪聲和運動時間間隔的變化相當(dāng)敏感?；喈?dāng)敏感。n 狀態(tài)空間方法雖然能克服模板匹配的缺點，但通常涉及到復(fù)雜的迭代狀態(tài)空間方法雖然能克服模板匹配的缺點，但通常涉及到復(fù)雜的迭代運算，算法的步驟較為復(fù)雜，難以應(yīng)用到實際工作中。運算，算法的步驟較為復(fù)雜，難以應(yīng)用到實際工作中。Page 27基于語義的描述方法基于語義的描述方法n 用一種形式化的語法格式：主語（人）、謂語（人的動作）、賓語用一種形式化的語法格式：主語（人）、謂語（人的動作）、賓語（實物），將場景中人的活動情況用填空的形式填入語法格式中，產(chǎn)（實物），將場景中人的活動情況用填空的形式填入語法格式中，產(chǎn)生對場景的自然語言描述

21、。生對場景的自然語言描述。n 基于語義描述的方法是對在一段持續(xù)時間內(nèi)場景內(nèi)容的分析過程基于語義描述的方法是對在一段持續(xù)時間內(nèi)場景內(nèi)容的分析過程n 目前還處于對場景中人體行為的簡單語義解釋目前還處于對場景中人體行為的簡單語義解釋n 對復(fù)雜場景中人體復(fù)雜行為有效的充分的語義描述還有相當(dāng)艱巨的工對復(fù)雜場景中人體復(fù)雜行為有效的充分的語義描述還有相當(dāng)艱巨的工作要做作要做Page 28行為的分層模型行為的分層模型n 常用的概念常用的概念n pose、actions、activitiesn action/motor primitivesn Human action recognitionn Motion a

22、nalysisn Action detectionn Automatic Target Recognitionn Behavior understandingn visual analysisPage 29行為識別難點行為識別難點n 運動分割（運動分割（Motion Segmentation） n 人體建模人體建模n 遮擋問題遮擋問題n 多攝像機的使用多攝像機的使用n 運動特征選擇與表達(dá)運動特征選擇與表達(dá)n 行為識別行為識別n 高層行為與場景理解高層行為與場景理解n 性能評估性能評估Page 30行為識別的熱點行為識別的熱點n 音頻與視覺相結(jié)合的多模態(tài)接口音頻與視覺相結(jié)合的多模態(tài)接口n 行為理

23、解與生物特征識別相結(jié)合行為理解與生物特征識別相結(jié)合n 人的運動分析向行為理解與描述高層處理的轉(zhuǎn)變?nèi)说倪\動分析向行為理解與描述高層處理的轉(zhuǎn)變Page 31常用數(shù)據(jù)庫常用數(shù)據(jù)庫n KTH human motion datasetn Weizmann human action datasetn INRIA XMAS multi-view datasetn UCF sports action datasetn Hollywood human action datasetn CASIAPage 32頂級會議頂級會議n ICCV(IEEE International Conference On Computer Vision)n ICPR