人體行為識別概述課件

人體·行為識別人體·行為識別人體·行為識別的流程

目標的運動特征，可以用于運動表述，是行為理解等高層部分的基礎。常見的運動表述方法有：運動軌跡、時空圖表述和光流。2人體·行為識別的流程2目錄目標檢測01目標分類02特征提取04行為理解05目標跟蹤033目錄目標檢測01目標分類02特征提取04行為理解05目標跟蹤目標檢測對于不依賴先驗知識的目標跟蹤來講，運動檢測是實現(xiàn)跟蹤的第一步運動檢測即為從序列圖像中將變化區(qū)域從背景圖像中提取出來。4目標檢測對于不依賴先驗知識的目標跟蹤來講，運動檢測是實現(xiàn)跟蹤目標檢測——時間差分法在連續(xù)的圖像序列中兩幅或三幅相鄰幀之間采用基于像素的時間差分，并對差分結(jié)果進行閾值化處理以提取圖像中的前景運動區(qū)域。缺點：前景、背景區(qū)域的確定與閾值的選取有很大的關(guān)系當灰度圖像序列對比度較低時，由于相鄰兩幀的差(前景與背景之差)的范圍很小，閾值難以選取，影響前景目標的分割結(jié)果。區(qū)域灰度值變化較為平坦時，容易在人體二值圖像內(nèi)產(chǎn)生空洞現(xiàn)象，給后續(xù)的目標分類、跟蹤和識別造成不便。優(yōu)點：對于動態(tài)環(huán)境有較強的自適應性5目標檢測——時間差分法在連續(xù)的圖像序列中兩幅或三幅相鄰幀之間目標檢測——光流法基于光流法的運動檢測，是利用運動物體隨時間變化在圖像中表現(xiàn)的光流特性，通過計算位移向量光流場來提取運動目標。光流是空間運動物體在觀測成像面上對應像素運動的瞬時速度，是空間物體可見點的三維速度矢量在成像平面上的投影，它攜帶了豐富的運動和結(jié)構(gòu)信息。優(yōu)點：即使在攝像機運動的情況下也能檢測出獨立的運動目標。缺點：由于噪聲、多光源、陰影和遮擋等原因，計算出的光流場分布并不十分可靠和準確。多數(shù)光流法計算復雜、耗時，在實際的系統(tǒng)中沒有特殊的硬件支持時，很難實現(xiàn)實時檢測。6目標檢測——光流法基于光流法的運動檢測，是利用運動物體隨時間目標檢測——背景減除法最常用且有效的是背景減除法。背景減除法最簡單的實現(xiàn)方法是預先選取不含前景運動目標的背景圖像，然后將當前圖像幀與背景圖像相減得到前景目標。背景減除法通常在攝像機固定的情況下使用，關(guān)鍵是建立隨場景變化不斷更新的背景模型。有兩類常用的背景更新方法:1、建立背景模型并采用自適應方法對模型參數(shù)進行調(diào)整，從而獲得新背景圖像;2、從過去的一組觀測圖像中按一定的假設選擇像素值構(gòu)成當前背景圖像。7目標檢測——背景減除法最常用且有效的是背景減除法。7目標分類8目標分類8人體描述

?9人體描述?9運動跟蹤參考文獻：運動目標跟蹤算法研究綜述運動目標的跟蹤，即通過目標的有效表達，在圖像序列中尋找與目標模板最相似候選目標區(qū)位置的過程。就是在序列圖像中為目標定位。范例10運動跟蹤參考文獻：運動目標跟蹤算法研究綜述運動目標的跟蹤，即四種跟蹤方法的比較。11四種跟蹤方法的比較。11目標特征12目標特征12運動表征。13運動表征。13人體·行為識別人的行為理解與描述是指對人的運動模式進行分析和識別,并用自然語言等加以描述.可以簡單地認為是時變數(shù)據(jù)的分類問題，即將測試序列與預先標定的代表典型行為的參考序列進行匹配.行為理解的關(guān)鍵問題是如何從學習樣本中獲取參考行為序列,并且學習和匹配的行為序列能夠處理在相似的運動模式類別中空間和時間尺度上輕微的特征變化.14人體·行為識別14人體·行為識別方法15人體·行為識別方法15基于模板匹配的方法首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式然后在識別過程中用輸入圖像序列提取的特征與在訓練階段預先存儲的動作行為模板進行相似度比較，在比較數(shù)據(jù)可以有輕微變化下識別人體行為。M

H

V(MotionHistory

Volumes)16基于模板匹配的方法首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式MH基于模板匹配的方法之DTWDTW（dynamictimewarping）——動態(tài)時間規(guī)整DTW是一種時變數(shù)據(jù)序列匹配方法DTW優(yōu)點：概念簡單、算法魯棒，能夠?qū)D像序列進行分類。DTW缺點：算法計算量較大，缺乏考慮相鄰時序之間的動態(tài)特性，而在實際中，運動序列中相鄰序列在時間和空間上有高度的相關(guān)性。

17基于模板匹配的方法之DTW17基于狀態(tài)空間的方法將圖像序列中的每個靜態(tài)姿勢或運動狀態(tài)作為一個狀態(tài)節(jié)點，這些狀態(tài)節(jié)點之間由給定的概率聯(lián)系起來。任何的動作序列可以認為是這些靜態(tài)動作在不同狀態(tài)節(jié)點中的一次遍歷過程，計算這個遍歷過程的聯(lián)合概率，取其最大值作為分類標準?；跔顟B(tài)空間的方法已經(jīng)被廣泛應用于預測、估計和檢測時間序列。18基于狀態(tài)空間的方法18基于狀態(tài)空間的方法——HMM隱馬爾可夫模型的基本結(jié)構(gòu)19基于狀態(tài)空間的方法——HMM隱馬爾可夫模型的基本結(jié)構(gòu)19基于狀態(tài)空間的方法——DBNs動態(tài)貝葉斯網(wǎng)絡(dynamicBayesiannetworks，DBNs)

由于HMMs不能有效處理三個或三個以上獨立的過程，作為HMMs的推廣方法。是一種對隨機過程描述的有向圖解利用先驗知識建立視覺特征之間的因果關(guān)系來處理視頻處理中固有的不確定性問題。優(yōu)點：可以任意改變拓撲結(jié)果或增刪變量以反映變量間各種不同的關(guān)聯(lián)關(guān)系，而不影響訓練算法本身，因此具有良好的可解釋性，其拓撲結(jié)構(gòu)具有精確及易于理解的概率語義。相比馬爾可夫鏈，貝葉斯網(wǎng)絡訓練比較復雜。20基于狀態(tài)空間的方法——DBNs動態(tài)貝葉斯網(wǎng)絡(dynamic基于狀態(tài)空間的方法——ANN人工神經(jīng)網(wǎng)絡是由人工建立的以有向圖為拓撲結(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)響應而進行信息處理，在分析時變數(shù)據(jù)時具有很大的優(yōu)勢。缺點：需要用大量的數(shù)據(jù)來訓練網(wǎng)絡TDNN(time-delayneuralnetwork)——時延神經(jīng)網(wǎng)絡是在多層前饋感知器神經(jīng)網(wǎng)絡模型中引入時延單元使得神經(jīng)網(wǎng)絡增加記憶功能；時變序列的前述值被用來預測下一個值。由于大量數(shù)據(jù)集成為可能，時延神經(jīng)網(wǎng)絡的重點就可以放在時分信息的表達這樣由此導出的神經(jīng)網(wǎng)絡模型適合應用于處理序列數(shù)據(jù)。21基于狀態(tài)空間的方法——ANN人工神經(jīng)網(wǎng)絡是由人工建立的以有向基于狀態(tài)空間的方法——SVM支持向量機(supportvectormachine，SVM)優(yōu)點：能夠較好地解決常見的非線性分類問題中的小樣本、非線性、高維數(shù)和局部極小點等實際問題可以避免神經(jīng)網(wǎng)絡結(jié)構(gòu)選擇和局部極小點問題22基于狀態(tài)空間的方法——SVM支持向量機(supportve兩種方法比較模板匹配方法的優(yōu)點是計算復雜度低、操作和實現(xiàn)簡單，但缺乏考慮運動序列中相鄰時序之間的動態(tài)特性，對于噪聲和運動時間間隔的變化相當敏感。狀態(tài)空間方法雖然能克服模板匹配的缺點，但通常涉及到復雜的迭代運算，算法的步驟較為復雜，難以應用到實際工作中。23兩種方法比較23基于語義的描述方法用一種形式化的語法格式：主語（人）、謂語（人的動作）、賓語（實物），將場景中人的活動情況用填空的形式填入語法格式中，產(chǎn)生對場景的自然語言描述。基于語義描述的方法是對在一段持續(xù)時間內(nèi)場景內(nèi)容的分析過程目前還處于對場景中人體行為的簡單語義解釋對復雜場景中人體復雜行為有效的充分的語義描述還有相當艱巨的工作要做24基于語義的描述方法用一種形式化的語法格式：主語（人）、謂語（行為的分層模型常用的概念pose、actions、activitiesaction/motorprimitivesHumanactionrecognitionMotionanalysisActiondetectionAutomaticTargetRecognitionBehaviorunderstandingvisualanalysis25行為的分層模型常用的概念25龍騰視覺(北京)科技有限公司26龍騰視覺(北京)科技有限公司26人體·行為識別人體·行為識別人體·行為識別的流程

目標的運動特征，可以用于運動表述，是行為理解等高層部分的基礎。常見的運動表述方法有：運動軌跡、時空圖表述和光流。28人體·行為識別的流程2目錄目標檢測01目標分類02特征提取04行為理解05目標跟蹤0329目錄目標檢測01目標分類02特征提取04行為理解05目標跟蹤目標檢測對于不依賴先驗知識的目標跟蹤來講，運動檢測是實現(xiàn)跟蹤的第一步運動檢測即為從序列圖像中將變化區(qū)域從背景圖像中提取出來。30目標檢測對于不依賴先驗知識的目標跟蹤來講，運動檢測是實現(xiàn)跟蹤目標檢測——時間差分法在連續(xù)的圖像序列中兩幅或三幅相鄰幀之間采用基于像素的時間差分，并對差分結(jié)果進行閾值化處理以提取圖像中的前景運動區(qū)域。缺點：前景、背景區(qū)域的確定與閾值的選取有很大的關(guān)系當灰度圖像序列對比度較低時，由于相鄰兩幀的差(前景與背景之差)的范圍很小，閾值難以選取，影響前景目標的分割結(jié)果。區(qū)域灰度值變化較為平坦時，容易在人體二值圖像內(nèi)產(chǎn)生空洞現(xiàn)象，給后續(xù)的目標分類、跟蹤和識別造成不便。優(yōu)點：對于動態(tài)環(huán)境有較強的自適應性31目標檢測——時間差分法在連續(xù)的圖像序列中兩幅或三幅相鄰幀之間目標檢測——光流法基于光流法的運動檢測，是利用運動物體隨時間變化在圖像中表現(xiàn)的光流特性，通過計算位移向量光流場來提取運動目標。光流是空間運動物體在觀測成像面上對應像素運動的瞬時速度，是空間物體可見點的三維速度矢量在成像平面上的投影，它攜帶了豐富的運動和結(jié)構(gòu)信息。優(yōu)點：即使在攝像機運動的情況下也能檢測出獨立的運動目標。缺點：由于噪聲、多光源、陰影和遮擋等原因，計算出的光流場分布并不十分可靠和準確。多數(shù)光流法計算復雜、耗時，在實際的系統(tǒng)中沒有特殊的硬件支持時，很難實現(xiàn)實時檢測。32目標檢測——光流法基于光流法的運動檢測，是利用運動物體隨時間目標檢測——背景減除法最常用且有效的是背景減除法。背景減除法最簡單的實現(xiàn)方法是預先選取不含前景運動目標的背景圖像，然后將當前圖像幀與背景圖像相減得到前景目標。背景減除法通常在攝像機固定的情況下使用，關(guān)鍵是建立隨場景變化不斷更新的背景模型。有兩類常用的背景更新方法:1、建立背景模型并采用自適應方法對模型參數(shù)進行調(diào)整，從而獲得新背景圖像;2、從過去的一組觀測圖像中按一定的假設選擇像素值構(gòu)成當前背景圖像。33目標檢測——背景減除法最常用且有效的是背景減除法。7目標分類34目標分類8人體描述

?35人體描述?9運動跟蹤參考文獻：運動目標跟蹤算法研究綜述運動目標的跟蹤，即通過目標的有效表達，在圖像序列中尋找與目標模板最相似候選目標區(qū)位置的過程。就是在序列圖像中為目標定位。范例36運動跟蹤參考文獻：運動目標跟蹤算法研究綜述運動目標的跟蹤，即四種跟蹤方法的比較。37四種跟蹤方法的比較。11目標特征38目標特征12運動表征。39運動表征。13人體·行為識別人的行為理解與描述是指對人的運動模式進行分析和識別,并用自然語言等加以描述.可以簡單地認為是時變數(shù)據(jù)的分類問題，即將測試序列與預先標定的代表典型行為的參考序列進行匹配.行為理解的關(guān)鍵問題是如何從學習樣本中獲取參考行為序列,并且學習和匹配的行為序列能夠處理在相似的運動模式類別中空間和時間尺度上輕微的特征變化.40人體·行為識別14人體·行為識別方法41人體·行為識別方法15基于模板匹配的方法首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式然后在識別過程中用輸入圖像序列提取的特征與在訓練階段預先存儲的動作行為模板進行相似度比較，在比較數(shù)據(jù)可以有輕微變化下識別人體行為。M

H

V(MotionHistory

Volumes)42基于模板匹配的方法首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式MH基于模板匹配的方法之DTWDTW（dynamictimewarping）——動態(tài)時間規(guī)整DTW是一種時變數(shù)據(jù)序列匹配方法DTW優(yōu)點：概念簡單、算法魯棒，能夠?qū)D像序列進行分類。DTW缺點：算法計算量較大，缺乏考慮相鄰時序之間的動態(tài)特性，而在實際中，運動序列中相鄰序列在時間和空間上有高度的相關(guān)性。

43基于模板匹配的方法之DTW17基于狀態(tài)空間的方法將圖像序列中的每個靜態(tài)姿勢或運動狀態(tài)作為一個狀態(tài)節(jié)點，這些狀態(tài)節(jié)點之間由給定的概率聯(lián)系起來。任何的動作序列可以認為是這些靜態(tài)動作在不同狀態(tài)節(jié)點中的一次遍歷過程，計算這個遍歷過程的聯(lián)合概率，取其最大值作為分類標準?；跔顟B(tài)空間的方法已經(jīng)被廣泛應用于預測、估計和檢測時間序列。44基于狀態(tài)空間的方法18基于狀態(tài)空間的方法——HMM隱馬爾可夫模型的基本結(jié)構(gòu)45基于狀態(tài)空間的方法——HMM隱馬爾可夫模型的基本結(jié)構(gòu)19基于狀態(tài)空間的方法——DBNs動態(tài)貝葉斯網(wǎng)絡(dynamicBayesiannetworks，DBNs)

由于HMMs不能有效處理三個或三個以上獨立的過程，作為HMMs的推廣方法。是一種對隨機過程描述的有向圖解利用先驗知識建立視覺特征之間的因果關(guān)系來處理視頻處理中固有的不確定性問題。優(yōu)點：可以任意改變拓撲結(jié)果或增刪變量以反映變量間各種不同的關(guān)聯(lián)關(guān)系，而不影響訓練算法本身，因此具有良好的可解釋性，其拓撲結(jié)構(gòu)具有精確及易于理解的概率語義。相比馬爾可夫鏈，貝葉斯網(wǎng)絡訓練比較復雜。46基于狀態(tài)空間的方法——DBNs動態(tài)貝葉斯網(wǎng)絡(dynamic基于狀態(tài)空間的方法——ANN人工神經(jīng)網(wǎng)絡是由人工建立的以有向圖為拓撲結(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)響應而進行信息處理，在分析時變數(shù)據(jù)時具有很大的優(yōu)勢。缺點：需要用大量的數(shù)據(jù)來訓練網(wǎng)絡TDNN(time-delayneuralnetwork)——時延神經(jīng)網(wǎng)絡是在多層前饋感知器神經(jīng)網(wǎng)絡模型中引入時延單元使得神經(jīng)網(wǎng)絡增加記憶功能；時變序列的前述值被用來預測下一個值。由于大量數(shù)據(jù)集成為可能，時延神經(jīng)網(wǎng)絡的重點就可以放在時分信息的表達這樣由此導出的神經(jīng)網(wǎng)絡模型適合應用于處理序列數(shù)據(jù)。47基于狀態(tài)空間的方法——ANN人工神經(jīng)網(wǎng)絡是由人工建立的以有向基于狀態(tài)空間的方法——SVM支持向量機(supportvectormachine，SV