人體行為識(shí)別

1、人體行為識(shí)別概述人體行為識(shí)別概述機(jī)器視覺(jué)團(tuán)隊(duì)：歐陽(yáng)寒機(jī)器視覺(jué)團(tuán)隊(duì)：歐陽(yáng)寒Page 2行為識(shí)別現(xiàn)狀行為識(shí)別現(xiàn)狀n VSAM(Visual Surveillance and Monitoring) 1997n IVPL實(shí)驗(yàn)室實(shí)驗(yàn)室(The Image and Video Processing Laboratory)n AIRVL實(shí)驗(yàn)室實(shí)驗(yàn)室(Artificial Intelligence，Robotics，and Vision Laboratory)n LPAC實(shí)驗(yàn)室實(shí)驗(yàn)室(Laboratory for Perception，Action and Cognition)n KNIGHT系統(tǒng)系統(tǒng)n I

2、SCAPs(Integrated Surveillance of Crowded Areas for Public Security)n REASON(Robust Methods for Monitoring and Understanding People in Public spaces)n CANTATA(Content Aware Networked systems Towards Advanced and TailoredAssistance)n 中國(guó)科學(xué)院自動(dòng)化所的生物識(shí)別與安全技術(shù)研究中心中國(guó)科學(xué)院自動(dòng)化所的生物識(shí)別與安全技術(shù)研究中心CBSRn 微軟亞洲研究院微軟亞洲研究院參考

3、文獻(xiàn)：監(jiān)控視頻中的人體異常行為檢測(cè)研究Page 3行為識(shí)別前景行為識(shí)別前景n high-level video indexing and retrievaln “smart” video surveillance systems 自動(dòng)檢測(cè)異常行為，輔助檢索一個(gè)特定的事件。自動(dòng)檢測(cè)異常行為，輔助檢索一個(gè)特定的事件。n The analysis of sport videos 幫助教練進(jìn)行戰(zhàn)略分析。識(shí)別不同的游泳風(fēng)格。幫助教練進(jìn)行戰(zhàn)略分析。識(shí)別不同的游泳風(fēng)格。n Hand gesture recognition 虛擬現(xiàn)實(shí)虛擬現(xiàn)實(shí)n Human-Computer Interaction (HCI)

4、systems kidsRoom、Smart room 、Facial action用于分析精神病病人的情感行為。用于分析精神病病人的情感行為。n roboticsn medical area 輔助診斷病人的運(yùn)動(dòng)問(wèn)題。另一個(gè)是對(duì)老年人提供遠(yuǎn)程協(xié)助。輔助診斷病人的運(yùn)動(dòng)問(wèn)題。另一個(gè)是對(duì)老年人提供遠(yuǎn)程協(xié)助。參考文獻(xiàn)：Action Recognition in Videos:from Motion Capture Labs to the WebPage 4行為識(shí)別的流程行為識(shí)別的流程參考文獻(xiàn)：運(yùn)動(dòng)人體行為分析 視頻中的人體運(yùn)動(dòng)分析及其應(yīng)用研究 n 目標(biāo)的運(yùn)動(dòng)特征，可以用于運(yùn)動(dòng)表述，是行為理解等高層部分

5、的基礎(chǔ)。目標(biāo)的運(yùn)動(dòng)特征，可以用于運(yùn)動(dòng)表述，是行為理解等高層部分的基礎(chǔ)。n 常見(jiàn)的運(yùn)動(dòng)表述方法有：常見(jiàn)的運(yùn)動(dòng)表述方法有：運(yùn)動(dòng)軌跡、時(shí)空?qǐng)D表述運(yùn)動(dòng)軌跡、時(shí)空?qǐng)D表述和光流。和光流。Page 5行為識(shí)別的流程行為識(shí)別的流程。Page 6目錄目錄目標(biāo)檢測(cè)目標(biāo)檢測(cè)目標(biāo)分類目標(biāo)分類特征提取特征提取行為理解行為理解目標(biāo)跟蹤目標(biāo)跟蹤Page 7運(yùn)動(dòng)目標(biāo)檢測(cè)運(yùn)動(dòng)目標(biāo)檢測(cè)參考文獻(xiàn)：視頻中的人體運(yùn)動(dòng)分析及其應(yīng)用研究.nh 運(yùn)動(dòng)目標(biāo)跟蹤算法研究綜述.pdfn 對(duì)于不依賴先驗(yàn)知識(shí)的目標(biāo)跟蹤來(lái)講，運(yùn)動(dòng)檢測(cè)是實(shí)現(xiàn)跟蹤的第一步對(duì)于不依賴先驗(yàn)知識(shí)的目標(biāo)跟蹤來(lái)講，運(yùn)動(dòng)檢測(cè)是實(shí)現(xiàn)跟蹤的第一步n 運(yùn)動(dòng)檢測(cè)即為從序列圖像中將變化區(qū)域從背

6、景圖像中提取出來(lái)。運(yùn)動(dòng)檢測(cè)即為從序列圖像中將變化區(qū)域從背景圖像中提取出來(lái)。Page 8目標(biāo)檢測(cè)目標(biāo)檢測(cè)時(shí)間差分法時(shí)間差分法n 在連續(xù)的圖像序列中在連續(xù)的圖像序列中兩幅或三幅相鄰幀兩幅或三幅相鄰幀之間采用之間采用基于像素基于像素的時(shí)間差分，的時(shí)間差分，并對(duì)差分結(jié)果進(jìn)行并對(duì)差分結(jié)果進(jìn)行閾值化處理閾值化處理以以提取提取圖像中的圖像中的前景前景運(yùn)動(dòng)區(qū)域。運(yùn)動(dòng)區(qū)域。n 缺點(diǎn)：缺點(diǎn)：n 前景、背景區(qū)域的確定與前景、背景區(qū)域的確定與閾值的選取閾值的選取有很大的關(guān)系有很大的關(guān)系 當(dāng)灰度圖像序列對(duì)比度較低時(shí)，由于相鄰兩幀的差當(dāng)灰度圖像序列對(duì)比度較低時(shí)，由于相鄰兩幀的差(前景與背景之差前景與背景之差)的范圍很小，

7、的范圍很小，閾值難以選取閾值難以選取，影響前景目標(biāo)的分割結(jié)果。，影響前景目標(biāo)的分割結(jié)果。n 區(qū)域區(qū)域灰度值灰度值變化較為變化較為平坦時(shí)平坦時(shí)，容易在人體二值圖像內(nèi)產(chǎn)生，容易在人體二值圖像內(nèi)產(chǎn)生空洞現(xiàn)象空洞現(xiàn)象，給后續(xù)的目標(biāo)分類、跟蹤和識(shí)別造成不便。給后續(xù)的目標(biāo)分類、跟蹤和識(shí)別造成不便。n 優(yōu)點(diǎn)：優(yōu)點(diǎn)：n 對(duì)于對(duì)于動(dòng)態(tài)環(huán)境動(dòng)態(tài)環(huán)境有有較強(qiáng)較強(qiáng)的自的自適應(yīng)性適應(yīng)性Page 9目標(biāo)檢測(cè)目標(biāo)檢測(cè)光流法光流法n 基于光流法的運(yùn)動(dòng)檢測(cè)，是利用運(yùn)動(dòng)物體隨時(shí)間變化在圖像中表現(xiàn)的基于光流法的運(yùn)動(dòng)檢測(cè)，是利用運(yùn)動(dòng)物體隨時(shí)間變化在圖像中表現(xiàn)的光流特性，通過(guò)計(jì)算位移向量光流場(chǎng)來(lái)提取運(yùn)動(dòng)目標(biāo)。光流特性，通過(guò)計(jì)算位移向量

8、光流場(chǎng)來(lái)提取運(yùn)動(dòng)目標(biāo)。n 光流是空間運(yùn)動(dòng)物體在觀測(cè)成像面上對(duì)應(yīng)像素運(yùn)動(dòng)的瞬時(shí)速度，是空光流是空間運(yùn)動(dòng)物體在觀測(cè)成像面上對(duì)應(yīng)像素運(yùn)動(dòng)的瞬時(shí)速度，是空間物體可見(jiàn)點(diǎn)的三維速度矢量在成像平面上的投影，它攜帶了豐富的間物體可見(jiàn)點(diǎn)的三維速度矢量在成像平面上的投影，它攜帶了豐富的運(yùn)動(dòng)和結(jié)構(gòu)信息。運(yùn)動(dòng)和結(jié)構(gòu)信息。n 優(yōu)點(diǎn)優(yōu)點(diǎn)：n 即使在攝像機(jī)運(yùn)動(dòng)的情況下也能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo)。即使在攝像機(jī)運(yùn)動(dòng)的情況下也能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo)。n 缺點(diǎn)缺點(diǎn)：n 由于噪聲、多光源、陰影和遮擋等原因，計(jì)算出的光流場(chǎng)分布并不十由于噪聲、多光源、陰影和遮擋等原因，計(jì)算出的光流場(chǎng)分布并不十分可靠和準(zhǔn)確。分可靠和準(zhǔn)確。n 多數(shù)光流法計(jì)算

9、復(fù)雜、耗時(shí)，在實(shí)際的系統(tǒng)中沒(méi)有特殊的硬件支持時(shí)，多數(shù)光流法計(jì)算復(fù)雜、耗時(shí)，在實(shí)際的系統(tǒng)中沒(méi)有特殊的硬件支持時(shí)，很難實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。很難實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。Page 10目標(biāo)檢測(cè)目標(biāo)檢測(cè)背景減除法背景減除法n 最常用且有效的是背景減除法。最常用且有效的是背景減除法。n 背景減除法最簡(jiǎn)單的實(shí)現(xiàn)方法是預(yù)先選取不含前景運(yùn)動(dòng)目標(biāo)的背景圖背景減除法最簡(jiǎn)單的實(shí)現(xiàn)方法是預(yù)先選取不含前景運(yùn)動(dòng)目標(biāo)的背景圖像，然后將當(dāng)前圖像幀與背景圖像相減得到前景目標(biāo)。像，然后將當(dāng)前圖像幀與背景圖像相減得到前景目標(biāo)。n 背景減除法通常在背景減除法通常在攝像機(jī)固定的情況下使用攝像機(jī)固定的情況下使用，關(guān)鍵關(guān)鍵是建立隨場(chǎng)景變化是建立隨場(chǎng)景變化不

10、斷更新的背景模型不斷更新的背景模型。n 有有兩類兩類常用的背景更新方法常用的背景更新方法:n 1、建立背景模型并采用自適應(yīng)方法對(duì)模型參數(shù)進(jìn)行調(diào)整，從而獲得、建立背景模型并采用自適應(yīng)方法對(duì)模型參數(shù)進(jìn)行調(diào)整，從而獲得新背景圖像新背景圖像;n 2、從過(guò)去的一組觀測(cè)圖像中按一定的假設(shè)選擇像素值構(gòu)成當(dāng)前背景、從過(guò)去的一組觀測(cè)圖像中按一定的假設(shè)選擇像素值構(gòu)成當(dāng)前背景圖像。圖像。Page 11目標(biāo)分類目標(biāo)分類參考文獻(xiàn)：視頻中的人體運(yùn)動(dòng)分析及其應(yīng)用研究Page 12人體描述人體描述參考文獻(xiàn)：Human Motion: Modeling and Recognition of Actions and Intera

11、ctions Page 13運(yùn)動(dòng)跟蹤運(yùn)動(dòng)跟蹤參考文獻(xiàn)：運(yùn)動(dòng)目標(biāo)跟蹤算法研究綜述n 運(yùn)動(dòng)目標(biāo)的跟蹤，即通過(guò)目標(biāo)的有效表達(dá)，在圖像序列中尋找與目標(biāo)運(yùn)動(dòng)目標(biāo)的跟蹤，即通過(guò)目標(biāo)的有效表達(dá)，在圖像序列中尋找與目標(biāo)模板最相似候選目標(biāo)區(qū)位置的過(guò)程。模板最相似候選目標(biāo)區(qū)位置的過(guò)程。n 就是在序列圖像中為就是在序列圖像中為目標(biāo)定位目標(biāo)定位。n 范例范例Page 14四種跟蹤方法的比較四種跟蹤方法的比較。Page 15運(yùn)動(dòng)目標(biāo)的特征運(yùn)動(dòng)目標(biāo)的特征參考文獻(xiàn)：自動(dòng)目標(biāo)識(shí)別與跟蹤技術(shù)研究綜述Page 16運(yùn)動(dòng)表征運(yùn)動(dòng)表征。Page 17行為識(shí)別行為識(shí)別n 人的行為理解與描述是指對(duì)人的運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別人的行為理解與

12、描述是指對(duì)人的運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別, 并用自然語(yǔ)并用自然語(yǔ)言等加以描述言等加以描述. n 可以簡(jiǎn)單地認(rèn)為是時(shí)變數(shù)據(jù)的分類問(wèn)題，即將測(cè)試序列與預(yù)先標(biāo)定的代可以簡(jiǎn)單地認(rèn)為是時(shí)變數(shù)據(jù)的分類問(wèn)題，即將測(cè)試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配表典型行為的參考序列進(jìn)行匹配. n 行為理解的行為理解的關(guān)鍵問(wèn)題關(guān)鍵問(wèn)題是如何從學(xué)習(xí)樣本中是如何從學(xué)習(xí)樣本中獲取參考行為序列獲取參考行為序列, 并且學(xué)習(xí)并且學(xué)習(xí)和匹配的行為序列能夠處理在相似的運(yùn)動(dòng)模式類別中空間和時(shí)間尺度上和匹配的行為序列能夠處理在相似的運(yùn)動(dòng)模式類別中空間和時(shí)間尺度上輕微的特征變化輕微的特征變化.Page 18行為識(shí)別方法行為識(shí)別方法Pa

13、ge 19基于模板匹配的方法基于模板匹配的方法n 首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式n 然后在識(shí)別過(guò)程中用輸入圖像序列提取的特然后在識(shí)別過(guò)程中用輸入圖像序列提取的特征與在訓(xùn)練階段預(yù)先存儲(chǔ)的動(dòng)作行為模板進(jìn)征與在訓(xùn)練階段預(yù)先存儲(chǔ)的動(dòng)作行為模板進(jìn)行行相似度比較相似度比較，在比較數(shù)據(jù)可以有輕微變化，在比較數(shù)據(jù)可以有輕微變化下識(shí)別人體行為。下識(shí)別人體行為。M H V(Motion History Volumes)Page 20基于模板匹配的方法之基于模板匹配的方法之DTWn DTW（dynamic time warping）動(dòng)態(tài)時(shí)間規(guī)整動(dòng)態(tài)時(shí)間規(guī)整n DTW是一種時(shí)

14、變數(shù)據(jù)序列匹配方法是一種時(shí)變數(shù)據(jù)序列匹配方法n DTW 優(yōu)點(diǎn)：概念簡(jiǎn)單、算法魯棒，能夠?qū)D像序列進(jìn)行分類。優(yōu)點(diǎn)：概念簡(jiǎn)單、算法魯棒，能夠?qū)D像序列進(jìn)行分類。n DTW缺點(diǎn)：算法計(jì)算量較大，缺乏考慮相鄰時(shí)序之間的動(dòng)態(tài)特性，缺點(diǎn)：算法計(jì)算量較大，缺乏考慮相鄰時(shí)序之間的動(dòng)態(tài)特性，而在實(shí)際中，運(yùn)動(dòng)序列中相鄰序列在時(shí)間和空間上有高度的相關(guān)性。而在實(shí)際中，運(yùn)動(dòng)序列中相鄰序列在時(shí)間和空間上有高度的相關(guān)性。Page 21基于狀態(tài)空間的方法基于狀態(tài)空間的方法n 將圖像序列中的每個(gè)將圖像序列中的每個(gè)靜態(tài)姿勢(shì)或運(yùn)動(dòng)狀態(tài)作為一個(gè)狀態(tài)節(jié)點(diǎn)靜態(tài)姿勢(shì)或運(yùn)動(dòng)狀態(tài)作為一個(gè)狀態(tài)節(jié)點(diǎn)，這些狀，這些狀態(tài)節(jié)點(diǎn)之間由給定的概率聯(lián)系起來(lái)。

15、態(tài)節(jié)點(diǎn)之間由給定的概率聯(lián)系起來(lái)。n 任何的任何的動(dòng)作序列動(dòng)作序列可以認(rèn)為是這些靜態(tài)動(dòng)作在不同狀態(tài)節(jié)點(diǎn)中的可以認(rèn)為是這些靜態(tài)動(dòng)作在不同狀態(tài)節(jié)點(diǎn)中的一次遍一次遍歷過(guò)程歷過(guò)程，計(jì)算這個(gè)遍歷過(guò)程的聯(lián)合概率，計(jì)算這個(gè)遍歷過(guò)程的聯(lián)合概率，取其最大值取其最大值作為分類標(biāo)準(zhǔn)。作為分類標(biāo)準(zhǔn)。n 基于狀態(tài)空間的方法已經(jīng)被廣泛應(yīng)用于基于狀態(tài)空間的方法已經(jīng)被廣泛應(yīng)用于預(yù)測(cè)、估計(jì)和檢測(cè)預(yù)測(cè)、估計(jì)和檢測(cè)時(shí)間序列。時(shí)間序列。Page 22基于狀態(tài)空間的方法基于狀態(tài)空間的方法HMM隱馬爾可夫模型的基本結(jié)構(gòu)隱馬爾可夫模型的基本結(jié)構(gòu)Page 23基于狀態(tài)空間的方法基于狀態(tài)空間的方法DBNsn 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(dyn

16、amic Bayesian networks，DBNs) 由于由于HMMs不能有效處理三個(gè)或三個(gè)以上獨(dú)立的過(guò)程，作為不能有效處理三個(gè)或三個(gè)以上獨(dú)立的過(guò)程，作為HMMs的推廣方法。的推廣方法。n 是一種對(duì)隨機(jī)過(guò)程描述的有向圖解是一種對(duì)隨機(jī)過(guò)程描述的有向圖解n 利用先驗(yàn)知識(shí)建立視覺(jué)特征之間的因果關(guān)系來(lái)處理視頻處理中固有的利用先驗(yàn)知識(shí)建立視覺(jué)特征之間的因果關(guān)系來(lái)處理視頻處理中固有的不確定性問(wèn)題。不確定性問(wèn)題。n 優(yōu)點(diǎn)：優(yōu)點(diǎn)：n 可以任意改變拓?fù)浣Y(jié)果或增刪變量以反映變量間各種不同的關(guān)聯(lián)關(guān)系，可以任意改變拓?fù)浣Y(jié)果或增刪變量以反映變量間各種不同的關(guān)聯(lián)關(guān)系，而不影響訓(xùn)練算法本身，因此具有而不影響訓(xùn)練算法本身

17、，因此具有良好的可解釋性良好的可解釋性，其拓?fù)浣Y(jié)構(gòu)具有，其拓?fù)浣Y(jié)構(gòu)具有精確及易于理解的概率語(yǔ)義精確及易于理解的概率語(yǔ)義。n 相比馬爾可夫鏈，貝葉斯網(wǎng)絡(luò)訓(xùn)練比較復(fù)雜。相比馬爾可夫鏈，貝葉斯網(wǎng)絡(luò)訓(xùn)練比較復(fù)雜。Page 24基于狀態(tài)空間的方法基于狀態(tài)空間的方法ANNn 人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過(guò)對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理，在分析時(shí)變數(shù)據(jù)過(guò)對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理，在分析時(shí)變數(shù)據(jù)時(shí)具有很大的優(yōu)勢(shì)。時(shí)具有很大的優(yōu)勢(shì)。n 缺點(diǎn)：需要用大量的數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)缺點(diǎn)：需要用大量的數(shù)據(jù)來(lái)

18、訓(xùn)練網(wǎng)絡(luò)n TDNN(time-delay neural network)時(shí)延神經(jīng)網(wǎng)絡(luò)時(shí)延神經(jīng)網(wǎng)絡(luò)n 是在多層前饋感知器神經(jīng)網(wǎng)絡(luò)模型中引入時(shí)延單元使得神經(jīng)網(wǎng)絡(luò)增加是在多層前饋感知器神經(jīng)網(wǎng)絡(luò)模型中引入時(shí)延單元使得神經(jīng)網(wǎng)絡(luò)增加記憶功能；記憶功能； n 時(shí)變序列的前述值被用來(lái)預(yù)測(cè)下一個(gè)值。由于大量數(shù)據(jù)集成為可能，時(shí)變序列的前述值被用來(lái)預(yù)測(cè)下一個(gè)值。由于大量數(shù)據(jù)集成為可能，時(shí)延神經(jīng)網(wǎng)絡(luò)的重點(diǎn)就可以放在時(shí)分信息的表達(dá)時(shí)延神經(jīng)網(wǎng)絡(luò)的重點(diǎn)就可以放在時(shí)分信息的表達(dá)n 這樣由此導(dǎo)出的神經(jīng)網(wǎng)絡(luò)模型適合應(yīng)用于處理序列數(shù)據(jù)。這樣由此導(dǎo)出的神經(jīng)網(wǎng)絡(luò)模型適合應(yīng)用于處理序列數(shù)據(jù)。Page 25基于狀態(tài)空間的方法基于狀態(tài)空間

19、的方法SVMn 支持向量機(jī)支持向量機(jī)(support vector machine，SVM )n 優(yōu)點(diǎn)：優(yōu)點(diǎn)：n 能夠較好地解決常見(jiàn)的非線性分類問(wèn)題中的小樣本、非線性、高維數(shù)能夠較好地解決常見(jiàn)的非線性分類問(wèn)題中的小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問(wèn)題和局部極小點(diǎn)等實(shí)際問(wèn)題n 可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點(diǎn)問(wèn)題可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點(diǎn)問(wèn)題Page 26兩種方法比較兩種方法比較n 模板匹配方法的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低、操作和實(shí)現(xiàn)簡(jiǎn)單，但缺乏考慮模板匹配方法的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低、操作和實(shí)現(xiàn)簡(jiǎn)單，但缺乏考慮運(yùn)動(dòng)序列中相鄰時(shí)序之間的動(dòng)態(tài)特性，對(duì)于噪聲和運(yùn)動(dòng)時(shí)間間隔的變運(yùn)動(dòng)序列中相鄰時(shí)

20、序之間的動(dòng)態(tài)特性，對(duì)于噪聲和運(yùn)動(dòng)時(shí)間間隔的變化相當(dāng)敏感?；喈?dāng)敏感。n 狀態(tài)空間方法雖然能克服模板匹配的缺點(diǎn)，但通常涉及到復(fù)雜的迭代狀態(tài)空間方法雖然能克服模板匹配的缺點(diǎn)，但通常涉及到復(fù)雜的迭代運(yùn)算，算法的步驟較為復(fù)雜，難以應(yīng)用到實(shí)際工作中。運(yùn)算，算法的步驟較為復(fù)雜，難以應(yīng)用到實(shí)際工作中。Page 27基于語(yǔ)義的描述方法基于語(yǔ)義的描述方法n 用一種形式化的語(yǔ)法格式：主語(yǔ)（人）、謂語(yǔ)（人的動(dòng)作）、賓語(yǔ)用一種形式化的語(yǔ)法格式：主語(yǔ)（人）、謂語(yǔ)（人的動(dòng)作）、賓語(yǔ)（實(shí)物），將場(chǎng)景中人的活動(dòng)情況用填空的形式填入語(yǔ)法格式中，產(chǎn)（實(shí)物），將場(chǎng)景中人的活動(dòng)情況用填空的形式填入語(yǔ)法格式中，產(chǎn)生對(duì)場(chǎng)景的自然語(yǔ)言描述

21、。生對(duì)場(chǎng)景的自然語(yǔ)言描述。n 基于語(yǔ)義描述的方法是對(duì)在一段持續(xù)時(shí)間內(nèi)場(chǎng)景內(nèi)容的分析過(guò)程基于語(yǔ)義描述的方法是對(duì)在一段持續(xù)時(shí)間內(nèi)場(chǎng)景內(nèi)容的分析過(guò)程n 目前還處于對(duì)場(chǎng)景中人體行為的簡(jiǎn)單語(yǔ)義解釋目前還處于對(duì)場(chǎng)景中人體行為的簡(jiǎn)單語(yǔ)義解釋n 對(duì)復(fù)雜場(chǎng)景中人體復(fù)雜行為有效的充分的語(yǔ)義描述還有相當(dāng)艱巨的工對(duì)復(fù)雜場(chǎng)景中人體復(fù)雜行為有效的充分的語(yǔ)義描述還有相當(dāng)艱巨的工作要做作要做Page 28行為的分層模型行為的分層模型n 常用的概念常用的概念n pose、actions、activitiesn action/motor primitivesn Human action recognitionn Motion a

22、nalysisn Action detectionn Automatic Target Recognitionn Behavior understandingn visual analysisPage 29行為識(shí)別難點(diǎn)行為識(shí)別難點(diǎn)n 運(yùn)動(dòng)分割（運(yùn)動(dòng)分割（Motion Segmentation） n 人體建模人體建模n 遮擋問(wèn)題遮擋問(wèn)題n 多攝像機(jī)的使用多攝像機(jī)的使用n 運(yùn)動(dòng)特征選擇與表達(dá)運(yùn)動(dòng)特征選擇與表達(dá)n 行為識(shí)別行為識(shí)別n 高層行為與場(chǎng)景理解高層行為與場(chǎng)景理解n 性能評(píng)估性能評(píng)估Page 30行為識(shí)別的熱點(diǎn)行為識(shí)別的熱點(diǎn)n 音頻與視覺(jué)相結(jié)合的多模態(tài)接口音頻與視覺(jué)相結(jié)合的多模態(tài)接口n 行為理

23、解與生物特征識(shí)別相結(jié)合行為理解與生物特征識(shí)別相結(jié)合n 人的運(yùn)動(dòng)分析向行為理解與描述高層處理的轉(zhuǎn)變?nèi)说倪\(yùn)動(dòng)分析向行為理解與描述高層處理的轉(zhuǎn)變Page 31常用數(shù)據(jù)庫(kù)常用數(shù)據(jù)庫(kù)n KTH human motion datasetn Weizmann human action datasetn INRIA XMAS multi-view datasetn UCF sports action datasetn Hollywood human action datasetn CASIAPage 32頂級(jí)會(huì)議頂級(jí)會(huì)議n ICCV(IEEE International Conference On Computer Vision)n ICPR