基于視頻的人體運動捕捉

1、基于視頻的人體運動捕捉video-based human motion capture 2005-11-10提綱研究背景及意義研究現(xiàn)狀結(jié)合運動模型和多種測量的人體運動跟蹤總結(jié)1.1 研究背景在競技體育運動中，對運動員的動作進(jìn)行定量的運動分析是提高訓(xùn)練水平的重要科學(xué)手段自動描繪出運動員的重心軌跡和動作線條圖，獲得技術(shù)動作的基本生物力學(xué)參數(shù)。1.2 研究意義定義從一個或多個已同步視角的圖像序列中恢復(fù)出人體姿態(tài)參數(shù)(如關(guān)節(jié)角度、關(guān)節(jié)點位置等)的過程 1.2 研究意義（續(xù)）廣泛的應(yīng)用需求智能監(jiān)控：gait recognition、 elder care、 abnormal behavior detec

2、tion人機(jī)交互：posture recognition gesture recognition運動分析：sports and rehabilitation medicine虛擬現(xiàn)實：video game、teleconferencing動畫和影視制作視頻標(biāo)注和檢索1.3 研究意義（續(xù)）重要的學(xué)術(shù)價值涉及到計算機(jī)視覺中的許多基本問題如運動檢測和分割、目標(biāo)定位和識別、剛體和非剛體跟蹤、場景恢復(fù)與表示、多攝像機(jī)數(shù)據(jù)融合等融合了圖像處理、計算機(jī)圖形學(xué)、人體運動學(xué)、最優(yōu)化和機(jī)器學(xué)習(xí)等多學(xué)科的理論，是很具挑戰(zhàn)性的研究工作研究熱點IJCV 、PAMI 、CVPR、ICCV2.研究現(xiàn)狀難點問題主要方法典型系

3、統(tǒng)2.1 難點問題最早的工作J. ORourke and N. I. Badler, Model-based image analysis of human motion using constraint ropagation, IEEE Transactions on PAMI,1980, 2(6): 522-536 D. Hogg, Model-based vision: A program to see a walking person, Image and Vision Computing, 1983,1(1): 5-20魯棒性、準(zhǔn)確性、速度2.1 難點問題（續(xù)）2.2 主要方法自頂向

4、下（Top-down）自底向上（Bottom-up）自頂向下與自底向上相結(jié)合（ Top-down / Bottom-up ）2.2.1 Top-downModel-based Human Body Tracking預(yù)測匹配修正使用各種約束和先驗知識，處理遮擋2.2.1 Top-down（contd）自頂向下的基于模型的人體運動跟蹤處理框架優(yōu)化方法局部優(yōu)化法:梯度法、動力學(xué)法、局部搜索概率搜索法：Kalman濾波、粒子濾波2.2.1 Top-down（contd）2.2 Bottom-up形狀分析識別法概率推理2.2.1形狀分析法通過啟發(fā)式知識，對輪廓/骨架等特征進(jìn)行分析，得到身體主要關(guān)節(jié)點/特

5、征點形狀分解2.2.2 識別法模板匹配運動庫檢索函數(shù)影射通過訓(xùn)練數(shù)據(jù)建立底層特征與姿態(tài)參數(shù)的映射關(guān)系映射方法：NN，SVM，RVM，Bayesian、HMM2.2.3 概率推率法身體部分的檢測人臉檢測、膚色區(qū)域檢測、矩形擬合、基于模板的肢體檢測等 人體結(jié)構(gòu)配置的推理通過貝葉斯推理求解滿足約束的最大后驗概率 推理方法：DP，BP，MCMC，MFMC2.2.3 概率推率法（續(xù)）2.3 Top-down/Bottom-up Top-down 優(yōu)點：可使用各種約束和先驗知識，處理遮擋；跟蹤結(jié)果精確缺點：需要初始化，跟蹤失??；速度慢Bottom-up優(yōu)點：不需要初始化，速度快缺點：結(jié)果不夠精確，難于處理

6、遮擋問題2.3 Top-down/Bottom-up(contd)函數(shù)映射和基于模型的跟蹤相結(jié)合關(guān)鍵幀匹配和基于模型的跟蹤相結(jié)合困難在于如何結(jié)合2.4 典型系統(tǒng)3.結(jié)合運動模型和多種測量的人體運動跟蹤目的在首幀初始化后通過自動跟蹤獲得人體主要關(guān)節(jié)點運動參數(shù)，用于運動分析。方法Model-based TrackingHuman body modelDynamical modelObservation modelParticle filtering3.結(jié)合運動模型和多種測量的人體運動跟蹤(續(xù))Human body model2D SPM模型包含關(guān)節(jié)角度和肢體長度變化因子Dynamical model由前面已知的狀態(tài)預(yù)測當(dāng)前狀態(tài)二階自回歸模型(ARP)3.結(jié)合運動模型和多種測量的人體運動跟蹤(續(xù))Observation model模型與圖像數(shù)據(jù)的匹配度量Region (color histogram)Shape (edge Chamfer matching)Particle filteringAnnealed particle filtering3.結(jié)合運動模型和多種測量的人體運動跟蹤(續(xù))