基于三維深度信息的人體動作運(yùn)動軌跡識別V1.0

基于三維深度信息的人肢體動作運(yùn)動軌跡識別1 引言隨著機(jī)器人技術(shù)的迅猛發(fā)展，機(jī)器人視覺跟蹤技術(shù)和自然人機(jī)交互技術(shù)也開始成為了機(jī)器人技術(shù)研究領(lǐng)域的重要研究方向。而人的肢體動作是一種自然且直觀的人際交流模式，人的肢體動作運(yùn)動軌跡的識別也理所當(dāng)然地成為了實(shí)現(xiàn)新一代自然的人機(jī)交互界面中的不可缺少的一項(xiàng)關(guān)鍵技術(shù)，特別是針對一些殘障人士，只需要通過人的肢體動作就能給輪椅和殘障輔助設(shè)備下達(dá)指令，更顯的尤為便利。之前針對人肢體動作運(yùn)動軌跡識別的人機(jī)交互研究主要側(cè)重于人體皮膚顏色建模，連續(xù)動態(tài)動作的基于圖像屬性的魯棒性特征的提取，然而由于人肢體動作本身具有的多樣性、多義性、以及時間和空間上的差異性等特點(diǎn)，因此傳統(tǒng)的動作運(yùn)動軌跡識別研究都有很大的局限性。本文就嘗試將人體的三維深度信息引入到人的肢體運(yùn)動軌跡的識別上面來，開創(chuàng)性的將傳統(tǒng)方法拓展到三維空間，這樣將減小環(huán)境光照、衣物遮擋和人體膚色與背景色的影響，使得計算機(jī)對人的肢體運(yùn)動軌跡的識別更準(zhǔn)確和更好的魯棒性。2 問題描述人的肢體運(yùn)動軌跡識別問題，即是將傳感器實(shí)時捕獲的人的肢體真實(shí)運(yùn)動軌跡與預(yù)先定義好的樣本軌跡相匹配的問題。傳統(tǒng)方法是應(yīng)用隱馬爾科夫模型來進(jìn)行真實(shí)運(yùn)動軌跡與模板運(yùn)動軌跡的匹配。圖1.人的肢體動作二維圖像基于二維圖像的隱馬爾科夫模型，如圖1所示，通過隱馬爾科夫模型進(jìn)行樣本軌跡的匹配，過程如圖2所示。但是基于二維的識別有如下的幾個難點(diǎn)：(1)光照：當(dāng)光照發(fā)生變化時，人體的亮度信息會發(fā)生變化，傳感器捕獲的圖像容易受到自然光和人工燈光的影響。(2)遮擋：由于在識別過程中，肢體運(yùn)動軌跡可能會被靜止的背景區(qū)域或者是眼鏡、帽子等物體所遮擋，遮擋會產(chǎn)生識別信息的丟失，給識別的可靠性帶來了很大的影響。(3)背景：在實(shí)際識別過程中，如果人體運(yùn)動區(qū)域與背景區(qū)域的顏色、紋理或者形狀相似，也會增大識別的難度。圖2.基于二維圖像的隱馬爾科夫模型基于三維深度信息的隱馬爾科夫模型，因?yàn)橐肓巳S深度信息，雖然可以有效地去除背景光源照度的影響，和不同目標(biāo)人員膚色基準(zhǔn)值的影響，識別過程不被光照、遮擋和背景等環(huán)境因素所影響，但是計算量大，訓(xùn)練效率低下，容易陷入局部最優(yōu)值等問題，一直制約其在實(shí)時監(jiān)控領(lǐng)域的應(yīng)用。為了解決這些問題，這里我們將動作歷史圖像（MHI, Motion History Images）和人的肢體三維深度信息相結(jié)合，得到描述人的肢體動作的能量圖像MEI，如圖3所示，計算運(yùn)動歷史圖像MHI的七個不變矩作為肢體動作特征向量，最后建立起肢體動作模板集合，也就是計算出這些肢體動作特征向量集的均值向量和協(xié)方差矩陣，識別階段，通過Mahalanobis距離來衡量新輸入的肢體動作與已知的肢體動作模板之間的相似性，只要計算出的Mahalanobis距離在規(guī)定的閾值范圍之內(nèi)都可以認(rèn)為動作識別成功。這樣既排除了光照、遮擋和背景等環(huán)境因素的影響，又很大程度上提高了識別過程的實(shí)時性和準(zhǔn)確性。圖3.基于三維深度信息的運(yùn)動能量圖像3 問題求解3.1 肢體動作的三維運(yùn)動歷史圖像表征本文應(yīng)用將傳統(tǒng)的基于二維圖像的動作歷史圖像進(jìn)行改進(jìn)，使之與三維深度信息相結(jié)合，達(dá)到共同表征三維肢體動作信息的目的。運(yùn)動歷史圖像作為時間差分法的一個分支，時間差分法是將連續(xù)的圖像序列中比較兩個或者三個相鄰幀對應(yīng)像素點(diǎn)發(fā)生的相對變化，得到差分圖像進(jìn)而閾值化來提取圖像中的運(yùn)動區(qū)域。本文引入三維深度信息，所以采用改進(jìn)后的差分方法如下：Dx,y,z,n=Ix,y,z,n-1-2Ix,y,z,n+I(x,y,z,n+1)其中：Ix,y,z,n表示第n幀圖像中三維空間位置x,y,z處的像素灰度值，Dx,y,z,n是連續(xù)3幀差分后的結(jié)果，代表了人體肢體動作發(fā)生變化的區(qū)域，將Dx,y,z,n閾值化如下：Bx,y,z,n=1 Dx,y,z,n0 otherwise其中是選擇的閾值，值過低則不能有效抑制圖像中的噪聲，值過高則會抑制圖像中有用的變化。肢體運(yùn)動的三維運(yùn)動歷史圖像MHI的產(chǎn)生如下：Hx,y,z,t= Bx,y,z,t=1max(0,Hx,y,z,t-1-1) otherwise運(yùn)動歷史圖像MHI不僅反映了肢體動作的外在形狀，也反映了肢體動作發(fā)生的方向和狀態(tài)，在運(yùn)動歷史圖像MHI中，每個像素的灰度值都與該位置肢體動作的持續(xù)運(yùn)動時間成比例，最近發(fā)生的肢體動作姿態(tài)的灰度值最大，灰度值的變化體現(xiàn)了肢體動作運(yùn)動發(fā)生的方向。圖4.肢體運(yùn)動的三維運(yùn)動歷史圖像MHI3.2 肢體動作的運(yùn)動歷史圖像不變矩計算這種基于肢體的三維運(yùn)動歷史圖像MHI表征方法雖然簡單快捷有效，但對觀察點(diǎn)的位置角度比較敏感，為了克服這一缺點(diǎn)，所以本文選取了不變矩作為肢體動作的運(yùn)動歷史圖像的特征向量。不變矩的方法是一種比較經(jīng)典的圖形圖像特征提取方法，它的平移不變性、伸縮不變性和旋轉(zhuǎn)不變性能很好地排除觀察點(diǎn)的位置和角度的影響。我們得到肢體動作的三維運(yùn)動歷史圖像MHI之后，為了計算它的不變矩，先將他分別在XY平面（如圖5）、YZ平面（如圖6）和XZ平面（如圖7）進(jìn)行投影。這樣就可以得到對于同一個肢體動作的三維運(yùn)動歷史圖像的三個視圖，然后別對這三個主視圖進(jìn)行不變矩的計算。 圖5.肢體運(yùn)動的MHI的XY面投影 圖6.肢體運(yùn)動的MHI的YZ面投影 圖7.肢體運(yùn)動的MHI的XZ面投影對一個尺寸為MN的數(shù)字圖像fx,y，其中p+q階矩mpq被定義為：mpq=x=1Ny=1Mfx,yxpyq其中p,q=0,1,2,其p+q階中心矩pq定義為：pq=x=1Ny=1Mfx,y(x-x)p(y-y)q其中x,y表示物體圖像上的點(diǎn)，x,y是物體的質(zhì)心：x=m10m00，y=m01m00。再通過零階中心矩00對其余各階中心矩進(jìn)行歸一化可以得到運(yùn)動歷史圖像的歸一化中心距：pq=pq00r, r=p+q+22, p+q=2,3,4,HuMK利用二階和三階歸一化中心矩的線性組合，得到了7個不變矩構(gòu)成的不變矩組，對于圖像的平移、旋轉(zhuǎn)和縮放均保持不變，這個不變矩組如下：M1=20+02M2=20-022+4112M3=30-3122+321-032M4=30+122+21+032M5=30-31230+1230+122-321+032+03-32103+2103+212-312+302M6=20-0230+122-21+032+41130+1221+03M7=321-0330+2130+122-321+032-(312-30)(03+21)03+212-3(12+30)2因?yàn)椴蛔兙刂递^小，一般通過取絕對值的對數(shù)進(jìn)行數(shù)據(jù)壓縮，所以實(shí)際采用的矩值需要按照以下公式修正：Mk=logMk, k=1,2,3,4,5,6,7經(jīng)過修正之后的不變矩組依然具有平移、旋轉(zhuǎn)和縮放不變性。通過對三個方向上的投影圖像的計算，我們將得到一個37的特征值矩陣，這個特征值矩陣就是每一個肢體動作的運(yùn)動歷史圖像的特征向量。3.3 肢體動作的運(yùn)動歷史圖像識別在識別過程中首先對人的肢體動作進(jìn)行樣本采集，建立一個訓(xùn)練模板庫，以用于得到肢體動作的標(biāo)準(zhǔn)特征向量。對每個相同的肢體動作，讓多個不同的人參與反復(fù)執(zhí)行多次，得到每個肢體動作的多組三維運(yùn)動歷史圖像MHI，并從中計算出特征向量，再計算出這些特征向量的均值與協(xié)方差矩陣，建立起每個肢體動作的模板。然后對于新的肢體動作計算與標(biāo)準(zhǔn)動作模板之間的Mahalanobis距離，Mahalanobis距離的計算公式如下：2=f-rTc-1(f-r)其中是Mahalanobis距離，f是肢體動作運(yùn)動歷史圖像的不變矩特征向量，r是已訓(xùn)練的特征向量的均值向量，c是已訓(xùn)練的特征向量集的協(xié)方差矩陣。識別過程中，可以利用經(jīng)典的AdaBoost算法根據(jù)每個不變矩的階數(shù)確定一個閾值，然后通過Mhalanobis距離來衡量新輸入的肢體動作和已訓(xùn)練得到的肢體動作模板之間的相似性，只要計算出的Mahalanobis距離在規(guī)定的閾值范圍之內(nèi)都可以認(rèn)為是匹配成功，如果匹配模板不止一個，則選擇距離最小的那個作為成功匹配的模板。4 實(shí)驗(yàn)結(jié)果The experimental results4.1 數(shù)據(jù)預(yù)處理Data preprocessing在普通實(shí)驗(yàn)室環(huán)境下進(jìn)行人的肢體動作運(yùn)動軌跡識別實(shí)驗(yàn)。實(shí)驗(yàn)中，實(shí)驗(yàn)者保持身體正面向前，垂直于水平面，并且距離Kinect傳感器1.2米到2米。本文對監(jiān)測到的肢體動作進(jìn)行了去抖動處理，記錄前一幀判斷所得中心位置數(shù)據(jù)，再和當(dāng)前幀的中心位置數(shù)據(jù)進(jìn)行比較，如果兩者偏差在設(shè)定的閾值范圍之內(nèi)，就將當(dāng)前幀視作小幅度內(nèi)的抖動，繼續(xù)顯示前一幀的位置數(shù)據(jù)。This trajectory recognition experiments is did in normal laboratory environment.In the experiment,people should keep the body facing forward, perpendicular to the horizontal plane and be about 1.2 meters to 2 meters to the Kinect. In this paper, we debounce the physical movements monitored and record the center position data of the prior frame to compare with the center position data of the current frame. If the deviation is within the threshold range,we can show the position data of the prior frame to ignore the jitter of the current frame. 在識別肢體動作運(yùn)動軌跡的時候如果直接采用真實(shí)運(yùn)動的軌跡，則在運(yùn)動開始和運(yùn)動結(jié)束的時候會出現(xiàn)無效幀，而運(yùn)動中間部分則是有效幀，為了去掉開始和結(jié)束部分的無效幀，本文采用了去抖動處理，在運(yùn)動開始和結(jié)束部分運(yùn)動位移會降低，這里直接作為起始點(diǎn)和禁止點(diǎn)進(jìn)行處理。實(shí)驗(yàn)中讓4個人分別做出4中肢體動作，分別如圖8、圖9、圖10和圖11所示，每種動作反復(fù)執(zhí)行10次，這樣對于每種肢體動作就產(chǎn)生了40個樣本，每個肢體動作持續(xù)5s到15s，圖像大小為1200*900。圖8.動作A的三維運(yùn)動歷史圖像圖9. 動作B的三維運(yùn)動歷史圖像圖10. 動作C的三維運(yùn)動歷史圖像圖11. 動作D的三維運(yùn)動歷史圖像選用每種肢體動作的前20個樣本進(jìn)行訓(xùn)練，得到肢體動作標(biāo)準(zhǔn)模板，其余的20個樣本作為測試樣本，分別用傳統(tǒng)隱馬爾科夫模型方法（3DHMM）和三維運(yùn)動歷史圖像方法（3DMHI）進(jìn)行識別實(shí)驗(yàn)。4.2 結(jié)果數(shù)據(jù)分析為了驗(yàn)證上文中方法的魯棒性，這里對于不同光照條件下分別進(jìn)行試驗(yàn)，表1是分別在普通光照環(huán)境下和弱光環(huán)境下每個動作的正確識別次數(shù)和準(zhǔn)確率。結(jié)合肢體動作的三維深度信息，即使在弱背景光源照度的情況下，系統(tǒng)依然能很好地捕獲人體東部運(yùn)動的軌跡，在實(shí)驗(yàn)室中圖像的幀數(shù)一直保持在30fps上下，滿足了對于實(shí)時運(yùn)動軌跡跟蹤與識別的要求。實(shí)驗(yàn)證明了新方法具有較好的魯棒性。表1.不同光照條件下動作識別率動作種類普通光環(huán)境識別率弱光環(huán)境識別率3DHMM3DMHI3DHMM3DMHI動作A0.850.910.600.89動作B0.840.90