基于LeapMotion關(guān)鍵點(diǎn)模型的沙畫手提出一種基于LeapMotion采集設(shè)備的關(guān)鍵點(diǎn)模型

1、基于Leap Motion關(guān)鍵點(diǎn)模型的沙畫手勢(shì)識(shí)別摘要：提出一種基于Leap Motion采集設(shè)備的關(guān)鍵點(diǎn)模型的沙畫手法虛擬仿真方法。首先，利用Leap Motion獲取手勢(shì)信息數(shù)據(jù)并設(shè)計(jì)計(jì)算算法獲取人手關(guān)鍵點(diǎn)的空間位置；然后，設(shè)計(jì)算法并利用計(jì)算出來的空間位置獲取沙畫手法中鋪沙，捏沙這兩個(gè)基礎(chǔ)手法在運(yùn)動(dòng)過程中的相關(guān)數(shù)據(jù)；最后，獲取的時(shí)刻變化數(shù)值波形圖。實(shí)驗(yàn)證明，通過該方法可實(shí)現(xiàn)對(duì)手部運(yùn)動(dòng)準(zhǔn)確的模擬，為進(jìn)行人機(jī)交互的沙畫模擬奠定了基礎(chǔ)。關(guān)鍵詞：Leap Motion； 關(guān)鍵點(diǎn)模型；沙畫手法虛擬操作人機(jī)交互過程中，采用計(jì)算機(jī)視覺獲取人手信息在交互的自然性與成本上有巨大優(yōu)勢(shì)，是未來發(fā)展的主要趨勢(shì)。在

2、基于視覺的人機(jī)交互中, 由于人手的信息不能直接被計(jì)算機(jī)獲取, 人手姿態(tài)參數(shù)估計(jì)成為一項(xiàng)基礎(chǔ)性工作，所以，手部姿態(tài)估計(jì)一直受到廣泛重視。在國外，Doliotis等1通過建立手勢(shì)數(shù)據(jù)庫，基于深度圖像提取特征進(jìn)行數(shù)據(jù)庫索引,找到最為匹配的手勢(shì)完成姿態(tài)估計(jì)。Keskin等2使用隨機(jī)決策森林對(duì)深度圖像進(jìn)行分類，計(jì)算類別中心以獲取手部各關(guān)節(jié)中心位置，從而得到手部骨架信息。這一類方法具有速度快的優(yōu)點(diǎn)，但是需要大量的訓(xùn)練數(shù)據(jù)、同時(shí)有泛化能力不足、估計(jì)精度不高的缺點(diǎn)。在國內(nèi)，周文猛等3使用Kinect作為輸入設(shè)備，在無標(biāo)記的情況下對(duì)人體手部進(jìn)行估計(jì)，跟蹤恢復(fù)出人體手部的姿態(tài)信息。這一方法優(yōu)化了對(duì)手部圖像處理的速

3、度，但是Kinect傳感器的精度有限，難以保證準(zhǔn)確地估計(jì)人手姿態(tài)。胡弘等4提出基于Leap Motion輸入設(shè)備的關(guān)鍵點(diǎn)模型手姿態(tài)估計(jì)方法。這一方法利用最新的該精度采集設(shè)備，準(zhǔn)確獲取信息，能夠?qū)崟r(shí)地估算出手各個(gè)關(guān)鍵點(diǎn)的位置，但是在手姿態(tài)估計(jì)過程存在偏差，并且精確性不足。本文方法構(gòu)建更準(zhǔn)確的關(guān)鍵點(diǎn)模型，以關(guān)鍵點(diǎn)的空間位置作為參數(shù)進(jìn)行姿態(tài)估計(jì)，設(shè)計(jì)算法再設(shè)計(jì)算法獲取沙畫手法中鋪沙，捏沙這兩個(gè)基礎(chǔ)手法中相關(guān)數(shù)據(jù)進(jìn)行虛擬仿真。利用Leap Motion獲取的手勢(shì)信息，估算出指尖，遠(yuǎn)指關(guān)節(jié)，近指關(guān)節(jié)，指掌關(guān)節(jié)等21個(gè)關(guān)鍵點(diǎn)的三位空間位置，21個(gè)關(guān)鍵點(diǎn)位為人手部15個(gè)運(yùn)動(dòng)的關(guān)節(jié)點(diǎn)，5個(gè)指尖，1個(gè)手腕關(guān)節(jié)點(diǎn)

4、。1 Leap Motion Leap Motion 利用紅外成像的原理，能檢測(cè)并跟蹤手，手指和類似手指的工具，能實(shí)時(shí)獲取它們的位置方向和手勢(shì)信息，并將這些信息提供給開發(fā)者，以達(dá)到人機(jī)交互的效果。Leap Motion采集的基本單位是幀，平均具有0.7mm級(jí)的捕獲精度，有很高的采集效率和準(zhǔn)確性，可以滿足手姿態(tài)對(duì)信息采集的要求以及沙畫制作手部運(yùn)動(dòng)捕獲的要求。 Leap Motion采用了右手笛卡坐標(biāo)系，如圖1，Leap Motion獲取的手坐標(biāo)和向量都是基于Leap Motion坐標(biāo)系（以下簡(jiǎn)稱為）本文在 坐標(biāo)系中對(duì)個(gè)關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行計(jì)算和處理。 圖1 Leap Motion右手坐標(biāo)系統(tǒng)Leap

5、Motion的手模型，如圖2。本文利用Leap Motion獲取的手掌和手指的信息為（在Leap Motion的坐標(biāo)系下）：掌心坐標(biāo)，手掌法向，手掌朝向，手指長(zhǎng)度，手指方向，指尖坐標(biāo)。圖2 Leap Motion手模型2關(guān)鍵點(diǎn)模型三維手模型可以分為體模型、網(wǎng)格模型、幾何模型以及骨架模型5-6。相比較而言，三維骨架模型既易于實(shí)現(xiàn)又能體現(xiàn)三維特性，可以通過一定方法重建出滿足真實(shí)感要求的訓(xùn)練用虛擬手。本文依據(jù)手的三維骨架模型構(gòu)建出關(guān)鍵點(diǎn)手模型，將手掌(Palm)、指尖(TIP)、遠(yuǎn)指關(guān)節(jié)D IP)、近指關(guān)節(jié)(PIPS、指掌關(guān)節(jié)(MCP)等20個(gè)關(guān)鍵點(diǎn)的空間位置標(biāo)注出來，作為手的姿態(tài)參數(shù)，如圖3所示.

6、這些關(guān)鍵點(diǎn)的位置信息少部分可以直接從Leap Motion中獲取的，如手掌、指尖，其他則需要通過建模求解才能獲得.平面四邊形模型食指、中指、無名指、小指四指都有三個(gè)可活動(dòng)的關(guān)節(jié)點(diǎn)，都具有指尖點(diǎn)、遠(yuǎn)指關(guān)節(jié)點(diǎn)、近指關(guān)節(jié)點(diǎn)和指掌關(guān)節(jié)點(diǎn)4個(gè)關(guān)鍵點(diǎn)。拇指構(gòu)造有所不同，但同樣有三個(gè)可活動(dòng)的關(guān)節(jié)點(diǎn)和四個(gè)關(guān)鍵點(diǎn)，四個(gè)關(guān)鍵點(diǎn)分別是指尖點(diǎn)，指關(guān)節(jié)點(diǎn)，指掌關(guān)節(jié)點(diǎn)，腕-指掌關(guān)節(jié)點(diǎn)7，建模方法與解四邊形類似。以拇指以手指的腕-指掌關(guān)節(jié)點(diǎn)有原點(diǎn)，其余四指以手指的指掌關(guān)節(jié)點(diǎn)為原點(diǎn)，指掌關(guān)節(jié)點(diǎn)到指尖點(diǎn)的方向?yàn)閄軸，以垂直以于X軸且使指關(guān)節(jié)點(diǎn)Y值為非負(fù)的方向?yàn)閅軸，構(gòu)建手指局部平而坐標(biāo)系，如圖所示.其中，圓點(diǎn)代表4個(gè)關(guān)鍵點(diǎn)的位

7、置，1和2在拇指上表示指關(guān)節(jié)與指掌的彎曲角度，在其余四指上表示近指關(guān)節(jié)與遠(yuǎn)指關(guān)節(jié)彎曲的角度。構(gòu)建一只手指的局部平面坐標(biāo)系四邊形模型如下：其中，對(duì)應(yīng)某一時(shí)刻實(shí)際空間中手指的伸出長(zhǎng)度(即腕指掌關(guān)節(jié)點(diǎn)或指掌關(guān)節(jié)點(diǎn)到指尖點(diǎn)的距離)，對(duì)應(yīng)手指的總長(zhǎng)度。這是角度的條件限制，其次，為了更加準(zhǔn)確，根據(jù)醫(yī)學(xué)，生理學(xué)的實(shí)驗(yàn)探索，本文將手指指段長(zhǎng)度比列關(guān)系定義為經(jīng)驗(yàn)估計(jì)值，關(guān)節(jié)間彎曲角度比例關(guān)系定義為經(jīng)驗(yàn)估計(jì)值。定義A為原點(diǎn)，作輔助線AC和BD，根據(jù)余弦定理，設(shè)：；則有：根據(jù)設(shè)計(jì)的算法，可解出B，C，D的坐標(biāo)，B點(diǎn)即拇指指關(guān)節(jié)點(diǎn)，四指近指關(guān)節(jié)點(diǎn)；C點(diǎn)即拇指指掌關(guān)節(jié)點(diǎn)，四指遠(yuǎn)指關(guān)節(jié)點(diǎn)；D點(diǎn)即拇指腕指掌關(guān)節(jié)點(diǎn)，四指指掌

8、關(guān)節(jié)點(diǎn)。坐標(biāo)為:。坐標(biāo)轉(zhuǎn)換求解到平面四邊形模型，獲取了各關(guān)鍵點(diǎn)在手指局部平面坐標(biāo)系中的坐標(biāo)，對(duì)于獲取的每一幀數(shù)據(jù)，須將這些坐標(biāo)轉(zhuǎn)換到Leap Motion坐標(biāo)系。設(shè)Leap Motion坐標(biāo)系為，反映手在真實(shí)空間坐標(biāo)位置的坐標(biāo)系。將手指局部平面坐標(biāo)系根據(jù)右手法則擴(kuò)展為三維坐標(biāo)系.直接獲得的數(shù)據(jù)：利用Leap Motion得到的手指長(zhǎng)度，手指方向，指尖坐標(biāo),手掌法向. 手指局平面坐標(biāo)系到Leap Motion坐標(biāo)系的坐標(biāo)轉(zhuǎn)換可以計(jì)算出三維坐標(biāo)系的原點(diǎn)位置在Leap Motion坐標(biāo)系下的表示為,三維坐標(biāo)系坐標(biāo)軸方向向量在Leap Motion坐標(biāo)系下表示為.接著可以求得Leap Motion坐標(biāo)

9、系中一點(diǎn)轉(zhuǎn)換到手指局部三維坐標(biāo)系的坐標(biāo)的轉(zhuǎn)換公式為.由矩陣逆變換定理得，手指局部三維坐標(biāo)系內(nèi)一點(diǎn)到Leap Motion坐標(biāo)系的轉(zhuǎn)換公式為：.其中：,.對(duì)于獲取的每一幀數(shù)據(jù)，由于手指坐標(biāo)系原點(diǎn)與坐標(biāo)軸方向在Leap Motion坐標(biāo)系下的表示唯一，所以關(guān)鍵點(diǎn)坐標(biāo)轉(zhuǎn)化到Leap Motion坐標(biāo)系中也是唯一的。彎曲角度計(jì)算本文將分兩步完成沙畫手勢(shì)的識(shí)別。第一步，根據(jù)坐標(biāo)轉(zhuǎn)換獲取手部運(yùn)動(dòng)手指的各關(guān)鍵點(diǎn)的三維坐標(biāo)信息后，引進(jìn)新算法計(jì)算出關(guān)節(jié)點(diǎn)間彎曲角度，即；第二步，引進(jìn)新思想分析標(biāo)準(zhǔn)沙畫手勢(shì)勻鋪沙，點(diǎn)沙，捏沙等手勢(shì)拇指，食指，中指，無名指，小指各關(guān)節(jié)間的彎曲角度范圍。第一步，獲取得到的各關(guān)鍵點(diǎn)的三維

10、坐標(biāo)信息，即A,B,C,D的三維坐標(biāo)，計(jì)算出關(guān)節(jié)點(diǎn)間彎曲角度。 設(shè) A,B,C,D.可得出向量AB=，BC=，CD=向量的模:,兩者數(shù)量積:,根據(jù)向量夾角公式得出的計(jì)算公式為:,第二步：標(biāo)準(zhǔn)的沙畫的手勢(shì)，勻鋪沙手勢(shì)，大拇指 3 實(shí)驗(yàn)結(jié)果和分析 電腦配置為Windows 8操作系統(tǒng)，3.40 GHz主頻，4.00GB內(nèi)存和Leap Motion一臺(tái)，系統(tǒng)采用的軟件開發(fā)環(huán)境:Leap Motion開發(fā)包LeapDeveloperKit_V2.1.3以及Unity3D 4.10圖形引擎與集成開發(fā)環(huán)境。為保證模型計(jì)算的自適應(yīng)性，要求實(shí)驗(yàn)者首先將每根手指伸直，掌面平行放于Leap Motion上方256

11、00mm的扇形工作區(qū)域2s以上，獲取每根手指的伸直長(zhǎng)度，作為該實(shí)驗(yàn)者每根手指的總長(zhǎng)度。提取沙畫手法勻沙，點(diǎn)沙，捏沙時(shí)，手指的伸直和彎曲狀態(tài)的各一幀的位置信息進(jìn)行模型的解算。圖所示為沙畫手法真實(shí)手圖像和對(duì)應(yīng)根據(jù)計(jì)算建立起來的關(guān)鍵點(diǎn)表示，為了方便分清，用不同顏色小球表示每根手指，用Unity3D渲染出虛擬手模型。對(duì)于勻鋪沙，點(diǎn)沙，捏沙這三種標(biāo)準(zhǔn)沙畫手勢(shì)，尋找10個(gè)測(cè)試者，每種獲取100個(gè)樣本（10個(gè)人每人分別做三種動(dòng)作10次），10個(gè)測(cè)試者平均年齡24歲，其中4個(gè)學(xué)習(xí)過沙畫手法，都使用過Leap Motion體感設(shè)備。手姿態(tài)估計(jì)完成后，本文通過計(jì)算手指指節(jié)關(guān)節(jié)彎曲角度來進(jìn)一步精確估計(jì)手勢(shì)。本文中勻

12、鋪沙手勢(shì)，食指，中指，無名指，小拇指四根手指并排伸直，估要求四根手指指節(jié)間角度1 2均為180度。點(diǎn)沙手勢(shì)，食指指節(jié)點(diǎn)角度均為180度，其余四根手指出去完全彎曲狀態(tài)，中指，無名指，小拇指指節(jié)間彎曲角度應(yīng)大致相同。最難的捏沙動(dòng)作，大拇指與食指指尖坐標(biāo)重合，大拇指直接點(diǎn)角度1大約180度，中指，無名指，小拇指指節(jié)間彎曲角度大致相同。大拇指食指中指無名指小指勻鋪沙不限制1，2都接近180度1，2都接近180度1，2都接近180度1，2都接近180度點(diǎn)沙1，2都接近180度捏沙1接近180度 通過Leap Motion采集設(shè)備，獲取10個(gè)測(cè)試者做的每個(gè)動(dòng)作手勢(shì)100個(gè)樣本，進(jìn)行識(shí)別實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下表

13、： 識(shí)別組數(shù) 手勢(shì) 識(shí)別率/（%） 勻鋪沙 點(diǎn)沙 捏沙 勻鋪沙 96 無 無 96 點(diǎn)沙 無 91 無 91 捏沙 無 無 93 93 方法 準(zhǔn)確度/% 最低準(zhǔn)確度/% 本文方法 93.3 91 從表中的結(jié)果可以看出，三種沙畫手勢(shì)的識(shí)別準(zhǔn)確率在93.3%，說明本文的方法具有很高的識(shí)別準(zhǔn)確率，效果顯著。但是實(shí)驗(yàn)中仍然存在一些誤差，比如點(diǎn)沙手勢(shì)識(shí)別率相對(duì)較低，主要原因是：1，Leap Motion設(shè)備采集的信息準(zhǔn)確性和穩(wěn)定性不足，導(dǎo)致基于這些信息的估計(jì)結(jié)果出現(xiàn)偏差；2，手運(yùn)動(dòng)時(shí)，存在遮擋或者傾斜現(xiàn)象，導(dǎo)致預(yù)測(cè)節(jié)點(diǎn)的準(zhǔn)確性受到影響。結(jié)束語本文提出了基于Leap Motion關(guān)鍵點(diǎn)模型的沙畫手勢(shì)識(shí)別，

14、主要貢獻(xiàn)是在糾正文獻(xiàn)4中對(duì)手部關(guān)鍵點(diǎn)認(rèn)定的錯(cuò)誤，同時(shí)，在利用Leap Motion獲取的手勢(shì)信息估算出手部模型中的各關(guān)鍵點(diǎn)的空間位置的基礎(chǔ)上，通過估算出各手指關(guān)節(jié)間的彎曲角度，確立標(biāo)準(zhǔn)沙畫手法中各關(guān)節(jié)點(diǎn)彎曲角度范圍，來對(duì)沙畫手勢(shì)進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文方法不但能完全估算出人手姿態(tài)的21個(gè)關(guān)鍵點(diǎn)的位置，而且可以對(duì)沙畫手勢(shì)有準(zhǔn)確的識(shí)別率，高達(dá)93.3%。下一步工作，為解決遮擋問題和提高精準(zhǔn)度，將進(jìn)行多Leap Motion的多目識(shí)別。 參考文獻(xiàn)1Doliotis P,Athitsos V,Kosmopoulos D,et al.Hand shape and 3D pose estimation

15、 using depth data from a single cluttered frame.Advances in Visual Computing,2012,148158.2Keskin C, Kmac F, Kara Y E, et al. Real time hand pose estimation using depth sensors.Consumer Depth Cameras for Computer Vision,2013:119137.3周文猛，楊一品，等：基于Kinect的無標(biāo)記手部姿態(tài)估計(jì)系統(tǒng)J。南京大學(xué)學(xué)報(bào)（自然科學(xué)），2015（3）：297-303.4胡弘，晁建剛

16、，楊進(jìn)，等：Leap Motion關(guān)鍵點(diǎn)模型手姿態(tài)估計(jì)方法J。計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015（7）：1211-1216.5Ren Haibing, Zhu Yuanxin, Xu Guangyou, et al. Vision-based recognition of hand gestures: a survey J. Acta Electronica Sinica, 2000, 28(2): 118-121 (in Chinese)(任海兵，祝遠(yuǎn)新，徐光裕，等.基于視覺手勢(shì)識(shí)別的研究一綜述J.電子學(xué)報(bào)，2000, 28(2): 118-121)6Albrecht I, Haber J, Seidel H P. Construction and animation of anatomically based human hand modelsC/ Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Computer Animation. Aire-la-Ville: Eurographics Association Press, 2003：9R- I 097Chi Xu,Li Cheng,Effi