基于Kinect的裝備體感維修教學(xué)系統(tǒng)研究.doc

1、基于kinect的裝備體感維修教學(xué)系統(tǒng)研究 摘 要：結(jié)合虛擬維修教學(xué)和體感技術(shù)，研究了unity3d開發(fā)環(huán)境下體感設(shè)備kinect的引入、操作替身設(shè)計、維修姿態(tài)表態(tài)等問題。實際應(yīng)用證明體感式維修教學(xué)系統(tǒng)是一種比傳統(tǒng)鍵盤鼠標操作更加優(yōu)越的訓(xùn)練方式。 關(guān)鍵詞：體感 kinect 虛擬維修 由于現(xiàn)代軍事裝備結(jié)構(gòu)復(fù)雜、價格高，教學(xué)裝備數(shù)量少，而且使用真實裝備教學(xué)易出安全事故，所以虛擬維修教學(xué)系統(tǒng)成為裝備維修訓(xùn)練的重要補充手段。但由于目前人機交互手術(shù)手段的限制，大量的虛擬維修教學(xué)系統(tǒng)還是采用傳統(tǒng)鍵盤鼠標作為交互設(shè)備。在虛擬維修訓(xùn)練中，一般只能通過鼠標點擊工具圖標來代表拿起工具，再用鼠標點擊操作對象來播放

2、分解結(jié)合動畫，實際上達到的訓(xùn)練效果是熟悉分解結(jié)合過程和工具的名稱，而具體工具的使用方式很難體現(xiàn)出來，或者說“動手”的能力很難培養(yǎng)出來。而往往學(xué)員所欠缺的就是動手能力，一到實際維修教室，還是很容易出問題。而kinect體感設(shè)備的出現(xiàn)，給虛擬維修教學(xué)系統(tǒng)開拓了一條新的路徑。 kinect體感設(shè)備是微軟為游戲機xbox360研發(fā)的一款體感操作設(shè)備，相對以往動輒百十萬元的光學(xué)動作捕捉系統(tǒng)而言，成本極期低廉，當(dāng)然識別精度也相應(yīng)較低，但是它已經(jīng)能夠勝任游戲、界面操作等基本要求。同時除了即時動態(tài)捕捉能力之外，它還具有圖像識別、語音辨識等多種實用功能，是非常有前景的體感設(shè)備。目前以kinect為外部設(shè)備的體感

3、游戲、應(yīng)用已達數(shù)百款，應(yīng)用包括機器人視覺識別、商業(yè)售賣機器、三維掃描建模等范圍。在教育領(lǐng)域，也研究了kinect在交互式電子白板等方面的應(yīng)用1。 1 kinec及其開發(fā) kinect外形如圖1所示，主要由cmos紅外發(fā)射及傳感器、rgb攝像頭及麥克風(fēng)組成。它的核心技術(shù)來自于以色列primesense公司的低成本三維空間探測芯片及微軟研究院的人體動作識別系統(tǒng)。primesense公司曾經(jīng)為以色列軍方服務(wù)，他們開發(fā)的芯片和配套軟件可以很好地處理三維空間中物體的坐標信息。 cmos紅外傳感器通過發(fā)射編碼光產(chǎn)生深度圖像，既以純黑代表無窮遠，以純白代表零距離，以灰色的濃度代表距離的遠近。傳感器以每秒30

4、幀的速度生成景深圖像流。芯片將人體圖像從景深圖像中摳出并傳入exemplar人工智能處理系統(tǒng)中，該系統(tǒng)通過積累的大量經(jīng)驗進行圖像匹配，生成一個有20個關(guān)節(jié)的骨架系統(tǒng)（如圖2所示）。kinect中間的rgb攝像頭用于捕捉人體形象圖譜，除了幫助設(shè)備探測到使用者的位置，它還可以用于拍照，在設(shè)備的基座內(nèi)有驅(qū)動塑料齒輪的馬達，用于自動校正攝像頭以及空間感知器，讓kinect獲得最佳的位置來觀測使用者。 kinect的二次開發(fā)包目前有微軟的kinect for windows sdk2和primesense的openni3。兩者各有所長，開發(fā)者可按需求選擇。openni直接提供了unity3d的插件包，所

5、以我們選擇了openni為開發(fā)工具。 2 裝備體感維修教學(xué)系統(tǒng) 2.1 軟硬件簡介 在openni架構(gòu)下要讓維修訓(xùn)練系統(tǒng)能夠使用kinect，首先需要安裝openni（版本為1.5.2.23），負責(zé)分析影像數(shù)據(jù)的nite中間件（版本為1.5.2.21）和驅(qū)動程序模塊sensorkinect（本文版本為5.1.0.25）。虛擬交互軟件采用unity3d4.0，為直接使用kinect數(shù)據(jù)，引入了openni_unity_toolkit-0.9.7.4插件包。該包提供給unity直接訪問openni兼容傳感器的能力。硬件采用了一臺kinect for xbox360外接電源適配器及遙控操縱桿。 引入

6、插件包后，unity3d中就會形成openni的預(yù)制件和腳本（如圖3所示）。用戶可以直接將這些預(yù)制件和腳本拖到場景中使用，可以無須關(guān)心底層api而直接使用“拖-放”的方式來使用數(shù)據(jù)。 2.2 體感操作引入 kinect的精度有限，所以在虛擬維修中使用體感操作，比較合適的方式是在虛擬場景中引入一個虛擬人，然后將kinect捕捉到的操作者人體數(shù)據(jù)傳遞到虛擬人身上，使虛擬人和操作者同步運動，通過判斷虛擬人與場景中物體的碰撞情況來決定交互的產(chǎn)生時機。如果直接通過kinect來操作界面元素，可能會存在跳動等現(xiàn)象，導(dǎo)致交互感覺不良。 虛擬人的制作可由3dmax等軟件制作骨骼蒙皮人體模型再導(dǎo)入unity之中

7、，然后在unity中將虛擬人的骨骼與openni提供的kinect的關(guān)節(jié)數(shù)據(jù)匹配起來，其具體做法是設(shè)置niskeleton controller腳本中的joints to control數(shù)組（如圖4所示）。建立骨骼匹配關(guān)系之后，在虛擬人手上設(shè)置碰撞包圍盒，使包圍盒包含整個手部。這樣在程序中就可以通過碰撞事件的捕獲，使操作者通過虛擬人取放工具、操作零部件，實現(xiàn)分解結(jié)合虛擬維修了。 2.3 維修過程中體感姿態(tài)定義 維修作業(yè)是通過一系列工序來完成的。裝備的基本維修訓(xùn)練可以視做大件分解結(jié)合和部件分解結(jié)合作業(yè)。為了形成通用化的系統(tǒng)結(jié)構(gòu)，需要以文本的形式提供分解結(jié)合的工序，這樣，程序運行時根據(jù)選擇的維修科

8、目，讀入相應(yīng)的工序和模型就可以實現(xiàn)分解結(jié)合訓(xùn)練了。 維修過程的定義采用office project 2003進行定義，可以方便地建立pert工序。然后輸出文本文件供維修訓(xùn)練系統(tǒng)調(diào)用。在每步工序中需要對操作者的動作進行定義，為了方便編制動作和判斷姿態(tài)，我們提出一種靈活的姿態(tài)定義格式。 格式由一連串短句組成，每個短句之間以“；”號隔開，其形式為“l(fā)arm；rarm；lhip；rhip；spine；picture”。單個短句的格式相似，如“rarm”部分，完整定義為“rarm：手腕位置零件名稱”，其中“手腕位置”是一個“x，y，z”向量，數(shù)值以虛擬人右肩關(guān)節(jié)部為起點，其身體正面為z軸正向，右方為x軸

9、，頭部向上為y軸，以手臂長為1.0，相對位置精確到小數(shù)點后一位。如“1，0，0”既代表水平向右伸直右臂。在程序中將虛擬人手部位置和肩部位置直接以參數(shù)形式傳遞進來，就可以實時得到手部相對肩關(guān)節(jié)的相對坐標，通過歸一化處理就得到了以向量表示的手腕位置（程序中rightarmlength即為提前算出的虛擬人右臂長度）。 再將手腕位置與要求位置相減，就得到了姿態(tài)偏差向量（handf）。為同時考量x，y，z三個方向上的偏差，取姿態(tài)偏差向量的長度為量度。考慮到應(yīng)允許操作者有一定的動作誤差，本文將容許值（tolerence）設(shè)置為0.4，可以保證操作者姿態(tài)正確，同時又不過份嚴格。 短句中“零件名稱”項則表示手

10、部或手部工具與該零件處于相交位置，意即當(dāng)做這個動作時，需要手部或手部工具接觸該零件。比如在右手旋掉底蓋螺絲時，應(yīng)用左手托住底蓋以防掉落。 這樣通過對每個身體部分進行定義，就可以對虛擬訓(xùn)練時，當(dāng)人員執(zhí)行某種分解動作時所處的姿態(tài)提出要求。 2.4 實例簡介 某裝備炮閂分解結(jié)合訓(xùn)練是學(xué)員必須練習(xí)的重點科目，以此為對象，建立了體感式分解結(jié)合維修訓(xùn)練系統(tǒng)。程序由unity3d 4.0開發(fā)，建立了虛擬場景，然后引入虛擬人，在虛擬人的頭上綁定攝像機，就可以從替身的角度觀察到三維場景（如圖5所示）。通過kinect，操作者可控制虛擬人在場景中自由走動，從工具桌上取用各種工具、將工具放在工具臺上、左右手互換工具、使用工具或手與零件交互，按照分解結(jié)合順序逐步分解結(jié)合炮閂，分解中對特定部件需擺出正確姿態(tài)才能分解。主觀使用感覺沉浸感強、操作流暢、工具使用仿真感強。 3 結(jié)束語 體感式操作將是未來人機交互的重點發(fā)展方向之一。裝備體感式維修教學(xué)系統(tǒng)充分發(fā)揮了體感技術(shù)的優(yōu)點，可以有效培養(yǎng)學(xué)生的動手能力，提高教學(xué)的效率，是非常優(yōu)秀的教學(xué)方式。雖然目前由于設(shè)備的精度限制，動作捕捉還有延遲和抖動等缺點，但體感技術(shù)的進步很快。據(jù)報道，kinect2代即將推出，還有其它一些高精度的體感設(shè)備也將面世?？傊?，及時將kinect代表的先進體感技術(shù)引入虛擬維修教學(xué)之中，對提高我軍裝備維修訓(xùn)練水平具有