沉浸式虛擬維修仿真系統(tǒng)及其實(shí)現(xiàn)

1、5期蔣科藝等:沉浸式慮擬維修仿真系統(tǒng)及其實(shí)現(xiàn)1121Vol. 17. No.5May. 20055期蔣科藝等:沉浸式慮擬維修仿真系統(tǒng)及其實(shí)現(xiàn)11215期蔣科藝等:沉浸式慮擬維修仿真系統(tǒng)及其實(shí)現(xiàn)1121應(yīng)用苓萃沉浸式虛擬維修仿真系統(tǒng)及其實(shí)現(xiàn)落科藝 郝建立（軍械工程學(xué)院維修工程研究所石家莊050003）（jiang_kcyi 163 com）摘要給岀了沉浸式虛擬維修仿真系統(tǒng)的榷架從樣機(jī)建模和交互技術(shù)兩個(gè)方面對(duì)其關(guān)鍵技術(shù)進(jìn)行了研究提岀 了虛擬維修樣機(jī)的概念通過(guò)定義樣機(jī)部件的約束運(yùn)動(dòng)和交互待征來(lái)實(shí)現(xiàn)其所耍求功能，而交互技術(shù)則主要集中在 抓取和防穿越處理上.建立了基于Jack系統(tǒng)的沉浸式戌擬維修仿真原型

2、系統(tǒng)，并以某機(jī)構(gòu)的拆裝為例對(duì)其進(jìn)行了初 步的應(yīng)用驗(yàn)證.關(guān)詞虛擬維修；虛擬樣機(jī)建模；虛擬維修仿真；沉技式虛擬維修仿真；交互技術(shù)中圖法分類(lèi)號(hào) TP391.9Development of An Immersive Virtual Maintenance Simulation SystemJiang Keyi Hao Jianping(Maintenance Engineering IniiituU Shijiazhuang 050003)Abstract The focus of this paper lies on developing an immersive virtual maintenan

3、ce 5imulatiun sysicm to meet the demands of virtual maintainability analysis, virtual maintenance procedure validation and virtual maintenance training This paper presents a framework for simulating maintenance in immersive virtual environments, and introduces the key techniques for prototype modeli

4、ng and interaction In prototype mddeling, a concept of virtual maintenance prototype (VMP) is put forwardf and its functions are realized by defining constrained motions and interaction features of all parts of a VMP In interaction, the main concern is on grasping and penetration handling Finally, a

5、 sample is given on the establishment and validation of an immersive virtual maintenance simulation system based on Jack through the assembling and disassembling of a machine Key words virtual maintenance; virtual prototype modeling; virtual maintenance simulation; immersive virtual maintenance simu

6、lation; interactive technology5期蔣科藝等:沉浸式慮擬維修仿真系統(tǒng)及其實(shí)現(xiàn)11215期蔣科藝等:沉浸式慮擬維修仿真系統(tǒng)及其實(shí)現(xiàn)1121收穗日期：2003-04-28;» 回日期：2004-08 18 墓金項(xiàng)目：國(guó)家自於科學(xué)基金（50005023）1引 S為了使產(chǎn)品在使用過(guò)程中能夠獲得良好的維 修，傳統(tǒng)的解決方案是在設(shè)計(jì)階段進(jìn)行維修性設(shè)計(jì) 分析，研制后期編寫(xiě)維修技術(shù)手冊(cè)，交付用戶(hù)后進(jìn)行 維修訓(xùn)練.該過(guò)程為一串行過(guò)程不符合產(chǎn)品集成設(shè)計(jì)的思想，且對(duì)物理樣機(jī)或?qū)嶋H裝備有較強(qiáng)的依 賴(lài)性.虛擬現(xiàn)實(shí)技術(shù)的出現(xiàn)與逐漸成熟，為解決上 述問(wèn)題帶來(lái)了新的契機(jī).設(shè)計(jì)人員可以在虛

7、擬環(huán)境 中通過(guò)對(duì)產(chǎn)品的維修、零部件的拆卸仿真來(lái)發(fā)現(xiàn)設(shè) 計(jì)中存在的維修問(wèn)題，進(jìn)行維修性分析；直至通過(guò)完 整的維修過(guò)程模擬來(lái)輔助維修人員的訓(xùn)練，生成相 應(yīng)的維修技術(shù)手冊(cè).近年來(lái)，國(guó)內(nèi)外對(duì)虛擬現(xiàn)實(shí)技術(shù)在維修領(lǐng)域的 應(yīng)用進(jìn)行了大貳的研究.華盛頓州立大學(xué)開(kāi)發(fā)了用 于探討虛擬裝配設(shè)計(jì)可行性及虛擬系統(tǒng)與CAD系 統(tǒng)數(shù)據(jù)共享技術(shù)的虛擬裝配設(shè)計(jì)環(huán)境；洛克希德 公司在F-16的設(shè)計(jì)過(guò)程中利用虛擬維修系統(tǒng)進(jìn)行 維修確認(rèn)和人素分析；徳國(guó)Fraunhofer計(jì)算機(jī)圖 形研究所實(shí)現(xiàn)了裝配虛擬仿真，用于裝配和維修過(guò) 程的核査與確認(rèn)；美國(guó)Wright Patterson空軍基 地與GE公司、洛克希徳馬丁公司實(shí)現(xiàn)了維修手冊(cè) 的

8、自動(dòng)生成.本文根據(jù)維修性設(shè)計(jì)分析（核查）、維修程序確 認(rèn)和輔助維修訓(xùn)練的更求，建立了沉浸式虛擬維修 仿真的系統(tǒng)框架，對(duì)其中涉及到的關(guān)鍵技術(shù)進(jìn)行了 研究，建立了系統(tǒng)原型，并用實(shí)例進(jìn)行了適用性驗(yàn)證.2沉浸式虛擬維修仿真系統(tǒng)虛擬維修的潛在應(yīng)用主要有以下三個(gè)方面：維 修性設(shè)計(jì)的分析，維修規(guī)程的確認(rèn)，輔助維修訓(xùn)練. 本研究旨在開(kāi)發(fā)一個(gè)能夠在產(chǎn)品開(kāi)發(fā)的早期就對(duì)產(chǎn) 品的維修性設(shè)計(jì)進(jìn)行分析與核査，減少由于維修性 設(shè)計(jì)方面的缺陷所引超回溯性修改；對(duì)維修規(guī)稈中 的維修過(guò)程或程序進(jìn)行確認(rèn)，及早形成產(chǎn)品的維修 規(guī)程，滅緩由于對(duì)實(shí)物樣機(jī)或直實(shí)產(chǎn)品的依賴(lài)而引 起的維修規(guī)程研制的滯后；輔助開(kāi)展維修訓(xùn)練工作， 減少由于維修訓(xùn)

9、練而引起的產(chǎn)品磨損，降低維修訓(xùn) 練的費(fèi)用.因此對(duì)開(kāi)發(fā)的維修仿真系統(tǒng)提出了以下 要求：（1）能夠利用已有的產(chǎn)品設(shè)計(jì)數(shù)據(jù)，尤其是 CAD數(shù)據(jù)；（2）能夠仿真產(chǎn)品的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)等 特性；（3）能夠像在實(shí)際產(chǎn)品上一樣對(duì)虛擬產(chǎn)品進(jìn)行 各種操作；（4）能夠?qū)S修仿真過(guò)程中影響產(chǎn)品維修 的事件或狀態(tài)進(jìn)行記錄和處理；（5）仿賓必須具有實(shí) 時(shí)性；（6）仿真環(huán)境必須具有可佰性和好的沉浸感.本文研究采用沉浸式仿真模式，稱(chēng)之為沉浸式 虛擬維修仿真系統(tǒng).根據(jù)系統(tǒng)所要完成的功能將系 統(tǒng)分為如圖1所示6，卜模塊:虔擬人和虛擬樣機(jī)建 模，虛擬對(duì)象仿真，虛擬人行為仿真，虛擬場(chǎng)景管理, 虛擬場(chǎng)景顯示和仿真記錄.各個(gè)模塊所完成的

10、功能如下：（1）虛擬人和虛擬樣機(jī)建模.建立支持行為仿 真的人體模型；對(duì)樣機(jī)CAD數(shù)據(jù)進(jìn)行處理、簡(jiǎn)化和 信息提取，建立支持維修仿真的虛擬樣機(jī)模型.（2）虛擬對(duì)象仿真.更新和管理虛擬物體的狀 態(tài)，響應(yīng)虛擬人行為仿真請(qǐng)求，仿真虛擬物體的約束 運(yùn)動(dòng)，并實(shí)現(xiàn)虛擬物體自主運(yùn)動(dòng)仿真.（3）虛擬人行為仿真.建立用戶(hù)與虛擬人之間 的運(yùn)動(dòng)映射關(guān)系，通過(guò)用戶(hù)的運(yùn)動(dòng)和虛擬環(huán)境仿真 對(duì)虛擬人行為進(jìn)行調(diào)整,來(lái)仿真虛擬人行為.（4）虛擬場(chǎng)景管理.采用碰撩檢測(cè)方法對(duì)虛擬 環(huán)境中發(fā)生的碰撞行為進(jìn)行檢測(cè)；由碰撞處理形成 觸覺(jué)和聲音信號(hào)輸出，對(duì)虔擬人的姿勢(shì)和虛擬物體 的運(yùn)動(dòng)路徑進(jìn)行凋整，使之不發(fā)生相互間的穿越行 為；完成人機(jī)間的交

11、互.（5）虛擬場(chǎng)景顯示.根據(jù)虛擬人的行為和虛擬 物體的狀態(tài)，對(duì)虛擬環(huán)境進(jìn)行實(shí)時(shí)沆染，形成3D圖 像輸出.（6）仿真記錄.對(duì)維修仿真的圖像輸出進(jìn)行記 錄和處理,形成仿真視頻文件;對(duì)影響維修操作的事 件進(jìn)行記錄.圖1沉浸式虛擬維修仿貝系統(tǒng)結(jié)構(gòu)該系統(tǒng)需要建立支持行為仿真的人體模型和支 持功能仿真的虛擬樣機(jī)模型；提供自然的人機(jī)交互 方法；同時(shí)為了滿足仿真的實(shí)時(shí)性要求，必須提供合 適的碰撞檢測(cè)方法.已有的人體仿真軟件如Jack, Deneb Envision等都具有很強(qiáng)的人體仿真能力；而 在碰撞檢測(cè)方面已經(jīng)有艱多成熟的軟件包，因此本 文的重點(diǎn)在于虛擬樣機(jī)建模、交互技術(shù)的研究.3虎擬樣機(jī)建模技術(shù)虛擬樣機(jī)建

12、模與其應(yīng)用密切相關(guān).本文討論的 虛擬樣機(jī)是專(zhuān)用i虛擬堆修仿貝的，它能夠支持維 修性、維修工程設(shè)計(jì)和分析的產(chǎn)品實(shí)物的計(jì)算機(jī)仿 真，結(jié)合虛擬現(xiàn)實(shí)系統(tǒng)，可以實(shí)現(xiàn)維修有關(guān)活動(dòng)或過(guò) 程的模擬,進(jìn)行維修訓(xùn)練、維修性分析與評(píng)估等.虛 擬維修樣機(jī)應(yīng)該具有以下待點(diǎn)：（1）具有合適的多邊 形數(shù)目，能夠支持實(shí)時(shí)仿真；（2）能夠保持產(chǎn)品CAD 1122計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)2005 年的基本結(jié)構(gòu)關(guān)系、裝配關(guān)系.（3）能夠?qū)崿F(xiàn)樣機(jī)部 件的約束運(yùn)動(dòng)；（4）能夠提供人機(jī)交互所需的交互 信息.為了達(dá)到維修為真的實(shí)時(shí)性要求，需要滅少場(chǎng) 最中的多邊形數(shù)目，從而引人面向任務(wù)的樣機(jī)概念. 任何產(chǎn)品的維修都是針對(duì)待定的維修任務(wù)的（

13、如更 換產(chǎn)品的某一故障部件），而要完成菓一具體維修任 務(wù)只需要拆卸產(chǎn)品所有部件中的一部分，因此將影 響維修任務(wù)完成的產(chǎn)品部件抽取出來(lái)形成面向任務(wù) 的樣機(jī)并不會(huì)影響維修分析和訓(xùn)練的結(jié)果.面向任 務(wù)樣機(jī)的主耍想法是通過(guò)滅少虛擬場(chǎng)景中幾何實(shí)體 數(shù)量來(lái)滅少虛擬場(chǎng)景中的多邊形數(shù)量.本文通過(guò)定 義樣機(jī)部件的約束運(yùn)動(dòng)和交互待征來(lái)實(shí)現(xiàn)其約束運(yùn) 動(dòng)，并提供完成人機(jī)交互所需的信息，而約東運(yùn)動(dòng)的 定義是以約束定義為前提的.3.1部件間約束的定義在虛擬維修仿真中，為了減少仿真中的計(jì)算重 使仿真達(dá)到實(shí)時(shí)性要求，應(yīng)對(duì)部件間的約束定義進(jìn) 行簡(jiǎn)化.可將部件間的任何一種基本配合關(guān)系或者 多個(gè)基本配合關(guān)系的組合認(rèn)為是一個(gè)約束.約

14、束=丨虛擬部件1,虛擬部件2,狀態(tài) 其中，虛擬部件1和虛擬部件2表示建立約束的兩 個(gè)部件的名稱(chēng)，虛擬部件1為被約束的部件，虛擬部 件2為約束部件；約束的狀態(tài)分為激活和非激活 兩種.3.2約束運(yùn)動(dòng)的定義部件的約束運(yùn)動(dòng)表示為一個(gè)運(yùn)動(dòng)集.部件的約 束運(yùn)動(dòng)具有兩類(lèi)基本運(yùn)動(dòng)方式：平動(dòng)和轉(zhuǎn)動(dòng).對(duì)于部 件的復(fù)雜運(yùn)動(dòng)可以由兩類(lèi)基本運(yùn)動(dòng)的組合來(lái)衣示.基本運(yùn)動(dòng)=基本運(yùn)動(dòng)類(lèi)型，坐標(biāo)系，條件約束， 影響約束.其中條件約束為約束及其相應(yīng)狀態(tài)的集合，當(dāng)集合 中所有約束的狀態(tài)和條件約束集中定義的狀態(tài)一致 時(shí)，表示該基本約束運(yùn)動(dòng)是可行的.影響約束為一 個(gè)約束集，當(dāng)該基本約束運(yùn)動(dòng)執(zhí)行之后該集合中所 有約束的狀態(tài)將發(fā)生改變，從而

15、實(shí)現(xiàn)約束狀態(tài)的 更新.3.3部件交互特征的定義根據(jù)虛擬維修場(chǎng)景中物體的功能，我們將其分 為兩類(lèi)：雄擬工具和虛擬部件.虛擬工具和虛擬部 件的交互特征并不一致應(yīng)分開(kāi)來(lái)定義.虛擬工具 的交互特征包括運(yùn)動(dòng)類(lèi)型、操作部位、定位點(diǎn)和定向 向址；虛擬部件的交互特征包括操作部位、工具、定 位點(diǎn)和定向向量.其中運(yùn)動(dòng)類(lèi)型分為沖擊和隨動(dòng) 兩類(lèi)：沖擊表示運(yùn)動(dòng)是由瞬間力的作用產(chǎn)生的，而隨 動(dòng)表示運(yùn)動(dòng)是持續(xù)力作用的結(jié)果；操作部位為虛擬 工具或虛擬部件的一部分（如提把、把手等），即當(dāng)操 作該部件時(shí)，虛擬人或虛擬工具與之接觸的部分;定 位點(diǎn)和定向向雖為需要精確定位并定向虎擬物體的 對(duì)準(zhǔn)點(diǎn)及重合向St.4交互技術(shù)交互是用戶(hù)和虛

16、擬環(huán)境進(jìn)行交流的途徑，用戶(hù) 對(duì)虛擬場(chǎng)眾中物體的選擇、操作和對(duì)仿真進(jìn)程的控 制都必須通過(guò)人機(jī)交互來(lái)實(shí)現(xiàn).只有建立起有效而 簡(jiǎn)潔的人機(jī)交互方法，才能使用戶(hù)更好地在沉浸式 虛擬環(huán)境中完成維修過(guò)程、維修程序確認(rèn)或者開(kāi)展 維修訓(xùn)練.沉浸式虛擬維修中的交互主要有：（1）用 戶(hù)位置的跟蹤；（2）導(dǎo)航；（3）虛擬場(chǎng)景中物體的操作 （主要是抓取、釋放、定位）；（4）虛擬場(chǎng)景中物體間的 穿越；（5）系統(tǒng)控制.研究人員對(duì)用戶(hù)跟蹤、導(dǎo)航、物體的操作和場(chǎng)景 中物體的防穿越處理進(jìn)行了大St的研究，提出了一 些較成熟的方法.本文采用Ascension Technology 公司的FOB （Flock of Birds）來(lái)實(shí)

17、現(xiàn)用戶(hù)付普的跟 蹤，利用頭部跟蹤來(lái)實(shí)現(xiàn)系統(tǒng)的導(dǎo)航.在虛擬維修 仿真環(huán)境中，由于缺少力反饋，同時(shí)為了更好地驗(yàn)證 虛擬工具和虛擬部件的可操作性，采用Thomas 等提岀的基于接觸面幾何待征的抓取識(shí)別方法 來(lái)實(shí)現(xiàn)對(duì)物體的抓取和釋放.而物體操作中的定 位，由于在樣機(jī)建模中對(duì)于需要定位的虎擬工具或 虛擬部件分別定義了其定位點(diǎn)和定向向量，通過(guò)分 別計(jì)算定位點(diǎn)間的歐氏距離和定向向議間的角度是 否在允許值之內(nèi)來(lái)判定定位操作的完成情況.同 樣，由于在虛擬場(chǎng)景中缺少物體間力的相互作用，經(jīng) 常會(huì)發(fā)生物體間的穿越行為，影響仿真的真實(shí)性，本 文采用Zachmann16提供的方法來(lái)實(shí)現(xiàn)防穿越處理.5系統(tǒng)實(shí)現(xiàn)及實(shí)例為了便于

18、開(kāi)展維修性分析中涉及到維修空間和 人素工程的研究，需要米用完整的人體模型.Jack糸 統(tǒng)提供了完整的人體模型，而且提供了 Python,tel/ ik和lisp等二次開(kāi)發(fā)工具.因而，本文以Jack為基 礎(chǔ)建立了沉浸式虛擬維修仿真原型系統(tǒng)，以TCL, Python語(yǔ)言和Jack提供的接口函數(shù)開(kāi)發(fā)了虛擬樣 機(jī)建模和虛擬維修仿真過(guò)程控制兩個(gè)子系統(tǒng).我們采用4個(gè)Bird的FOB來(lái)采集用戶(hù)的運(yùn)動(dòng) 參數(shù)，右手CyberTouch數(shù)據(jù)手套對(duì)用戶(hù)手部運(yùn)動(dòng)進(jìn) 行采樣.采用V8HMD提供沉浸式的虛擬場(chǎng)景的顯 示.Jack系統(tǒng)和虛擬維修仿真軟件運(yùn)行于SGI Onyx2 R10000 4X 195MHz系統(tǒng).以某機(jī)構(gòu)

19、為例，對(duì) 其CAD模型進(jìn)行轉(zhuǎn)化和處理形成了多邊形模型作 為樣機(jī)模型，利用虛擬樣機(jī)建模子系統(tǒng)建立適于仿 真的虛擬樣機(jī).用戶(hù)可以徒手或者使用工具實(shí)現(xiàn)對(duì) 該機(jī)構(gòu)的拆裝，維修仿真過(guò)程如圖2所示.實(shí)例表 明，該系統(tǒng)具有較高的沉浸感和可信性，維修人員可 以在該環(huán)境中完成對(duì)該機(jī)構(gòu)的維修拆裝操作.圖2堆修仿真過(guò)程6結(jié) 論虛擬現(xiàn)實(shí)技術(shù)在維修工程領(lǐng)域的應(yīng)用，為開(kāi)展 維修性設(shè)計(jì)分析、維修過(guò)程確認(rèn)和輔助維修訓(xùn)練提 供了一條新的途徑.基于Jack系統(tǒng)建立的沉浸式虛 擬維修仿真原型系統(tǒng)為維修人員提供合適的虛擬環(huán) 境，使其能夠在該環(huán)境中完成對(duì)產(chǎn)品或裝備的維修 操作，并抿據(jù)親身體驗(yàn)對(duì)產(chǎn)品的維修性定性要求做 出最為直觀的評(píng)價(jià)，

20、對(duì)繼修程序做岀確認(rèn)，并通過(guò)在 該環(huán)境中完成對(duì)產(chǎn)品或裝備的維修操作來(lái)輔助開(kāi)展 維修訓(xùn)練.參考文獻(xiàn)1 School of Mechanioil and Materials Engineering Washington Suite University EB/OL. http： / wwwmmcwsucd<Vpeople/ )ayhim. 20012 Abshire Kevin J Barron Mike K Virtual maintenance real world applications within virtual environments A) In: Proceedings of Annual Reliability and Maintainability Symposium, Anaheim» California. 1998. 132*-1373 Anionino G Zachmann Gabriel. Virtual reality z a tool for verification of assembly And maintenance process J! Cocnputcr and Gruphiac, 1999, 23(3): 38