虛擬現(xiàn)實中人機交互技術進展

虛擬現(xiàn)實中人機交互技術進展

潘志庚杭州師范大學數(shù)字媒體與人機交互研究中心

電話子郵件:ZGPAN@CAD.ZJU.EDUxQQ:“秀水清山”:443922077 微信:圖行天下(443922077)MSN:zhigengpan@gmailx微博:圖行天下(2370191992)"教授難當還要當"博客:/u/1250780752

自我介紹關于自己貌不若潘安，而志存高遠夢成華羅庚才可比張薔，且明心靜性不似柯以敏關于數(shù)字媒體與人機交互研究中心

研究內(nèi)容：圖形圖像聲音動畫幾何信號都能處理媒體娛樂光照特征文化信息皆可計算中心定位：研究與應用并重，創(chuàng)新和轉化優(yōu)先2一虛擬現(xiàn)實與人機交互生活虛擬化，談天說地真假難分酷似現(xiàn)實生活交互人性化，指手劃腳聲情并茂盡在虛擬環(huán)境

注解：真假難分（VR）、指手劃腳聲情并茂（HCI）城市規(guī)劃(西游記樂園)培訓和教育（ELVIS項目）游戲和娛樂虛擬商店和虛擬產(chǎn)品展示虛擬現(xiàn)實應用系統(tǒng)虛擬體育仿真虛擬旅游和虛擬劇場數(shù)字文化遺產(chǎn)電子試衣

虛擬現(xiàn)實的應用5典型案例

1）數(shù)字奧運博物館*數(shù)據(jù)采集*模型構造*動畫生成*交互式漫游*寓教于樂62）航海模擬系統(tǒng)獲獎:國家科學技術進步二等獎(2008)

完成人:金一丞,尹勇,潘志庚,任鴻翔等10人3）漫游京杭大運河運河概況：運河的形成和開鑿歷史，相關科學知識沿線風景：運河沿線的風土人情，歷史典故，名勝古跡漫游體驗：漕運模擬和體驗；船閘系統(tǒng)模擬和體驗；運河上的虛擬駕駛；全景圖漫游體驗。

基于照片的動畫演示4）網(wǎng)上上海世博會獲獎:上海市科學技術進步一等獎(2011)

完成單位:上海世博局,浙江大學等單位一、立項依據(jù)(2)

頭交互

腿部交互表情交互手交互任天堂Wii2006年11月2010年6月微軟Kinect2013年2月LeapMotion2013年初MYO臂環(huán)MITSpaceTop3D2012年10月體感交互(一)虛擬環(huán)境中的人機交互（1）交互的手段

身體部件（人體，手[指點]，腳，頭，眼球，表情/情感，姿勢）耳朵[聽覺，一般聲音/空間聲]，手

交互設備三維鼠標，筆，觸覺設備

（2）交互的種類

*二維/三維人機交互*可觸摸式/非可觸摸式交互*自然/非自然交互

虛擬生物實驗室

虛擬生物實驗室（我們的例子==》）

基于標記的交互

我們的實例系統(tǒng)

*虛擬保齡球游藝機*虛擬乒乓球球*虛擬網(wǎng)球系統(tǒng)*虛擬網(wǎng)絡馬拉松實例系統(tǒng)*虛擬網(wǎng)絡馬拉松[浙江大學+南京大學+國家體科所](二)基于手勢的自然交互2.1“點-線-面”交互模式2.2實時多線索手勢跟蹤

互動清明上河圖演示

指尖位置手指方向手掌平面簡單手勢

[環(huán)境配置

]2.1“點-線-面”交互模式

Demo交互圖例(1)3DWriting

ARChess

Rotationcontrol

Orientation19Application：游戲

交互圖例(2)Application：Control3DPlane20演示demo21(三)智能人機交互

（1）智能人機交互需求*自動識別用戶的動作和位置*使用自然的交互方式*推斷用戶的交互意圖

（2）如何實現(xiàn)智能性

*注冊問題:無標記注冊*識別人的常用動作*深度檢測/位置感知(結合3D相機)*意圖分析:對交互者的行為和意圖進行理解(基于語義的場景建模)

22（3）基于AVATAR的交互*虛擬化身（AVATAR）*AVATAR的個性化*AVATAR的表情和姿勢*多個AVATAR的交互（5）智能交互和導航的例子

1）虛擬商場EasyMall智能導購：對以下信息進行分析推理（簡單的DATAMINING）：*用戶注冊信息*以往的購買數(shù)據(jù)庫*購買行為2）數(shù)字奧運博物館/網(wǎng)上世博會*基于語義的場景建模*智能導航：**利用場景的語義**以往的瀏覽行為**用戶的位置/逗留時間

附錄:受資助的相關項目國家自然科學基金重點項目，“遠程沉浸式虛擬奧運博物館關鍵技術”(60533080)，2006-2009國家科技支撐計劃子項,《漫游運河》科學體驗區(qū)建設,2006-2007上海市科委世博項目“虛擬環(huán)境中智能交互和導航技術研究”，（08dz0580208），2008-2009歐盟科技合作項目，“基于虛擬人物的電子學習環(huán)境”(ASI/B7-301/97/0126-84)，2003-2004INTEL大學合作項目，“基于視覺的3D人機交互和虛擬人技術”，2008-2009

科技部科技支撐計劃（世博）“網(wǎng)上世博會的關鍵技術研究，2009-2010863高科技重點項目，“數(shù)字礦山關鍵技術”，2009-2011國家自然科學基金項目，“虛擬環(huán)境中的3D交互技術研究”，2012-2015企事業(yè)單位委托科技項目,《竇娥冤》增強現(xiàn)實系統(tǒng),2007-2009

學術廣告：期刊/會議信息期刊：（1）InternationalJournalofVR（）（2）TransactionsonEdutainment(Springer)相關會議：(3)全國第九屆數(shù)字博物館與文化遺產(chǎn)數(shù)字化會議(杭州,2013年9月6-8日)(4)ACMSIGGRAPHVRCAI2013（2012年11月，香港）(5)數(shù)字媒體與動畫游戲高級研討班（2013年9月6-10日，Hangzhou）

招聘廣告：人員需求信息*招聘虛擬現(xiàn)實/數(shù)字媒體/人機交互/仿真/電子/自動化等方面的博士或副教授職稱以上人才（海外優(yōu)先）*待遇（目前國內(nèi)高校最優(yōu)厚）

人才類型項目費（萬）安家費（萬）年薪（萬）

高端 院士/國家千人計劃級300-500500-800>50

人才

長江/杰青/中科院百人級150-360300-500>40

（以上二類人才可申請2000-5000萬的平臺建設費【攀登工程，上不封頂】）

---------------------------------------------------------------------------------------------

高層次錢江教授（省級特聘）150156>20

人才

學科帶頭人6085

學術帶頭人3054

優(yōu)秀博士（博士后）1533

博士（博士后）5