Kinect體感交互技術

現(xiàn)代通信理論與先進技術之Kinect體感交互技術摘要：本文通過查閱國內外相關文獻，了解了人機交互技術尤其是可以實現(xiàn)高效人機交互的Kinect體感技術的發(fā)展方向，并以此為研究基礎，綜述了Kinect體感技術的理論基礎和國內外應用現(xiàn)狀，討論了其廣泛應用需要解決的技術難題，展望了其在人機交互領域的應用前景，得出了Kinect體感技術有利于推動人機交互的智能化進展，是人機交互改革的又一個新起點的結論。關鍵詞：Kinect體感技術；人機交互；虛擬現(xiàn)實；人工智能引言繼鼠標和多點觸摸之后，體感交互被稱之為“第三次人機交互革命的原點”。人機體感交互的出現(xiàn)是人與機器對話方式回歸自然的重要轉折，體現(xiàn)了人們對“以人為中心”設計理念的不斷追求。人機交互[[]董士海.人機交互的進展及面臨的挑戰(zhàn)[J].計算機輔助設計與圖形學學報，2004,1(1):1-13.][]董士海.人機交互的進展及面臨的挑戰(zhàn)[J].計算機輔助設計與圖形學學報，2004,1(1):1-13.與傳統(tǒng)輸入設備不同的是，kinect設備可以實現(xiàn)直接用使用者的身體來控制終端，用這種最自然的方式與終端進行交互的特點貼近了人機交互對自然性的要求，kinect體感技術對人機交互理念的實現(xiàn)起到了重要的促進作用。因此研究kinect體感技術在人機交互領域中的應用對其今后的發(fā)展具有很大的必要性。1Kinect設備的基本介紹Kinect[[]EnriqueRamosMeglar.Arduino[]EnriqueRamosMeglar.ArduinoandKinectProjects[M].American:Apress.2012,23-34.[]JimGiles.InsidetheracetohacktheKinect[J].TheNewScientist,2010,208(2789):22-23.[]李斌，吳國斌.Kinect領人機交互變革[J].程序員，2011，（9）：100—103.1.1RGB攝像頭用來獲取640X480的彩色圖像，每秒鐘最多獲取30幀圖像，根據(jù)在Kinect設備視野范圍內移動的一個或兩個人的圖像進行骨骼追蹤，可以追蹤到人體上的20個節(jié)點。1.23D深度傳感器分別為紅外發(fā)射器和紅外線COMS攝像機，用來偵測3D影像。1.3數(shù)組式麥克風與Microsoft.Speech的語音識別API集成，使用一個具有消除噪音和回波的四元麥克風組，能夠把聲源附近有效范圍之內的各種信息捕捉到。用于語音識別并具有降噪功能。基于以上功能，Kinect設備不需要使用任何控制器，只需依靠實時捕捉使用者的3D動作、面部別和語音識別即可達到輸入的功能[[]ChangYJ,ChenSF,HuangJD.A[]ChangYJ,ChenSF,HuangJD.AKinect-basedsystemforphysicalrehabilitation:Apilotstudyforyoungadultswithmotordisabilities[J].ResDevDisabil,2011,32(6):2566—2570.圖1Kinect整體結構圖2基于Kinect的人機交互的工作原理2.1

Kinect傳感Kinect追蹤處理流程的核心是一個無論周圍環(huán)境的光照條件如何，都可以讓Kinect感知世界的CMOS紅外傳感器。該傳感器通過黑白光譜的方式來感知環(huán)境：純黑代表無窮遠，純白代表無窮近。黑白間的灰色地帶對應物體到傳感器的物理距離。它收集視野范圍內的每一點，并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒30幀的速度生成景深圖像流，實時3D地再現(xiàn)周圍環(huán)境。就像你玩pinpointimpression3D針模玩具一樣，將你的手（或者臉，如果你愿意的話）按壓在這種玩具上，就可以產(chǎn)生你身體某一部位的簡單3D模型。如圖2所示。圖2

pinpointimpression3D針模玩具

2.2尋找移動部位Kinect需要做的下一件事是尋找圖像中較可能是人體的移動物體，就像人眼下意識地聚焦在移動物體上那樣。接下來，Kinect會對景深圖像進行像素級評估，來辨別人體的不同部位。同時，這一過程必須以優(yōu)化的預處理來縮短響應時間。Kinect采用分割策略來將人體從背景環(huán)境中區(qū)分出來，即從噪音中提取出有用信號。Kinect可以主動追蹤最多兩個玩家的全身骨架，或者被動追蹤最多四名玩家的形體和位置。在這一階段，我們?yōu)槊總€被追蹤的玩家在景深圖像中創(chuàng)建了所謂的分割遮罩，這是一種將背景物體（比如椅子和寵物等）剔除后的景深圖像（如圖3）。在后面的處理流程中僅僅傳送分割遮罩的部分，以減輕體感計算量。

圖3Kinect追蹤的骨架圖2.3Exemplar（模型）系統(tǒng)：判斷關節(jié)點真正的“魔術”在這里發(fā)生。分割化人的圖像的每一個像素都被傳送進一個辨別人體部位的機器學習系統(tǒng)中。隨后該系統(tǒng)將給出了某個特定像素屬于哪個身體部位的可能性。比如，一個像素有80%的幾率屬于腳，60%的幾率屬于腿，40%的幾率屬于胸部。這時候并不是就把幾率最大的可能性當作結果，而是將所有的這些可能性輸入到Exemplar（模型）系統(tǒng)進行處理中并且等到最后階段再做判斷。數(shù)以TB計的數(shù)據(jù)被輸入到集群系統(tǒng)中來教會Kinect以像素級技術來辨認手、腳以及它看到的其他身體部位。下圖（如圖4）就是我們用來訓練和測試Exemplar的數(shù)據(jù)之一。圖4

訓練和測試Exemplar的效果圖

2.4模型匹配：生成骨架系統(tǒng)處理流程的最后一步是使用之前階段輸出的結果，根據(jù)追蹤到的20個關節(jié)點來生成一幅骨架系統(tǒng)。Kinect會評估Exemplar輸出的每一個可能的像素來確定關節(jié)點。通過這種方式Kinect能夠基于充分的信息最準確地評估人體實際所處位置如圖5所示。另外我們在模型匹配階段還可以附加一些輸出濾鏡來平滑輸出以及處理閉塞關節(jié)等特殊事件。

圖5生成的骨架圖3Kinect體感技術的國內外研究現(xiàn)狀Kinect傳感器憑借其特性已經(jīng)應用在醫(yī)學、商業(yè)、計算機科學及機器人等很多領域，下面就其在相關領域的應用進行綜述。3.1Kinect在醫(yī)學領域的應用研究Kinect體感技術在醫(yī)學領域的應用研究目前主要體現(xiàn)在臨床醫(yī)學、遠程手術、醫(yī)學教育和醫(yī)學數(shù)據(jù)調查四個方面。3.1.1臨床醫(yī)學在臨床手術中，有必要保持接受手術的病人周圍的一切都是無菌的。然而，在手術中，外科醫(yī)生還需要從計算機上查看患者的臨床影像資料，計算機不是無菌的。傳統(tǒng)的醫(yī)生查看資料的方式既耗時又增加患者的感染幾率。而在手術過程中借助Kinect設備可以有效的緩解這一弊端。由瑞士伯尼爾大學Michael.Tully教授等研究人員利用Kinect設備幫助醫(yī)生解放了雙手，醫(yī)生無需像傳統(tǒng)方式那樣親自接觸患者的影像資料，只需要用手做出擺動就可以控制專為醫(yī)療圖像瀏覽而設計的圖像處理應用程序——OsiriXPACS[[]喻學鋒，楊宣東，李凱揚.一種基于B/S模式的PACS的研究與實現(xiàn)[J].生物醫(yī)學工程學雜志，2004,21(3)：391-393.](picturearchivingandcommunicationsystem：醫(yī)學影像存檔與通信系統(tǒng))。該項研究利用Kinect非觸摸的體感方式[[]何貝，王貴錦，林行剛.結合Kinect深度圖的快速視頻摳圖算法[J].清華大學學報(自然科學版)，2012,52(4):561-570.]可以更符合手術過程中的無菌化操作的要求并能有效避免手術過程中的交叉感染。國內西京醫(yī)院骨科手術中也已經(jīng)實現(xiàn)了使用Kinect設備體感控制患者的影像資料。Kinect設備同樣在多倫多新寧醫(yī)院(SunnybrookHospital)得到了應用，它允許外科醫(yī)生在手術過程中以不用手的姿勢來操縱計算機屏幕上的核磁共振成像圖像[]喻學鋒，楊宣東，李凱揚.一種基于B/S模式的PACS的研究與實現(xiàn)[J].生物醫(yī)學工程學雜志，2004,21(3)：391-393.[]何貝，王貴錦，林行剛.結合Kinect深度圖的快速視頻摳圖算法[J].清華大學學報(自然科學版)，2012,52(4):561-570.[]http://www.aboutkidshealth.ca/Zh/News/NewsAndFeatures/Pages/Kinect-in-cancer-surgery.aspx[DB/OL].3.1.2遠程手術遠程手術是將虛擬現(xiàn)實技術與網(wǎng)絡技術結合，可以使得醫(yī)生根據(jù)傳來的現(xiàn)場影像對遠程的患者進行手術操作，其一舉一動可轉化為數(shù)字信息傳遞至遠程患者處，控制當?shù)氐尼t(yī)療器械的虛擬現(xiàn)實系統(tǒng)。運程手術的技術目前尚未成熟，而Kinect體感技術的介入可以增加遠程手術的可行性。西雅圖華盛頓大學Biorobotics實驗室的Chizeck等讓Kinect傳感器在遠程手術過程中為外科醫(yī)生提供觸覺反饋。他們將PhantomOmni[[]HUANGTieTie,et.al.Observations[]HUANGTieTie,et.al.Observationsfavorthecrossingofphantomdividelines[J].ScienceChina,2010,53(3):562-5醫(yī)學教育德國慕尼黑工業(yè)大學的一名學術研究員發(fā)明了一款命名為“Themagicmirror—魔鏡”的設備。它是專門為方便解剖課程的教學所設計的，系統(tǒng)能夠制造一種鏡像的幻覺，讓使用者像是在身上開個“洞”，看到自己的內臟。Kinect體感技術在現(xiàn)代醫(yī)學教育中的研究，是現(xiàn)代醫(yī)學教育方式的一個新的突破，若能得到實際應用則會對實現(xiàn)現(xiàn)代醫(yī)學教育跨越式的發(fā)展具有十分重要的意義。3.1.4醫(yī)學數(shù)據(jù)調查明尼蘇達大學研究院的教授kolaosPapanikolopoulos及研究員們借助Kinect感應器觀察并分析兒童的反常行為和動作，然后根據(jù)得到的客觀數(shù)據(jù)衡量兒童的失調癥狀如孤獨癥、強迫癥等，與以往的評估方式相比，這種基于Kinect體感技術觀察和分析的方式會使得評估過程更簡單數(shù)據(jù)也更真實。3.2Kinect在商業(yè)領域的應用研究Kinect憑借其出色的互動能力已經(jīng)在商業(yè)方面得到了實際應用，如俄羅斯一家名為ARDoor的科技公司于2011年5月運用Kinect體感外設技術發(fā)明的一款“試衣魔鏡”，當購物者站在這虛擬試衣鏡前時，裝置將自動顯示試穿新衣以后的三維圖像。俄羅斯的高街時裝品牌TopShop在自己的店中安裝了這款“試衣魔鏡”，俄羅斯的消費者們成為率先體驗這一高科技所帶來的便利的受惠者。除了實際應用的成果以外，還有一些取得較好效果的研究成果，如黃康泉[[]黃康泉，陳碧金，鄭博，徐芝琦.Kinect在視頻會議系統(tǒng)中的應用[J].廣西大學學報，2011,36(1)308-313.[]黃康泉，陳碧金，鄭博，徐芝琦.Kinect在視頻會議系統(tǒng)中的應用[J].廣西大學學報，2011,36(1)308-313.3.3Kinect在科技助殘領域的應用研究殘障人是一個特殊困難的弱勢群體，如何使弱勢人群無障礙地融入到社會生活當中一直都是各國關注的熱點，Kinect體感技術的出現(xiàn)為推動這一改善事業(yè)的進展起到了積極的作用，并且由已經(jīng)取得的研究成果體現(xiàn)出Kinect體感技術在改善殘疾人生活狀況方面有著十分重要的現(xiàn)實意義。如德國康斯坦茨大學的Michael.Zollner[[]MichaeZR,StephanHR,Hans-ChristianJR,etal.NAVI—AProof-of-ConceptofaMobileNavigationalAidforVisuallyImpairedBasedontheMicrosoftKinect[J].Human-ComputerInteraction-INTERACT2011,2011,6949:584-587.]等開發(fā)的視覺障礙導航輔助（NavigationalAidsfortheVisuallyImpaired，NAVI）系統(tǒng)就實現(xiàn)了幫助盲人導航的功能，他們將Kinect設備固定在一個頭盔上，將連接到Arduino[[]EmsyconG．WisyM.Smartmessagelanguageversion1．02.[EB/OL].［2008-01-19］.http:∥/docs/SML_080711_102_eng.pdf.]主板上的震動馬達裝在腰帶上，再通過USB接口連接到背部的筆記本上，耳中戴有藍牙耳機。當Kinect掃描到前方有障礙物時，通過軟件的解讀，腰帶中的馬達會震動，并且會發(fā)出轉向提醒。與傳統(tǒng)的導盲犬和手杖相比，這套系統(tǒng)能夠在很遠的距離提前提醒障礙物和方向，顯示出了較強的實用性和有效性。羅元[[[]MichaeZR,StephanHR,Hans-ChristianJR,etal.NAVI—AProof-of-ConceptofaMobileNavigationalAidforVisuallyImpairedBasedontheMicrosoftKinect[J].Human-ComputerInteraction-INTERACT2011,2011,6949:584-587.[]EmsyconG．WisyM.Smartmessagelanguageversion1．02.[EB/OL].［2008-01-19］.http:∥/docs/SML_080711_102_eng.pdf.[]羅元，張毅.基于Kinect傳感器的智能輪椅手勢控制系統(tǒng)的設計與實現(xiàn)[J].機器人，2012,34(1):110-114.[]MichaelN.FinkJ.KumarV.Cooperativemanipulationandtransportationwithaerialrobots[J].AutonomousRobots,2011,30(1):73-86[]JiangQM.KumarV.Theinversekinematicsof3-Dtowing[M]//AdvancesinRobotKinematics:MotioninManandMachine.Part5.Berlin.Germany:Springer-Verlag,2010:321-328.3.4Kinect在機器人領域的應用研究麻省理工學院的一個名為Warwick移動機器人的團隊，將Kinect設備和救援機器人結合到一起，設計出一款新的機器人—Kinectbot。這個機器人利用Kinect傳感器可以探測出人的存在，并且人們可以通過肢體動作和聲音來控制這個機器人[[]Jose-JuanHernandez-Lopez,etal.DetectingobjectsusingcoloranddepthsegmentationwithKinectsensor[J].ProcediaTechnology,2012:196-204.]。Kinectbot還能利用Kinect設備的畫面捕捉技術，將自己[]Jose-JuanHernandez-Lopez,etal.DetectingobjectsusingcoloranddepthsegmentationwithKinectsensor[J].ProcediaTechnology,2012:196-204.3.5Kinect在智能家居的應用研究現(xiàn)在已經(jīng)有很多人開始著手將Kinect應用于智能家居方面，目前已經(jīng)有人設計了一種基于Kinect的智能家具系統(tǒng)。它采用B/S架構