體感技術(shù)總結(jié)

1、體感技術(shù)體感技術(shù)目錄目錄010203體感技術(shù)虛擬現(xiàn)實(shí)技術(shù)慣性感測(cè)光學(xué)感測(cè)慣性+光學(xué)感測(cè)體感技術(shù)的應(yīng)用概念概念技術(shù)手段技術(shù)手段總結(jié)總結(jié) 01 概念體感技術(shù)：可以實(shí)現(xiàn)人們很直接地使用肢體動(dòng)作，與周邊的裝置或環(huán)境互動(dòng)，而無需使用任何復(fù)雜設(shè)備， 便可讓人們身歷其境地與內(nèi)容做互動(dòng) 虛擬現(xiàn)實(shí)技術(shù)：虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)它利用計(jì)算機(jī)生成一種模擬環(huán) 境是一種多源信息融合的交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。體 感技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)重要分支02 體感技術(shù) 至今全世界在體感技術(shù)上的演進(jìn)，依照體感方式與原理的不同，主要可分為三大類：慣性感測(cè)、光學(xué)感測(cè)

2、以及慣性及光學(xué)聯(lián)合感測(cè)。慣性感測(cè)：主要是以慣性傳感器為主，例如用重力傳感器，陀螺儀以及磁傳感器等來感測(cè)使用者肢體動(dòng)作的物理參數(shù)，再根據(jù)這些物理參數(shù)來求得使用者在空間的各種動(dòng)作。光學(xué)傳感器：主要是通過光學(xué)感測(cè)器獲取人體影像，然后與相應(yīng)的內(nèi)容互動(dòng)聯(lián)合感測(cè)：在手柄上放置一個(gè)重力傳感器，用來偵測(cè)手部三軸向的加速度；使用紅外傳感器用來感測(cè)電視屏幕前方的紅外線發(fā)射器訊號(hào)，主要可用來偵測(cè)手部在垂直以及水平方向的位移。慣性感測(cè).原理：通過無線信號(hào)進(jìn)行手持設(shè)備定位，然后在手持設(shè)備內(nèi)固定加速計(jì)和陀螺儀，實(shí)現(xiàn)3D空間體感感測(cè)；主要的代表產(chǎn)品有：任天堂推出的“Wii Remote”（2006）、速位互動(dòng)推出的“CyW

3、ee”。聯(lián)合感測(cè) 采用紅外攝像頭發(fā)射紅外光，經(jīng)手持設(shè)備進(jìn)行定位，通過3D空間的感測(cè)來實(shí)現(xiàn)“體感操作”。主要的代表產(chǎn)品有索尼推出的“PS MOVE+PS EYE”（2010）、北京永利寧科技推出的“VirTouch”(2012)、深圳泰山科技推出的“愛動(dòng)體感運(yùn)動(dòng)機(jī)”（2011）。 “PS MOVE+PS EYE”:PS Move在三維空間中的定位是依靠其頂部光球?qū)崿F(xiàn)的，光球距離攝像頭越遠(yuǎn)，其投射到攝像頭中的圖像面積就越小，根據(jù)圖像的大小可以精確計(jì)算其與攝像頭之間的距離變化，從而確定其在三維空間中的準(zhǔn)確坐標(biāo)。 PS MOVE手柄內(nèi)部有一個(gè)三軸陀螺儀，一個(gè)三軸加速以及一個(gè)地球磁場(chǎng)感應(yīng)器，再加上PSE

4、YE的空間定位，從而將MOVE手柄的任何操作細(xì)節(jié)1：1地還原到游戲中。同時(shí)PS MOVE的動(dòng)作感應(yīng)運(yùn)算是由CELL處理器中的一個(gè)SPE協(xié)處理器負(fù)責(zé)。 Move手柄是通過藍(lán)牙2.0傳輸操作信號(hào)。 聯(lián)合感測(cè)VirTouch核心工作原理：通過紅外LED光源發(fā)射紅外光,經(jīng)過手指上戴的指環(huán)反射(指環(huán) 外圈鑲嵌玻璃、內(nèi)圈有紅外反射涂層),用裝有可見光濾波片(濾掉可見光、透過紅外光)的攝像頭捕捉紅外線,產(chǎn)生控制器的輸入信號(hào)。指環(huán)的作用有二:1、反射紅外光,2、以其圓心為識(shí)別點(diǎn),可以精確識(shí)別單點(diǎn)輸入的信號(hào);重要的是,此方案可以形成三維輸入,識(shí)別上下左右與景深程度光學(xué)感測(cè)主要特征：有攝像頭無手持設(shè)備；通過高分辨

5、率的廣角攝像頭，采用類似“動(dòng)作捕捉”方式來判斷識(shí)別用戶的姿勢(shì)動(dòng)作，來實(shí)現(xiàn)體感操作。Kinect：Kinect骨架追蹤處理流程的核心是一個(gè)無論周圍環(huán)境的光照條件如何，都可以讓Kinect感知世界的CMOS紅外傳感器。該傳感器通過黑白光譜的方式來感知環(huán)境：純黑代表無窮遠(yuǎn)，純白代表無窮近。黑白間的灰色地帶對(duì)應(yīng)物體到傳感器的物理距離。它收集視野范圍內(nèi)的每一點(diǎn)，并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒30幀的速度生成景深圖像流，實(shí)時(shí)3D地再現(xiàn)周圍環(huán)境。 LEAP MOTION: Leap Motion中有兩個(gè)攝像頭，可以從不同角度捕捉畫面，它能同時(shí)追蹤多個(gè)目標(biāo)，包括：所有手掌的列表及信息；所有手指

6、的列表及信息；手持工具（細(xì)的、筆直的、比手指長(zhǎng)的東西，例如一枝筆）的列表及信息；所有可指向?qū)ο螅≒ointable Object），即所有手指和工具的列表及信息；Leap Motion會(huì)給這些目標(biāo)分配一個(gè)單獨(dú)的ID，并檢測(cè)運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生運(yùn)動(dòng)信息，并通過算法復(fù)原手掌在真實(shí)世界三維空間的運(yùn)動(dòng)信息。Haptix: Haptix和Leap Motion的工作方式比較類似，但前者對(duì)于手勢(shì)的掃描需要在平面而非空中進(jìn)行。Haptix僅有一個(gè)外接攝像頭大小，能夠被放置或者夾在任意位置，并能夠在任意的平面上跟蹤用戶所執(zhí)行的多點(diǎn)觸控手勢(shì)。光學(xué)感測(cè)LEAP MOTION: Leap Motion中有兩個(gè)攝像頭，可以

7、從不同角度捕捉畫面，它能同時(shí)追蹤多個(gè)目標(biāo)，包括：所有手掌的列表及信息；所有手指的列表及信息；手持工具（細(xì)的、筆直的、比手指長(zhǎng)的東西，例如一枝筆）的列表及信息；所有可指向?qū)ο螅≒ointable Object），即所有手指和工具的列表及信息；Leap Motion會(huì)給這些目標(biāo)分配一個(gè)單獨(dú)的ID，并檢測(cè)運(yùn)動(dòng)數(shù)據(jù)，產(chǎn)生運(yùn)動(dòng)信息，并通過算法復(fù)原手掌在真實(shí)世界三維空間的運(yùn)動(dòng)信息。LEAP MOTION手掌中心的位置（三維向量，相對(duì)于傳感器坐標(biāo)原點(diǎn)，毫米為單位）；手掌移動(dòng)的速度（毫米每秒）；手掌的法向量（垂直于手掌平面，從手掌掌心向外指）；手掌朝向的方向；根據(jù)手掌彎曲的弧度確定虛擬的球體中心、半徑；LEA

8、P MOTION對(duì)于每個(gè)手掌，亦可檢測(cè)出平移、旋轉(zhuǎn)（手掌的轉(zhuǎn)動(dòng)）、縮放（手指分開、聚合）的信息。檢測(cè)的數(shù)據(jù)如全局變換一樣，包括：旋轉(zhuǎn)的軸向向量；旋轉(zhuǎn)的角度；描述旋轉(zhuǎn)的矩陣；縮放因子；平移向量；Kinect 提到體感技術(shù)和深度攝像頭，很多人的第一印象就是微軟的 Kinect。然而微軟的第一代 Kinect 技術(shù)來自 Primesense 的授權(quán)。2005年 創(chuàng)建于以色列的 PrimeSense 可謂深度攝像頭技術(shù)的先驅(qū)，然而它在 13年 被蘋果收購(gòu)。之后市場(chǎng)上的深度攝像頭廠商基本出現(xiàn)一家，被微軟、英特爾、Google 、蘋果等巨頭收購(gòu)一家?！案鞑糠謩e人都做不出來，那我們都只能自己做。除了激光投影

9、模組和 CMOS，其它都是我們自己做的。具體來說，3D 攝像頭模組里面，RGB 模組比較容易，激光投影模組，紅外投影模組和主芯片是三個(gè)核心部件，也是里面最難的地方。激光投影模組全球也很少有公司能做；主芯片弄成 ASIC（為專門目的而設(shè)計(jì)的集成電路）芯片很難，但奧比中光做到了；紅外投影模組相對(duì)激光投影容易些，但也從 14年3月 到 15年7月 也花費(fèi)了 1年 多的時(shí)間才完成。” 黃源浩告訴 36 氪Kinect紅外激光投射器（IR Projector）:Kinect中投射器的作用是投射出隨機(jī)的激光散斑，即結(jié)構(gòu)光，通過紅外攝像頭采集所標(biāo)記的結(jié)構(gòu)光，交由PS1080芯片進(jìn)行計(jì)算后得到最終的景深數(shù)據(jù)。

10、右圖為Kinect紅外激光投射器的原理圖。根據(jù)PrimeSense在專利中的描述，紅外激光生成器（42）射出準(zhǔn)直后的激光束（44），通過光學(xué)衍射元件（DOE）進(jìn)行散射，進(jìn)而得到所需的散斑圖案。PrimeSense所說的光學(xué)衍射元件可以通過多種組合來實(shí)現(xiàn)，具體可以參見其在國(guó)內(nèi)申請(qǐng)的專利用于使零級(jí)減少的光學(xué)設(shè)計(jì)。在Kinect中，PrimeSense采用擴(kuò)散片（48）和光柵（50）來實(shí)現(xiàn)，該設(shè)計(jì)專利可參見其美國(guó)專利Optical Pattern Projection。DOE光柵KinectKinectKinect的技術(shù) Light Coding技術(shù)的關(guān)鍵是Laser Speckle(鐳射光散斑)，

11、散斑具有高度的隨機(jī)性，隨著距離變換圖案，空間中任何兩處的散斑都是不同的圖案，等于將整個(gè)空間加上了標(biāo)記，所以任何物體進(jìn)入該空間、以及移動(dòng)時(shí)，都可確切記錄物體的位置。 測(cè)量前對(duì)原空間的散斑圖案做記錄，先做一次光源的標(biāo)定，其方法是每隔一段距離，取一個(gè)參考平面，把參考平面上的散斑圖案記下來。測(cè)量時(shí)拍攝一副待測(cè)場(chǎng)景的散斑圖像，將這幅圖像和保存的參看圖像依次做相關(guān)運(yùn)算，在相關(guān)度圖像上就會(huì)顯示出峰值。將這些峰值一層層疊在一起，經(jīng)過插值運(yùn)算，即可得到整個(gè)場(chǎng)景的三維形狀。 Kinect采用分割策略將人體從背景環(huán)境中區(qū)分出來，得到追蹤對(duì)象的景深圖像。將精神圖像傳進(jìn)一個(gè)可以分辨人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中，該系統(tǒng)給出某

12、個(gè)特定像素屬于身體某個(gè)部位的可能性。從而得到一個(gè)含有20（25）個(gè)關(guān)節(jié)點(diǎn)的骨架系統(tǒng)。 03 應(yīng)用 任天堂在2006 年推出的首個(gè)體感控制器Wii Remote，開啟了體感時(shí)代的到來；之后，索尼推出了體感游戲產(chǎn)品PlayStation Move，微軟推出了體感產(chǎn)品Kinect，體感控制技術(shù)已經(jīng)廣泛應(yīng)用于游戲當(dāng)中。目前，體感技術(shù)正在從游戲走向大眾應(yīng)用領(lǐng)域，如PC、平板，并開始往零售、醫(yī)療保健、教育等行業(yè)滲透。而Kinect 傳感器憑借其特性已經(jīng)應(yīng)用在醫(yī)學(xué)、 商業(yè)、計(jì)算機(jī)科學(xué)及機(jī)器人等很多領(lǐng)域，下面就其 在相關(guān)領(lǐng)域的應(yīng)用進(jìn)行綜述。 03 應(yīng)用-醫(yī)療臨床手術(shù)中，有必要保持接受手術(shù)的病人 周圍的一切都是

13、無菌的。然而，在手術(shù)中，外科醫(yī) 生還需要從計(jì)算機(jī)上查看患者的臨床影像資料， 計(jì)算機(jī)不是無菌的。傳統(tǒng)的醫(yī)生查看資料的方式 既耗時(shí)又增加患者的感染幾率而在手術(shù)過程中借助 Kinect 設(shè)備可以有效的緩解這一弊端。由瑞 士伯尼爾大學(xué) Michael. Tully 教授等研究人員利 用 Kinect 設(shè)備幫助醫(yī)生解放了雙手，醫(yī)生無需像 傳統(tǒng)方式那樣親自接觸患者的影像資料，只需要用 手做出擺動(dòng)就可以控制專為醫(yī)療圖像瀏覽而設(shè)計(jì) 的圖像處理應(yīng)用程序OsiriX PACS6(picture archiving and communication system： 醫(yī)學(xué)影像 存檔與通信系統(tǒng) )。遠(yuǎn)程手術(shù)是將虛擬現(xiàn)

14、實(shí)技術(shù)與網(wǎng)絡(luò)技術(shù)結(jié)合， 可以使得醫(yī)生根據(jù)傳來的現(xiàn)場(chǎng)影像對(duì)遠(yuǎn)程的患者進(jìn) 行手術(shù)操作，其一舉一動(dòng)可轉(zhuǎn)化為數(shù)字信息傳遞至 遠(yuǎn)程患者處，控制當(dāng)?shù)氐尼t(yī)療器械的虛擬現(xiàn)實(shí)系統(tǒng)。 運(yùn)程手術(shù)的技術(shù)目前尚未成熟，而 Kinect 體感技 術(shù)的介入可以增加遠(yuǎn)程手術(shù)的可行性。西雅圖華盛 頓大學(xué) Biorobotics 實(shí)驗(yàn)室的 Chizeck 等讓 Kinect 傳感器在遠(yuǎn)程手術(shù)過程中為外科醫(yī)生提供觸覺反 饋。他們將 Phantom Omni9 觸覺設(shè)備與 Kinect 設(shè) 備連接，提供電阻式的反饋，以 Kinect 體感技術(shù) 幫助建立物體的 3D 模型，并將數(shù)據(jù)轉(zhuǎn)換為觸摸反 饋。這項(xiàng)研究實(shí)現(xiàn)了只要有衛(wèi)星天線車的地方

15、，醫(yī) 生就可以使用 Kinect 設(shè)備遠(yuǎn)程手術(shù)，因此可被廣 泛應(yīng)用于救災(zāi)或者戰(zhàn)場(chǎng)。 德國(guó)慕尼黑工業(yè)大學(xué)的一名學(xué)術(shù)研究員發(fā)明了 一款命名為 “The magic mirror魔鏡”的設(shè)備。 它是專門為方便解剖課程的教學(xué)所設(shè)計(jì)的，系統(tǒng)能 夠制造一種鏡像的幻覺，讓使用者像是在身上開個(gè) “洞”，看到自己的內(nèi)臟。Kinect 體感技術(shù)在現(xiàn) 代醫(yī)學(xué)教育中的研究，是現(xiàn)代醫(yī)學(xué)教育方式的一個(gè) 新的突破，若能得到實(shí)際應(yīng)用則會(huì)對(duì)實(shí)現(xiàn)現(xiàn)代醫(yī)學(xué) 教育跨越式的發(fā)展具有十分重要的意義。 03 應(yīng)用-醫(yī)療 03 應(yīng)用-商業(yè)Kinect 憑借其出色的互動(dòng)能力已經(jīng)在商業(yè)方 面得到了實(shí)際應(yīng)用，如俄羅斯一家名為 AR Door 的

16、科技公司于 2011 年 5 月運(yùn)用 Kinect 體感外設(shè)技術(shù) 發(fā)明的一款“試衣魔鏡”，當(dāng)購(gòu)物者站在這虛擬試 衣鏡前時(shí)，裝置將自動(dòng)顯示試穿新衣以后的三維圖 像。俄羅斯的高街時(shí)裝品牌 Top Shop 在自己的店 中安裝了這款“試衣魔鏡”，俄羅斯的消費(fèi)者們成 為率先體驗(yàn)這一高科技所帶來的便利的受惠者。 除了實(shí)際應(yīng)用的成果以外，還有一些取得較好效 果的研究成果，如黃康泉開發(fā)的 CoolView 視 頻會(huì)議系統(tǒng)中整合了 Kinect 設(shè)備的部分功能，實(shí) 現(xiàn)了手勢(shì)控制 PPT、自動(dòng)識(shí)別與會(huì)人員的舉手發(fā)言 請(qǐng)求及實(shí)時(shí) 3D 捕獲與顯示等功能，提高了視頻會(huì) 議的交互性和真實(shí)感，該系統(tǒng)的實(shí)現(xiàn)進(jìn)一步論證了

17、Kinect 體感技術(shù)在視頻會(huì)議中的實(shí)用價(jià)值以及對(duì) 視頻會(huì)議系統(tǒng)發(fā)展創(chuàng)新的積極現(xiàn)實(shí)意義。 03 應(yīng)用-機(jī)器人 麻省理工學(xué)院的一個(gè)名為 Warwick 移動(dòng)機(jī)器人 的團(tuán)隊(duì)，將 Kinect 設(shè)備和救援機(jī)器人結(jié)合到一起， 設(shè)計(jì)出一款新的機(jī)器人Kinectbot。這個(gè)機(jī)器人 利用 Kinect 傳感器可以探測(cè)出人的存在，并且人 們可以通過肢體動(dòng)作和聲音來控制這個(gè)機(jī)器人 16。 Kinectbot 還能利用 Kinect 設(shè)備的畫面捕捉技術(shù)， 將自己“看到”的畫面繪制成 3D 地圖。這款機(jī)器 人的目的是應(yīng)用于災(zāi)難現(xiàn)場(chǎng)的救援工作，不必需要 過多的人力，或許只是一個(gè)兩人小隊(duì)就能完成這臺(tái) 機(jī)器人的操作。雖然現(xiàn)在這個(gè)發(fā)明還沒能應(yīng)用到現(xiàn) 實(shí)中，但按照這樣的思路，未來的機(jī)器人隨著靈敏 度的提高，已經(jīng)完全能夠代替人類去勘探危險(xiǎn)的區(qū) 域，制作精細(xì)的 3D 地圖了。2015年7月17日至23日，世界頂級(jí)機(jī)器人世界杯大賽Robocup在中國(guó)合肥完美落幕。此次大賽吸引了來自全球76國(guó)家和地區(qū)的100多支隊(duì)伍，其中參賽隊(duì)伍中，有超級(jí)多的機(jī)器人團(tuán)隊(duì)。90%的機(jī)器人團(tuán)