Kinect體感交互技術(shù)1

1、Kinect體感交互技術(shù)Kinect設(shè)備的基本介紹設(shè)備的基本介紹Kinect的工作原理的工作原理Kinect的研究現(xiàn)狀和應(yīng)用的研究現(xiàn)狀和應(yīng)用發(fā)展前景發(fā)展前景體感交互技術(shù)體感交互技術(shù)是一項(xiàng)無需借助任何控制設(shè)備，體感交互技術(shù)是一項(xiàng)無需借助任何控制設(shè)備，可以直接使用肢體動作與數(shù)字設(shè)備和環(huán)境互可以直接使用肢體動作與數(shù)字設(shè)備和環(huán)境互動，隨心所欲地操控的智能技術(shù)。該技術(shù)的動，隨心所欲地操控的智能技術(shù)。該技術(shù)的核心在于它讓計算機(jī)有了更精準(zhǔn)有效的核心在于它讓計算機(jī)有了更精準(zhǔn)有效的“眼眼睛睛”去觀察這個世界，并根據(jù)人的動作來完去觀察這個世界，并根據(jù)人的動作來完成各種指令。成各種指令。體感交互技術(shù)體感交互技術(shù)“體

2、感交互軟件體感交互軟件”能自動將體感設(shè)備模擬能自動將體感設(shè)備模擬windows操操作系統(tǒng)的鼠標(biāo)和鍵盤操作事件，兼容所有軟件，能將作系統(tǒng)的鼠標(biāo)和鍵盤操作事件，兼容所有軟件，能將投影機(jī)、拼接屏、廣告機(jī)、智能電視機(jī)等數(shù)字設(shè)備升投影機(jī)、拼接屏、廣告機(jī)、智能電視機(jī)等數(shù)字設(shè)備升級為體感操作設(shè)備，日常的瀏覽圖片，開會級為體感操作設(shè)備，日常的瀏覽圖片，開會PPT演示，演示，F(xiàn)lash游戲，動畫、多媒體，桌面應(yīng)用都可以輕松變游戲，動畫、多媒體，桌面應(yīng)用都可以輕松變成體感控制。該軟件最大的價值在于它提供強(qiáng)大的自成體感控制。該軟件最大的價值在于它提供強(qiáng)大的自定義功能，所有開發(fā)者以及軟件開發(fā)公司，整體解決定義功能，所

3、有開發(fā)者以及軟件開發(fā)公司，整體解決方案提供商或者中間商，可以根據(jù)自己的項(xiàng)目需求自方案提供商或者中間商，可以根據(jù)自己的項(xiàng)目需求自行開發(fā)應(yīng)用，而不需要專門成立體感技術(shù)團(tuán)對進(jìn)行研行開發(fā)應(yīng)用，而不需要專門成立體感技術(shù)團(tuán)對進(jìn)行研發(fā)，實(shí)現(xiàn)低成本高效率的體感應(yīng)用開發(fā)。發(fā)，實(shí)現(xiàn)低成本高效率的體感應(yīng)用開發(fā)。Kinect體感交互技術(shù)什么是體感交互技術(shù)？什么是體感交互技術(shù)？Kinect的工作原理的工作原理Kinect的研究現(xiàn)狀和應(yīng)用的研究現(xiàn)狀和應(yīng)用發(fā)展前景發(fā)展前景Kinect設(shè)備的基本介紹設(shè)備的基本介紹Kinect是由微軟公司開發(fā)的一款姿態(tài)傳感輸入設(shè)備，是由微軟公司開發(fā)的一款姿態(tài)傳感輸入設(shè)備，作為作為 Xbox36

4、0 外接的外接的 3D 體感攝影機(jī)，利用即時動態(tài)體感攝影機(jī)，利用即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等功能讓用戶擺脫傳統(tǒng)輸入設(shè)備的束縛，通過自己的等功能讓用戶擺脫傳統(tǒng)輸入設(shè)備的束縛，通過自己的肢體控制終端。肢體控制終端。 Kinect設(shè)備的基本介紹設(shè)備的基本介紹Kinect 設(shè)備的整體結(jié)構(gòu)：設(shè)備的整體結(jié)構(gòu)： 攝像頭攝像頭3D 深度傳感器深度傳感器麥克風(fēng)陣列麥克風(fēng)陣列攝像頭RGB攝像頭：用于拍攝視角范圍內(nèi)的彩色攝像頭：用于拍攝視角范圍內(nèi)的彩色視頻圖像。視頻圖像。紅外攝像頭：用于分析紅外光譜，創(chuàng)建可視紅外攝像頭：用于分析紅外光譜，創(chuàng)建

5、可視范圍內(nèi)的人體、物體的深度圖像。范圍內(nèi)的人體、物體的深度圖像。紅外投影儀：主動投射紅外光譜，照射到粗紅外投影儀：主動投射紅外光譜，照射到粗糙物體或者穿透毛玻璃后，光譜發(fā)生扭曲，糙物體或者穿透毛玻璃后，光譜發(fā)生扭曲，會形成隨機(jī)的反射斑點(diǎn)，進(jìn)而被紅外攝像頭會形成隨機(jī)的反射斑點(diǎn)，進(jìn)而被紅外攝像頭讀取。讀取。3D深度傳感器深度傳感器3D深度傳感器深度傳感器Kinect的的“心臟心臟”由由14中關(guān)鍵芯片組成，其中關(guān)鍵芯片組成，其中最主要的是中最主要的是PrimeSense的的PS1080系統(tǒng)芯系統(tǒng)芯片。它擁有超強(qiáng)的并行計算邏輯，可控制紅片。它擁有超強(qiáng)的并行計算邏輯，可控制紅外光源。同時，通過一個標(biāo)準(zhǔn)的

6、外光源。同時，通過一個標(biāo)準(zhǔn)的CMOS圖像圖像傳感器接收投影的傳感器接收投影的Light Coding紅外光譜并紅外光譜并且將編碼后的反射斑點(diǎn)圖像傳給且將編碼后的反射斑點(diǎn)圖像傳給PS1080，然后在對此進(jìn)行處理，并生成深度圖像。然后在對此進(jìn)行處理，并生成深度圖像。麥克風(fēng)陣列聲音從聲音從4個麥克風(fēng)采集，同時濾過背景噪聲，個麥克風(fēng)采集，同時濾過背景噪聲，可定位聲源?？啥ㄎ宦曉础榱速|(zhì)量分布的均衡，麥克風(fēng)陣列是左右不為了質(zhì)量分布的均衡，麥克風(fēng)陣列是左右不對稱的對稱的Kinect體感交互技術(shù)什么是體感交互技術(shù)？什么是體感交互技術(shù)？Kinect設(shè)備的基本介紹設(shè)備的基本介紹Kinect的研究現(xiàn)狀和應(yīng)用的研究

7、現(xiàn)狀和應(yīng)用發(fā)展前景發(fā)展前景Kinect體感交互的工作原理傳感傳感尋找移動部位尋找移動部位判斷關(guān)節(jié)點(diǎn)判斷關(guān)節(jié)點(diǎn)模型匹配：生成骨架系統(tǒng)模型匹配：生成骨架系統(tǒng)Kinect傳感Kinect傳感的核心是一個無論周圍環(huán)境的光照條件如傳感的核心是一個無論周圍環(huán)境的光照條件如何，都可以讓何，都可以讓Kinect感知世界的感知世界的CMOS紅外傳感器。紅外傳感器。該傳感器通過黑白光譜的方式來感知環(huán)境：純黑代表該傳感器通過黑白光譜的方式來感知環(huán)境：純黑代表無窮遠(yuǎn)，純白代表無窮近。黑白間的灰色地帶對應(yīng)物無窮遠(yuǎn)，純白代表無窮近。黑白間的灰色地帶對應(yīng)物體到傳感器的物理距離。它收集視野范圍內(nèi)的每一點(diǎn)，體到傳感器的物理距離

8、。它收集視野范圍內(nèi)的每一點(diǎn)，并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒并形成一幅代表周圍環(huán)境的景深圖像。傳感器以每秒30幀的速度生成景深圖像流，實(shí)時幀的速度生成景深圖像流，實(shí)時3D地再現(xiàn)周圍環(huán)境。地再現(xiàn)周圍環(huán)境。Kinect傳感尋找移動部位Kinect需要做的下一件事是尋找圖像需要做的下一件事是尋找圖像中較可能是人體的移動物體，就像人中較可能是人體的移動物體，就像人眼下意識地聚焦在移動物體上那樣。眼下意識地聚焦在移動物體上那樣。接下來，接下來，Kinect會對景深圖像進(jìn)行像會對景深圖像進(jìn)行像素級評估，來辨別人體的不同部位。素級評估，來辨別人體的不同部位。Kinect采用分割策略來將人體從背

9、景采用分割策略來將人體從背景環(huán)境中區(qū)分出來。在這一階段，我們環(huán)境中區(qū)分出來。在這一階段，我們?yōu)槊總€被追蹤的人在景深圖像中創(chuàng)建為每個被追蹤的人在景深圖像中創(chuàng)建了的分割遮罩，這是一種將背景物體了的分割遮罩，這是一種將背景物體（比如椅子和寵物等）剔除后的景深（比如椅子和寵物等）剔除后的景深圖像。在后面的處理流程中僅僅傳送圖像。在后面的處理流程中僅僅傳送分割遮罩的部分，以減輕體感計算量。分割遮罩的部分，以減輕體感計算量。判斷關(guān)節(jié)點(diǎn)分割化人的圖像的每一個像素都被傳送進(jìn)一個辨別人分割化人的圖像的每一個像素都被傳送進(jìn)一個辨別人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中。隨后該系統(tǒng)將給出了某個體部位的機(jī)器學(xué)習(xí)系統(tǒng)中。隨后該系統(tǒng)將

10、給出了某個特定像素屬于哪個身體部位的可能性。比如，一個像特定像素屬于哪個身體部位的可能性。比如，一個像素有素有80%的幾率屬于腳，的幾率屬于腳，60%的幾率屬于腿，的幾率屬于腿，40%的的幾率屬于胸部。這時候并不是就把幾率最大的可能性幾率屬于胸部。這時候并不是就把幾率最大的可能性當(dāng)作結(jié)果，而是將所有的這些可能性輸入到當(dāng)作結(jié)果，而是將所有的這些可能性輸入到Exemplar（模型）系統(tǒng)進(jìn)行處理中并且等到最后階（模型）系統(tǒng)進(jìn)行處理中并且等到最后階段再做判斷。數(shù)以段再做判斷。數(shù)以TB計的數(shù)據(jù)被輸入到集群系統(tǒng)中來計的數(shù)據(jù)被輸入到集群系統(tǒng)中來教會教會Kinect以像素級技術(shù)來辨認(rèn)手、腳以及它看到的以像素級

11、技術(shù)來辨認(rèn)手、腳以及它看到的其他身體部位。其他身體部位。判斷關(guān)節(jié)點(diǎn)判斷關(guān)節(jié)點(diǎn)模型匹配：生成骨架系統(tǒng)處理流程的最后一步是使用之前階處理流程的最后一步是使用之前階段輸出的結(jié)果，根據(jù)追蹤到的段輸出的結(jié)果，根據(jù)追蹤到的20個個關(guān)節(jié)點(diǎn)來生成一幅骨架系統(tǒng)。關(guān)節(jié)點(diǎn)來生成一幅骨架系統(tǒng)。Kinect會評估會評估Exemplar輸出的每輸出的每一個可能的像素來確定關(guān)節(jié)點(diǎn)。通一個可能的像素來確定關(guān)節(jié)點(diǎn)。通過這種方式過這種方式Kinect能夠基于充分的能夠基于充分的信息最準(zhǔn)確地評估人體實(shí)際所處位信息最準(zhǔn)確地評估人體實(shí)際所處位置置。Kinect體感交互技術(shù)什么是體感交互技術(shù)？什么是體感交互技術(shù)？Kinect設(shè)備的基本介

12、紹設(shè)備的基本介紹Kinect的工作原理的工作原理發(fā)展前景發(fā)展前景 Kinect體感技術(shù)的國內(nèi)外研究現(xiàn)狀 Kinect 在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究Kinect 在商業(yè)領(lǐng)域的應(yīng)用研究在商業(yè)領(lǐng)域的應(yīng)用研究 Kinect 在科技助殘領(lǐng)域的應(yīng)用研究在科技助殘領(lǐng)域的應(yīng)用研究 Kinect 在機(jī)器人領(lǐng)域的應(yīng)用研究在機(jī)器人領(lǐng)域的應(yīng)用研究 Kinect 在智能家居的應(yīng)用研究在智能家居的應(yīng)用研究Kinect 在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究臨床醫(yī)學(xué)臨床醫(yī)學(xué)遠(yuǎn)程手術(shù)遠(yuǎn)程手術(shù)醫(yī)學(xué)教育醫(yī)學(xué)教育醫(yī)學(xué)數(shù)據(jù)調(diào)查明醫(yī)學(xué)數(shù)據(jù)調(diào)查明Kinect 在商業(yè)領(lǐng)域的應(yīng)用研究Kinect 憑借其出色的互動能力已經(jīng)在商業(yè)

13、方面得到了憑借其出色的互動能力已經(jīng)在商業(yè)方面得到了實(shí)際應(yīng)用，如俄羅斯一家名為實(shí)際應(yīng)用，如俄羅斯一家名為 AR Door 的科技公司的科技公司于于 2011 年年 5 月運(yùn)用月運(yùn)用 Kinect 體感外設(shè)技術(shù)發(fā)明的一款體感外設(shè)技術(shù)發(fā)明的一款“試衣魔鏡試衣魔鏡”，當(dāng)購物者站在這虛擬試衣鏡前時，裝，當(dāng)購物者站在這虛擬試衣鏡前時，裝置將自動顯示試穿新衣以后的三維圖像。置將自動顯示試穿新衣以后的三維圖像。如黃康泉開發(fā)的如黃康泉開發(fā)的 CoolView 視頻會議系統(tǒng)中整合了視頻會議系統(tǒng)中整合了 Kinect 設(shè)備的部分功能，實(shí)現(xiàn)了手勢控制設(shè)備的部分功能，實(shí)現(xiàn)了手勢控制 PPT、自、自動識別與會人員的舉手發(fā)

14、言請求及實(shí)時動識別與會人員的舉手發(fā)言請求及實(shí)時 3D 捕獲與顯捕獲與顯示等功能，提高了視頻會議的交互性和真實(shí)感。示等功能，提高了視頻會議的交互性和真實(shí)感。Kinect 在科技助殘領(lǐng)域的應(yīng)用研究如德國康斯坦茨大學(xué)的如德國康斯坦茨大學(xué)的 Michael.Zollner等開發(fā)的視等開發(fā)的視覺障礙導(dǎo)航輔助（覺障礙導(dǎo)航輔助（Navigational Aids for the Visually Impaired，NAVI）系統(tǒng)就實(shí)現(xiàn)了幫助盲人）系統(tǒng)就實(shí)現(xiàn)了幫助盲人導(dǎo)航的功能，他們將導(dǎo)航的功能，他們將 Kinect 設(shè)備固定在一個頭盔上，設(shè)備固定在一個頭盔上，將連接到將連接到 Arduino主板上的震動馬達(dá)

15、裝在腰帶上，再主板上的震動馬達(dá)裝在腰帶上，再通過通過 USB 接口連接到背部的筆記本上，耳中戴有藍(lán)接口連接到背部的筆記本上，耳中戴有藍(lán)牙耳機(jī)。當(dāng)牙耳機(jī)。當(dāng) Kinect 掃描到前方有障礙物時，通過軟掃描到前方有障礙物時，通過軟件的解讀，腰帶中的馬達(dá)會震動，并且會發(fā)出轉(zhuǎn)向提件的解讀，腰帶中的馬達(dá)會震動，并且會發(fā)出轉(zhuǎn)向提醒。醒。Kinect 在機(jī)器人領(lǐng)域的應(yīng)用研究麻省理工學(xué)院的一個名為麻省理工學(xué)院的一個名為 Warwick 移動機(jī)器人的團(tuán)移動機(jī)器人的團(tuán)隊(duì)，將隊(duì)，將Kinect設(shè)備和救援機(jī)器人結(jié)合到一起，設(shè)計出設(shè)備和救援機(jī)器人結(jié)合到一起，設(shè)計出一款新的機(jī)器人一款新的機(jī)器人Kinectbot。這個機(jī)器

16、人利用。這個機(jī)器人利用 Kinect 傳感器可以探測出人的存在，并且人們可以通傳感器可以探測出人的存在，并且人們可以通過肢體動作和聲音來控制這個機(jī)器人。過肢體動作和聲音來控制這個機(jī)器人。Kinectbot 還還能利用能利用 Kinect 設(shè)備的畫面捕捉技術(shù)，將自己設(shè)備的畫面捕捉技術(shù)，將自己“看到看到”的畫面繪制成的畫面繪制成 3D 地圖。這款機(jī)器人的目的是應(yīng)用于地圖。這款機(jī)器人的目的是應(yīng)用于災(zāi)難現(xiàn)場的救援工作，不必需要過多的人力，或許只災(zāi)難現(xiàn)場的救援工作，不必需要過多的人力，或許只是一個兩人小隊(duì)就能完成這臺機(jī)器人的操作。雖然現(xiàn)是一個兩人小隊(duì)就能完成這臺機(jī)器人的操作。雖然現(xiàn)在這個發(fā)明還沒能應(yīng)用到

17、現(xiàn)實(shí)中，但按照這樣的思路，在這個發(fā)明還沒能應(yīng)用到現(xiàn)實(shí)中，但按照這樣的思路，未來的機(jī)器人隨著靈敏度的提高，已經(jīng)完全能夠代替未來的機(jī)器人隨著靈敏度的提高，已經(jīng)完全能夠代替人類去勘探危險的區(qū)域，制作精細(xì)的人類去勘探危險的區(qū)域，制作精細(xì)的 3D 地圖了。地圖了。Kinect 在智能家居的應(yīng)用研究現(xiàn)在已經(jīng)有很多人開始著手將現(xiàn)在已經(jīng)有很多人開始著手將Kinect應(yīng)用于智能家居應(yīng)用于智能家居方面，目前已經(jīng)有人設(shè)計了一種基于方面，目前已經(jīng)有人設(shè)計了一種基于Kinect的智能家的智能家具系統(tǒng)。它采用具系統(tǒng)。它采用 B/S 架構(gòu)，運(yùn)用架構(gòu)，運(yùn)用 ZIGBEE，Wi-Fi 和和 RS485 等多種組網(wǎng)方式，來實(shí)現(xiàn)對

18、各類家居設(shè)備的信等多種組網(wǎng)方式，來實(shí)現(xiàn)對各類家居設(shè)備的信息采集和指令控制，并通過家庭網(wǎng)關(guān)與數(shù)據(jù)庫管理系息采集和指令控制，并通過家庭網(wǎng)關(guān)與數(shù)據(jù)庫管理系統(tǒng)的數(shù)據(jù)庫服務(wù)器進(jìn)行實(shí)時數(shù)據(jù)交互。在統(tǒng)的數(shù)據(jù)庫服務(wù)器進(jìn)行實(shí)時數(shù)據(jù)交互。在 Web 站點(diǎn)站點(diǎn)服務(wù)器中搭建應(yīng)用服務(wù)器中搭建應(yīng)用 ASP.NET 技術(shù)的技術(shù)的 Web 站點(diǎn)，采用站點(diǎn)，采用 ADO.NET 技術(shù)與數(shù)據(jù)庫服務(wù)器進(jìn)行數(shù)據(jù)交互。技術(shù)與數(shù)據(jù)庫服務(wù)器進(jìn)行數(shù)據(jù)交互。Web 服務(wù)器通過訪問數(shù)據(jù)庫服務(wù)器可以獲得實(shí)時的家居環(huán)服務(wù)器通過訪問數(shù)據(jù)庫服務(wù)器可以獲得實(shí)時的家居環(huán)境、狀態(tài)等數(shù)據(jù)，用戶可以通過境、狀態(tài)等數(shù)據(jù)，用戶可以通過 Web 站點(diǎn)訪問并進(jìn)站點(diǎn)訪問并

19、進(jìn)行操控。行操控。Web 服務(wù)器將在服務(wù)器將在 Web 頁面上接收到的用戶頁面上接收到的用戶指令交遞給數(shù)據(jù)庫服務(wù)器，進(jìn)行智能控制指令交遞給數(shù)據(jù)庫服務(wù)器，進(jìn)行智能控制。Kinect 在智能家居的應(yīng)用研究Kinect體感交互技術(shù)什么是體感交互技術(shù)？什么是體感交互技術(shù)？Kinect設(shè)備的基本介紹設(shè)備的基本介紹Kinect的工作原理的工作原理Kinect的研究現(xiàn)狀和應(yīng)用的研究現(xiàn)狀和應(yīng)用發(fā)展前景發(fā)展前景繼鼠標(biāo)和多點(diǎn)觸摸技術(shù)之后，繼鼠標(biāo)和多點(diǎn)觸摸技術(shù)之后，Kinect 體感技術(shù)或?qū)⒊蔀榈谌误w感技術(shù)或?qū)⒊蔀榈谌稳藱C(jī)交互革命的原點(diǎn)，不僅因?yàn)槠淙碌牟僮鞣绞?，更因?yàn)槠淙藱C(jī)交互革命的原點(diǎn)，不僅因?yàn)槠淙碌牟僮鞣绞?，更因?yàn)槠浔澈笏N(yùn)含的創(chuàng)新精神。得益于這種新的人機(jī)交互技術(shù)，人對背后所蘊(yùn)含的創(chuàng)新精神。得益于這種新的人機(jī)交