自然人機交互技術(shù)研究

1、智 能 系 統(tǒng) 項 目 設(shè) 計 報 告自然人機交互技術(shù)研究摘 要：人機交互(Human-Computer Interaction,HCI)是研究人、計算機以及它們間相互作用的技術(shù)。人機交互的功能主要依靠可輸入輸出的外部設(shè)備和相應(yīng)的軟件來完成。該領(lǐng)域的發(fā)展使得人機交互愈加趨于方便和自然化，并且隨之產(chǎn)生了多種類型的人機交互模式。在現(xiàn)在的3D游戲市場上，人機交互領(lǐng)域已經(jīng)出現(xiàn)了很多成熟的產(chǎn)品，如蘋果的iPhone和微軟的kinect，它們普遍具有方便靈活且人性化的用戶操作模式，為人們的生活帶來了很大的便利。本文主要是對微軟kinect的研究，并在此的基礎(chǔ)下提出一種能識別手指運動的簡單系統(tǒng)。該系統(tǒng)以兩個

2、普通CMOS攝像頭作為圖像采集接口，實時采集用戶做出的各種手勢圖像，利用計算機雙目視覺技術(shù)，實現(xiàn)了一個三維空間內(nèi)的多手指點檢測、定位和識別的系統(tǒng)，結(jié)構(gòu)比較簡單、容易實現(xiàn)、成本較低，在三維鼠標等方面有著較大的應(yīng)用前景。關(guān)鍵詞：人機交互，kinect，深度獲取，手指識別目 錄摘要I1 項目需求的分析12 項目的國內(nèi)外研究現(xiàn)狀22.1國內(nèi)研究現(xiàn)狀22.2國內(nèi)研究現(xiàn)狀33 項目的研究內(nèi)容44 項目研究內(nèi)容的技術(shù)路線54.1微軟kinect介紹54.2 手指手勢的識別74.2.1雙攝像頭的標定84.2.2手勢分割和指尖檢測模塊104.2.3指尖三維重建模塊125 項目討論13141 項目需求的分析自世界

3、上第一臺電腦誕生以來，人類就沒有停止創(chuàng)造更好的人機交互方式。從具有悠久歷史的鍵盤，鼠標，到最新的WII，Kinect等體感游戲，人機交互技術(shù)隨著科技進步不斷發(fā)展。從上世紀70年代至今，國內(nèi)外無數(shù)的研究者和小組投入到人機交互技術(shù)的研究中。自然，便攜，智能化，無侵入性是人機交互系統(tǒng)的發(fā)展方向，也是國內(nèi)外研究者所關(guān)注的焦點。人機交互系統(tǒng)從交互方式上可分為語音交互系統(tǒng)、基于接觸式傳感器的交互系統(tǒng)和基于視覺的交互統(tǒng)。早期的智能人機交互系統(tǒng)使用語音識別系統(tǒng)或數(shù)據(jù)采集設(shè)備來進行交互。使用語音方式進行交互，效率較低，且受環(huán)境的影響較大，在嘈雜環(huán)境中性能急劇下降，而且也不易于實現(xiàn)多人交互系統(tǒng)?；诮佑|式傳感器的

4、交互系統(tǒng)，通常依賴于在人體設(shè)置一定數(shù)量的傳感器，通過自主操控，或是采集神經(jīng)信號來發(fā)出操縱指令。這種方法設(shè)備成本高，不易攜帶，且對用戶造成侵入性，用戶體驗不好?；谟嬎銠C視覺的交互系統(tǒng)，通常是利用圖像采集設(shè)備獲取圖像或視頻，進行后續(xù)圖像分割，目標檢測跟蹤，行為識別等操作，從而獲取人的意圖，通過各種顯示設(shè)備進行反饋。由于其使用方便，無任何侵入性，交互方式多樣，從手勢到表情、瞳孔，甚至肢體語言，都可以成為交互手段，而且硬件成本低，基于視覺的人機交互系統(tǒng)成為國內(nèi)外研究的熱點。隨著我國經(jīng)濟的高速發(fā)展，國民生活水平的持續(xù)提高，人們的生活壓力也在不斷增大，缺乏鍛煉是不容忽視的問題。人們特別是游戲者們越來越希

5、望自然逼真的人機交互技術(shù)，從而能夠在游戲時以最快的速度和最方便的方式完成對游戲角色控制。通過身體的移動跳躍還可以一邊游戲一邊鍛煉身體，兩全其美，因此可以得到廣大游戲者們的喜歡和推廣，如圖1.1和圖1.2所示。如何讓廣大普通電腦用戶感受多輸入和靈活自由的人機交互，成為眾多電腦廠商下一步需要考慮的目標，也是人機交互發(fā)展領(lǐng)域的一個比較有挑戰(zhàn)性，新的研究領(lǐng)域。圖1.1 圖1.2圖1.1 微軟Kinect 體感游戲，對人體建模，無需接觸即可操控游戲中的人物；圖1.2 諾基亞Plug&Touch 系統(tǒng)，在移動設(shè)備上實現(xiàn)了基于視覺的人機交互系統(tǒng)，可以用手勢控制任意屏幕中的顯示2 項目的國內(nèi)外研究現(xiàn)狀

6、本系統(tǒng)它是一種3D體感攝影機，同時它導(dǎo)入了即時動態(tài)捕捉、影像辨識、麥克風輸入、語音辨識、社群互動等功能。主要可以運用于體感游戲中，玩家可以通過這項技術(shù)在游戲中開車、與其他玩家互動、通過互聯(lián)網(wǎng)與其他玩家分享圖片和信息等。2.1國內(nèi)研究現(xiàn)狀國內(nèi)在人機交互技術(shù)的研究方面主要有一些高校研究機構(gòu)和一些大公司。浙江大學計算機學院，利用計算機雙目視覺技術(shù)，實現(xiàn)了一個三維鼠標，以及以手指指尖為基礎(chǔ)的三維手勢交互游戲系統(tǒng)，如圖2.1所示。該系統(tǒng)通過在線的膚色檢測算法結(jié)合混合高斯背景相減法進行手勢前景分割，通過手掌輪廓凸包以及缺陷屬性實現(xiàn)多指尖檢測，之后重建指尖位置，獲得指尖運動速度的參數(shù)信息，實現(xiàn)了一些基于指尖

7、手勢的簡單三維游戲。愛動體感運動機（如圖2.2所示）是深圳泰山科技在線科技有限公司聯(lián)合泰山體育產(chǎn)業(yè)集團、中國科學院歷經(jīng)數(shù)年，耗資過億，研發(fā)出全球領(lǐng)先的計算機視覺識別技術(shù)。可以實時捕捉目標（用戶）的空間位置和運動軌跡，以每秒60針的速度，高速采集運動目標的信息，精確跟蹤一厘米運動位移，同時能根據(jù)運動模型精確反映運動的速度和加速度信息，全面地反映人體的運動特征，并結(jié)合自主研發(fā)的動作模型庫，將目標（用戶）的動作行為特征實時輸出給相關(guān)系統(tǒng)，并結(jié)合運動項目軟件的開發(fā)最后實現(xiàn)在線運動。圖2.1 手掌面模擬飛機駕駛的游戲圖2.2 愛動體感運動機2.2國內(nèi)研究現(xiàn)狀國外在人機交互技術(shù)的研究方面起步較早，也有了比

8、較大的研究成果。美國國防高級研究項目署在1997年設(shè)立了以卡內(nèi)基梅隆大學為首、麻省理工學院等高校參與的視覺監(jiān)控項目VSAM(Visual Surveillance And Monitoring)，主要研究內(nèi)容是基于視頻內(nèi)容的人體動作理解技術(shù)，應(yīng)用于戰(zhàn)場或商業(yè)場景。實時視覺監(jiān)控系統(tǒng)不僅能夠?qū)崿F(xiàn)人體定位和身體各部位的識別，而且可以通過建立外觀模型來實現(xiàn)多人的跟蹤，并可以檢測判斷人是否攜帶物體等簡單行為。麻省理工學院多媒體實驗室在單目視覺的條件下，利用空間特征點和頭部統(tǒng)計模型，采用擴展的卡爾曼濾波器的方法(EKF，Extended Kalman Filter)實時跟蹤人體頭部姿態(tài)。而到目前為止，已經(jīng)

9、出現(xiàn)了通過攝像頭的方式進行人機交互最成熟也最方便智能的產(chǎn)品微軟于2010年11月推出的kinect（圖2.3），它主要用于互動游戲中（圖2.4），通過一個功能強大的深度攝像頭，以及其他麥克風，傳感裝置等，采集玩家的各種肢體動作，配以微軟強大的圖像處理技術(shù)，能識別出玩家在游戲中的各種對應(yīng)動作，形成互動，并且它還能夠識別人臉，讓玩家自動連上游戲，還可以辨別聲音和接受命令等。它利用一種特殊的紅外光給需要測量的空間編上碼，它的光源打出去的是一種具有三維縱深的“體編碼”。這種光源叫做激光散斑（laser speckle），是當激光照射到粗糙物體或穿透毛玻璃后形成的隨機衍射斑點，這種散斑具有很高的隨機性，

10、會隨不同距離變換不同的圖案，也即立體空間中任意兩個位置的散斑圖案都不同，當在空間中打上這樣特殊的光后，整個空間相當于被標記起來，在此空間中的某個物體，只需觀察物體上的散斑圖案，就能夠知道此物體在哪個三維位置了。圖2.3 Kinect 圖2.4 Kinect互動游戲3 項目的研究內(nèi)容人與計算機的交互是一個輸入與輸出的過程，用戶通過交互界面輸入指令，計算機將輸出有效的呈現(xiàn)出來。輸入輸出方式的不同導(dǎo)致人機交互模式多樣化。實現(xiàn)人機交互最重要的就是“互動”，現(xiàn)在最常用的有四種：(1)數(shù)據(jù)互動 數(shù)據(jù)交互是指向計算機輸入數(shù)據(jù)以待處理，它是人機交互的一個重要的模式。(2)圖像互動 該交互方式是指計算機對基于人

11、類行為的圖像信息的理解，并對其產(chǎn)生相應(yīng)的反應(yīng)。(3)語音互動 語言一向被認為是最自然、最方便、最有效的信息互動的方式。(4)基于人體動作的互動 基于人類動作的人機交互方式是這樣的一個過程，該過程中計算機首先確定人體方位并對其進行識別，然后對人類肢體移動進行跟蹤以便即時地理解人類的動作，最后根據(jù)這些動作做出相應(yīng)的反饋。我們所研究的人機交互系統(tǒng)主要是基于語音互動和人體動作的互動。并依此提出一種能識別手指運動的簡單系統(tǒng)。該系統(tǒng)利用計算機雙目視覺技術(shù)，實現(xiàn)了一個三維空間內(nèi)的多手指點檢測、定位和識別的系統(tǒng)。其主要內(nèi)容包括：雙攝像頭的標定，三維多手指點的坐標定位，手指分割和指尖檢測的算法研究，以及多手指點

12、的跟蹤和識別。該系統(tǒng)可分為手勢分割和指尖檢測模塊、攝像頭采集，標定，指尖三維重建模塊。4 項目研究內(nèi)容的技術(shù)路線4.1微軟kinect介紹微軟的kinect人機交互系統(tǒng)主要是基于語音互動和人體動作的互動。語音互動主要是選用一個麥克風陣列，來捕捉多聲道立體聲，通過數(shù)字信號處理（DSP）等組件，根據(jù)麥克風陣列接聽聲音的時間差來判斷聲源方向。而人體動作的互動，主要是選用人機交互系統(tǒng)的“眼睛”，一臺紅外投影機、一臺紅外攝像頭和一臺彩色攝像頭，主要實現(xiàn)投射近紅外光譜，分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像，并且拍攝視角范圍內(nèi)的彩色視頻圖像?？紤]到系統(tǒng)的放置平面未必絕對水平，或者有不固定運動的

13、應(yīng)用場景，設(shè)計三軸加速度計用于傾斜補償，保證人機交互系統(tǒng)深度數(shù)據(jù)的準確性。當然，為了獲取最佳視角，還需要設(shè)計一臺可編程控制仰角的馬達，及實現(xiàn)機械機構(gòu)。同時為了方便數(shù)據(jù)傳輸，需要USB線纜用于傳輸彩色視頻流、深度流、音頻流等。為了及時排熱，還需要一個冷卻風扇，使系統(tǒng)內(nèi)部正常工作。PrimeSense技術(shù)是微軟Kinect傳感器系統(tǒng)的基礎(chǔ)。PrimeSensor 的核心是 PrimeSense 的 PS1080 SoC（系統(tǒng)級芯片）。PS1080 對紅外光源進行控制，以便通過紅外光編碼影像放映場景。一個標準 CMOS 影像傳感器負責接收放出的紅外光，并將紅外光編碼影像傳給 PS1080。PS108

14、0 負責處理紅外影像，然后逐幀生成準確的場景深度影像。PrimeSensor 含有兩項選配的傳感器輸入功能：色彩（RGB）影像和音頻（PrimeSensor 有兩個麥克風和一個接口，可連接四個外部數(shù)碼音頻源）。     所有傳感器信息（深度影像、色彩影像和音頻）通過一個 USB 2.0 接口傳送給主機，且時序一絲不差。PrimeSensor 的核心是 PrimeSense 的 PS1080 系統(tǒng)級芯片（SoC）。PS1080 SoC 擁有超強的并行計算邏輯，接收 Light Coding 紅外光譜作為輸入，制作出 VGA 尺寸的場景深度影像。以

15、系統(tǒng)級芯片PS1080 SoC為核心的系統(tǒng)，主要包括（如圖4.1所示）：1）麥克風陣列：聲音從4個麥克風采集，同時過濾背景噪聲，可定位聲源。2）紅外投影機：主動投射近紅外光譜，照射到粗糙物體、或是穿透毛玻璃后，光譜發(fā)生扭曲，會形成隨機的反射斑點（稱為散斑），進而能被紅外攝像頭讀取。3）紅外攝像頭：分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像。4）仰角控制馬達：可編程控制仰角的馬達，用于獲取最佳視角。5）USB線纜：支持USB 2.0接口，用于傳輸彩色視頻流、深度流、音頻流等。必須使用外部電源，傳感器才能充分發(fā)揮其功能。6）彩色攝像頭：用于拍攝視角范圍內(nèi)的彩色視頻圖像。圖4.1 系統(tǒng)組成

16、傳感器設(shè)備提供三大類的原始數(shù)據(jù)信息，包括深度數(shù)據(jù)流（depth stream）、彩色視頻流（color stream）、原始音頻數(shù)據(jù)（raw audio stream），同時分別對應(yīng)骨骼跟蹤（Skeletal Tracking）、身份識別（Identify）和語音識別（Speech Pipeline）三個處理過程。如下圖4.2所示。圖4.2 系統(tǒng)數(shù)據(jù)流處理過程4.2 手指手勢的識別 在對Kincet的認識下，擬提出一種簡單的能識別手指運動的系統(tǒng)。我們在系統(tǒng)整體框架的設(shè)計上，以兩個普通CMOS攝像頭作為圖像采集接口，實時采集用戶做出的各種手勢圖像，利用計算機雙目視覺技術(shù)，實現(xiàn)了一個三維空間內(nèi)的多

17、手指點檢測、定位和識別的系統(tǒng)。其主要內(nèi)容包括：雙攝像頭的標定，三維多手指點的坐標定位，手指分割和指尖檢測的算法研究，以及多手指點的跟蹤和識別。其功能模塊如下圖4.3所示。圖4.3 手指識別功能模塊設(shè)計在安裝這兩個攝像頭的時候，應(yīng)盡可能要使它們達到平行對準狀態(tài)，所謂平行對準狀態(tài)，即要求兩個攝像機處于同一成像平面且這個成像平面要與攝像頭光軸垂直，它們的光心也要處于同一水平線并且需位于成像平面中心，此時它們的焦距相等。為了保證實時性，攝像頭采集圖像的幀率要在每秒30幀以上。4.2.1雙攝像頭的標定為了使人能夠做出手勢的區(qū)域足夠大，必須使兩攝像頭的有效重疊區(qū)盡可能大，在這個有效重疊區(qū)內(nèi)，多個手指的信息

18、才能被兩個攝像頭同時都獲取到，因此應(yīng)該選用視角較大的攝像頭。同時為了能同步采集圖像，采用一個軟件驅(qū)動兩個攝像頭。視攝像機的標定，主要是用來矯正因使用透鏡而給針孔模型帶來的偏差。所謂攝像機標定，實際上就是獲取攝像機的內(nèi)部參數(shù)和外部參數(shù)，用來建立虛擬世界和現(xiàn)實世界的聯(lián)系橋梁。圖4.4 攝像機坐標系圖4.4的這幾個坐標系分別為：世界坐標系，攝像機坐標系，圖像物理坐標系，圖像像素坐標系，標定的目的就是要算出各個坐標系之間的變換關(guān)系。本文選用黑白方格交替排列的棋盤（9*7）作為標定的參照物，如圖4.5所示，它可以保證在測量上任何一邊都沒有偏移，且能夠很方便的尋找角點位置。標定過程中可以利用opencv中

19、的一系列函數(shù)。首先使用opencv中函數(shù)cvFindChessboardCorners（）來提取棋盤的角點（即黑方格和白方格的交點），這個角點位置的精度受限于圖像設(shè)備的精度，也即小于一個像素，因此還需要另外的函數(shù)cvFindcornerSubPix（）計算角點的精確位置，以達到亞像素精度。其次，本文調(diào)用函數(shù)cvStereoCalibrate（）一次性計算攝像頭的內(nèi)參數(shù)和外參數(shù)。最后，調(diào)用cvinitUndistortRectifyMap（）計算左右視圖的校正查找映射表，對于任何圖像到圖像的映射函數(shù)，會將目標圖像的位置計算成浮點數(shù)。對于目標圖像的每個整型像素，首先查找其對應(yīng)的源圖像上的浮點位置，

20、再通過浮點像素周圍的整型像素值插值出新的值來（如圖4.6所示）。圖4.5 標定參照物-棋盤圖4.6 棋盤及其標定過程經(jīng)過上述步驟，本文不僅完成了攝像頭的標定（得到攝像頭的內(nèi)外參數(shù)），而且計算出了左右視圖的校正映射參數(shù)，這樣，本系統(tǒng)就可以用這些參數(shù)校正原始圖像，使之行對齊，之后就是在校正的行對齊圖像上進行的一系列操作了。4.2.2手勢分割和指尖檢測模塊 圖像分割是指從圖像中分割出所感興趣的前景目標或特定物體的一種常用圖像處理技術(shù)。指尖檢測的第一步就是攝像頭前人手勢的分割，要求能有效分割出手掌圖像。常用的有背景相減法，幀差法等。本文采用一種基于YCbCr空間的膚色檢測提取手掌的方法，這種方法能夠近

21、距離的有效分割出手勢。YCbCr可由RGB空間線性變換得到，亮度信息由Y表示，彩色信息則由Cr和Cb來存儲。對于跟人體相關(guān)的某個目標，比如人手臂，手掌，人臉等，則可以采用膚色檢測的方法進行前景區(qū)域檢測。這種方式的原理即判斷圖像中的每一個像素是否屬于人體普遍的膚色的顏色范圍，是則認為它是前景像素，不是則認為它為背景像素。這種方法是基于大量的統(tǒng)計表明，亞洲人的膚色在某些特定的顏色空間內(nèi)，比如YCbCr空間內(nèi)，具有一定的相似性，從而將膚色聚合到某個相同的小的顏色區(qū)域空間內(nèi)，進行前景目標的分割。對膚色分割后的圖像，選取合適的閾值，在分割后的二值圖像中只保留人手掌的二值圖，這樣做主要是為了減少數(shù)據(jù)量，方

22、便后期的圖像處理計算。由于本文主要考慮的是手指手勢的識別，因此在膚色分割圖中，手掌在圖像中所占區(qū)域的面積相對于其它非手掌區(qū)域較大，故可以采用連通區(qū)域法對二值圖進行一次圖像處理，即計算分割圖中每一個連通區(qū)域的面積，設(shè)定一個面積閾值，大于此閾值的連通區(qū)域才被保留，這樣，就去除了非手掌區(qū)域，得到了只有手掌區(qū)域的分割圖。在此基礎(chǔ)上，為了平滑手掌輪廓，可以依次做一次腐蝕，一次膨脹運算。得到手掌輪廓后，用canny算子提取輪廓邊緣，便可采集指尖邊緣。第一步是對手掌輪廓圖數(shù)據(jù)與高斯平滑模板作卷積，得到的圖像與原始圖像相比有些輕微的模糊。這樣，單獨的一個像素噪聲在經(jīng)過高斯平滑的圖像上變得幾乎沒有影響。然后，圖

23、像中的邊緣可能會指向不同的方向，所以 Canny 算法使用 4 個 mask 檢測水平、垂直以及對角線方向的邊緣。原始圖像與每個 mask 所作的卷積都存儲起來。對于每個點我們都標識在這個點上的最大值以及生成的邊緣的方向。這樣我們就從原始圖像生成了圖像中每個點亮度梯度圖以及亮度梯度的方向。假設(shè)圖像中的重要邊緣都是連續(xù)的曲線，這樣我們就可以跟蹤給定曲線中模糊的部分，并且避免將沒有組成曲線的噪聲像素當成邊緣。所以我們從一個較大的閾值開始，這將標識出我們比較確信的真實邊緣，使用前面導(dǎo)出的方向信息，我們從這些真正的邊緣開始在圖像中跟蹤整個的邊緣。在跟蹤的時候，我們使用一個較小的閾值，這樣就可以跟蹤曲線

24、的模糊部分直到我們回到起點。一旦這個過程完成，我們就得到了一個二值圖像，每點表示是否是一個邊緣點。所有點連接起來就是手掌輪廓邊緣。Andrew的K向量指尖檢測方法最開始是根據(jù)Segen等人提出的近似K曲率方法改進而來。Segen通過計算手掌輪廓每個像素坐標的近似K曲率，由于理論上指尖位置處的曲率為最大，取其中最大的曲率點為指尖點，這樣就可以求得指尖的位置。則根據(jù)K曲率的思想，在圖像的每個輪廓點處，計算該點與它前后K個點的向量積，以此判定改點是否為指尖點。4.2.3指尖三維重建模塊 按照傳統(tǒng)的雙目視覺技術(shù)，攝像頭標定和校正映射之后，需要進行立體匹配，立體匹配主要是通過找出每對圖像間的對應(yīng)關(guān)系，根

25、據(jù)三角測量原理，得到視差圖；在獲得了視差信息后，根據(jù)投影模型很容易地可以得到原始圖像的深度信息和三維信息。1)指尖點匹配尋找匹配指尖點的方式不是像立體匹配中的對全局圖像進行搜索，而是分別檢測出左右圖像中的全部指尖點，之后再以檢測出的這些指尖進行匹配。 在指尖檢測之前，需要利用標定的參數(shù)對原始圖像進行校正，使它們近似達到平行對準狀態(tài)，也就是前面所說的行對準，這樣，可以認為在此行對準的左右圖像上檢測出的左右指尖也是行對準的，假設(shè)用指尖檢測算法檢測出左攝像頭有m個指尖點，右攝像頭有n個指尖點，它們的匹配規(guī)則如下： 將左攝像頭的m個指尖，右攝像頭的n個指尖分別按它們的x軸坐標由小到大排序。若m>n，即左邊攝像頭檢測到的指尖數(shù)大于右邊，則取左攝像頭的后n個指尖與右攝像頭配對；若m<n，則取右攝像頭的后m個指尖與左攝像頭配對。若m=n，則表示它們已經(jīng)配對好。此時可以很容易的計算出左右視差：2)指尖三角測量之前的攝像頭安裝，標定，校正以及匹配等過