手勢(shì)識(shí)別技術(shù)綜述_圖文

1、中國(guó)科技信息2005年第2期科技論壇CHlNA SCIENCE AND TEC川OLoGY INFORMATION Jan.2005手勢(shì)識(shí)別技術(shù)綜述胡友樹(shù)安徽合肥工業(yè)大學(xué)工業(yè)培訓(xùn)中心250601摘 要:本文簡(jiǎn)單介紹了手勢(shì)識(shí)別的發(fā)展過(guò)程以及技術(shù)難點(diǎn),在分析了手勢(shì)的定義、手勢(shì)建模后,具體闡述了目前廣為研究的基于數(shù)據(jù)手套的手勢(shì) 識(shí)別和基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別,最后介紹了手勢(shì)識(shí)別技術(shù)在人機(jī)交互中的應(yīng)用。關(guān)鍵詞:手勢(shì) 識(shí)別技術(shù) 數(shù)據(jù)手套 視覺(jué)引言人與計(jì)算機(jī)的交互活動(dòng)越來(lái)越成為人們?nèi)?常生活的一個(gè)重要組成部分,特別是最近幾年 年,隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展,研究符合人際 交流習(xí)慣的新穎人機(jī)交互技術(shù)變得異?；?/p>

2、躍, 也取得了可喜的進(jìn)步,這些研究包括人臉識(shí)別、 面部表情識(shí)別、唇讀、頭部運(yùn)動(dòng)跟蹤、凝視跟蹤、 手勢(shì)識(shí)別以及體勢(shì)識(shí)別等等?？偟膩?lái)說(shuō).人機(jī)交 互技術(shù)已經(jīng)從以計(jì)算機(jī)為中心逐步轉(zhuǎn)移到以人 為中心,是多媒體、多種模式的交互技術(shù)。手勢(shì)是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交 互手段。以人手直接作為計(jì)算機(jī)的輸入設(shè)備,人 機(jī)間的通訊將不再需要中間的媒體,用戶可以 簡(jiǎn)單地定義一種適當(dāng)?shù)氖謩?shì)來(lái)對(duì)周圍的機(jī)器進(jìn) 行控制I“。手勢(shì)研究分為手勢(shì)合成和手勢(shì)識(shí)別, 前者屬于計(jì)算機(jī)圖形學(xué)的問(wèn)題,后者屬于模式 識(shí)別的問(wèn)題。手勢(shì)識(shí)別技術(shù)分為基于數(shù)據(jù)手套 和基于計(jì)算機(jī)視覺(jué)兩大類。以人手直接作為輸入手段與其它輸入方法相比較,具有自然性、簡(jiǎn)

3、潔性和豐富性、直接性l 的特點(diǎn)。因此說(shuō)用計(jì)算機(jī)來(lái)識(shí)別手勢(shì)提供了一個(gè)更自然的人機(jī)接口。但是由于其難度較大,目 前的研究結(jié)果尚不能實(shí)用化。1,手勢(shì)識(shí)別方法的發(fā)展【¨最初的研究主要集中在做一種專用硬件設(shè)備來(lái)進(jìn)行輸入。例如數(shù)據(jù)手套,即人可以戴上一? 個(gè)類似于手套的傳感器,計(jì)算機(jī)通過(guò)它可以獲取手的位置、手指的伸展?fàn)顩r等豐富信息。如i 1993年B.Thamas等人做的自由手遙控目標(biāo)的1系統(tǒng)是憑借數(shù)據(jù)手套作為輸入的媒介,但這需i 要實(shí)驗(yàn)者呆上一個(gè)專用設(shè)備。之后人們又致力于標(biāo)記手勢(shì)的研究,即通 運(yùn)動(dòng)1。3,手勢(shì)識(shí)別的技術(shù)難點(diǎn)【1】3.1,現(xiàn)在大多數(shù)的研究重點(diǎn)都在靜態(tài)手勢(shì) 的識(shí)別,其技術(shù)難點(diǎn)都以下幾

4、點(diǎn):3.1.1,手勢(shì)目標(biāo)檢測(cè)的困難;3.1.2,手勢(shì)目標(biāo)識(shí)別的困難。目標(biāo)的實(shí)時(shí)截取是指在人以復(fù)雜的背景條件 下從圖像流中截取出目標(biāo)來(lái),這是機(jī)器視覺(jué)主要 研究的課題之一。目前已有許多針對(duì)專用自動(dòng)視 覺(jué)系統(tǒng)的較為成熟且易于實(shí)現(xiàn)的技術(shù)。例如,利 用目標(biāo)窗與背景窗的脂肪圖分割目標(biāo)的方法,基 于多圖像信息的目標(biāo)分割方法以及二維熵的閾值 分割方法等。3.2,手勢(shì)識(shí)別則是根據(jù)人手的姿態(tài)以及變 化過(guò)程來(lái)解釋其高層次的含義,提取出具有幾何 不變性的特征是其關(guān)鍵技術(shù)。由于手勢(shì)具有以下特點(diǎn):3.2.1,手是彈性物體,故同一種手勢(shì)之間差 別很大;3.2.2,手有大量冗余信息,由于人識(shí)別手勢(shì) 關(guān)鍵是識(shí)別手指特征,故手掌

5、特征是冗余信息; 3.2.3,手的位置是在三維空間,因此難以定 位,并且計(jì)算機(jī)獲取的圖像是三維向二維的投 影,因此投影方向很關(guān)鍵;3.2.4,由于手的表面是非光滑的,因此易產(chǎn) 生陰影。上面兩個(gè)問(wèn)題目前還遠(yuǎn)未解決,具體實(shí)現(xiàn)時(shí) 必須加一定的限制條件。4,計(jì)算機(jī)手勢(shì)識(shí)別技術(shù)和方;去【3】 利用計(jì)算機(jī)識(shí)別和解釋手勢(shì)輸入是將手勢(shì)應(yīng) 用于人機(jī)交互的關(guān)鍵前提。4.1,目前人們采用了不同手段來(lái)識(shí)別手勢(shì):赳位于上1乍懷【已,1列叉U仕于艦干U于于百XC小6上星圮 4.1.1. 畫上特殊顏色的圓點(diǎn),用來(lái)識(shí)別手勢(shì)。這雖然給 的整體運(yùn)動(dòng) 識(shí)別帶來(lái)了方便,但同樣給實(shí)驗(yàn)者帶來(lái)麻煩。 用軟件算法 最后人們終于把注意力集中到

6、自然手上, 需要說(shuō)明, 通過(guò)專用加速硬件和脫機(jī)訓(xùn)練,一些研究者成 變化來(lái)傳達(dá) 功地研制了手勢(shì)系統(tǒng),但其識(shí)別的手勢(shì)僅限幾 表達(dá)工具。 種。例如Freeman和Roth等人提出的基于方向 4.1.2. 直方圖的手勢(shì)識(shí)另lJ系統(tǒng)。1994年,作者高文等 要優(yōu)點(diǎn)是可 人提出了一種靜態(tài)復(fù)雜背景中手勢(shì)目標(biāo)的捕獲 而言較為昂 與識(shí)別,l 995年又提出了動(dòng)態(tài)復(fù)雜背景中手勢(shì) 出汗。 目標(biāo)的捕獲與識(shí)別方法。 4.1.3. 2,手勢(shì)的定義 手勢(shì),其優(yōu) 由于手勢(shì)(gesture本身具有多樣性和多的技術(shù),目 義性,具有在時(shí)間空間上的差異性加上不同文在技術(shù)上存 化背景的影響對(duì)手勢(shì)的定義是不同的。這里把還難以勝任 手勢(shì)定

7、義為:手勢(shì)是人手或者手和臂結(jié)合所產(chǎn)4.2,乒 生的各種姿勢(shì)和動(dòng)作,它包括靜態(tài)手勢(shì)(指姿 4.2.1. 態(tài),單個(gè)手形和動(dòng)態(tài)手勢(shì)(指動(dòng)作,由一系列 別技術(shù),它 姿態(tài)組成。靜態(tài)手勢(shì)對(duì)應(yīng)空間里的一個(gè)點(diǎn),而 的模板進(jìn)行 動(dòng)態(tài)手勢(shì)對(duì)應(yīng)著模型參數(shù)空間里的一條軌跡, 完成識(shí)別任 需要使用隨時(shí)問(wèn)變化的空間特征來(lái)表述。手勢(shì)4.2.2. 和姿勢(shì)(posture的主要區(qū)別在于姿勢(shì)更為強(qiáng)識(shí)別技術(shù),調(diào)手和身體的形態(tài)和狀態(tài)而手勢(shì)更為強(qiáng)調(diào)手的 性特點(diǎn),能基于鼠標(biāo)器和筆,缺點(diǎn)是只能識(shí)別手而不能識(shí)別手指的動(dòng)作;優(yōu)點(diǎn)是僅利來(lái)實(shí)現(xiàn),從而適合于一般桌面系統(tǒng)。僅當(dāng)用鼠標(biāo)光標(biāo)或筆尖的運(yùn)動(dòng)或方向信息時(shí),才可將鼠標(biāo)器或筆看作手勢(shì)這類技術(shù)可用于

8、文字校對(duì)等應(yīng)用。具有模式推廣能力。4.2.3,統(tǒng)計(jì)分析技術(shù),通過(guò)統(tǒng)計(jì)樣本特征向 量來(lái)確定分類器的一種基于概率的分類方法。 在模式識(shí)別中一般采用貝葉斯極大似然理論確 定分類函數(shù)。該技術(shù)的缺點(diǎn)是要求人們從原始 數(shù)據(jù)中提取特定的特征向量,而不能直接對(duì)原 始數(shù)據(jù)進(jìn)行識(shí)別。目前較為實(shí)用的手勢(shì)識(shí)別是基于數(shù)據(jù)手套 的,因?yàn)閿?shù)據(jù)手套不僅可以輸入包括一維空間 運(yùn)動(dòng)在內(nèi)的較為全面的手勢(shì)信息,而且比基于 計(jì)算機(jī)視覺(jué)的手勢(shì)在技術(shù)上要容易得多。但是 基于視覺(jué)的手勢(shì)識(shí)別是未來(lái)的趨勢(shì)。5?；跀?shù)據(jù)手套的手勢(shì)識(shí)別【4】 數(shù)據(jù)手套是虛擬現(xiàn)實(shí)技術(shù)中廣泛使用的交 互設(shè)備?；跀?shù)據(jù)手套的手勢(shì)識(shí)別嚴(yán)格來(lái)說(shuō)其 實(shí)不能算作一種真正的手勢(shì)識(shí)

9、別,。傳統(tǒng)的交互 設(shè)備,如鼠標(biāo)(筆等其實(shí)也可以認(rèn)為是一些手 勢(shì)輸入設(shè)備?；跀?shù)據(jù)手套手勢(shì)輸入(Glove based Gesture Input的優(yōu)點(diǎn)是輸入數(shù)據(jù)量小, 速度高,就直接獲得手在空間的三維信息和手 指的運(yùn)動(dòng)信息。可識(shí)別的手勢(shì)種類多,已能夠進(jìn) 行實(shí)時(shí)地識(shí)別?；跀?shù)據(jù)手套的手勢(shì)識(shí)別目前較多采用神 經(jīng)網(wǎng)絡(luò)等方法。由于神經(jīng)網(wǎng)絡(luò)可以用靜態(tài)的和 動(dòng)態(tài)的輸入,很適合用快速、交互的方式進(jìn)行訕 練,而不必用一種解析的方式定義傳遞特怔。還 可以根據(jù)用戶個(gè)人情況調(diào)整網(wǎng)絡(luò)的連接權(quán)值, 使手勢(shì)識(shí)別程序能適應(yīng)不同的用戶。存在的不 足是手勢(shì)識(shí)別網(wǎng)絡(luò)依賴于設(shè)備。當(dāng)使用不同的 手套設(shè)備時(shí),要改變網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),并重

10、新訓(xùn) 練網(wǎng)絡(luò)得到新的連接權(quán)值。6?；谝曈X(jué)的手勢(shì)識(shí)別【2】自然手的研究是未來(lái)的趨勢(shì),因此基于視 覺(jué)的手勢(shì)識(shí)別是順應(yīng)潮流的。因此本文將介紹 基于視覺(jué)的手勢(shì)識(shí)別技術(shù)研究的幾個(gè)主要方面。 一個(gè)基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)的總體構(gòu)成 如圖l所示。首先,通過(guò)一個(gè)或多個(gè)攝像機(jī)獲取 視頻數(shù)據(jù)流。接著,系統(tǒng)根據(jù)手勢(shì)輸入的交互模 基于數(shù)據(jù)手套(Data GloVe,主l型檢測(cè)數(shù)據(jù)流里是否有手勢(shì)出現(xiàn)。如果有,則把科技論壇._. 史野技堡,皇_!o?旦笪?飄 c叫墜箜1j型生竺D!里里型91型j世!型壘j型j嬰:三哩一一一一種更實(shí)用、更安全的用戶管理方式。所以我們 在學(xué)生宿舍區(qū)采用基于802.1x的認(rèn)證方式。圖2圖2是我

11、校學(xué)生宿舍區(qū)網(wǎng)絡(luò)接入的拓?fù)鋱D。 本方案的認(rèn)證過(guò)程如3所述。這種方案在性價(jià) 比、安全性和可管理方l面較有優(yōu)勢(shì)。用戶發(fā)出認(rèn) 證報(bào)文,是使用特定的組播MAC地址,設(shè)備發(fā) 送用戶的報(bào)文使用單播MAc地址,解決了認(rèn)證 報(bào)文的廣播問(wèn)題,其他用戶不能偵聽(tīng)到認(rèn)證過(guò) 程,從而無(wú)法知道用戶的密碼、賬號(hào)和MAC地(上接第42頁(yè)別是對(duì)確定識(shí)別范圍起關(guān)鍵性作用,模型的選 取根本上取決于具體應(yīng)用。對(duì)于某個(gè)給定的應(yīng) 用,一個(gè)非常簡(jiǎn)單并且粗糙的模型使用圖像梯 度方向直方圖去跟蹤人手以及識(shí)別靜態(tài)手勢(shì)可 能就是充分的。然而,如果要實(shí)現(xiàn)自然的人機(jī)交 互,那么必須建立一個(gè)精細(xì)有效的手勢(shì)模型如 3D人手模型,使得識(shí)別系統(tǒng)能夠?qū)τ脩羲?/p>

12、韻 絕大多數(shù)(如果不是所有的手勢(shì)作出正確的反 應(yīng)(識(shí)別或拒識(shí)。從目前的文獻(xiàn)來(lái)看,幾乎所 有的手勢(shì)建模方法都可以歸結(jié)為兩大類:基于 表觀的手勢(shì)建模和基于3D模型的手勢(shì)建模?；?于表觀的手勢(shì)模型是建立在手(臂圖像的表觀 之上,它通過(guò)分析手勢(shì)在圖像(序列里的表觀 特征去給手勢(shì)建模。基于3D模型的手勢(shì)建模方 法考慮了手勢(shì)產(chǎn)生的中間媒體(手和臂,一般 遵循兩步建模過(guò)程:首先給手和臂的運(yùn)動(dòng)以及 姿態(tài)建模,然后從運(yùn)動(dòng)和姿態(tài)模型參數(shù)估計(jì)手 勢(shì)模型參數(shù)。基于3D手(臂模型的手勢(shì)模型又可以分 為體模型、網(wǎng)格模型、幾何模型以及骨架模型。 人體3D體模型主要用于跟蹤和識(shí)別身體姿態(tài)。 最常使用的3D模型是3D骨架模型,

13、共參數(shù)是 經(jīng)過(guò)簡(jiǎn)化的關(guān)節(jié)角度參數(shù)和指節(jié)長(zhǎng)度。人手的 物理特性可以為3D骨架模型提供兩組約束:靜 態(tài)約束(關(guān)節(jié)角度范圍和動(dòng)態(tài)約束(運(yùn)動(dòng)依賴 關(guān)系。使用手(臂3D模型時(shí)存在兩個(gè)主要問(wèn) 題:其一,參數(shù)空間的維數(shù)高,其二,通過(guò)視覺(jué) 技術(shù)獲取這些模型的參數(shù)困難重重并且非常復(fù) 雜。第一類基于表觀的手勢(shì)模型使用2D灰度霉 像本身建立手勢(shì)模型。第二類基于表觀的手勢(shì) 模型建立在手(臂的可變形2D模版的基礎(chǔ)上。 第三類基于表觀的手勢(shì)模型建立在圖像屬性的 基礎(chǔ)上。第四類基于表觀的手勢(shì)模型通過(guò)計(jì)算 圖像運(yùn)動(dòng)參數(shù),抽取手勢(shì)模型參數(shù)。這類表觀模 型主要用在動(dòng)態(tài)手勢(shì)識(shí)別里。6.2,手勢(shì)分析手勢(shì)分析階段的任務(wù)就是估計(jì)選定的手

14、勢(shì) 模型的參數(shù)。分析階段一般由特征檢測(cè)和參數(shù) 估計(jì)兩個(gè)串行任務(wù)組成。在特征檢測(cè)過(guò)程中,首 先必須定位做手勢(shì)的主體(人手根據(jù)所用的線 索不同,可以把定位技術(shù)分為基于顏色定位、基址。認(rèn)證通過(guò)后的用戶賬號(hào)與接入設(shè)備IP地址、VLAN、MAC地址與端口進(jìn)行綁定。通過(guò)這種綁定,用戶只能從指定的地點(diǎn),使用特定的計(jì)算機(jī)認(rèn)證上網(wǎng),可以增強(qiáng)用戶認(rèn)證的安全性,防止賬號(hào)盜用和非法接入。認(rèn)證服務(wù)器系統(tǒng)在加強(qiáng)身份認(rèn)證安全性的同時(shí),配合IP地址分配策略控制,還可以防止IP地址盜用和沖突,有效地阻止了用戶篡改MAC地址和IP地址的行為。認(rèn)證計(jì)費(fèi)形式靈活多樣,操作方便?？煞乐箤W(xué)生設(shè)置代理服務(wù)器,比如單網(wǎng)卡代理、雙網(wǎng)卡代理、終

15、端服務(wù)代理或HTTP等其他方式的代理。還有網(wǎng)絡(luò)性能高,對(duì)學(xué)生用戶的認(rèn)證和計(jì)費(fèi)不會(huì)對(duì)網(wǎng)絡(luò)性能造成瓶頸,而降低上網(wǎng)的速度。802.1x認(rèn)證是分布式認(rèn)證,沒(méi)有單點(diǎn)故障。5。結(jié)束語(yǔ)本文簡(jiǎn)要分析了802.1x協(xié)議工作原理及工作機(jī)制,對(duì)我校學(xué)生宿舍區(qū)的802.1X認(rèn)證于運(yùn)動(dòng)定位以及多模式定位等三種。絕大多數(shù)顏色定位技術(shù)依賴于直方圖匹配或者利用皮膚的訓(xùn)練數(shù)據(jù)建立查找表的方法。基于顏色定位技術(shù)的主要缺點(diǎn)是在不同的光照條終下皮膚顏色變化較大,這經(jīng)常導(dǎo)致來(lái)被發(fā)現(xiàn)的皮麩或誤檢測(cè)出非皮膚區(qū)域。利用限制性背景或者顏色手套,使得高效地、甚至實(shí)時(shí)地定位人手成為可能,然而對(duì)用戶以及對(duì)接翻設(shè)備施加了明顯限制。盡管冪麗手勢(shì)模型的

16、參數(shù)各不相同,但是用予計(jì)算模型參數(shù)的圖像特征基元通常是非常相似的。常用的圖像特征基元包括灰度圖像、二值影像、區(qū)域、邊界及輪廓或者指尖等。模型參數(shù)的估計(jì)要根據(jù)模型涉及的參數(shù)不閾而采用不同的參數(shù)估計(jì)的方法。對(duì)于3D手模型通常包括初始參數(shù)傅計(jì)和參數(shù)隨時(shí)滴更新兩個(gè)環(huán)節(jié)。對(duì)于2D的四類基予表觀的手勢(shì)模型要根據(jù)分類來(lái)采取不同韻方法。6.3,手勢(shì)識(shí)別手勢(shì)識(shí)別就是把模型參數(shù)空滴翠的軌跡或點(diǎn)>分類到該空闡星菜個(gè)子集的過(guò)程。靜態(tài)手勢(shì)對(duì)應(yīng)著模型參數(shù)空聞里一個(gè)點(diǎn),而動(dòng)態(tài)手勢(shì)則對(duì)應(yīng)著模型參數(shù)空間里的一條軌跡,因此它們的識(shí)別方法有所不褥。靜態(tài)手勢(shì)識(shí)別算法包括基予經(jīng)典參數(shù)聚類技術(shù)的識(shí)別和基于非線性聚類技術(shù)的識(shí)別。與靜

17、態(tài)手勢(shì)不同,動(dòng)態(tài)手勢(shì)涉及時(shí)間及空間上下文。絕大多數(shù)動(dòng)態(tài)手勢(shì)被建模為參數(shù)空間里的一條軌跡。不同用戶做手勢(shì)時(shí)存在的速率差異、熟練程度會(huì)在軌跡的時(shí)間軸上引起非線性波動(dòng)。如何消除這些非線性波動(dòng)是動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)必須克服的一個(gè)重要問(wèn)題。考慮到對(duì)時(shí)闊軸的不同處理,現(xiàn)有的動(dòng)態(tài)手勢(shì)識(shí)男技術(shù)可以分歸一類:基于隱馬爾可夫模型(HiddenMarkov Models, HMM的識(shí)別,基于動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping,DTW的識(shí)別,基予壓縮時(shí)間軸的識(shí)別。7,手勢(shì)識(shí)舅在人機(jī)交互中的應(yīng)甩【.11作為一種三維交互設(shè)備。7.1,用于虛擬環(huán)境的交互。如虛擬制造和虛擬裝配、產(chǎn)品設(shè)計(jì)等。虛擬裝配通過(guò)手的運(yùn)

18、動(dòng)直接進(jìn)行零件的裝配,同時(shí)通過(guò)手勢(shì)與語(yǔ)音的合成來(lái)靈堰的定義零件之間的裝配關(guān)系。還可計(jì)費(fèi)解決方案特點(diǎn)的進(jìn)行分析,該方案在充分 發(fā)揮交換式以太網(wǎng)接入優(yōu)點(diǎn)的前提下,可以有 效地解決學(xué)生的網(wǎng)絡(luò)認(rèn)證和安全問(wèn)題?？紤]接 入網(wǎng)絡(luò)安全性、管理性和建網(wǎng)成本,作為寬帶網(wǎng) 接入的安全解決方案,802.1x必將是未來(lái)的發(fā) 展主流。參考文獻(xiàn):l、使用JEEE802.1x技術(shù)優(yōu)化校園網(wǎng)計(jì)費(fèi)管 理米魯沈,孫劍穎等.武漢:華中科技大學(xué)學(xué)報(bào) (自然科學(xué)版,2005.10:2242262、802.1×協(xié)議及其在寬帶接入中的應(yīng)用高 祥,周林.l 2229412.htmI5、IP技術(shù)與綜合寬帶網(wǎng)M巴繼東.北京:人民郵電出版社,20004、802.1x在MA5200E/F上的實(shí)現(xiàn)和應(yīng)用 宋海波.華為技術(shù)報(bào)第164期(維護(hù)?？?十.2002.12.51以將手勢(shì)識(shí)別用于復(fù)雜設(shè)計(jì)信息的輸入。7.2,用于手語(yǔ)識(shí)別。手語(yǔ)識(shí)別的研究目標(biāo) 是讓機(jī)器看懂聾人的語(yǔ)言。手語(yǔ)識(shí)別和手語(yǔ)合 成相結(jié)合,構(gòu)成成一個(gè)“人一機(jī)手語(yǔ)翻譯系統(tǒng)”, 便于聾人與周圍環(huán)境的交流。手語(yǔ)識(shí)別同樣分 為基于數(shù)據(jù)手套的和基于視覺(jué)的手語(yǔ)識(shí)別兩種。 7.3,用于多