手勢識別技術(shù)綜述_圖文

1、中國科技信息2005年第2期科技論壇CHlNA SCIENCE AND TEC川OLoGY INFORMATION Jan.2005手勢識別技術(shù)綜述胡友樹安徽合肥工業(yè)大學(xué)工業(yè)培訓(xùn)中心250601摘 要:本文簡單介紹了手勢識別的發(fā)展過程以及技術(shù)難點,在分析了手勢的定義、手勢建模后,具體闡述了目前廣為研究的基于數(shù)據(jù)手套的手勢 識別和基于計算機(jī)視覺的手勢識別,最后介紹了手勢識別技術(shù)在人機(jī)交互中的應(yīng)用。關(guān)鍵詞:手勢 識別技術(shù) 數(shù)據(jù)手套 視覺引言人與計算機(jī)的交互活動越來越成為人們?nèi)?常生活的一個重要組成部分,特別是最近幾年 年,隨著計算機(jī)技術(shù)的迅猛發(fā)展,研究符合人際 交流習(xí)慣的新穎人機(jī)交互技術(shù)變得異?；?/p>

2、躍, 也取得了可喜的進(jìn)步,這些研究包括人臉識別、 面部表情識別、唇讀、頭部運動跟蹤、凝視跟蹤、 手勢識別以及體勢識別等等?？偟膩碚f.人機(jī)交 互技術(shù)已經(jīng)從以計算機(jī)為中心逐步轉(zhuǎn)移到以人 為中心,是多媒體、多種模式的交互技術(shù)。手勢是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交 互手段。以人手直接作為計算機(jī)的輸入設(shè)備,人 機(jī)間的通訊將不再需要中間的媒體,用戶可以 簡單地定義一種適當(dāng)?shù)氖謩輥韺χ車臋C(jī)器進(jìn) 行控制I“。手勢研究分為手勢合成和手勢識別, 前者屬于計算機(jī)圖形學(xué)的問題,后者屬于模式 識別的問題。手勢識別技術(shù)分為基于數(shù)據(jù)手套 和基于計算機(jī)視覺兩大類。以人手直接作為輸入手段與其它輸入方法相比較,具有自然性、簡

3、潔性和豐富性、直接性l 的特點。因此說用計算機(jī)來識別手勢提供了一個更自然的人機(jī)接口。但是由于其難度較大,目 前的研究結(jié)果尚不能實用化。1,手勢識別方法的發(fā)展【¨最初的研究主要集中在做一種專用硬件設(shè)備來進(jìn)行輸入。例如數(shù)據(jù)手套,即人可以戴上一? 個類似于手套的傳感器,計算機(jī)通過它可以獲取手的位置、手指的伸展?fàn)顩r等豐富信息。如i 1993年B.Thamas等人做的自由手遙控目標(biāo)的1系統(tǒng)是憑借數(shù)據(jù)手套作為輸入的媒介,但這需i 要實驗者呆上一個專用設(shè)備。之后人們又致力于標(biāo)記手勢的研究,即通 運動1。3,手勢識別的技術(shù)難點【1】3.1,現(xiàn)在大多數(shù)的研究重點都在靜態(tài)手勢 的識別,其技術(shù)難點都以下幾

4、點:3.1.1,手勢目標(biāo)檢測的困難;3.1.2,手勢目標(biāo)識別的困難。目標(biāo)的實時截取是指在人以復(fù)雜的背景條件 下從圖像流中截取出目標(biāo)來,這是機(jī)器視覺主要 研究的課題之一。目前已有許多針對專用自動視 覺系統(tǒng)的較為成熟且易于實現(xiàn)的技術(shù)。例如,利 用目標(biāo)窗與背景窗的脂肪圖分割目標(biāo)的方法,基 于多圖像信息的目標(biāo)分割方法以及二維熵的閾值 分割方法等。3.2,手勢識別則是根據(jù)人手的姿態(tài)以及變 化過程來解釋其高層次的含義,提取出具有幾何 不變性的特征是其關(guān)鍵技術(shù)。由于手勢具有以下特點:3.2.1,手是彈性物體,故同一種手勢之間差 別很大;3.2.2,手有大量冗余信息,由于人識別手勢 關(guān)鍵是識別手指特征,故手掌

5、特征是冗余信息; 3.2.3,手的位置是在三維空間,因此難以定 位,并且計算機(jī)獲取的圖像是三維向二維的投 影,因此投影方向很關(guān)鍵;3.2.4,由于手的表面是非光滑的,因此易產(chǎn) 生陰影。上面兩個問題目前還遠(yuǎn)未解決,具體實現(xiàn)時 必須加一定的限制條件。4,計算機(jī)手勢識別技術(shù)和方;去【3】 利用計算機(jī)識別和解釋手勢輸入是將手勢應(yīng) 用于人機(jī)交互的關(guān)鍵前提。4.1,目前人們采用了不同手段來識別手勢:赳位于上1乍懷【已,1列叉U仕于艦干U于于百XC小6上星圮 4.1.1. 畫上特殊顏色的圓點,用來識別手勢。這雖然給 的整體運動 識別帶來了方便,但同樣給實驗者帶來麻煩。 用軟件算法 最后人們終于把注意力集中到

6、自然手上, 需要說明, 通過專用加速硬件和脫機(jī)訓(xùn)練,一些研究者成 變化來傳達(dá) 功地研制了手勢系統(tǒng),但其識別的手勢僅限幾 表達(dá)工具。 種。例如Freeman和Roth等人提出的基于方向 4.1.2. 直方圖的手勢識另lJ系統(tǒng)。1994年,作者高文等 要優(yōu)點是可 人提出了一種靜態(tài)復(fù)雜背景中手勢目標(biāo)的捕獲 而言較為昂 與識別,l 995年又提出了動態(tài)復(fù)雜背景中手勢 出汗。 目標(biāo)的捕獲與識別方法。 4.1.3. 2,手勢的定義 手勢,其優(yōu) 由于手勢(gesture本身具有多樣性和多的技術(shù),目 義性,具有在時間空間上的差異性加上不同文在技術(shù)上存 化背景的影響對手勢的定義是不同的。這里把還難以勝任 手勢定

7、義為:手勢是人手或者手和臂結(jié)合所產(chǎn)4.2,乒 生的各種姿勢和動作,它包括靜態(tài)手勢(指姿 4.2.1. 態(tài),單個手形和動態(tài)手勢(指動作,由一系列 別技術(shù),它 姿態(tài)組成。靜態(tài)手勢對應(yīng)空間里的一個點,而 的模板進(jìn)行 動態(tài)手勢對應(yīng)著模型參數(shù)空間里的一條軌跡, 完成識別任 需要使用隨時問變化的空間特征來表述。手勢4.2.2. 和姿勢(posture的主要區(qū)別在于姿勢更為強(qiáng)識別技術(shù),調(diào)手和身體的形態(tài)和狀態(tài)而手勢更為強(qiáng)調(diào)手的 性特點,能基于鼠標(biāo)器和筆,缺點是只能識別手而不能識別手指的動作;優(yōu)點是僅利來實現(xiàn),從而適合于一般桌面系統(tǒng)。僅當(dāng)用鼠標(biāo)光標(biāo)或筆尖的運動或方向信息時,才可將鼠標(biāo)器或筆看作手勢這類技術(shù)可用于

8、文字校對等應(yīng)用。具有模式推廣能力。4.2.3,統(tǒng)計分析技術(shù),通過統(tǒng)計樣本特征向 量來確定分類器的一種基于概率的分類方法。 在模式識別中一般采用貝葉斯極大似然理論確 定分類函數(shù)。該技術(shù)的缺點是要求人們從原始 數(shù)據(jù)中提取特定的特征向量,而不能直接對原 始數(shù)據(jù)進(jìn)行識別。目前較為實用的手勢識別是基于數(shù)據(jù)手套 的,因為數(shù)據(jù)手套不僅可以輸入包括一維空間 運動在內(nèi)的較為全面的手勢信息,而且比基于 計算機(jī)視覺的手勢在技術(shù)上要容易得多。但是 基于視覺的手勢識別是未來的趨勢。5?；跀?shù)據(jù)手套的手勢識別【4】 數(shù)據(jù)手套是虛擬現(xiàn)實技術(shù)中廣泛使用的交 互設(shè)備?；跀?shù)據(jù)手套的手勢識別嚴(yán)格來說其 實不能算作一種真正的手勢識

9、別,。傳統(tǒng)的交互 設(shè)備,如鼠標(biāo)(筆等其實也可以認(rèn)為是一些手 勢輸入設(shè)備。基于數(shù)據(jù)手套手勢輸入(Glove based Gesture Input的優(yōu)點是輸入數(shù)據(jù)量小, 速度高,就直接獲得手在空間的三維信息和手 指的運動信息。可識別的手勢種類多,已能夠進(jìn) 行實時地識別?；跀?shù)據(jù)手套的手勢識別目前較多采用神 經(jīng)網(wǎng)絡(luò)等方法。由于神經(jīng)網(wǎng)絡(luò)可以用靜態(tài)的和 動態(tài)的輸入,很適合用快速、交互的方式進(jìn)行訕 練,而不必用一種解析的方式定義傳遞特怔。還 可以根據(jù)用戶個人情況調(diào)整網(wǎng)絡(luò)的連接權(quán)值, 使手勢識別程序能適應(yīng)不同的用戶。存在的不 足是手勢識別網(wǎng)絡(luò)依賴于設(shè)備。當(dāng)使用不同的 手套設(shè)備時,要改變網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),并重

10、新訓(xùn) 練網(wǎng)絡(luò)得到新的連接權(quán)值。6?；谝曈X的手勢識別【2】自然手的研究是未來的趨勢,因此基于視 覺的手勢識別是順應(yīng)潮流的。因此本文將介紹 基于視覺的手勢識別技術(shù)研究的幾個主要方面。 一個基于視覺的手勢識別系統(tǒng)的總體構(gòu)成 如圖l所示。首先,通過一個或多個攝像機(jī)獲取 視頻數(shù)據(jù)流。接著,系統(tǒng)根據(jù)手勢輸入的交互模 基于數(shù)據(jù)手套(Data GloVe,主l型檢測數(shù)據(jù)流里是否有手勢出現(xiàn)。如果有,則把科技論壇._. 史野技堡,皇_!o?旦笪?飄 c叫墜箜1j型生竺D!里里型91型j世!型壘j型j嬰:三哩一一一一種更實用、更安全的用戶管理方式。所以我們 在學(xué)生宿舍區(qū)采用基于802.1x的認(rèn)證方式。圖2圖2是我

11、校學(xué)生宿舍區(qū)網(wǎng)絡(luò)接入的拓?fù)鋱D。 本方案的認(rèn)證過程如3所述。這種方案在性價 比、安全性和可管理方l面較有優(yōu)勢。用戶發(fā)出認(rèn) 證報文,是使用特定的組播MAC地址,設(shè)備發(fā) 送用戶的報文使用單播MAc地址,解決了認(rèn)證 報文的廣播問題,其他用戶不能偵聽到認(rèn)證過 程,從而無法知道用戶的密碼、賬號和MAC地(上接第42頁別是對確定識別范圍起關(guān)鍵性作用,模型的選 取根本上取決于具體應(yīng)用。對于某個給定的應(yīng) 用,一個非常簡單并且粗糙的模型使用圖像梯 度方向直方圖去跟蹤人手以及識別靜態(tài)手勢可 能就是充分的。然而,如果要實現(xiàn)自然的人機(jī)交 互,那么必須建立一個精細(xì)有效的手勢模型如 3D人手模型,使得識別系統(tǒng)能夠?qū)τ脩羲?/p>

12、韻 絕大多數(shù)(如果不是所有的手勢作出正確的反 應(yīng)(識別或拒識。從目前的文獻(xiàn)來看,幾乎所 有的手勢建模方法都可以歸結(jié)為兩大類:基于 表觀的手勢建模和基于3D模型的手勢建模?；?于表觀的手勢模型是建立在手(臂圖像的表觀 之上,它通過分析手勢在圖像(序列里的表觀 特征去給手勢建模?；?D模型的手勢建模方 法考慮了手勢產(chǎn)生的中間媒體(手和臂,一般 遵循兩步建模過程:首先給手和臂的運動以及 姿態(tài)建模,然后從運動和姿態(tài)模型參數(shù)估計手 勢模型參數(shù)?；?D手(臂模型的手勢模型又可以分 為體模型、網(wǎng)格模型、幾何模型以及骨架模型。 人體3D體模型主要用于跟蹤和識別身體姿態(tài)。 最常使用的3D模型是3D骨架模型,

13、共參數(shù)是 經(jīng)過簡化的關(guān)節(jié)角度參數(shù)和指節(jié)長度。人手的 物理特性可以為3D骨架模型提供兩組約束:靜 態(tài)約束(關(guān)節(jié)角度范圍和動態(tài)約束(運動依賴 關(guān)系。使用手(臂3D模型時存在兩個主要問 題:其一,參數(shù)空間的維數(shù)高,其二,通過視覺 技術(shù)獲取這些模型的參數(shù)困難重重并且非常復(fù) 雜。第一類基于表觀的手勢模型使用2D灰度霉 像本身建立手勢模型。第二類基于表觀的手勢 模型建立在手(臂的可變形2D模版的基礎(chǔ)上。 第三類基于表觀的手勢模型建立在圖像屬性的 基礎(chǔ)上。第四類基于表觀的手勢模型通過計算 圖像運動參數(shù),抽取手勢模型參數(shù)。這類表觀模 型主要用在動態(tài)手勢識別里。6.2,手勢分析手勢分析階段的任務(wù)就是估計選定的手

14、勢 模型的參數(shù)。分析階段一般由特征檢測和參數(shù) 估計兩個串行任務(wù)組成。在特征檢測過程中,首 先必須定位做手勢的主體(人手根據(jù)所用的線 索不同,可以把定位技術(shù)分為基于顏色定位、基址。認(rèn)證通過后的用戶賬號與接入設(shè)備IP地址、VLAN、MAC地址與端口進(jìn)行綁定。通過這種綁定,用戶只能從指定的地點,使用特定的計算機(jī)認(rèn)證上網(wǎng),可以增強(qiáng)用戶認(rèn)證的安全性,防止賬號盜用和非法接入。認(rèn)證服務(wù)器系統(tǒng)在加強(qiáng)身份認(rèn)證安全性的同時,配合IP地址分配策略控制,還可以防止IP地址盜用和沖突,有效地阻止了用戶篡改MAC地址和IP地址的行為。認(rèn)證計費形式靈活多樣,操作方便?？煞乐箤W(xué)生設(shè)置代理服務(wù)器,比如單網(wǎng)卡代理、雙網(wǎng)卡代理、終

15、端服務(wù)代理或HTTP等其他方式的代理。還有網(wǎng)絡(luò)性能高,對學(xué)生用戶的認(rèn)證和計費不會對網(wǎng)絡(luò)性能造成瓶頸,而降低上網(wǎng)的速度。802.1x認(rèn)證是分布式認(rèn)證,沒有單點故障。5。結(jié)束語本文簡要分析了802.1x協(xié)議工作原理及工作機(jī)制,對我校學(xué)生宿舍區(qū)的802.1X認(rèn)證于運動定位以及多模式定位等三種。絕大多數(shù)顏色定位技術(shù)依賴于直方圖匹配或者利用皮膚的訓(xùn)練數(shù)據(jù)建立查找表的方法?；陬伾ㄎ患夹g(shù)的主要缺點是在不同的光照條終下皮膚顏色變化較大,這經(jīng)常導(dǎo)致來被發(fā)現(xiàn)的皮麩或誤檢測出非皮膚區(qū)域。利用限制性背景或者顏色手套,使得高效地、甚至實時地定位人手成為可能,然而對用戶以及對接翻設(shè)備施加了明顯限制。盡管冪麗手勢模型的

16、參數(shù)各不相同,但是用予計算模型參數(shù)的圖像特征基元通常是非常相似的。常用的圖像特征基元包括灰度圖像、二值影像、區(qū)域、邊界及輪廓或者指尖等。模型參數(shù)的估計要根據(jù)模型涉及的參數(shù)不閾而采用不同的參數(shù)估計的方法。對于3D手模型通常包括初始參數(shù)傅計和參數(shù)隨時滴更新兩個環(huán)節(jié)。對于2D的四類基予表觀的手勢模型要根據(jù)分類來采取不同韻方法。6.3,手勢識別手勢識別就是把模型參數(shù)空滴翠的軌跡或點>分類到該空闡星菜個子集的過程。靜態(tài)手勢對應(yīng)著模型參數(shù)空聞里一個點,而動態(tài)手勢則對應(yīng)著模型參數(shù)空間里的一條軌跡,因此它們的識別方法有所不褥。靜態(tài)手勢識別算法包括基予經(jīng)典參數(shù)聚類技術(shù)的識別和基于非線性聚類技術(shù)的識別。與靜

17、態(tài)手勢不同,動態(tài)手勢涉及時間及空間上下文。絕大多數(shù)動態(tài)手勢被建模為參數(shù)空間里的一條軌跡。不同用戶做手勢時存在的速率差異、熟練程度會在軌跡的時間軸上引起非線性波動。如何消除這些非線性波動是動態(tài)手勢識別技術(shù)必須克服的一個重要問題?？紤]到對時闊軸的不同處理,現(xiàn)有的動態(tài)手勢識男技術(shù)可以分歸一類:基于隱馬爾可夫模型(HiddenMarkov Models, HMM的識別,基于動態(tài)時間規(guī)整(Dynamic Time Warping,DTW的識別,基予壓縮時間軸的識別。7,手勢識舅在人機(jī)交互中的應(yīng)甩【.11作為一種三維交互設(shè)備。7.1,用于虛擬環(huán)境的交互。如虛擬制造和虛擬裝配、產(chǎn)品設(shè)計等。虛擬裝配通過手的運

18、動直接進(jìn)行零件的裝配,同時通過手勢與語音的合成來靈堰的定義零件之間的裝配關(guān)系。還可計費解決方案特點的進(jìn)行分析,該方案在充分 發(fā)揮交換式以太網(wǎng)接入優(yōu)點的前提下,可以有 效地解決學(xué)生的網(wǎng)絡(luò)認(rèn)證和安全問題?？紤]接 入網(wǎng)絡(luò)安全性、管理性和建網(wǎng)成本,作為寬帶網(wǎng) 接入的安全解決方案,802.1x必將是未來的發(fā) 展主流。參考文獻(xiàn):l、使用JEEE802.1x技術(shù)優(yōu)化校園網(wǎng)計費管 理米魯沈,孫劍穎等.武漢:華中科技大學(xué)學(xué)報 (自然科學(xué)版,2005.10:2242262、802.1×協(xié)議及其在寬帶接入中的應(yīng)用高 祥,周林.l 2229412.htmI5、IP技術(shù)與綜合寬帶網(wǎng)M巴繼東.北京:人民郵電出版社,20004、802.1x在MA5200E/F上的實現(xiàn)和應(yīng)用 宋海波.華為技術(shù)報第164期(維護(hù)?？?十.2002.12.51以將手勢識別用于復(fù)雜設(shè)計信息的輸入。7.2,用于手語識別。手語識別的研究目標(biāo) 是讓機(jī)器看懂聾人的語言。手語識別和手語合 成相結(jié)合,構(gòu)成成一個“人一機(jī)手語翻譯系統(tǒng)”, 便于聾人與周圍環(huán)境的交流。手語識別同樣分 為基于數(shù)據(jù)手套的和基于視覺的手語識別兩種。 7.3,用于多