基于視覺的手勢識別技術(shù)

1、計算機技術(shù)與發(fā)展第18卷 第10期 18 No.10 Vol.2008年10月Oct. 2008COMPUTERTECHNOLOGYANDDEVELOPMENT基于視覺的手勢識別技術(shù)孫麗娟,張立材,郭彩龍(西安建筑科技大學(xué)信息與控制工程學(xué)院,陜西西安710055)摘 要:近年來計算機已經(jīng)成為人們?nèi)粘Ｉ畹囊徊糠?人們與計算機的交互也日益成為科研領(lǐng)域的熱點?；谝曈X的手勢識別是實現(xiàn)新一代人機交互所不可缺少的一項關(guān)鍵技術(shù),而手勢識別的研究也可促進手語識別的發(fā)展,從而消除健全人與聾啞人之間的交流障礙,使他們能獲得健全人的正常生活,幫忙他們參加社會的各項活動。文中介紹了手勢識別方法的發(fā)展、手勢識別的技

2、術(shù)難點,具體闡述了基于視覺的手勢識別系統(tǒng)原理和組成,手勢的建模以及在手勢識別中常用的技術(shù)方法。關(guān)鍵詞:人機交互;手勢識別;手語識別;手勢模型中圖分類號:TP39114 文獻(xiàn)標(biāo)識碼:A 文章編號:1673-629X(2008)10-0214-03TechnologiesofHandGestureRecognitionBasedonVisionSUNL-ijuan,ZHANGL-icai,GUOCa-ilong(SchoolofInfo.andControlEngineering,Xi.anUniversityofArchitecture&Technology,Xi.an710055,Ch

3、ina)Abstract:Computerhasbeenwidelyusedinallpartsofpeople.sdailylife.Thestudyofthemutualrelationshipbetweenpeopleandcom-puterhasalsobecomethefocusofthescientificresearch.Theabilityforcomputertovisuallyrecognizehandgesturesisessentialforfuturehuman-computerinteraction.Moreoverhandgesturerecognitionbas

4、edonvisioncanpromotethesignlanguagerecognitiondevelop-ment.Signlanguagerecognitioncaneliminatetheexchangebarrierbetweenhealthypersonanddeaf-mute,whichenablesthemtoobtainthehealthyperson.snormallife,helpsthemtotakepartinsocialactivity.Presentsthedevelopment,technicaldifficultyandelaboratesthesystempr

5、incipleandthecompositionofhandgesturesrecognitionbasedonvision.Moreover,introducedthemodelingofhandgestureandthetechniqueofhandgesturesrecognition.Keywords:human-computerinteraction;handgesturerecognition;signlanguagerecognition;gesturemodeling0 引 言隨著計算機在現(xiàn)代社會影響的迅速擴大,多模式人機接口技術(shù)在現(xiàn)實生活中變得越來越重要。多模式人機接口技術(shù)研

6、究的目標(biāo)是解決計算設(shè)備的高智能性和高可用性問題的核心技術(shù),研究方向是建立和諧自然的人機交互環(huán)境,使得用戶可以方便、自然地使用人類所熟知的方式使用計算機,其中最重要的環(huán)節(jié)就是要使得計算機能夠準(zhǔn)確無誤地感知包括自然語言、手勢語言、面部表情在內(nèi)的不同人類表達(dá)方式,實現(xiàn)擬人化的人機交互。因此,手勢的檢測和識別就成為了人機交互及模式識別領(lǐng)域的一項重要研究內(nèi)容,是由手形動作輔之以表情姿勢為符號構(gòu)成的手語識別的關(guān)鍵技術(shù)之一。建立與計算機圖像處理技術(shù)為基礎(chǔ)的手語識別系統(tǒng),可以消除健全人與聾啞人之間交流的障礙,使聾啞人更好地融入正常人的社會生活,大大提高他們的生存質(zhì)量;另一方面,作為人體語言理解的一部分,手語識

7、別可提供不同于鍵盤、鼠標(biāo)等的人機交互手段,更方便人們輕松、高效地使用計算機及網(wǎng)絡(luò)。1 手勢識別方法的發(fā)展最初的手勢識別研究主要集中在做一種專用硬件設(shè)備來進行輸入。例如數(shù)據(jù)手套,即人可以戴上一個類似于手套的傳感器,計算機通過它可以獲取手的位置、手指的伸展?fàn)顩r等豐富信息。例如CMU的ChristopherLee和Xu1995年完成了一個操縱機器人的手勢控制系統(tǒng)。之后人們又致力于標(biāo)記手勢的研究,即通過在手上作標(biāo)記。例如J.Davis和M.Shah將戴上指尖具有高亮標(biāo)記的視覺手套的手勢作為系統(tǒng)的輸入,可識別7種手勢。這雖然給識別帶來了方便,但收稿日期:2008-03-03基金項目:陜西省教育專項科研基

8、金項目(07JK292)作者簡介:孫麗娟(1976-),女,河南安陽人,碩士研究生,主要研究方向為計算機技術(shù)應(yīng)用研究;張立材,副教授,碩士生導(dǎo)師,主要研M第10期 孫麗娟等:基于視覺的手勢識別技術(shù)#215#然手上,一些研究者成功地研制了手勢系統(tǒng),但其識別的手勢僅限幾種。近幾年又提出了動態(tài)復(fù)雜背景中手勢目標(biāo)的捕獲與識別方法。如清華大學(xué)的祝遠(yuǎn)新、徐光等1給出了一種基于視覺的動態(tài)孤立手勢識別技術(shù),后來他們又提出動態(tài)時空規(guī)整算法用于手勢識別,對12種手勢,平均識別率高達(dá)97%。所示;而且有很多手勢非常相似,如中國文字改革委員會、教育部等單位于1963年聯(lián)合公布實施漢語手指字母方案如圖2所示,在所有手指

9、字母識別中,對于一些相似的手勢圖像,如h與v,h與x等(如圖3所示),識別效果仍不是很理想?？梢娛謩莸碾S機性很大,這給識別帶來了很大的困難。2 手勢的定義由于手勢(gesture)本身具有多樣性和多義性,具有在時間空間上的差異性,加上不同文化背景的影響對手勢的定義是不同的。從手勢(語)識別的角度考慮可以把手勢定義為:手勢是人手或者手和臂結(jié)合所產(chǎn)生的各種姿勢和動作,它包括靜態(tài)手勢(指姿態(tài),單個手形)和動態(tài)手勢(指動作,由一系列姿態(tài)組成)。靜態(tài)手勢對應(yīng)模型參數(shù)空間里的一個點,而動態(tài)手勢對應(yīng)著模型參數(shù)空間里的一條軌跡,需要使用隨時間變化的空間特征來表述。圖2 漢語手指字母圖圖1 不同演示者和不同角度

10、的手勢A的圖像3 手勢識別的技術(shù)難點盡管已經(jīng)實現(xiàn)了大詞匯量的手勢識別系統(tǒng),但手勢識別仍然面臨許多挑戰(zhàn)性課題,如手勢不變特征的提取、手勢之間的過渡模型、手語識別的最小識別基元、自動分割識別基元、詞匯量可擴展的識別方法、手語識別的輔助信息、非特定人的手語識別問題、混合手指語和手勢語的手語識別以及中國手勢語語法等。其技術(shù)難點有以下兩點2:1)手勢目標(biāo)檢測的困難。目標(biāo)的檢測是指在復(fù)雜的背景條件下從圖像流中截取出目標(biāo)來,也就是把人們感興趣的目標(biāo)提取出來。在基于單目視覺的手勢識別方法中,把圖像中的人手區(qū)域與其它背景區(qū)域劃分開來始終是一個難點,這主要是由于背景各種各樣、環(huán)境因素也不可預(yù)見,所以實現(xiàn)起來困難重

11、重,非常復(fù)雜。2)手勢目標(biāo)識別的困難。手勢識別是根據(jù)人手的姿態(tài)以及變化過程來解釋其高層次的含義,提取出具有幾何不變性的特征是其關(guān)鍵技術(shù)。手勢具有以下特點:(1)手是彈性物體,故同一種手勢之間差別很大,而且有很多不同手勢它們之間很相似。人手有二十多個自由度,因而運動起來十分靈活、復(fù)雜。因此,同樣的手勢不同的人做出手勢的運動也會存在差別,同一圖3 兩組不同手勢的比較(2)手有大量冗余信息,由于人識別手勢關(guān)鍵是識別手指特征,故手掌特征是冗余信息。(3)手的位置是在三維空間向二維的投影,因此投影方向非常關(guān)鍵。(4)由于手的表面是非光滑的,因此易產(chǎn)生陰影。由于手勢的這些特點,上面兩個問題目前還沒有很好解

12、決,具體實現(xiàn)時必須加一定的限制條件。4 基于視覺的手勢識別一個基于圖像的手勢識別系統(tǒng)的總體構(gòu)成如圖42,# 216 # 計算機技術(shù)與發(fā)展 第18卷布的特點,快速地找到手可能的候選區(qū)域,縮小后續(xù)細(xì)檢測的范圍。在手勢圖像中,膚色信息是最為有效的,在人手區(qū)域中,膚色一定是占主導(dǎo)地位的像素色彩值。膚色雖然因人而異,但是膚色在色彩空間中的一定范圍內(nèi)呈聚類特征,特別是在排除了光照亮度變化影響和經(jīng)過變換的色彩空間中,聚類特圖4 連續(xù)動態(tài)手勢識別系統(tǒng)構(gòu)成圖系統(tǒng)根據(jù)手勢輸入的交互模型檢測數(shù)據(jù)流里是否有手勢出現(xiàn),如果有則把該手勢從視頻信號中切分出來。然后選擇手勢進行手勢分析,分析過程包括特征檢測和模型參數(shù)估計。識

13、別階段,根據(jù)模型參數(shù)對手勢進行分類并根據(jù)需要生成手勢描述。最后,系統(tǒng)根據(jù)生成的描述去驅(qū)動具體應(yīng)用。具體步驟如下:1)幀分離。將手勢圖像從視頻幀數(shù)據(jù)流中分離出來并進行相應(yīng)的預(yù)處理供系統(tǒng)調(diào)用。2)手勢分割。手勢分割是基于圖像的手勢識別過程的第一步,也是最為關(guān)鍵的一步,是圖像識別與理解的前提。手勢分割的好壞直接影響后面的手勢分析和手勢識別的結(jié)果。手勢分割就是將有意義的區(qū)域)手勢從攝取的手勢圖像中劃分出來。手勢分割的目的是在前景中僅保留手勢部分。在此領(lǐng)域,已經(jīng)有人做了不少的工作,具有代表性的方法有以下幾種:(1)增加限制方法:如使用黑色或白色的墻壁、深顏色的服裝來簡化背景3,或者戴特殊的手套,通過強調(diào)

14、前景來簡化手和背景域的劃分,加深兩者之間的對比,但是這些人為的限制使得手勢交流失去了自由性。(2)差影法及其改進算法:差影法就是將目標(biāo)圖像和背景圖像相減,此方法對消除背景圖像具有很明顯的效果,但它的致命弱點就是一定要保證背景圖像和手勢圖像的對應(yīng)像點位于空間同一目標(biāo)點上,否則會造成很大的誤差。(3)輪廓跟蹤方法:典型的有基于Snake4性更明顯。3)手勢建模。手勢模型對于手勢識別系統(tǒng)至關(guān)重要,特別是對確定識別范圍起關(guān)鍵性作用,一般來說手勢建模方法被分為兩大類:基于表觀的手勢建模和基于3D模型的手勢建模。前者是直接從觀察到的視頻圖像去推斷手勢;而后者考慮了手勢產(chǎn)生的中間媒體(手和臂)。圖5是對兩種

15、建模方法的進一步分類。圖5 手勢模型的分類4)手勢分析。手勢分析階段的任務(wù)就是估計選定的手勢模型的參數(shù),它由特征檢測和參數(shù)估計兩個串行任務(wù)組成。在特征檢測過程中,首先必須定位手勢的主體(人手)。根據(jù)所用的線索不同,可以把定位技術(shù)分為基于顏色定位,基于運動定位、以及多模式定位等三種。特征檢測結(jié)束之后,就可以進行參數(shù)估計。5)手勢識別。手勢識別就是把模型參數(shù)空間的軌跡(或點)分類到該空間里某個子集的過程。目前采用的手勢識別技術(shù)有以下幾種:a.模板匹配6,7:模板匹配法是一種最簡單的識別技術(shù),它將輸入手勢的特征點與各標(biāo)準(zhǔn)手勢的特征模型的點進行匹配,通過測量兩者之間的相似度來完成識別任務(wù)。b.人工神經(jīng)

16、網(wǎng)絡(luò):人工神經(jīng)網(wǎng)絡(luò)通過把大量的簡單處理單元(神經(jīng)元)廣泛地連接起來構(gòu)成一種復(fù)雜的()手勢分割,利用Snake模型對噪聲和對比度的敏感性來有效跟蹤目標(biāo)的形變和非剛體的復(fù)雜運動,達(dá)到將目標(biāo)從復(fù)雜背景中分割出來的目的。(5:第10期 徐龍琴等:基于遺傳算法的水產(chǎn)智能系統(tǒng)推理機的研制#221#2.4 系統(tǒng)特點¥功能強大:系統(tǒng)以人工智能、知識工程為指導(dǎo),采用分布式技術(shù)、數(shù)據(jù)庫技術(shù)、基于規(guī)則的混合推理技術(shù)、GIS技術(shù)以及統(tǒng)計分析、回歸分析及預(yù)測、圖形分析等技術(shù),使得系統(tǒng)功能強大,在疾病診斷與防治方面有一定的智能性;此外還將AJAX無刷新技術(shù)和OWC組件結(jié)合使用,實現(xiàn)了系統(tǒng)的實時圖表更新顯示功能。

17、¦安全性高:系統(tǒng)構(gòu)建在.NET框架之上,從網(wǎng)絡(luò)級和系統(tǒng)級、用戶級和數(shù)據(jù)庫級對系統(tǒng)多重安全保護,并采用用戶權(quán)限多種組合的管理模式、數(shù)據(jù)庫服務(wù)器周期自動備份策略等多道安全防御措施。§性能良好:采用集成服務(wù)理念和多層的B/S體系架構(gòu),層與層之間相對獨立且松散耦合,使得系統(tǒng)操作簡單,易于擴充維護;還用Cache緩存數(shù)據(jù)對系統(tǒng)性能進行優(yōu)化。級用戶的各項工作配合的更加密切,技術(shù)指導(dǎo)服務(wù)更加便捷,高效;對對蝦產(chǎn)業(yè)的政府宏觀調(diào)控與管理,養(yǎng)殖戶的綠色高產(chǎn)高效生產(chǎn)的提供立體服務(wù)。參考文獻(xiàn):1 ManelPD,AIGhamdiJ.Adata-centricdesignforntierar-chi

18、tectureJ.InformationSicences,2003,150(4):195-206.2 MicrosoftCorporation.MSDN(applicationarchitecturefor.NET:Designingapplicationsandservices)DB/OL.2002. CraneD,PascarelleE,JamesD.AjaxinActionM.北京:人民郵電出版社,2006.4 WaltherS.ASP.NET技術(shù)內(nèi)幕M.馬朝暉譯.北京:機械工業(yè)出版社,2002.5 蔡自興,德爾金J,龔 濤.高級專家系統(tǒng):原理、設(shè)計及應(yīng)用M.北京:科學(xué)出版社,2005.

19、6 劉雙印,徐龍琴.基于案例與規(guī)則集成推理的公共衛(wèi)生疫情預(yù)警系統(tǒng)的應(yīng)用研究J.電子技術(shù)應(yīng)用,2007,33(7):124-127.7 李 勁.基于.NET平臺的魔芋專家系統(tǒng)的設(shè)計與實現(xiàn)J.武漢科技學(xué)院學(xué)報,2005,18(3):47-50.8 RichterJ.Microsoft.NET.框架程序設(shè)計M.北京:清華大學(xué)出版社,2003.3 結(jié)束語系統(tǒng)采用軟件工程、知識工程的設(shè)計思想,以人工智能、組件技術(shù)、.NET技術(shù)、GIS、網(wǎng)絡(luò)技術(shù)、數(shù)據(jù)庫技術(shù)與水產(chǎn)養(yǎng)殖相關(guān)領(lǐng)域的多元信息有機融合并優(yōu)化使用,設(shè)計實現(xiàn)了功能強大、操作簡便的對蝦產(chǎn)業(yè)高產(chǎn)高效技術(shù)服務(wù)系統(tǒng),并獲得軟件著作權(quán)。該系統(tǒng)的實施打破傳統(tǒng)養(yǎng)殖

20、戶、企事業(yè)、政府之間/信息壁壘0,使各(上接第216頁)啞人與非聾啞人之間,而異語種健全人之間交流都可能應(yīng)用到動作語言,因此基于視覺的手勢識別技術(shù)的研究在人機交互系統(tǒng)中具有更加廣泛的社會意義和實際應(yīng)用前景。參考文獻(xiàn):1 任海兵,祝遠(yuǎn)新,徐光等.基于視覺手勢識別的研究)綜述J.電子學(xué)報,2000,28(2):118-12112 胡友樹.手勢識別技術(shù)綜述J.中國科技信息,2005,1(2):41-42.3 StarnerT,WeaverJ,PentlandA.Real-timeAmericansignlanguagerecognitionusingdeskandwearablecomputerbasedvideoJ.IEEETransactionsonPatternAnalysisandMa-chineIntelligence,1998,20(12):1371-1375.4 KassM,WitkinAP,Terzo