實時和強大的方法手勢識別

1、基于交叉相關(guān)系數(shù)的實時而魯棒的手勢識別系統(tǒng)簡介：手勢識別在虛擬現(xiàn)實，手語識別和電腦游戲上有廣泛的應(yīng)用。手勢的直接接口為我們提供了一條與虛擬環(huán)境進行通信的新途徑。本文呈現(xiàn)一個新穎的和實時的方式對手勢識別系統(tǒng)。在建議的方法中，首先，手勢是由圖像分割從主圖像提取與形態(tài)運算，然后被發(fā)送到特征提取階段。在特征提取階段的交叉相關(guān)系數(shù)進行手勢識別。在結(jié)果部分，該提出的方法應(yīng)用在美國手語（ASL）數(shù)據(jù)庫和準確率得到98.34。關(guān)鍵詞：手勢識別，圖像處理，虛擬現(xiàn)實，互相關(guān)。1. 介紹手勢識別廣泛應(yīng)用在手語識別，電腦游戲，虛擬現(xiàn)實。手勢是非語言的一種形式通信，其中可見身體動作可用于用于通信。它可分為靜態(tài)和動態(tài)。識

2、別和預測的過程手勢被稱為手勢識別，標象識別是其應(yīng)用之一。標象語言可能涉及方向和手，胳膊或身體，手的形狀的移動，和面部表情來表達思想和單詞，可用于聾啞人的通信。它也可以提供的良好的人機接口，所以在本文中，我們是提出一個手勢識別系統(tǒng)，該系統(tǒng)可以識別ASL且具有良好準確性。圖1顯示了ASL符號。在一些幾十年過去了手勢識別變得越來越重要。有許多手勢識別技術(shù)開發(fā)跟蹤和識別各種手勢。每一個他們都有自己的優(yōu)點和缺點。以前的是有線技術(shù)，在用戶需要用連接自己與計算機系統(tǒng)的接口。在有線技術(shù)的用戶不能自由移動在房間，因為它們用電線同電腦連接，受電線長度限制。儀表手套也被稱為電子手套或數(shù)據(jù)手套是有線技術(shù)的例子。這些由

3、一些傳感器的儀器手套，提供與手的位置信息，手指位置方向等。通過使用傳感器。這些數(shù)據(jù)手套提供良好的結(jié)果，但他們都非常昂貴的多種常見應(yīng)用的利用。 美國肢體語言ASL數(shù)據(jù)手套，然后由光學標記取代。這些光學標記投射紅外光，相應(yīng)的部分會顯示在屏幕上。這些系統(tǒng)有良好的效果但需要非常復雜的配置。后來一些先進的技術(shù)已經(jīng)被引入像圖像根據(jù)技術(shù)要求圖像處理像紋理特征，顏色等光學方法標記物是非常昂貴的，并有非常復雜的配置?；趫D像處理的方法，在不同的光照條件下和顏色紋理修改下變?nèi)?，這導致觀察結(jié)果的變化。用于利用手的圖像處理方法手勢識別系統(tǒng)，我們建議當前方法。這些方法是基于外形特點和一些高度影響約束像手和噪音。我們的手

4、的方法手勢識別是由三個步驟，一，圖像分割; II。形態(tài)濾波; III。基于交互特征提取和匹配。在第二節(jié)數(shù)據(jù)庫描述，在第3提出的方法被提出并在第4和5實際的結(jié)果和結(jié)論都分別。2. 數(shù)據(jù)庫說明我們對手勢識別方法是基于靜態(tài)模式。我們的第一個問題是收集優(yōu)質(zhì)數(shù)據(jù)因為我們的分類將根據(jù)它分類字符。我們創(chuàng)造了我們自己的數(shù)據(jù)庫每個字符ASL，它可以包括504圖像即21圖像的每個（24）的手勢。在創(chuàng)建一個數(shù)據(jù)庫中的圖像捕獲應(yīng)該有統(tǒng)一的深色背景可以是黑色與白色橡膠手套的手，在對比度。我們曾經(jīng)為了做這減少噪聲和不需要的數(shù)據(jù)，這樣我們就可以輕松做到分割過程。用戶有穿黑色在他的手臂，直到手腕布從肩部使黑色的布可以很容易地

5、與背景相匹配。覆蓋臂和背景應(yīng)該是相似顏色。字母J和Z被丟棄，因為我們可以這樣描述他們只動態(tài)，我們的方法是靜態(tài)的手勢而已。圖2示出了數(shù)據(jù)庫的樣本。3. 提出的方法我們對手勢識別的方法是由三步:一，圖像分割; 二，形態(tài)過濾; 三，互相關(guān)基于特征提取和匹配。首先我們要做的預處理數(shù)據(jù)識別系統(tǒng)。預處理應(yīng)做最初的圖像之前，我們提取的特征從數(shù)據(jù)手勢。這是必須要做的，以去除噪聲，有害錯誤和使數(shù)據(jù)有效的話，它可用于進一步的圖像處理。我們使用兩個步驟數(shù)據(jù)1.圖像分割預處2.形態(tài)學濾波。3.1. 圖像分割它是我們在其中轉(zhuǎn)換的RGB圖像或灰度的處理灰度圖像轉(zhuǎn)換成二進制（黑白）圖像。這是要做，因為我們可以得到只有兩個維

6、度，即黑和白只有在我們的形象語言中。黑色的背景白色代表著我們的手，Qtsu算法來轉(zhuǎn)換圖像轉(zhuǎn)換成二進制10。一個好的分割過程是其中的背景不表示任何部分的手，和手不應(yīng)該有任何部分背景。為了獲得最好的結(jié)果，我們必須選擇最佳的閾值和分割可根據(jù)該值進行。選擇分割技術(shù)主要依賴于類型圖像上，我們需要做的處理和Qtsu算法進行了檢測，并與工作效率我們的手勢數(shù)據(jù)。它是分割的無監(jiān)督和非參數(shù)方法，它可以選擇自動閾值和做分割9。假設(shè)有兩類像素與0作為背景像素1手工像素。 0示出了具有像素強度電平 1, 2.K 和1示出了具有像素強度電平 K + 1. L ，從這些類我們得到閾值K *這是的K值之間K + 1，現(xiàn)在手像

7、素分配值“1”和背景像素被分配值“0”，我們得到期望的二進制圖像。3.2. 形態(tài)學濾波我們應(yīng)用Qtsu算法得到的分割圖像是不完美的，需要進一步處理，去除不想要的數(shù)據(jù)和錯誤。仍然有一些背景的部分包含1和一些手部的部分而表示0。在為了消除噪音，我們要申請形態(tài)這些分段圖像過濾技術(shù)。這是需要去除這些錯誤，因為他們可以創(chuàng)建表彰手勢的問題，降低了系統(tǒng)效率12。因此，形態(tài)學過濾在劃分圖像是必要的，以得到一個平滑的，閉合的手勢。擴張，侵蝕，開放和閉合是形態(tài)學過濾的基本工作。樣本預處理的結(jié)果示于圖3和實驗是在MATLAB進行。后預處理我們得到平穩(wěn)和更好的手勢這可以得到更好的效率圖像預處理（一）后手勢3結(jié)果：主圖

8、像（二）：圖像圖像分割（c）之后：形態(tài)學操作之后1.2.3.3.1.3.2.3.3. 相互關(guān)聯(lián)系數(shù)現(xiàn)在，我們要提取特征的手勢識別。對于特征提取和匹配，我們采用相關(guān)系數(shù)。在信號處理中，相關(guān)是兩個波形相似度的度量一時間延遲的函數(shù)的施加到其中之一。在這部分我們使用此功能手勢匹配。該交叉相關(guān)系數(shù)被定義為等式:其中相互關(guān)聯(lián)系數(shù)值從-1范圍到+ 1對應(yīng)完全不匹配，完全分別匹配。模板匹配模板，滑過I和計算每個坐標（x，Y）。經(jīng)過計算，這點表現(xiàn)出最大被稱為匹配點。下面的步驟是用于手勢匹配：步驟1：將大小為m*n的甲手勢模板取。步驟2：手的歸一化的2-D的自相關(guān)手勢模板發(fā)現(xiàn)。步驟3：手的歸一化的2-D交叉相關(guān)與

9、各模板手勢模板被計算。步驟4：自相關(guān)的平均平方誤差（MSE）和不同樣品的互相關(guān)被發(fā)現(xiàn)了。最小MSE是發(fā)現(xiàn)并存儲。步驟5：相應(yīng)最小MSE表示最終姿態(tài)。4. 實際結(jié)果我們提示的方法已經(jīng)完成英特爾酷睿i3-2330M處理器，2.20 GHz的用Matlab下2 GB RAM環(huán)境。圖4手勢識別系統(tǒng)在這項研究中，我們已經(jīng)應(yīng)用了我們的ASL數(shù)據(jù)庫上面提到的技術(shù)手語其中包括504圖像即21每個字符的圖像，我們能夠從26個手語字符中識別出24個，因為剩下的兩個手勢是動態(tài)的而這個方法只應(yīng)用于靜態(tài)手勢。表1顯示每個手勢的準確率。在我們的實驗中（98.80的準確率），我們觀測到在識別階段有一些令人迷惑的手勢跡象。主要是混淆A，S和E，M。這件事，因為A，S和E，M在對方一些樣品中相像。圖5顯示在各組標志識別階段