手勢(shì)識(shí)別總結(jié)PPT課件

1、基于不同傳感器基于不同傳感器手勢(shì)識(shí)別的分類(lèi)手勢(shì)識(shí)別的分類(lèi) 手勢(shì)類(lèi)型手勢(shì)類(lèi)型l 靜態(tài)手勢(shì)識(shí)別（手型）l 動(dòng)態(tài)手勢(shì)識(shí)別（動(dòng)作及軌跡）l RGB相機(jī)l 紅外相機(jī)（主動(dòng)、被動(dòng)）l 加速度傳感器l 深度相機(jī)（雙目、 結(jié)構(gòu)光、 TOF）第1頁(yè)/共20頁(yè)靜態(tài)手勢(shì)識(shí)別方法靜態(tài)手勢(shì)識(shí)別方法基于手勢(shì)分割基于手勢(shì)分割 基于手勢(shì)檢測(cè)基于手勢(shì)檢測(cè)l 選擇合適的特征l 準(zhǔn)備大量訓(xùn)練樣本l 算法復(fù)雜度較高l 算法復(fù)雜度低l 難于分割完整的手勢(shì)l 對(duì)光照比較敏感第2頁(yè)/共20頁(yè)手勢(shì)識(shí)別手勢(shì)識(shí)別-基于手勢(shì)分割基于手勢(shì)分割手勢(shì)識(shí)別手勢(shì)輸入特征提取誤差補(bǔ)償、濾波、預(yù)處理手勢(shì)分割、手勢(shì)跟蹤、分類(lèi)、建模訓(xùn)練、匹配第3頁(yè)/共20頁(yè)手勢(shì)識(shí)

2、別手勢(shì)識(shí)別-基于手勢(shì)分割基于手勢(shì)分割第4頁(yè)/共20頁(yè)手勢(shì)識(shí)別手勢(shì)識(shí)別-基于手勢(shì)檢測(cè)基于手勢(shì)檢測(cè)手勢(shì)分類(lèi)器采集手勢(shì)樣本選擇分類(lèi)算法選擇特征訓(xùn)練訓(xùn)練過(guò)程：識(shí)別過(guò)程：手勢(shì)類(lèi)別及位置采集圖像手勢(shì)分類(lèi)器多尺度處理分類(lèi)第5頁(yè)/共20頁(yè)手勢(shì)識(shí)別常用特征手勢(shì)識(shí)別常用特征-HAARHAAR特征圖中黑色矩形所有像素值的和減去白色矩形所有像素值的和。第6頁(yè)/共20頁(yè)手勢(shì)識(shí)別常用特征手勢(shì)識(shí)別常用特征-LBPLBP特征1.將一幅圖片劃分為若干的子區(qū)域，對(duì)每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)都提取LBP特征。2.在每個(gè)子區(qū)域內(nèi)建立LBP特征的統(tǒng)計(jì)直方圖。整個(gè) 圖片就由若干個(gè)統(tǒng)計(jì)直方圖組成第7頁(yè)/共20頁(yè)手勢(shì)識(shí)別常用特征手勢(shì)識(shí)別常用特

3、征-HOG第8頁(yè)/共20頁(yè)手勢(shì)識(shí)別算法手勢(shì)識(shí)別算法-SVM第9頁(yè)/共20頁(yè)手勢(shì)識(shí)別算法手勢(shì)識(shí)別算法-Adaboost第10頁(yè)/共20頁(yè)手勢(shì)識(shí)別算法手勢(shì)識(shí)別算法-Adaboost訓(xùn)練訓(xùn)練第11頁(yè)/共20頁(yè)OpenCV中中Adaboost算法算法 訓(xùn)練程序訓(xùn)練程序opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024

4、-featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL 訓(xùn)練樣本訓(xùn)練樣本opencv_createsamples.exe -info pos.dat -vec pos.vec -num 15400 -w 18 -h 30 pause第12頁(yè)/共20頁(yè)Adaboost訓(xùn)練要點(diǎn)訓(xùn)練要點(diǎn) 積極樣本多樣性積極樣本多樣性 積極樣本背景隨機(jī)性積極樣本背景隨機(jī)性 消消極樣本結(jié)合場(chǎng)景極樣本結(jié)合場(chǎng)景 積極樣本旋轉(zhuǎn)積極樣本旋轉(zhuǎn) 特征選擇特征選擇第13頁(yè)/共20頁(yè)手勢(shì)樣本采集手勢(shì)樣本采集 獲取手勢(shì)的摳圖獲取手勢(shì)的摳圖 將手勢(shì)摳圖合成到

5、隨機(jī)背景將手勢(shì)摳圖合成到隨機(jī)背景 縮放到合適尺寸縮放到合適尺寸第14頁(yè)/共20頁(yè)Adaboost手勢(shì)識(shí)別優(yōu)點(diǎn)手勢(shì)識(shí)別優(yōu)點(diǎn) 速率較快（速率較快（30-50ms30-50ms） 對(duì)光照不敏感對(duì)光照不敏感 對(duì)不同攝像機(jī)適用性強(qiáng)對(duì)不同攝像機(jī)適用性強(qiáng) 對(duì)圖像質(zhì)量要求不高對(duì)圖像質(zhì)量要求不高第15頁(yè)/共20頁(yè)Adaboost手勢(shì)識(shí)別缺點(diǎn)手勢(shì)識(shí)別缺點(diǎn) 樣本處理要求高（尺寸，背景，光照，多樣）樣本處理要求高（尺寸，背景，光照，多樣） 后后期升級(jí)訓(xùn)練困難（手工裁剪或標(biāo)注樣本）期升級(jí)訓(xùn)練困難（手工裁剪或標(biāo)注樣本） 存存在一定程度誤判率（過(guò)擬合與泛化）在一定程度誤判率（過(guò)擬合與泛化） 特特征不具有旋轉(zhuǎn)不變形（識(shí)別固定

6、姿態(tài)手勢(shì)）征不具有旋轉(zhuǎn)不變形（識(shí)別固定姿態(tài)手勢(shì)）第16頁(yè)/共20頁(yè)Adaboost優(yōu)化方法優(yōu)化方法 采集多樣性樣本（采集多樣性樣本（20k20k） 將誤判圖片作為消極樣本再訓(xùn)練將誤判圖片作為消極樣本再訓(xùn)練 收收集實(shí)際識(shí)別圖片手工裁剪樣本集實(shí)際識(shí)別圖片手工裁剪樣本 使用其他的方法進(jìn)行二次判斷（膚色驗(yàn)證及使用其他的方法進(jìn)行二次判斷（膚色驗(yàn)證及SVMSVM）第17頁(yè)/共20頁(yè)手勢(shì)識(shí)別的其他方法手勢(shì)識(shí)別的其他方法 深度相機(jī)深度相機(jī)可可分分割出手型的二值圖像（手型輪廓），進(jìn)而通過(guò)輪廓特征割出手型的二值圖像（手型輪廓），進(jìn)而通過(guò)輪廓特征進(jìn)行手勢(shì)及動(dòng)作識(shí)別。進(jìn)行手勢(shì)及動(dòng)作識(shí)別。 深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)通過(guò)通過(guò)CNNCNN卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)選取特征進(jìn)行識(shí)別，樣本量巨大卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)選取特征進(jìn)行識(shí)別，樣本量巨大（100k100k以上）。手勢(shì)