基于手勢(shì)識(shí)別的幻燈片控制系統(tǒng)的設(shè)計(jì)實(shí)用教案

1、基于手勢(shì)識(shí)別基于手勢(shì)識(shí)別(shbi)的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 課題研究背景 主要研究?jī)?nèi)容 系統(tǒng)總體(zngt)結(jié)構(gòu) 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 系統(tǒng)測(cè)試 總結(jié)2第2頁(yè)/共17頁(yè)第1頁(yè)/共17頁(yè)第一頁(yè)，共18頁(yè)。1.1.課題研究課題研究(ynji)(ynji)背景背景 人機(jī)交互在當(dāng)今計(jì)算機(jī)技術(shù)迅猛發(fā)展的今天逐漸(zhjin)成為人們?nèi)粘Ｉ钪械闹匾糠?手勢(shì)識(shí)別是一種簡(jiǎn)單、直觀的新的交互方式，被越來(lái)越多的采用 基于手勢(shì)識(shí)別的幻燈片控制系統(tǒng)，可以使我們了解和掌握手勢(shì)識(shí)別的原理，并進(jìn)行了簡(jiǎn)單的實(shí)際應(yīng)用的設(shè)計(jì)3第3頁(yè)/共17頁(yè)第2頁(yè)/共17頁(yè)第二頁(yè)，共18頁(yè)。2.2.主要主要(z

2、hyo)(zhyo)研究?jī)?nèi)容研究?jī)?nèi)容 了解手勢(shì)識(shí)別(shbi)研究的原理和方法 掌握OpenCV開(kāi)源庫(kù)的使用 熟悉Hu矩特征的基本概念 了解支持向量機(jī)（SVM）的分類(lèi)原理和LibSVM的使用方法 在現(xiàn)有類(lèi)庫(kù)基礎(chǔ)上實(shí)現(xiàn)一個(gè)基于手勢(shì)識(shí)別(shbi)的幻燈片控制系統(tǒng)4第4頁(yè)/共17頁(yè)第3頁(yè)/共17頁(yè)第三頁(yè)，共18頁(yè)。3.3.系統(tǒng)總體系統(tǒng)總體(zngt)(zngt)結(jié)構(gòu)結(jié)構(gòu) 根據(jù)系統(tǒng)設(shè)計(jì)(shj)的總體思想，其結(jié)構(gòu)為：5系統(tǒng)總體結(jié)構(gòu)系統(tǒng)總體結(jié)構(gòu)手勢(shì)識(shí)別手勢(shì)識(shí)別幻燈片控制幻燈片控制手圖像的采集及預(yù)處理手圖像特征的提取手圖像的模型訓(xùn)練加載模型進(jìn)行預(yù)測(cè)匹配加載模型進(jìn)行預(yù)測(cè)匹配調(diào)用函數(shù)進(jìn)行翻頁(yè)控制接口通過(guò)手勢(shì)

3、控制PPT翻頁(yè)第5頁(yè)/共17頁(yè)第4頁(yè)/共17頁(yè)第四頁(yè)，共18頁(yè)。4.4.系統(tǒng)系統(tǒng)(xtng)(xtng)的設(shè)計(jì)與實(shí)現(xiàn)的設(shè)計(jì)與實(shí)現(xiàn) 手圖像的預(yù)處理 手圖像幾何特征的提取 SVM模型訓(xùn)練和LibSVM的應(yīng)用 手勢(shì)識(shí)別的流程 接口部分(b fen)的設(shè)計(jì)與實(shí)現(xiàn)6第6頁(yè)/共17頁(yè)第5頁(yè)/共17頁(yè)第五頁(yè)，共18頁(yè)。4.1 4.1 手圖像手圖像(t xin)(t xin)的預(yù)處理的預(yù)處理 手圖像(t xin)的準(zhǔn)確獲?。罕鞠到y(tǒng)中采用灰度投影法確定手的準(zhǔn)確區(qū)域 手圖像(t xin)的灰度化：本系統(tǒng)中首先將圖像(t xin)由RGB色彩空間轉(zhuǎn)化到Y(jié)CbCr空間，再利用其Cb或Cr通道進(jìn)行二值化分割 采用最大類(lèi)

4、間方差（Ostu）法進(jìn)行圖像(t xin)的二值化7第7頁(yè)/共17頁(yè)第6頁(yè)/共17頁(yè)第六頁(yè)，共18頁(yè)。4.2 4.2 手圖像幾何手圖像幾何(j h)(j h)特征的提取特征的提取 能夠描述圖像特征的矩：Hu矩、小波矩、Zernike矩，本系統(tǒng)中使用(shyng)Hu矩 Hu矩及其計(jì)算：通過(guò)對(duì)Hu矩的計(jì)算，得到了手勢(shì)圖像處理的結(jié)果，并作為SVM訓(xùn)練的樣本8第8頁(yè)/共17頁(yè)第7頁(yè)/共17頁(yè)第七頁(yè)，共18頁(yè)。4.3 SVM4.3 SVM訓(xùn)練模型訓(xùn)練模型(mxng)(mxng)和和LibSVMLibSVM的應(yīng)用的應(yīng)用 最優(yōu)化理論 SVM支持向量機(jī) LibSVM的應(yīng)用：包括“svmtrain”和“svm

5、predict”,其中前者用于SVM樣本(yngbn)訓(xùn)練，最后生成模型文件；后者根據(jù)模型文件，加上給定的輸入，輸出預(yù)測(cè)樣本(yngbn)對(duì)應(yīng)的類(lèi)別9第9頁(yè)/共17頁(yè)第8頁(yè)/共17頁(yè)第八頁(yè)，共18頁(yè)。4.4 4.4 手勢(shì)手勢(shì)(shush)(shush)識(shí)別的流程識(shí)別的流程 基于以上技術(shù)( jsh)，手勢(shì)識(shí)別的流程為：攝像頭獲取手勢(shì)，并在窗口畫(huà)一個(gè)矩形框?qū)D像進(jìn)行二值化處理 ，保存在hand2窗口計(jì)算二值化圖像的Hu矩，保存在一個(gè)全局變量中建立手勢(shì)庫(kù)提取圖像的Hu矩特征訓(xùn)練SVM模型加載SVM模型到程序中并根據(jù)模型進(jìn)行匹對(duì)手勢(shì)識(shí)別的流程手勢(shì)識(shí)別的流程復(fù)制子區(qū)域的數(shù)據(jù)保存在 hand1窗口對(duì)圖像進(jìn)

6、行預(yù)處理10第10頁(yè)/共17頁(yè)第9頁(yè)/共17頁(yè)第九頁(yè)，共18頁(yè)。4.5 4.5 接口接口(ji ku)(ji ku)的設(shè)計(jì)與實(shí)現(xiàn)的設(shè)計(jì)與實(shí)現(xiàn) 幻燈片控制(kngzh)調(diào)用相應(yīng)的控制(kngzh)函數(shù)，控制(kngzh)其翻頁(yè)操作 接口的設(shè)計(jì)：根據(jù)加載的SVM模型對(duì)手勢(shì)圖像處理的結(jié)果進(jìn)行判別，并根據(jù)判別結(jié)果在手勢(shì)變換時(shí)調(diào)用不同的幻燈片控制(kngzh)函數(shù)，控制(kngzh)文件的翻頁(yè) OpenCV窗口的前端顯示11第11頁(yè)/共17頁(yè)第10頁(yè)/共17頁(yè)第十頁(yè)，共18頁(yè)。5. 5. 系統(tǒng)系統(tǒng)(xtng)(xtng)測(cè)試測(cè)試 對(duì)系統(tǒng)進(jìn)行(jnxng)功能測(cè)試，其效果： 右圖是系統(tǒng)運(yùn)行時(shí)的 主菜單界面

7、12第12頁(yè)/共17頁(yè)第11頁(yè)/共17頁(yè)第十一頁(yè)，共18頁(yè)。 下圖是系統(tǒng)運(yùn)行時(shí)的手勢(shì)(shush)識(shí)別窗口，左圖是對(duì)右圖二值化處理后的結(jié)果13第13頁(yè)/共17頁(yè)第12頁(yè)/共17頁(yè)第十二頁(yè)，共18頁(yè)。 對(duì)系統(tǒng)進(jìn)行性能測(cè)試： （1）交互延遲：從系統(tǒng)捕捉到圖像到幻燈片執(zhí)行相應(yīng)(xingyng)操作所耗費(fèi)的時(shí)間 。經(jīng)過(guò)測(cè)試，其平均值為57.3ms （2）輪廓提取時(shí)間：系統(tǒng)對(duì)每一幀圖像從開(kāi)始捕捉到計(jì)算其Hu矩值的耗時(shí) 。經(jīng)過(guò)測(cè)試，其平均值為40.7ms次數(shù)12345678910延遲（ms）53625856705149595560次數(shù)12345678910時(shí)間（ms）3945423846414036423

8、814第14頁(yè)/共17頁(yè)第13頁(yè)/共17頁(yè)第十三頁(yè)，共18頁(yè)。 （3）攝像頭采集圖像的幀速：系統(tǒng)運(yùn)行時(shí)攝像頭每秒采集多少幀的圖像。經(jīng)過(guò)(jnggu)測(cè)試，平均幀速為32.2fps次數(shù)12345678910一幀耗時(shí)/ms28343229352931342833幀速35.729.431.234.528.634.532.329.435.730.315第15頁(yè)/共17頁(yè)第14頁(yè)/共17頁(yè)第十四頁(yè)，共18頁(yè)。總結(jié)總結(jié)(zngji) 本課題利用目前比較成熟的OpenCV的相關(guān)函數(shù)，進(jìn)行了基于Hu矩和SVM的手勢(shì)識(shí)別的研究，并利用已有的幻燈片控制(kngzh)函數(shù)進(jìn)行了簡(jiǎn)單的虛實(shí)交互 通過(guò)對(duì)系統(tǒng)進(jìn)行功能和性能測(cè)試，基本實(shí)現(xiàn)了本課題的預(yù)期研究目標(biāo)16第16頁(yè)/共17頁(yè)第15頁(yè)/共17頁(yè)第十五頁(yè)，共18頁(yè)。謝謝！ 系統(tǒng)效果(xiogu)演示17第17頁(yè)/共17頁(yè)第16頁(yè)/共17頁(yè)第十六頁(yè)，共18頁(yè)。謝謝您的觀看(gunkn)！第17頁(yè)/共17頁(yè)第十七頁(yè)，共18頁(yè)。NoImage內(nèi)容(nirng)總結(jié)基于(jy)手勢(shì)識(shí)別的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)?；?jy)手勢(shì)識(shí)別的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。手勢(shì)識(shí)別是一種簡(jiǎn)單、直觀的新的交互方式，被越來(lái)越多的采用?；?jy)手勢(shì)識(shí)別的