智聯(lián)網(wǎng)汽車技術(shù) 課件 12.3手勢(shì)感應(yīng)

手勢(shì)感應(yīng)項(xiàng)目四汽車信息交互系統(tǒng)任務(wù)12人機(jī)交互系統(tǒng)主講人：胡曉曉智能網(wǎng)聯(lián)汽車技術(shù)課程導(dǎo)入我想要設(shè)計(jì)智能汽車的手勢(shì)控制功能,這樣可以更便捷自然地控制車內(nèi)設(shè)備。請(qǐng)問(wèn)可以通過(guò)什么技術(shù)實(shí)現(xiàn)汽車的手勢(shì)識(shí)別與控制呢?學(xué)習(xí)目標(biāo)了解汽車手勢(shì)感應(yīng)的技術(shù)原理01學(xué)習(xí)任務(wù)與老師一起,完成對(duì)汽車手勢(shì)識(shí)別技術(shù)的介紹01激活舊知手勢(shì)控制相比觸摸控制有什么優(yōu)勢(shì)嗎?更衛(wèi)生，減少界面接觸。探索新知作為一種直觀自然的交互方式，手勢(shì)日漸從人際日常交流向新型人機(jī)交互發(fā)展，尤其是在車載控制系統(tǒng)上，不少高端車型已將手勢(shì)識(shí)別技術(shù)應(yīng)用于搭載的車載影音娛樂(lè)系統(tǒng)。在眾多技術(shù)實(shí)現(xiàn)路線中，基于單目彩色攝像頭的機(jī)器視覺(jué)方案因?yàn)樗璧膫鞲衅骱?jiǎn)單便宜，越來(lái)越被研究者們所注意。探索新知手勢(shì)識(shí)別系統(tǒng)基于數(shù)據(jù)手套的基于計(jì)算機(jī)視覺(jué)探索新知基于計(jì)算機(jī)視覺(jué)特殊功能攝像頭普通攝像頭探索新知不需要采購(gòu)價(jià)格昂貴的設(shè)備，在任何只要有攝像頭的場(chǎng)景下都可以使用。比較符合生物學(xué)上的視覺(jué)輸入，該技術(shù)具有設(shè)備成本低、普及率高等優(yōu)勢(shì)。在普通攝像頭的場(chǎng)景下利用一些圖像處理算法計(jì)算的手勢(shì)識(shí)別系統(tǒng)。探索新知1.基于普通攝像頭的手勢(shì)識(shí)別技術(shù)實(shí)時(shí)地檢測(cè)運(yùn)動(dòng)目標(biāo)，并將手部提取出來(lái)，有的時(shí)候還包含手部追蹤手部的檢測(cè)在手部檢測(cè)的基礎(chǔ)上，對(duì)手部的有效特征或者手部的位置信息進(jìn)行分析，從而判斷手勢(shì)含義，為接下來(lái)的目標(biāo)行為分析與理解提供可靠的數(shù)據(jù)來(lái)源。手勢(shì)的識(shí)別探索新知快速、準(zhǔn)確的捕獲感興趣的目標(biāo)。在軍事、科研、工業(yè)、以及日常生活中都有著廣泛的應(yīng)用，因此手勢(shì)識(shí)別算法具有一定的實(shí)用價(jià)值和廣闊的發(fā)展前景。1.基于普通攝像頭的手勢(shì)識(shí)別技術(shù)探索新知手勢(shì)本身具有豐富的變形，運(yùn)動(dòng)和紋理特征，合理的特征選擇對(duì)于識(shí)別手勢(shì)至關(guān)重要。A模板匹配B統(tǒng)計(jì)分析C神經(jīng)網(wǎng)絡(luò)技術(shù)1.基于普通攝像頭的手勢(shì)識(shí)別技術(shù)探索新知（1）模板匹配技術(shù)一般來(lái)說(shuō)提取目標(biāo)特征的方法用的是邊緣特征信息，通過(guò)之前介紹的預(yù)處理技術(shù)，可以很精細(xì)的提取出目標(biāo)的邊緣信息。提取特征轉(zhuǎn)換為數(shù)字信號(hào)存為模板搜尋與模板類似的特征1.基于普通攝像頭的手勢(shì)識(shí)別技術(shù)探索新知（2）統(tǒng)計(jì)分析技術(shù)例如一種基于多特征的隱馬爾可夫（HMM）融合的復(fù)雜動(dòng)態(tài)手勢(shì)識(shí)別方法，該方法同時(shí)考慮了手勢(shì)手形和位姿的變化，手掌姿態(tài)手指彎曲度手指分開(kāi)度手勢(shì)運(yùn)動(dòng)軌跡提取四類特征并分別訓(xùn)練HMM融合觀測(cè)值發(fā)生概率來(lái)獲取識(shí)別結(jié)果1.基于普通攝像頭的手勢(shì)識(shí)別技術(shù)探索新知（3）神經(jīng)網(wǎng)絡(luò)技術(shù)這是這種仿生學(xué)設(shè)計(jì)，它將生物神經(jīng)網(wǎng)絡(luò)與數(shù)學(xué)模型相結(jié)合，此類技術(shù)通過(guò)考慮給定的示例數(shù)據(jù)來(lái)“學(xué)習(xí)”執(zhí)行任務(wù)，通常無(wú)需使用特定于任務(wù)的規(guī)則進(jìn)行編程。使用這種技術(shù)，需要在識(shí)別之前對(duì)網(wǎng)絡(luò)中參數(shù)進(jìn)行訓(xùn)練。1.基于普通攝像頭的手勢(shì)識(shí)別技術(shù)探索新知2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用2022年，全球手勢(shì)識(shí)別市場(chǎng)規(guī)模預(yù)計(jì)將達(dá)到189.8億美元預(yù)測(cè)期內(nèi)（2017—2022年）的復(fù)合年增長(zhǎng)率為29.63%。探索新知肢體交流是人在學(xué)會(huì)語(yǔ)言和文字之前最主要的溝通方式，將其應(yīng)用在系統(tǒng)控制上是目前正在嘗試和努力的方向。與穿戴式的識(shí)別技術(shù)相比，基于視覺(jué)的手勢(shì)識(shí)別逐漸得到更廣泛的應(yīng)用。2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知01手勢(shì)分割02手勢(shì)特征提取03靜態(tài)手勢(shì)識(shí)別04動(dòng)態(tài)手勢(shì)識(shí)別手勢(shì)識(shí)別技術(shù)2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知車內(nèi)手勢(shì)交互成為新興的行為設(shè)計(jì)門類，發(fā)展?jié)摿薮?。與人臉識(shí)別、HUD顯示和語(yǔ)音識(shí)別等先進(jìn)技術(shù)相結(jié)合，將更好地提升用戶的汽車體驗(yàn)。2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（1）BMWiDrive將手勢(shì)識(shí)別技術(shù)使用在寶馬7系上。這一技術(shù)的應(yīng)用使人機(jī)交互的方式再次升級(jí)，讓操作更加簡(jiǎn)便，使駕駛者更專注于安全駕駛。這套系統(tǒng)支持多種預(yù)設(shè)手勢(shì)控制，通過(guò)中控臺(tái)上方的3D傳感區(qū)域檢測(cè)和識(shí)別手勢(shì)動(dòng)作。2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（1）BMW01張開(kāi)手掌向右揮動(dòng)，即為掛斷電話02單指前后移動(dòng)，即為接聽(tīng)電話或確認(rèn)03雙指不動(dòng)向前指，即為暫停或播放2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（1）BMW04單指順時(shí)針畫圈，即為增大音量或放大地圖05單指逆時(shí)針畫圈，即為減小音量或縮小地圖06拇指和食指搭圈并向右移動(dòng)，即為播放下一曲或切換下一菜單07拇指和食指搭圈并向左移動(dòng)，即為播放上一曲或切換上一菜單2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（2）嵐圖FREE在人機(jī)交互方面具備4種手勢(shì)交互、四音區(qū)語(yǔ)音識(shí)別、觸屏、TouchPad、實(shí)體按鍵五種交互功能，能帶來(lái)更加安全、高效、快捷人車交互。2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（2）嵐圖FREE其中嵐圖FREE提供的4種手勢(shì)交互，能讓用戶通過(guò)手勢(shì)控制讓車輛快速執(zhí)行相關(guān)功能，后期，嵐圖FREE還可以通過(guò)OTA功能解鎖更多手勢(shì)控制。2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（3）君馬SEEK5君馬SEEK5的手勢(shì)識(shí)別區(qū)域在車輛的中控臺(tái)出風(fēng)口正下方，駕駛員只要在這一區(qū)域做出手勢(shì)，車輛就可以自動(dòng)識(shí)別。識(shí)別距離根據(jù)用戶在座艙的位置，設(shè)定為15cm-35cm。2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（3）君馬SEEK501手心向上抬，即為增加音響的音量02手心向下壓，即為減小音量03使用V字形手指向前指，即為暫停或者開(kāi)始播放04右手攥拳，拇指伸出向左指，即為播放上一曲它可以識(shí)別的手勢(shì)設(shè)計(jì)有7種2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（3）君馬SEEK505右手攥拳，拇指伸出向右指，即為播放下一曲06來(lái)電時(shí)，右手做出數(shù)字6的姿勢(shì)，手心向上，即為接聽(tīng)電話07手心向下，即為掛斷電話2.手勢(shì)識(shí)別在車載多媒體中的應(yīng)用探索新知（4）拜騰汽車拜騰汽車與凌感科技合作研究“三維手勢(shì)控制”，并應(yīng)用到車載系統(tǒng)上。“三維手勢(shì)控制”提供“語(yǔ)音+觸摸+手勢(shì)控制”三種交互方式。其中，48寸的大屏采用手勢(shì)控制技術(shù)，主要靠頭