基于生物識(shí)別的汽車人機(jī)交互拓展化研究

摘要：隨著智能汽車的逐步普及，智能汽車用戶群體的需求和問題也在逐漸變化。在智能汽車快速發(fā)展的大環(huán)境，以及符合各項(xiàng)規(guī)章制度的前提下，通過生物識(shí)別及其相關(guān)技術(shù)探究如何滿足用戶的個(gè)性化需求，以實(shí)現(xiàn)更加安全、高效的新一代人機(jī)交互方式。以調(diào)研中用戶反映的駕駛體驗(yàn)問題和日常發(fā)現(xiàn)的駕駛問題為導(dǎo)向，針對(duì)性地進(jìn)行了拓展化研究，提出相應(yīng)的技術(shù)解決方案。關(guān)鍵詞：生物識(shí)別；人機(jī)交互；車聯(lián)網(wǎng)；深度學(xué)習(xí)算法；邊緣修復(fù)1前言汽車產(chǎn)品正在逐步轉(zhuǎn)變?yōu)橹悄芤苿?dòng)設(shè)備，這得益于智能化和自動(dòng)化技術(shù)的持續(xù)發(fā)展和完善。在人機(jī)互動(dòng)、萬(wàn)物互聯(lián)的發(fā)展推動(dòng)下，汽車已經(jīng)超脫于傳統(tǒng)運(yùn)輸工具的功能，正在逐漸轉(zhuǎn)變成人類尋求更豐富的體驗(yàn)感和舒適感的第三空間［1］。汽車消費(fèi)者的需求千差萬(wàn)別，而傳統(tǒng)的汽車只能在相同品牌相同類型中推出相同的產(chǎn)品，這種同質(zhì)化導(dǎo)致了消費(fèi)者體驗(yàn)無法得到最大限度的滿足。因此，通過生物識(shí)別技術(shù)來一對(duì)一地滿足用戶個(gè)性化需求應(yīng)當(dāng)提上日程。本項(xiàng)目采用DTC模式結(jié)合SCP模型，將用戶需求轉(zhuǎn)化為技術(shù)成果，從機(jī)會(huì)成本理論出發(fā)探究現(xiàn)有生物識(shí)別技術(shù)在人機(jī)互動(dòng)語(yǔ)境下的升級(jí)空間，達(dá)到帕累托最優(yōu)的效果。對(duì)于項(xiàng)目中涉及的基于生物特征識(shí)別和駕駛習(xí)慣研究的個(gè)性化方案匹配技術(shù)，目前有公司已經(jīng)有了較為深入的研究。但是由這幾個(gè)成熟技術(shù)整合而成的新技術(shù)，目前暫無較多相關(guān)研究。基于邊緣修復(fù)及增強(qiáng)算法的高精準(zhǔn)度手勢(shì)識(shí)別技術(shù)中，手勢(shì)識(shí)別已經(jīng)是現(xiàn)有概念，但是目前各項(xiàng)數(shù)據(jù)表明手勢(shì)識(shí)別精度欠缺、反應(yīng)速度慢、發(fā)揮作用較為局限，我們基于邊緣修復(fù)及增強(qiáng)算法對(duì)現(xiàn)有手勢(shì)識(shí)別技術(shù)的精度、識(shí)別范圍進(jìn)行了增強(qiáng)，目前僅有部分高校在研究，尚無成熟產(chǎn)品。經(jīng)驗(yàn)證，本項(xiàng)目方案通過應(yīng)用生物識(shí)別技術(shù)對(duì)汽車座艙的人機(jī)交互進(jìn)行多通道拓展及優(yōu)化，汽車人機(jī)交互體驗(yàn)相對(duì)于現(xiàn)有產(chǎn)品有較大提升，發(fā)展價(jià)值較高［2］。2基于生物特征識(shí)別和駕駛習(xí)慣研究的個(gè)性化方案匹配2.1研究背景為了使用戶獲得最好的駕乘體驗(yàn)，應(yīng)用了人臉識(shí)別技術(shù)將用戶偏好設(shè)置與人臉識(shí)別數(shù)據(jù)綁定；同時(shí)使用AI深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法對(duì)于駕駛?cè)笋{駛數(shù)據(jù)進(jìn)行分析學(xué)習(xí)，并對(duì)駕駛?cè)嗽O(shè)置給出建議，來達(dá)到極致的駕駛體驗(yàn)。2.2人臉識(shí)別與個(gè)性化方案儲(chǔ)存匹配由于駕駛?cè)讼鄬?duì)固定，需要采集的人臉數(shù)據(jù)較少，這里主要討論基于特征臉的人臉識(shí)別算法。2.2.1采集駕駛員圖像作為訓(xùn)練樣本將駕駛員的姿勢(shì)分為站立和常規(guī)駕駛坐姿兩種，在收集數(shù)據(jù)時(shí)，要保持視線直視前方，并將收集到的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。2.2.2處理訓(xùn)練數(shù)據(jù)設(shè)收集到M個(gè)面部圖像數(shù)據(jù)，每張圖像被扁平化為一列（假定圖像像素?cái)?shù)量為N），這些向量被放置在一個(gè)矩陣中而成為訓(xùn)練數(shù)據(jù)[S=[τ1，τ2，…，τM]]。2.2.3計(jì)算平均臉將[S]里的值累加并取均值[φ=1Mi=1Mτi]，然后將每個(gè)人臉圖像[τi]都減去該均值，使均值為0∶[ωi=τi?φ]，重新排列構(gòu)成新的矩陣[T=[ω1，ω2，…，ωM]]。2.2.4PCA（主成分分析）降維求協(xié)方差矩陣在圖像識(shí)別和人臉識(shí)別中，可以用PCA來降低維度并展示人臉的主要特征，以更好地識(shí)別和分類，同時(shí)減少數(shù)據(jù)冗余。假設(shè)獲得m條面部數(shù)據(jù)，每條數(shù)據(jù)都有n個(gè)評(píng)價(jià)指標(biāo)，構(gòu)成了m×n的原始數(shù)據(jù)矩陣，即為X，每個(gè)變量對(duì)應(yīng)的數(shù)據(jù)記為：X1，X2，…，Xn。[X=x11…x1n???xm1…xmn=x1，x2，…，xn]

（1）各項(xiàng)評(píng)估標(biāo)準(zhǔn)常常具備各自的度量和度量單位，為了消除度量的影響，必須對(duì)數(shù)據(jù)做標(biāo)準(zhǔn)化的處理，這樣才能確保各個(gè)數(shù)據(jù)標(biāo)準(zhǔn)的對(duì)比性。經(jīng)過標(biāo)準(zhǔn)化處理過后的原始數(shù)據(jù)，能使所有評(píng)估標(biāo)準(zhǔn)都達(dá)到相同的數(shù)量級(jí)，這樣才有可能進(jìn)行全面的比較評(píng)價(jià)。對(duì)數(shù)據(jù)實(shí)施Z-score轉(zhuǎn)換處理，在此操作后，數(shù)據(jù)的平均值為0，其標(biāo)準(zhǔn)偏差是1，同時(shí)這些數(shù)據(jù)遵循標(biāo)準(zhǔn)正態(tài)分布特性，公式如下：[Z-Scoreij=xij-xjSj]

（2）式中，[xj]為第j個(gè)指標(biāo)的樣本均值，[Xj=1mi=1mXij]；[Sj]為第j個(gè)指標(biāo)的標(biāo)準(zhǔn)差，[Sj=i=1m（Xij-Xj）2m-1]，記中心化后數(shù)據(jù)矩陣為X。計(jì)算經(jīng)過集中化處理的數(shù)據(jù)的協(xié)方差矩陣，并將其標(biāo)記為R：[rij=cov（xki，xkj）=k=1mxkixkjm-1]

（3）[R=cov（X1，X1）

cov（X1，X2）

…

cov（X1，Xn）?

?

?

?cov（Xn，X1）

cov（Xn，X2）

…

cov（Xn，Xn）]

（4）此外也可以用另一種方法表示：[R=XTXm]。2.2.5計(jì)算特征臉的特征向量求出協(xié)方差矩陣[R]的特征向量[ei]，記這些協(xié)方差矩陣[R]的特征向量為：[E=[e1，e2，…，eM]]

（5）計(jì)算各特征臉的特征向量為：[ui=k=1Meikωk（i=1，2，…，M）]

（6）2.2.6個(gè)性化方案綁定根據(jù)人臉識(shí)別得出特征向量，通過哈希算法生成唯一UID，在該UID下保留該用戶的偏好設(shè)置。查詢時(shí)通過哈希表進(jìn)行。2.2.7人臉識(shí)別得到特征臉的特征向量[ui]后，再對(duì)樣本中的每張圖片進(jìn)行權(quán)重的標(biāo)識(shí)：[ti=ui（τ?φ）（i=1，2，…，M）]。把這些權(quán)重寫成一個(gè)向量表示：[ΩT=[t1，t2，…，tM]]。將待檢測(cè)的人臉圖像[τ]輸入后做主成分分析后，求[Ω]和[Ωk]的歐氏距離得到：[εk=Ω?Ωk2]。在上述公式里，[Ω]代表了待審查的人臉圖片的權(quán)重，而[Ωk]是指訓(xùn)練樣本集中某一人臉圖像的權(quán)重。如果[εk]低于預(yù)先設(shè)定的界限，那么就確認(rèn)正在審查的人臉與樣本集中相應(yīng)的人臉為同一個(gè)人。2.2.8方案加載檢測(cè)到當(dāng)前人臉與數(shù)據(jù)庫(kù)中人臉數(shù)據(jù)匹配后，將對(duì)應(yīng)UID的設(shè)置方案加載到汽車上，完成用戶偏好設(shè)置的加載。圖1為基于人臉識(shí)別的個(gè)性化方案綁定流程圖。2.3機(jī)器學(xué)習(xí)優(yōu)化駕駛設(shè)置2.3.1數(shù)據(jù)收集在駕駛?cè)俗灾黢{駛機(jī)動(dòng)車期間，車載計(jì)算機(jī)將通過車輛CAN總線收集車輛傳感器數(shù)據(jù)，獲取諸如車輛平均加速度、車輛最大、最小轉(zhuǎn)角、車輛最大、最小速度、車輛橫移距離、車輛橫移頻率等有關(guān)駕駛?cè)笋{駛風(fēng)格的數(shù)據(jù)。2.3.2模板對(duì)比在車載計(jì)算機(jī)中儲(chǔ)存“城市”“運(yùn)動(dòng)”“越野”等不同駕駛風(fēng)格的典型模板數(shù)據(jù)。車載計(jì)算機(jī)收集了駕駛?cè)笋{駛數(shù)據(jù)后，會(huì)針對(duì)各項(xiàng)數(shù)據(jù)逐個(gè)對(duì)模板進(jìn)行比較匹配，得出目前駕駛?cè)舜蟾诺鸟{駛風(fēng)格簡(jiǎn)檔，并儲(chǔ)存于云端。2.3.3模型訓(xùn)練將駕駛員駕駛風(fēng)格簡(jiǎn)檔、駕駛員駕駛視頻、車輛運(yùn)動(dòng)特征等數(shù)據(jù)輸入強(qiáng)化學(xué)習(xí)模塊，訓(xùn)練與駕駛員駕駛風(fēng)格相符或相近的自動(dòng)駕駛模型。2.3.4模型使用與用戶反饋針對(duì)乘員體驗(yàn)，在用戶需要接入自動(dòng)駕駛時(shí)，從駕駛風(fēng)格模塊調(diào)取當(dāng)前駕駛員的自動(dòng)駕駛模型，并接入車輛自動(dòng)駕駛模塊操控汽車。如用戶感覺到自動(dòng)駕駛帶來不適，可將問題通過語(yǔ)音、手勢(shì)或文本的方式反映給車載AI。同時(shí)，駕乘人員身上可穿戴拓展設(shè)備提供的生命健康特征、車內(nèi)雷達(dá)掃描獲取的駕乘人員動(dòng)作特征等也將作為駕乘人員的被動(dòng)反饋進(jìn)行收集。針對(duì)駕駛?cè)梭w驗(yàn)，可以在路況識(shí)別系統(tǒng)判斷為相對(duì)安全的路段時(shí)，在征求駕駛?cè)送獾那闆r下，開啟AI輔助駕駛（對(duì)駕駛?cè)说姆较虮P、踏板等提供力回饋，這里需要注意駕駛?cè)说闹噶顡碛凶罡邇?yōu)先級(jí)，AI不得與駕駛?cè)藸?zhēng)奪車輛控制權(quán)）。該功能同樣會(huì)調(diào)取自動(dòng)駕駛模型，根據(jù)自動(dòng)駕駛模型的設(shè)置數(shù)據(jù)暫時(shí)更改當(dāng)前設(shè)置方案，以便輔助駕駛員駕駛。同樣這里還會(huì)收集駕駛?cè)藢?duì)于AI輔助駕駛與新駕駛設(shè)置方案的主動(dòng)和被動(dòng)反饋。2.3.5模型優(yōu)化將收集到的駕乘人員被動(dòng)或主動(dòng)反饋輸入強(qiáng)化學(xué)習(xí)模塊，對(duì)模型進(jìn)一步針對(duì)性優(yōu)化，使駕乘人員的駕乘體驗(yàn)?zāi)軌蚋鼮槭孢m。2.3.6建議提出與設(shè)置修改車載計(jì)算機(jī)將強(qiáng)化學(xué)習(xí)模塊得出的駕駛風(fēng)格數(shù)據(jù)、車輛設(shè)置數(shù)據(jù)與當(dāng)前駕駛?cè)私壎ǖ鸟{駛風(fēng)格簡(jiǎn)檔和車輛設(shè)置數(shù)據(jù)進(jìn)行對(duì)比，對(duì)駕駛?cè)说鸟{駛風(fēng)格和車輛設(shè)置提供建議。如用戶接受則將一鍵應(yīng)用強(qiáng)化學(xué)習(xí)模塊得出的最優(yōu)方案，并同步更新綁定數(shù)據(jù)［3］。圖2為機(jī)器學(xué)習(xí)優(yōu)化駕駛設(shè)置示意圖。3基于邊緣修復(fù)及增強(qiáng)算法的高精準(zhǔn)度手勢(shì)識(shí)別技術(shù)3.1研究背景目前多數(shù)車企采用光飛時(shí)間（TOF）來識(shí)別手勢(shì)。TOF的分辨率低，通常低于640×480，測(cè)量精度最多為厘米級(jí)，容易受多重反射等影響，不穩(wěn)定且成本高。J.D.Power發(fā)布的2020技術(shù)體驗(yàn)指數(shù)顯示，用戶滿意度最低的是手勢(shì)控制交互方式。手勢(shì)識(shí)別要求駕駛員的手勢(shì)指令必須表現(xiàn)在特定的區(qū)域內(nèi)，標(biāo)準(zhǔn)化要求高，因此識(shí)別率較低。手勢(shì)的表達(dá)內(nèi)容也有限，當(dāng)關(guān)聯(lián)的功能較多需要復(fù)雜的手勢(shì)設(shè)計(jì)時(shí)，便會(huì)十分繁瑣。因此我們期待加大手勢(shì)識(shí)別的范圍，同時(shí)進(jìn)行邊緣修復(fù)及增強(qiáng)，進(jìn)一步提高準(zhǔn)確率。3.2基礎(chǔ)功能采用結(jié)構(gòu)光方式進(jìn)行識(shí)別，同時(shí)對(duì)輸入的識(shí)別內(nèi)容運(yùn)行相應(yīng)算法進(jìn)行邊緣修復(fù)以及圖像增強(qiáng)進(jìn)而提高識(shí)別的精準(zhǔn)率、反饋速率以及可識(shí)別的范圍，優(yōu)化用戶的人機(jī)交互體驗(yàn)。3.3實(shí)現(xiàn)方法3.3.1手勢(shì)識(shí)別系統(tǒng)結(jié)構(gòu)現(xiàn)階段，手勢(shì)識(shí)別主要依賴于攝像頭等接收器設(shè)備來獲取手勢(shì)信息，然后把識(shí)別到的手勢(shì)內(nèi)容通過CAN總線轉(zhuǎn)交給手勢(shì)識(shí)別系統(tǒng)。接著，在人機(jī)交互系統(tǒng)中構(gòu)建相應(yīng)的手勢(shì)模型和操作界面，并對(duì)其中的手機(jī)內(nèi)容進(jìn)行分類。具體的識(shí)別流程可參見圖3。3.3.2具體方案采用精度更高、成本更低的結(jié)構(gòu)光（StructureLight，SL）方式進(jìn)行手勢(shì)識(shí)別。a.通過對(duì)皮膚色彩和背景的粗略比較，獲取分離的效果。b.采用分層Chamfer距離匹配算法（HCMA）對(duì)手勢(shì)的特定區(qū)域進(jìn)行精密的定位。c.利用基于圖形架構(gòu)和梯度方向直方圖的分類器，對(duì)手掌和手指部分進(jìn)行了精確的識(shí)別。d.借助預(yù)先儲(chǔ)存的模型，對(duì)手與臉部交接處的邊緣數(shù)據(jù)進(jìn)行了修復(fù)，這樣就得到了一個(gè)完全清晰的手勢(shì)識(shí)別區(qū)域。結(jié)構(gòu)光方式的流程如圖4所示。一開始，邊緣圖被Chamfer距離匹配算法轉(zhuǎn)化為Chamfer距離圖，接著調(diào)用一個(gè)范圍3×3的窗口構(gòu)建出每個(gè)像素點(diǎn)的距離值，邊緣距離[Ed]的計(jì)算過程按如下公式：[Ed=131Ni=0N-1wi2]

（7）在這個(gè)公式中，[wi]是模版影像的像素?cái)?shù)值，[N]則是模版邊界點(diǎn)的總數(shù)。當(dāng)邊緣距離[Ed]減少到最小時(shí)，就可以得到最適合的匹配位置。為了提高搜索最佳匹配位置的速度，在算法設(shè)計(jì)中引入金字塔結(jié)構(gòu)，選擇其中任意一組網(wǎng)格點(diǎn)作為匹配起點(diǎn)，并繼續(xù)計(jì)算這些點(diǎn)與周圍點(diǎn)之間的邊緣距離[Ed]，直到找到最小邊緣距離值[Ed]。結(jié)構(gòu)光方式的三維視覺透視模型如圖5所示，相關(guān)計(jì)算公式如下：[Xr=cx+cosθ·Sx·x-sinθ·Sy·y]

（8）[Yr=cy+sinθ·Sx·x+cosθ·Sy·y]

（9）[X=Xr+2n-12n]

（10）[X=Yr+2n-12n]

（11）[（x，y）]是原始坐標(biāo)的標(biāo)識(shí)，然而在金字塔圖的第[n]級(jí)，點(diǎn)的準(zhǔn)確坐標(biāo)被[（X，Y）]表示。平移、縮放和旋轉(zhuǎn)的參數(shù)則用[（cx，cy）]、[（sx，sy）]和[θ]來代替，這強(qiáng)調(diào)了匹配過程具備處理這些手勢(shì)幾何變換的能力。在此基礎(chǔ)之上，進(jìn)一步采用邊緣修復(fù)算法以補(bǔ)全不連續(xù)和模糊的邊緣。借助Chamfer距離匹配算法來查找手勢(shì)部分的鄰近區(qū)域，并把最優(yōu)配對(duì)的區(qū)域圖像和模版圖像進(jìn)行比較研究。對(duì)已獲得的更新版邊緣圖像進(jìn)行輪廓破損部位的修補(bǔ)，如果未找到新的斷點(diǎn)集合，針對(duì)每個(gè)斷點(diǎn)P，尋找模板中距離其最接近的Q，用一組Q把斷點(diǎn)輪廓?jiǎng)澐殖扇舾蓚€(gè)部分，然后，根據(jù)得出的和的相對(duì)位置，應(yīng)用以下公式生成一組新的點(diǎn)集P：[Pk=Pk-1+Qk-Qk-1]

（12）利用以Catmull-Rom插值作為基礎(chǔ)的曲線擬合方法將這些點(diǎn)連接起來，從而提升邊緣圖像的優(yōu)化。計(jì)算如下：[xi=aixk-2+bixk-1+cixk+dixk+1yi=aiyk-2+biyk-1+ciyk+diyk+1]

（13）[ai=12（-t3+2t2-t）][bi=12（3t3-5t2+2），t=iN][ci=12（-3t3+4t2+t）][di=12（t3-t2]上式中，[（xk-2，yk-2）]、[（xk-1，yk-1）]、[（xk，yk）]和[（xk+1，yk+1）]分別是Pk-2、Pk-1、Pk和Pk+1的坐標(biāo)。通過計(jì)算發(fā)現(xiàn)，該邊緣修復(fù)算法的精確度在TPR及FPR指標(biāo)上分別達(dá)到了94.6%和8.7%，如表1所示。相對(duì)于其他算法，這個(gè)特有性能在準(zhǔn)確性、識(shí)別力度和處理速度方面表現(xiàn)更好，這有利于提高人機(jī)交互的使用