汽車智能座艙系統(tǒng)與應(yīng)用 課件 模塊三 掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用

能力模塊三

掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用任務(wù)一

了解機(jī)器視覺數(shù)字圖像處理技術(shù)智聯(lián)駕駛平臺(tái)提供的人臉識(shí)別、融合多類攝像頭與傳感器實(shí)現(xiàn)的ADAS功能與圖像處理技術(shù)密不可分。在開發(fā)任務(wù)中，主管要求你在熟悉座艙視覺傳感器拆裝之后，了解跟圖像相關(guān)的理論知識(shí)補(bǔ)充，熟悉圖像化預(yù)處理以及深度學(xué)習(xí)在圖像應(yīng)用，整理資料完成傳統(tǒng)淺層學(xué)習(xí)和深度學(xué)習(xí)的對(duì)比分析表與圖像處理技術(shù)文檔。任務(wù)引入Tasktointroduce01圖像處理的發(fā)展過程認(rèn)知02視覺處理結(jié)束認(rèn)知目錄

CONTENTS03特征檢測(cè)與匹配技術(shù)應(yīng)用與測(cè)試04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知圖像處理的發(fā)展過程認(rèn)知PART0101圖像處理的發(fā)展過程認(rèn)知在當(dāng)時(shí)那個(gè)年代如果不采用數(shù)字圖像處理，一張圖像傳達(dá)的時(shí)間需要7天，而借助數(shù)字圖像處理技術(shù)僅耗費(fèi)3小時(shí)。

上個(gè)世紀(jì)20年代，數(shù)字圖像處理最早應(yīng)用于報(bào)紙行業(yè)。由于報(bào)紙行業(yè)信息傳輸?shù)男枰桓５纂娎|從英國倫敦連輸?shù)矫绹~約，實(shí)現(xiàn)了第一幅數(shù)字照片的傳送。01圖像處理的發(fā)展過程認(rèn)知1972年10月芝加哥北美放射年會(huì)上展出了讓整個(gè)醫(yī)學(xué)界震驚的腦部以及完成該圖像的計(jì)算機(jī)輻射X線頭部成像設(shè)備，向世界隆重展示了CT，引起了醫(yī)學(xué)界的轟動(dòng)，這是當(dāng)時(shí)圖像處理在醫(yī)學(xué)診斷應(yīng)用中最重要的事件之一。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)技術(shù)與數(shù)字圖像處理兩者之間結(jié)合得越來越緊密，從而促進(jìn)了數(shù)字圖像處理技術(shù)的發(fā)展。01圖像處理的發(fā)展過程認(rèn)知20世紀(jì)70年代，借助計(jì)算機(jī)、人工智能等方面的快速發(fā)展，數(shù)字圖像處理技術(shù)實(shí)現(xiàn)了更高層次的發(fā)展。相關(guān)工作人員已經(jīng)著手研究如何使用計(jì)算機(jī)進(jìn)行圖像解釋。到70年代中期，麻省理工學(xué)院（MIT）人工智能（AI）實(shí)驗(yàn)室：CSAIL正式開設(shè)計(jì)算機(jī)視覺課程。01圖像處理的發(fā)展過程認(rèn)知

上個(gè)世紀(jì)80年代，研究人員將數(shù)字圖像處理應(yīng)用于地理信息系統(tǒng)。從這個(gè)階段開始數(shù)字圖像處理技術(shù)的應(yīng)用領(lǐng)域不斷擴(kuò)大，在工業(yè)檢測(cè)、遙感等方面也得到了廣泛應(yīng)用，在遙感方面實(shí)現(xiàn)了對(duì)衛(wèi)星傳送回來的圖像的處理。01圖像處理的發(fā)展過程認(rèn)知

到20世紀(jì)90年代，數(shù)字圖像處理技術(shù)得到了一個(gè)快速發(fā)展，其中特別是小波理論和變換方法的誕生，更好地實(shí)現(xiàn)了數(shù)字圖像的分解與重構(gòu)。01圖像處理的發(fā)展過程認(rèn)知從目前數(shù)字圖像處理技術(shù)的特點(diǎn)進(jìn)行分析，可以發(fā)現(xiàn)圖像信息量巨大，在圖像處理綜合性方面顯示出十分明顯的優(yōu)勢(shì)，其中就借助了圖像信息理論與通信理論的緊密聯(lián)系。加上數(shù)字圖像處理技術(shù)具有處理精度高、靈活性強(qiáng)、再現(xiàn)性好、適用面廣、信息壓縮的潛力大等特點(diǎn)，因此已經(jīng)成功地應(yīng)用在各個(gè)領(lǐng)域。

進(jìn)入到21世紀(jì)，借助計(jì)算機(jī)技術(shù)的飛速發(fā)展與各類理論的不斷完善，數(shù)字圖像處理技術(shù)的應(yīng)用范圍被拓寬，甚至已經(jīng)在某些領(lǐng)域取得突破。視覺預(yù)處理技術(shù)認(rèn)知PART0202視覺預(yù)處理技術(shù)認(rèn)知圖像預(yù)處理的目的一方面，圖像在采集中有可能發(fā)生幾何失真，為恢復(fù)場(chǎng)景和圖像的空間對(duì)應(yīng)關(guān)系，需要進(jìn)行坐標(biāo)變換。為了更方便有效地獲取其中的信息，提高后續(xù)加工的效率，常需對(duì)圖像進(jìn)行一定的預(yù)處理。另一方面，對(duì)圖像的幅度也需要進(jìn)行一定的調(diào)整，以改善圖像的視覺質(zhì)量。02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

對(duì)圖像進(jìn)行坐標(biāo)變換實(shí)際上是對(duì)像素坐標(biāo)的空間位置進(jìn)行變換，變換的結(jié)果是改變了像素在圖像中的分布和關(guān)系，不改變圖像的像素值。在坐標(biāo)變換中，主要包括三類：圖像平移、尺度變換和圖像旋轉(zhuǎn)。坐標(biāo)變換圖像平移尺度變換圖像旋轉(zhuǎn)02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

一、圖像平移

圖像中的所有像素點(diǎn)按照給定的平移量進(jìn)行水平或垂直方向上的移動(dòng)。如圖所示，假設(shè)原始像素的位置坐標(biāo)為（x0，y0），經(jīng)過平移量（△x，△y）后，坐標(biāo)變?yōu)椋▁1,y1）。一張圖像中的所有像素點(diǎn)均按照平移量進(jìn)行整體移動(dòng)，圖像就能夠?qū)崿F(xiàn)平移效果。02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

二、尺度變換

尺度變換也稱放縮變換，它改變像素間的距離，對(duì)物體來說則改變了物體的尺度。尺度變換一般是沿坐標(biāo)軸方向進(jìn)行的，或可分解為沿坐標(biāo)軸方向進(jìn)行的變換；簡(jiǎn)單來說，尺度變換是對(duì)數(shù)字圖像的大小進(jìn)行調(diào)整的過程。02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

三、圖像旋轉(zhuǎn)

圖像旋轉(zhuǎn)是指圖像以某一點(diǎn)為中心旋轉(zhuǎn)一定的角度，形成一幅新的圖像的過程。圖像旋轉(zhuǎn)變換會(huì)有一個(gè)旋轉(zhuǎn)中心，這個(gè)旋轉(zhuǎn)中心一般為圖像的中心，旋轉(zhuǎn)之后圖像的大小一般會(huì)發(fā)生改變。如圖圖表示原始圖像的坐標(biāo)（x0,y0）旋轉(zhuǎn)至（x1,y1）的過程。02視覺預(yù)處理技術(shù)認(rèn)知幾何失真較正

在許多實(shí)際的圖像采集處理過程中，圖像中像素之間的空間關(guān)系會(huì)發(fā)生變化，這時(shí)可以說圖像產(chǎn)生了幾何失真或幾何畸變。這時(shí)需要通過幾何變換來校正失真圖像中的各像素位置，以重新得到像素間原來應(yīng)有的空間關(guān)系。實(shí)現(xiàn)畸變矯正之前我們需要知道兩個(gè)重要參數(shù)，一個(gè)是相機(jī)內(nèi)參，另一個(gè)是畸變參數(shù)。02視覺預(yù)處理技術(shù)認(rèn)知灰度化處理

灰度化處理是一種基于圖像像素的操作，通過對(duì)原始圖像中的每個(gè)像素賦予一個(gè)新的灰度值來增強(qiáng)圖像，對(duì)原始圖像中的每個(gè)像素都用這個(gè)映射函數(shù)將其原來的灰度值s轉(zhuǎn)化成另一灰度值t再進(jìn)行輸出。簡(jiǎn)單來說就是輸入一幅圖像，將產(chǎn)生一幅輸出圖像，輸出圖像的每個(gè)像素點(diǎn)的灰度值由輸入像素點(diǎn)決定。02視覺預(yù)處理技術(shù)認(rèn)知

色圖像通常包括R、G、B三個(gè)分量，分別顯示出紅綠藍(lán)等各種顏色，灰度化就是使彩色圖像的R、G、B三個(gè)分量相等的過程，灰度圖像中每個(gè)像素僅具有一種樣本顏色，其灰度是位于黑色與白色之間的多級(jí)色彩深度，灰度值大的像素點(diǎn)比較亮，反之比較暗，像素值最大為255（表示白色），像素值最小為0（表示黑色）?；叶然幚?2視覺預(yù)處理技術(shù)認(rèn)知直方圖修正

假設(shè)存在一幅6×6像素的圖像，接著統(tǒng)計(jì)其1至6灰度級(jí)的出現(xiàn)頻率，并繪制如所示的柱狀圖，其中橫坐標(biāo)表示灰度級(jí)，縱坐標(biāo)表示灰度級(jí)出現(xiàn)的頻率。借助對(duì)圖像直方圖的修改或變換，可以改變圖像像素的灰度分布，從而達(dá)到對(duì)圖像進(jìn)行增強(qiáng)的目的。直方圖修正以概率論為基礎(chǔ)，常用的方法主要有直方圖均衡化和直方圖規(guī)定化。02視覺預(yù)處理技術(shù)認(rèn)知

一、均衡化

直方圖均衡化是一種典型的通過對(duì)圖像的直方圖進(jìn)行修正來獲得圖像增強(qiáng)效果的自動(dòng)方法，主要用于增強(qiáng)動(dòng)態(tài)范圍偏小的圖像的反差。這個(gè)方法的基本思想是把原始圖像的直方圖變換為在整個(gè)灰度范圍內(nèi)均勻分布的形式，這樣就增加了像素灰度值的動(dòng)態(tài)范圍，從而達(dá)到增強(qiáng)圖像整體對(duì)比度的效果。直方圖修正02視覺預(yù)處理技術(shù)認(rèn)知

二、規(guī)定化

直方圖規(guī)定化方法，用戶可以指定需要的規(guī)定化函數(shù)來得到特殊的增強(qiáng)功能。一般來說正確地選擇規(guī)定化的函數(shù)常有可能獲得比進(jìn)行直方圖均衡化所能獲得的更好的效果。簡(jiǎn)單來說就是按照給定的直方圖形狀調(diào)整原先圖像的直方圖信息。直方圖匹配使用到了直方圖變換以及均衡化的思想，通過建立映射關(guān)系，使期望圖像的直方圖達(dá)到一種特定的形態(tài)。直方圖修正特征檢測(cè)與匹配技術(shù)應(yīng)用PART0303特征檢測(cè)與匹配技術(shù)應(yīng)用特征檢測(cè)算法一、Harris角點(diǎn)檢測(cè)

角點(diǎn)檢測(cè)是最早提出的特征點(diǎn)檢測(cè)之一；角點(diǎn)沒有嚴(yán)格的定義，通常認(rèn)為角點(diǎn)是二維圖像亮度變化劇烈的點(diǎn)，或圖像邊緣曲線的曲率局部極大值點(diǎn)或多條邊緣曲線交匯點(diǎn)。

這種方法的缺點(diǎn)是響應(yīng)值非各向同性，對(duì)噪聲和邊緣敏感，對(duì)旋轉(zhuǎn)不具備不變性。03特征檢測(cè)與匹配技術(shù)應(yīng)用特征檢測(cè)算法二、尺度不變特征變換（SIFT） SIFT算法的不變特征提取具有無與倫比的優(yōu)勢(shì)，但其仍然存在實(shí)時(shí)性不高、有時(shí)特征點(diǎn)少、對(duì)邊緣模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等缺陷。事實(shí)上，SIFT描述子最大的問題在于計(jì)算量大、效率不高，不利于后面的特征點(diǎn)匹配。03特征檢測(cè)與匹配技術(shù)應(yīng)用特征檢測(cè)算法

特征匹配就像比較兩個(gè)圖像的特征，這兩個(gè)圖像可能在方向、視角、亮度上不同，甚至大小和顏色也不同。深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知PART0404深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知深度學(xué)習(xí)（DeepLearning）是源于人工神經(jīng)網(wǎng)絡(luò)的一種機(jī)器學(xué)習(xí)方法，是對(duì)人類神經(jīng)系統(tǒng)識(shí)別過程的模擬。深度學(xué)習(xí)簡(jiǎn)述通過搭建用于學(xué)習(xí)分析的神經(jīng)元網(wǎng)絡(luò)，對(duì)底層選取特征形成抽象的數(shù)字化屬性，以大規(guī)模數(shù)據(jù)為輸入基礎(chǔ)，將復(fù)雜的信息提取并精簡(jiǎn)表示。深度學(xué)習(xí)算法采用了由輸入層、隱含層、輸出層組成的多層網(wǎng)絡(luò)結(jié)構(gòu)。04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知輔助駕駛技術(shù)最大的作用就是提高汽車在駕駛過程中的安全性，是一種減少交通事故的有效手段。深度學(xué)習(xí)在輔助駕駛中的應(yīng)用針對(duì)傳感器技術(shù)、大數(shù)據(jù)分析、深度學(xué)習(xí)等方面進(jìn)行改進(jìn)優(yōu)化，使得硬件設(shè)備可以更快地感知到目標(biāo)信息，核心處理器算法能夠更快地計(jì)算控制。04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知傳統(tǒng)行人識(shí)別方法：主要通過人工設(shè)計(jì)特征和結(jié)合分類器來實(shí)現(xiàn)。比較經(jīng)典的方法有HOG+SVM、HOG+LBP等。這種方法可以避免行人遮擋的影響，但泛化能力和精度較低。基于深度學(xué)習(xí)方法:通過多層卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)行人進(jìn)行分類定位。基于輸入圖像獨(dú)立學(xué)習(xí)特征，提取的特征更加豐富。

行人檢測(cè)是車輛輔助駕駛系統(tǒng)中不可或缺的一部分。行人檢測(cè)需要及時(shí)檢測(cè)出車輛前方的行人并由系統(tǒng)或者駕駛員針對(duì)實(shí)際狀況采取相應(yīng)的措施。目前行人檢測(cè)方法主要分為兩類：深度學(xué)習(xí)算法在行人檢測(cè)中的應(yīng)用04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知

車道線是汽車行駛過程中道路上一種重要的交通標(biāo)志，用于約束車輛的基本行駛行為。對(duì)車道線的檢測(cè)和識(shí)別是影響輔助駕駛系統(tǒng)的基礎(chǔ)和關(guān)鍵。深度學(xué)習(xí)算法在車道檢測(cè)中的應(yīng)用基于深度學(xué)習(xí)算法的基本思路是通過已有或改進(jìn)的深度學(xué)習(xí)框架來實(shí)現(xiàn)檢測(cè)。通過使用大規(guī)模標(biāo)記數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其對(duì)于提取車道線特征具有良好特性，實(shí)現(xiàn)對(duì)車道線的檢測(cè)。1、簡(jiǎn)單描述深度學(xué)習(xí)在自動(dòng)駕駛中有哪些應(yīng)用。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論查閱資料，了解機(jī)器視覺數(shù)字圖像處理技術(shù)完成教材所示工單。任務(wù)實(shí)施感謝觀看能力模塊三

掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用任務(wù)二實(shí)現(xiàn)手勢(shì)交互技術(shù)的應(yīng)用作為一名智能座艙方向的開發(fā)助理，在智能控制板塊的開發(fā)過程中，主管需要你完成手勢(shì)識(shí)別功能，因此你的工作是制作一份PPT進(jìn)行手勢(shì)交互應(yīng)用實(shí)例展示，同時(shí)完成云端調(diào)用API實(shí)現(xiàn)手勢(shì)識(shí)別。任務(wù)引入Tasktointroduce01手勢(shì)交互的應(yīng)用場(chǎng)景02云端調(diào)用API實(shí)現(xiàn)目錄

CONTENTS03本地model部署手勢(shì)交互的應(yīng)用場(chǎng)景PART0101手勢(shì)交互的應(yīng)用場(chǎng)景

人機(jī)交互種類多樣化，常見的人機(jī)交互技術(shù)有基于鍵盤和鼠標(biāo)的輸入、基于聲音和面部表情以及手勢(shì)識(shí)別技術(shù)，其中手勢(shì)是一種具有特定意義的語言，具有自然、直觀以及靈活等優(yōu)點(diǎn)，手勢(shì)識(shí)別在模式識(shí)別和人機(jī)交互領(lǐng)域逐漸成為熱點(diǎn)研究。萬物互聯(lián)，人機(jī)交互技術(shù)越來越貼近于我們的生活，人機(jī)交互是計(jì)算機(jī)領(lǐng)域中的一項(xiàng)重要技術(shù)。01手勢(shì)交互的應(yīng)用場(chǎng)景VR手勢(shì)

VR是利用計(jì)算機(jī)技術(shù)來創(chuàng)建模擬環(huán)境。與傳統(tǒng)的用戶界面不同，VR通過模擬盡可能多的感官（例如視覺，聽覺，觸覺甚至氣味），將用戶帶入一種看似真實(shí)的體驗(yàn)，讓用戶沉浸在其中并能夠與3D世界互動(dòng)。在汽車行業(yè)內(nèi)，VR應(yīng)用于汽車駕駛、選款定制汽車內(nèi)飾、模擬駕駛、汽車設(shè)計(jì)制造等方面。01手勢(shì)交互的應(yīng)用場(chǎng)景VR手勢(shì)

得益于計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)的發(fā)展，現(xiàn)在能夠在普通攝像頭上實(shí)現(xiàn)精度較高的手勢(shì)識(shí)別。VR強(qiáng)調(diào)沉浸感，而手勢(shì)交互可以極大地提升VR使用中的沉浸感。所以VR+手勢(shì)這個(gè)落地方向很有前景，等VR得到普及后，定會(huì)改變?nèi)祟惖膴蕵贩绞?。此類代表產(chǎn)品：LeapMotion、uSens、極魚科技等。01手勢(shì)交互的應(yīng)用場(chǎng)景

AR，即增強(qiáng)現(xiàn)實(shí)（AugmentedReality，簡(jiǎn)稱AR），可以簡(jiǎn)單理解為，將一些很難體驗(yàn)到的實(shí)體信息（視覺信息、聲音、味道、觸覺等）模擬仿真疊加放在真實(shí)世界空間內(nèi)，被人類感官所感知。AR手勢(shì)01手勢(shì)交互的應(yīng)用場(chǎng)景

AR手勢(shì)技術(shù)，原理是輸入雙目灰度圖像，輸出雙手23關(guān)鍵點(diǎn)的3D位置和旋轉(zhuǎn)信息、手勢(shì)類別。以HoloLens為代表的很多公司都在做AR眼鏡。AR眼鏡可能會(huì)脫離實(shí)體的觸屏和鼠標(biāo)鍵盤這些輸入工具，取而代之的輸入是圖像和語音等。AR手勢(shì)01手勢(shì)交互的應(yīng)用場(chǎng)景這里用到的手勢(shì)識(shí)別比較簡(jiǎn)單，基本只要識(shí)別單點(diǎn)多點(diǎn)。但在使用過程中手很容易擋住投影儀顯示的屏幕，而且還有顯示清晰度的問題。桌面手勢(shì)此場(chǎng)景可能更多的是一種探索，落地的可能性較小。以SonyXperiaTouch為代表的投影儀+手勢(shì)識(shí)別，將屏幕投影到任何平面上，再通過手勢(shì)識(shí)別模擬觸屏操作。01手勢(shì)交互的應(yīng)用場(chǎng)景車載手勢(shì)識(shí)別是指計(jì)算機(jī)能夠識(shí)別人的不同手勢(shì)，并判斷不同手勢(shì)的相應(yīng)含義，從而實(shí)現(xiàn)對(duì)應(yīng)的功能。車載手勢(shì)手勢(shì)識(shí)別對(duì)人的限制非常小，并且自然、直觀，這令其在人機(jī)交互方式中脫穎而出。人和計(jì)算機(jī)之間的通信逐漸不再依賴中間媒介，人手成了終端設(shè)備的中間輸入工具，計(jì)算機(jī)被用戶預(yù)先定義的各類手勢(shì)加以操縱。云端調(diào)用API實(shí)現(xiàn)PART0202云端調(diào)用API實(shí)現(xiàn)調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API

云API的主要功能有：識(shí)別圖片中的手勢(shì)類型，返回手勢(shì)名稱、手勢(shì)矩形框、概率分?jǐn)?shù)，可識(shí)別24種常見手勢(shì)，適用于手勢(shì)特效、智能家居手勢(shì)交互等場(chǎng)景。

手勢(shì)識(shí)別的場(chǎng)景要求：主要適用于3米以內(nèi)的自拍、他人拍攝，1米內(nèi)識(shí)別效果最佳，拍攝距離太遠(yuǎn)時(shí)，手部目標(biāo)太小，無法準(zhǔn)確定位和識(shí)別。02云端調(diào)用API實(shí)現(xiàn)一、注冊(cè)API密鑰操作步驟

（一）登錄百度智能云

百度智能云的頁面網(wǎng)址為：/創(chuàng)建賬號(hào)登錄，進(jìn)行實(shí)名認(rèn)證。百度智能云的登錄頁面如圖所示。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)（二）選擇圖像識(shí)別在產(chǎn)品服務(wù)內(nèi)的人工智能模塊，選擇“圖像識(shí)別”功能。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)

（三）創(chuàng)建應(yīng)用

在應(yīng)用列表內(nèi)，點(diǎn)擊“創(chuàng)建應(yīng)用”，填寫應(yīng)用名稱為“手勢(shì)識(shí)別”，端口選擇：勾選“人體分析”內(nèi)的“手勢(shì)識(shí)別”，應(yīng)用歸屬選擇“個(gè)人”，應(yīng)用描述為“手勢(shì)識(shí)別”，點(diǎn)擊立即創(chuàng)建。創(chuàng)建過程如下所示。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API接上一頁02云端調(diào)用API實(shí)現(xiàn)

（四）查看API密鑰和Secret密鑰

創(chuàng)建完畢后返回到應(yīng)用列表，可查看到已經(jīng)創(chuàng)建好的應(yīng)用，在右側(cè)可查看該應(yīng)用對(duì)應(yīng)的API密鑰和Secret密鑰。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)（五）調(diào)用代碼調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)（六）返回結(jié)果調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)百度智能云實(shí)現(xiàn)手勢(shì)識(shí)別實(shí)例測(cè)試

在熟悉創(chuàng)建手勢(shì)識(shí)別應(yīng)用的步驟之后，我們可以利用汽車智能座艙實(shí)訓(xùn)軟件系統(tǒng)來進(jìn)行實(shí)例測(cè)試。在汽車智能座艙系統(tǒng)實(shí)訓(xùn)臺(tái)上，打開教學(xué)系統(tǒng)屏幕，在軟件系統(tǒng)頁面點(diǎn)擊“手勢(shì)識(shí)別控制單元（AGR)”。02云端調(diào)用API實(shí)現(xiàn)百度智能云實(shí)現(xiàn)手勢(shì)識(shí)別實(shí)例測(cè)試

在手勢(shì)識(shí)別控制單元頁面中，點(diǎn)擊“百度智能云實(shí)現(xiàn)方法”，點(diǎn)擊“實(shí)例測(cè)試”，可觀察到中間開啟了攝像頭，將對(duì)拍攝到的畫面進(jìn)行手勢(shì)識(shí)別，右上側(cè)為信息輸入（上下框內(nèi)分別輸入創(chuàng)建應(yīng)用環(huán)節(jié)中獲取到的APIKey和SecretKey信息），信息輸入后點(diǎn)擊運(yùn)行按鈕，攝像頭捕捉到的畫面進(jìn)行手勢(shì)識(shí)別，識(shí)別結(jié)果將返回到“識(shí)別結(jié)果”這一空白框內(nèi)。本地model部署PART0303

本地model部署TensorRT框架TensorRT是可以在NVIDIA各種GPU硬件平臺(tái)下運(yùn)行的一個(gè)C++推理框架。我們利用Pytorch、TF或者其他框架訓(xùn)練好的模型，可以轉(zhuǎn)化為TensorRT的格式，然后利用TensorRT推理引擎去運(yùn)行我們這個(gè)模型，從而提升這個(gè)模型在英偉達(dá)GPU上運(yùn)行的速度。03本地model部署OpenVINO框架

在英特爾CPU端（也就是我們常用的x86處理器）部署，首先OpenVINO，同時(shí)借助TensorFlow、PyTorch和Caffe*等熱門框架轉(zhuǎn)換和優(yōu)化訓(xùn)練后模型。在多種英特爾硬件和環(huán)境、本地、設(shè)備、瀏覽器或云中部署。03

本地model部署TensorRT框架

飛槳（PaddlePaddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國首個(gè)自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件和豐富的工具組件于一體。1、根據(jù)教學(xué)視頻，完成云端調(diào)用API的實(shí)現(xiàn)，填寫如教材所示的工單，進(jìn)行步驟確認(rèn)。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論利用互聯(lián)網(wǎng)搜索，手勢(shì)交互在VR、AR、桌面手勢(shì)、車載手勢(shì)應(yīng)用里，分別有哪些應(yīng)用實(shí)例？以小組為單位，查詢資料，制作一份PPT進(jìn)行應(yīng)用實(shí)例展示。任務(wù)實(shí)施感謝觀看能力模塊三

掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用任務(wù)三

完成DMS狀態(tài)監(jiān)測(cè)系統(tǒng)的調(diào)試圖像處理技術(shù)在智能座艙領(lǐng)域的另一個(gè)應(yīng)用是駕駛員監(jiān)測(cè)，通過在危險(xiǎn)情境下向駕駛員發(fā)出警示，幫助駕駛員改善駕駛行為，并根據(jù)駕駛員狀態(tài)進(jìn)行相應(yīng)干預(yù)，從而提高行車安全。主管需要你熟悉駕駛員監(jiān)測(cè)系統(tǒng)主要預(yù)警功能，根據(jù)實(shí)際開發(fā)案例整理一份算法流程圖進(jìn)行展示匯報(bào)，并基于前期理論基礎(chǔ)，完成DMS狀態(tài)監(jiān)測(cè)系統(tǒng)的應(yīng)用測(cè)試。任務(wù)引入Tasktointroduce01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介02常見智能座艙算法開發(fā)認(rèn)知目錄

CONTENTS03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)04百度智能云實(shí)現(xiàn)駕駛員狀態(tài)監(jiān)控駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介PART0101駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介通常檢測(cè)人臉眼睛和其他臉部特征以及行為，同時(shí)跟蹤變化，實(shí)現(xiàn)駕駛員疲勞、分神等不規(guī)范駕駛檢測(cè)，從而保障駕駛員的生命財(cái)產(chǎn)安全。

駕駛員監(jiān)測(cè)系統(tǒng)（DMS，Drivermonitoringsystem），是智能網(wǎng)聯(lián)汽車中很重要的一個(gè)人機(jī)交互系統(tǒng)。主要是通過一個(gè)面向駕駛員的攝像頭來實(shí)時(shí)監(jiān)測(cè)頭部、眼部、面部、手部等細(xì)節(jié)，可以從眼睛閉合、眨眼、凝視方向、打哈欠和頭部運(yùn)動(dòng)等檢測(cè)駕駛員狀態(tài)。01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介主要預(yù)警功能有以下幾大類：1.疲勞駕駛：主要包括閉眼，打哈欠，檢測(cè)到駕駛員有此行為觸發(fā)報(bào)警。2.分神駕駛：主要包括低頭，左顧右盼，檢測(cè)到駕駛員視線偏移超過1.0秒，可觸發(fā)報(bào)警。01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介主要預(yù)警功能有以下幾大類：3.接打電話：檢測(cè)到駕駛員有打電話行為時(shí)，觸發(fā)報(bào)警。4.抽煙：檢測(cè)到駕駛員有抽煙行為時(shí)，觸發(fā)報(bào)警。01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介

除了上述所列的行為狀態(tài)外，在DMS研究中還有情緒激動(dòng)，醉酒駕駛等狀態(tài)檢測(cè)等。除此之外，智能汽車艙內(nèi)攝像頭不僅僅是識(shí)別到駕駛員的行為，還能夠根據(jù)不同的駕乘人員，學(xué)習(xí)并記憶他們的操作習(xí)慣，并在不同的駕乘人員乘車時(shí)，做出個(gè)性化的推薦，打造個(gè)性化駕駛模式。常見智能座艙算法開發(fā)認(rèn)知PART0202常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程

在AI算法開發(fā)之前，我們必須要分析算法的應(yīng)用場(chǎng)景是什么？要解決什么問題？基于場(chǎng)景需要進(jìn)行理解，整理AI開發(fā)框架和思路。不同的項(xiàng)目對(duì)數(shù)據(jù)的要求，開發(fā)手段也是不一樣的。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程場(chǎng)景明確：在這個(gè)步驟中，我們需要對(duì)正常場(chǎng)景設(shè)計(jì)的流程進(jìn)行梳理，明確要求。例如，我們需要開發(fā)一個(gè)抽煙檢測(cè)的算法模型，那我們需要明確抽煙的動(dòng)作有哪些，行為是什么。數(shù)據(jù)準(zhǔn)備：主要是指收集和預(yù)處理數(shù)據(jù)的過程。按照確定的場(chǎng)景和目的，有目的性地收集、整合相關(guān)數(shù)據(jù)，數(shù)據(jù)準(zhǔn)備是AI開發(fā)的一個(gè)基礎(chǔ)。此時(shí)最重要的是保證獲取數(shù)據(jù)的真實(shí)可靠性。而事實(shí)上，不能一次性將所有數(shù)據(jù)都采集全，因此，在數(shù)據(jù)標(biāo)注階段你可能會(huì)發(fā)現(xiàn)還缺少某一部分?jǐn)?shù)據(jù)源，反復(fù)調(diào)整優(yōu)化。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程模型選擇：不僅要考慮精度與效率，還要考慮座艙內(nèi)的芯片能力。與通用芯片不同，智能座艙屬于端側(cè)處理，端側(cè)支持的算子有限。我們要對(duì)場(chǎng)景選擇合適的預(yù)訓(xùn)練模型或者網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練模型：訓(xùn)練模型的結(jié)果通常是一個(gè)或多個(gè)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型，模型可以應(yīng)用到新的數(shù)據(jù)中，得到預(yù)測(cè)、評(píng)價(jià)等結(jié)果。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程評(píng)估模型：模型選擇我們不僅要考慮精度與效率，還要考慮座艙內(nèi)的芯片能力。與通用芯片不同，智能座艙屬于端側(cè)處理，端側(cè)支持的算子有限。我們要對(duì)場(chǎng)景選擇合適的預(yù)訓(xùn)練模型或者網(wǎng)絡(luò)進(jìn)行訓(xùn)練。部署模型：模型部署是模型在實(shí)際項(xiàng)目中的落地應(yīng)用，模型部署包括了各種不同的編程語言的部署，比如常見的C/C++、JAVA、Python，以及其他語言，各種語言由于其自身的特性，在部署的時(shí)候部署方法也不大一樣，比如按照某些定義而言，C/C++屬于編譯型語言，Python屬于解釋型語言，總之兩者的程序執(zhí)行過程的差異導(dǎo)致它們?cè)诓渴鸬臅r(shí)候要考慮跨平臺(tái)性的問題。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介

一、三維實(shí)現(xiàn)估計(jì)

廣義的視線估計(jì)泛指與眼球、眼動(dòng)、視線等相關(guān)的研究。我們將介紹的主要以眼睛圖像或人臉圖像為處理對(duì)象，估算人的視線方向或注視點(diǎn)位置。（一）算法目標(biāo)

三維視線估計(jì)的目標(biāo)是從眼睛圖片或人臉圖片中推導(dǎo)出人的視線方向。通常，這個(gè)視線方向是由兩個(gè)角度，pitch（垂直方向）和yaw（水平方向）來表示的，在相機(jī)坐標(biāo)系下，視線的方向（gaze）不僅取決于眼睛的狀態(tài)（眼珠位置，眼睛開合程度等），還取決于頭部姿態(tài)。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介（二）評(píng)價(jià)指標(biāo)

在模型估計(jì)出pitch角（垂直角）和yaw角（水平角）之后，可以計(jì)算出代表視線方向的三維向量，該向量與真實(shí)的方向向量（groundtruth）之間的夾角即是視線方向領(lǐng)域最常用的評(píng)價(jià)指標(biāo)。（三）實(shí)現(xiàn)方法介紹

一般來說，視線估計(jì)方法可以分為基于幾何的方法（GeometryBasedMethods）和基于外觀的方法（AppearanceBasedMethods）兩大類?；趲缀蔚姆椒ǖ幕舅枷胧菣z測(cè)眼睛的一些特征（例如眼角、瞳孔位置等關(guān)鍵點(diǎn)），然后根據(jù)這些特征來計(jì)算視線方向（gaze）。而基于外觀的方法則是直接學(xué)習(xí)一個(gè)將外觀映射到gaze的模型。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介（四）單眼/雙眼視線估計(jì)

德國馬普所XucongZhang博士等最早嘗試使用神經(jīng)網(wǎng)絡(luò)來做視線估計(jì)，其成果發(fā)表在CVPR2015上。這個(gè)工作以單眼圖像為輸入，所使用的網(wǎng)絡(luò)架構(gòu)。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介

二、手勢(shì)檢測(cè)算法

隨著深度學(xué)習(xí)的研究與發(fā)展，基于深度學(xué)習(xí)的方法識(shí)別速度快，準(zhǔn)確率高，成為主流的手勢(shì)識(shí)別算法。

但深度學(xué)習(xí)的大多算法精度和速度不能兼得，造成很多模型在嵌入式端難以實(shí)現(xiàn)。在經(jīng)典算法YOLO系列算法中，2020年6月發(fā)布的YOLOv4-tiny算法，具有更快的目標(biāo)檢測(cè)速度，適合在移動(dòng)端和嵌入式等運(yùn)算能力不強(qiáng)的設(shè)備開發(fā)，能夠很好地解決上述的這個(gè)難題。

二、手勢(shì)檢測(cè)算法 YOLO是YouOnlyLookOnce的縮寫，意思是神經(jīng)網(wǎng)絡(luò)只需要看一次圖片，就能輸出結(jié)果。YOLOv4-tiny算法是在YOLOv4（YOLO第四代算法）的基礎(chǔ)上設(shè)計(jì)的，預(yù)測(cè)過程與YOLOv4相同，檢測(cè)速度得到大幅提升。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介

我們采用的是公開手勢(shì)數(shù)據(jù)集NUS-II對(duì)YOLOv4-tiny進(jìn)行再次訓(xùn)練，NUS-II是一個(gè)10類手勢(shì)數(shù)據(jù)集。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介三、分心行為檢測(cè)算法

基于深度學(xué)習(xí)的駕駛員分心行為識(shí)別方法的整體過程如圖所示。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介

模型以彩色圖像作為輸入，直接輸出駕駛員行為信息，是一種端到端的、非侵入式的駕駛員行為檢測(cè)算法。

設(shè)計(jì)搭建一個(gè)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由2個(gè)部分組成： 1）利用目標(biāo)檢測(cè)算法預(yù)測(cè)駕駛員位置信息，確定候選區(qū)域； 2）采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)候選區(qū)域內(nèi)的駕駛員分心行為進(jìn)行精確識(shí)別

四、疲勞檢測(cè)算法

隨著我國高速道路系統(tǒng)的不斷完善，各地方連接越發(fā)緊密，來自全國各地的車輛晝夜不停地行駛，長(zhǎng)時(shí)間的長(zhǎng)途跋涉讓駕駛?cè)藛T變得疲憊打瞌睡、注意力不集中、反應(yīng)遲鈍等等，這種情況是造成交通事故的主要原因之一，因此對(duì)駕駛員疲勞出現(xiàn)危險(xiǎn)行為時(shí)的預(yù)警系統(tǒng)是極其必要的。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介

（一）疲勞檢測(cè)算法分類

1.基于駕駛員的生理信號(hào)的檢測(cè)：通過檢測(cè)駕駛員的生理信號(hào)包括腦電圖信號(hào)EEG、眼電圖信號(hào)EOG、呼吸頻率等來判斷駕駛員此時(shí)的駕駛狀態(tài)，此方法的缺點(diǎn)是駕駛員要穿戴厚重的檢測(cè)儀器，不僅阻礙了駕駛員的行車視線，還容易發(fā)生交通事故。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介

（一）疲勞檢測(cè)算法分類

2.基于車道線及方向盤偏移角度的檢測(cè)：此方法是通過測(cè)量方向盤偏移角度或者車道偏離來判斷駕駛員此時(shí)的行駛狀態(tài)，但是缺點(diǎn)是得到結(jié)果的時(shí)間長(zhǎng)且精度低。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介

（一）疲勞檢測(cè)算法分類

3.基于機(jī)器視覺和圖像處理的疲勞檢測(cè)：這類方法通過攝像頭實(shí)時(shí)采集駕駛員的行為表情狀態(tài)，判斷駕駛員的頭部姿態(tài)，眼睛閉合頻率和單位時(shí)間打哈欠的次數(shù)來判斷駕駛員的疲勞程度，我們接下來將介紹這種方法來判斷駕駛員的行駛狀態(tài)的使用方法。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介（二）基于機(jī)器視覺和圖像處理的疲勞檢測(cè)算法

1.通過面部特征檢測(cè)駕駛員疲勞狀態(tài)一般分為三個(gè)類型：眨眼（眨眼次數(shù)增多、眨眼速度明顯變慢、眼睛微瞇）、打哈欠（單位時(shí)間打哈欠次數(shù)增加）、點(diǎn)頭（單位時(shí)間瞌睡點(diǎn)頭次數(shù)增加），通過單目攝像頭實(shí)時(shí)拍攝駕駛員的行車狀態(tài)，獲取到駕駛員的行車視頻流，對(duì)視頻流進(jìn)行循環(huán)讀取幀圖片。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介2.進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)之前需要得到人臉區(qū)域，我們采用MTCNN（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）算法進(jìn)行人臉檢測(cè)。MTCNN算法是一種使用卷積網(wǎng)絡(luò)的人臉檢測(cè)與對(duì)齊的方法。算法采用級(jí)聯(lián)CNN結(jié)構(gòu)，將三個(gè)卷積神經(jīng)網(wǎng)絡(luò)P-Net、R-Net與O-Net級(jí)聯(lián)到一起構(gòu)成強(qiáng)分類器。（二）基于機(jī)器視覺和圖像處理的疲勞檢測(cè)算法（二）基于機(jī)器視覺和圖像處理的疲勞檢測(cè)算法

3.基于卷積神經(jīng)網(wǎng)絡(luò)的MTCNN算法消耗的算力資源較大，對(duì)硬件要求較高，難以做到跟隨攝像頭輸入進(jìn)行實(shí)時(shí)檢測(cè)。

機(jī)動(dòng)車正常行駛途中駕駛員不會(huì)發(fā)生變更且頭部姿態(tài)變化不大，人臉在每幀之間的移動(dòng)幅度小，在獲取人臉區(qū)域后，采用KCF跟蹤算法對(duì)人臉區(qū)域進(jìn)行追蹤，從而減少算力消耗。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介（二）基于機(jī)器視覺和圖像處理的疲勞檢測(cè)算法

4.PERCLOS(PercentageofEyelidClosureoverthePupilOverTime)指的是在一段時(shí)間內(nèi)眼睛閉合時(shí)間占總時(shí)間的比值，是在疲勞檢測(cè)中被廣泛使用的判斷指標(biāo)，計(jì)算公式如下：02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介（二）基于機(jī)器視覺和圖像處理的疲勞檢測(cè)算法

5.MAR（MouthAspectRatio，嘴部縱橫比），仿照EAR的原理，通過對(duì)嘴部縱橫比的檢測(cè)來判斷嘴張開的大小。

6.我們通過MTCNN算法檢測(cè)人臉，再通過KCF算法跟蹤人臉區(qū)域，最后通過人臉特征點(diǎn)檢測(cè)算法ERT得到EAR與MAR值，由此計(jì)算PERCLOS值與判斷是否哈欠，最后通過多特征融合判斷方法得到駕駛員疲勞信息。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡(jiǎn)介案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)PART0303案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)建立吸煙圖像數(shù)據(jù)集一、圖像采集

在采集圖像前，首先要先對(duì)目標(biāo)特征進(jìn)行分析，以確保采集的圖像具有代表性。通過對(duì)大量包含吸煙者的圖像分析，總結(jié)出以下幾種類型的吸煙動(dòng)作。03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)建立吸煙圖像數(shù)據(jù)集二、圖像預(yù)處理

采集圖像數(shù)據(jù)的渠道為網(wǎng)絡(luò)和VOC2007通用目標(biāo)檢測(cè)數(shù)據(jù)集，采集到的圖像數(shù)據(jù)不能直接用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，還需要一些預(yù)處理工作，如統(tǒng)一圖像數(shù)據(jù)格式，對(duì)圖像重命名。03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)建立吸煙圖像數(shù)據(jù)集三、圖像標(biāo)注

經(jīng)過預(yù)處理的圖像數(shù)據(jù)還不能直接輸入深度學(xué)習(xí)網(wǎng)絡(luò)，需要經(jīng)過標(biāo)注等處理，同時(shí)由以上分析可知，吸煙者圖像較為復(fù)雜，若不加篩選地采集任意吸煙者圖像，將對(duì)后續(xù)圖像標(biāo)注工作造成困擾。為圖像打標(biāo)簽的工作被稱為圖像標(biāo)注。03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)建立吸煙圖像數(shù)據(jù)集四、標(biāo)注格式轉(zhuǎn)換 YOLOv5不能直接讀取XML文件，需要將XML文件轉(zhuǎn)化為TXT文件，其轉(zhuǎn)化思路為提取XML文件中重點(diǎn)關(guān)注的信息，并將其寫入TXT文本中。五、數(shù)據(jù)集劃分 YOLOv5不能直接讀取XML文件，需要將XML文件轉(zhuǎn)化為TXT文件，其轉(zhuǎn)化思路為提取XML文件中重點(diǎn)關(guān)注的信息，并將其寫入TXT文本中。03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)吸煙檢測(cè)算法訓(xùn)練常用參數(shù)說明weights權(quán)重文件路徑cfg存儲(chǔ)模型結(jié)構(gòu)的配置文件data存儲(chǔ)訓(xùn)練、測(cè)試數(shù)據(jù)的文件epochs指的就是訓(xùn)練過程中整個(gè)數(shù)據(jù)集將被迭代（訓(xùn)練）了多少次batch-size訓(xùn)練完多少張圖片才進(jìn)行權(quán)重更新img-size輸入圖片寬高點(diǎn)devicecudadevice,i.e.0or0,1,2,3orcpu。選擇使用GPU還是CPUworkers線程數(shù)，默認(rèn)是8

訓(xùn)練是將深度學(xué)習(xí)網(wǎng)絡(luò)投入使用的關(guān)鍵步驟，接下來我們將進(jìn)行訓(xùn)練參數(shù)配置。當(dāng)損失函數(shù)不斷減小直至最后收斂，整體呈下降趨勢(shì)，且下降速度由快到慢，逐漸逼近最優(yōu)解。訓(xùn)練初始時(shí)，損失函數(shù)較大，經(jīng)過5000次的訓(xùn)練，損失函數(shù)降至0.1以下，此時(shí)基本可以認(rèn)定深度學(xué)習(xí)模型訓(xùn)練結(jié)束。03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)吸煙檢測(cè)算法訓(xùn)練03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)吸煙檢測(cè)算法訓(xùn)練常用的部署工具有：TensorRT與OpenVINO。這兩個(gè)工具支持的模型框架都十分豐富。若在GPU環(huán)境上部署的話，優(yōu)先選擇TensorRT，轉(zhuǎn)化模型為TensorRT格式，利用TensorRT推理引擎去運(yùn)行我們這個(gè)模型，從而提升模型在英偉達(dá)GPU上運(yùn)行的速度。速度提升的比例是比較可觀的。

模型訓(xùn)練完成后，并且模型的精度和速度達(dá)到我們的項(xiàng)目要求后，我們就可以根據(jù)生產(chǎn)環(huán)境選擇部署導(dǎo)出。百度智能云實(shí)現(xiàn)駕駛員狀態(tài)監(jiān)測(cè)PART0404百度智能云實(shí)現(xiàn)駕駛員狀態(tài)監(jiān)測(cè)深度學(xué)習(xí)（DeepLearning）是源于人工神經(jīng)網(wǎng)絡(luò)的一種機(jī)器學(xué)習(xí)方法，是對(duì)人類神經(jīng)系統(tǒng)識(shí)別過程的模擬。實(shí)例測(cè)試在實(shí)例測(cè)試中，將獲取到的APIKey（API密碼）填入右側(cè)的id欄中，將獲取到的SecretKey（密鑰）填入到Secret欄中。點(diǎn)擊“打開攝像頭”，點(diǎn)擊“運(yùn)行”，對(duì)拍攝的畫面開始進(jìn)行駕駛員狀態(tài)監(jiān)控識(shí)別，識(shí)別結(jié)果將返回至識(shí)別結(jié)果欄中。1、查閱資料，完成教材所示工單。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論從互聯(lián)網(wǎng)搜索，結(jié)合教材，總結(jié)駕駛員監(jiān)測(cè)系統(tǒng)主要預(yù)警功能。任務(wù)實(shí)施感謝觀看能力模塊三

掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用任務(wù)四

實(shí)現(xiàn)機(jī)器視覺在安全輔助駕駛中的應(yīng)用安全輔助駕駛系統(tǒng)一直以來都是主動(dòng)駕駛領(lǐng)域的重點(diǎn)技術(shù)，能夠很大程度上提高車輛的安全性、經(jīng)濟(jì)性、駕乘舒適性。作為智能座艙的開發(fā)技術(shù)人員，主管要求你在理解常見的安全輔助駕駛技術(shù)應(yīng)用之后，能夠?qū)崿F(xiàn)智能座艙所涉及到的機(jī)器視覺在安全輔助駕駛上的具體應(yīng)用，完成智能座艙全景相機(jī)標(biāo)定工作。任務(wù)引入Tasktointroduce01360全景環(huán)視系統(tǒng)發(fā)展歷程02實(shí)現(xiàn)360全景相機(jī)標(biāo)定目錄

CONTENTS03常見安全輔助駕駛技術(shù)應(yīng)用04艙內(nèi)預(yù)警技術(shù)認(rèn)知360全景環(huán)視系統(tǒng)發(fā)展歷程PART0101360全景環(huán)視系統(tǒng)發(fā)展歷程2007年，日產(chǎn)公司發(fā)布了首款全景行車安全系統(tǒng)“環(huán)境監(jiān)視系統(tǒng)AVM”，2008年本田推出了mulTI-viewcamerasystem，2009年阿爾派推出TOPVIEW系統(tǒng)，2010年Fujitsu公司開發(fā)了MulTI-AngleVision系統(tǒng)。全景環(huán)視概念最早是由K.Kate，M.Suzuki，Y.Fujita，Y.Hirama等四人于2006年首先提出。這一概念提出后，馬上引起了國內(nèi)外眾多汽車生產(chǎn)廠商和相關(guān)科研單位的注意，隨著中國汽車工業(yè)的發(fā)展，以及全景環(huán)視系統(tǒng)技術(shù)的日漸成熟，國內(nèi)的大部分汽車廠家在乘用車、商用車、工程車上已布局360全景環(huán)視系統(tǒng)。01360全景環(huán)視系統(tǒng)發(fā)展歷程

在后裝市場(chǎng)，全景影像系統(tǒng)和當(dāng)年導(dǎo)航的發(fā)展軌跡是一樣的。只要一個(gè)功能是實(shí)用的，能被消費(fèi)者認(rèn)可，整合就是個(gè)必然結(jié)果。將來360全景系統(tǒng)和導(dǎo)航的結(jié)合也是一個(gè)必然趨勢(shì)。全景影像系統(tǒng)從分屏顯示到有縫拼接再到無縫全景，再到2D+3D全景，逐步擴(kuò)大視野范圍及安全性。實(shí)現(xiàn)360全景相機(jī)標(biāo)定PART0202實(shí)現(xiàn)360全景相機(jī)標(biāo)定啟動(dòng)應(yīng)用1.點(diǎn)擊Launcher頁面中的SDCalibrator應(yīng)用圖標(biāo)。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定啟動(dòng)應(yīng)用2.進(jìn)入應(yīng)用以后，就可以看到如圖所示的頁面；該頁面主要功能包括：切換攝像頭預(yù)覽圖像、選擇標(biāo)定范圍、標(biāo)定狀態(tài)顯示。切換攝像頭預(yù)覽圖像1.預(yù)覽畫面的右側(cè)，有一個(gè)汽車圖標(biāo)和4塊藍(lán)色區(qū)域，點(diǎn)擊藍(lán)色區(qū)域可以切換預(yù)覽圖像，對(duì)應(yīng)的分別是汽車的前后左右四個(gè)方向的圖像；通過切換四個(gè)方向的圖像來確認(rèn)攝像頭位置和標(biāo)定布的位置是否正確。標(biāo)定布的位置按照?qǐng)D所示的方式擺放。汽車擺放在標(biāo)定布中間，攝像頭圖像應(yīng)該是靠近汽車的位置在預(yù)覽圖像的下方，每個(gè)攝像頭的圖像都可以看到標(biāo)定布。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定切換攝像頭預(yù)覽圖像2.預(yù)覽畫面左側(cè)，有八個(gè)綠色加號(hào)圖標(biāo)，可以拖動(dòng)綠色加號(hào)圖標(biāo)來選擇標(biāo)定范圍。標(biāo)定范圍是標(biāo)定布在圖像中的位置。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定切換攝像頭預(yù)覽圖像

點(diǎn)擊預(yù)覽頁面中右下角的設(shè)置按鈕即可彈出設(shè)置對(duì)話框，現(xiàn)在有表所示的標(biāo)定參數(shù)可以進(jìn)行設(shè)置。具體參數(shù)需要通過實(shí)際測(cè)量獲取。02實(shí)現(xiàn)360全景相機(jī)標(biāo)定參數(shù)說明CarWidth車輛擺放后，所占用的標(biāo)定布的橫寬，單位毫米CarLength車輛擺放后，所占用的標(biāo)定布的縱長(zhǎng)，單位毫米Chesshorizontalcount標(biāo)定布內(nèi)橫向的棋盤格數(shù)量，現(xiàn)選個(gè)數(shù)為4Chessverticalcount標(biāo)定布內(nèi)縱向的棋盤格數(shù)量，現(xiàn)選個(gè)數(shù)為4Chesshorizontaloffset棋盤格水平偏移量，指標(biāo)定布上黑白格到標(biāo)定布邊緣的橫向距離，單位毫米Chessverticaloffset盤格垂直偏移量，指標(biāo)定布上黑白格到標(biāo)定布邊緣的縱向距離，單位毫米CarImageWidth車輛圖像寬度，單位毫米CarImageHeight車輛圖像高度，單位毫米Chessitemlength棋盤格單位長(zhǎng)度標(biāo)定狀態(tài)顯示1.標(biāo)定結(jié)束后，藍(lán)色區(qū)域會(huì)改變顏色反饋標(biāo)定結(jié)果。紅色表示該方向標(biāo)定失敗，綠色表示標(biāo)定成功。如下圖所示為前方標(biāo)定失敗，