汽車智能座艙系統(tǒng)與應用 課件 5-4 完成深度學習智能座艙開發(fā)流程的認知與實現(xiàn)

能力模塊五

掌握智能座艙中數(shù)據(jù)采集與處理技術(shù)的應用任務四

完成深度學習智能座艙開發(fā)流程的認知與實現(xiàn)作為智能座艙開發(fā)助理，在某次項目中，主管要求你根據(jù)項目開發(fā)要求去制定一個初版的數(shù)據(jù)開發(fā)流程，便于考核你對數(shù)據(jù)開發(fā)流程的熟悉程度。根據(jù)要求，在完成一些初步的數(shù)據(jù)處理和數(shù)據(jù)訓練后，你需要根據(jù)制定的開發(fā)流程，獨立完成一個小型的完整的本地部署任務。任務引入Tasktointroduce01智能座艙開發(fā)流程介紹02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)目錄

CONTENTS03駕駛員狀態(tài)監(jiān)控本地訓練部署智能座艙開發(fā)流程介紹PART0101智能座艙開發(fā)流程介紹智能座艙開發(fā)流程涉及：利用新場景、場景庫進行場景定義；利用HMI設(shè)計工具進行UI/UE設(shè)計（包含界面及交互邏輯設(shè)計）；利用HMI框架構(gòu)建工具搭建整個交互設(shè)計平臺；由開發(fā)人員基于搭建的交互設(shè)計平臺進行軟硬件開發(fā)；測試人員深入貫穿于整個開發(fā)過程進行階段性單元測試和集成測試。測試結(jié)果部署于車端進行搭載。整個過程由開發(fā)設(shè)計人員進行全方面維護。

01智能座艙開發(fā)流程介紹數(shù)據(jù)開發(fā)框架

整個開發(fā)數(shù)據(jù)平臺是一個全閉環(huán)流程，該閉環(huán)流程涉及四大數(shù)據(jù)處理過程，最終形成可用于訓練的有效模型。01智能座艙開發(fā)流程介紹數(shù)據(jù)開發(fā)框架

查找數(shù)據(jù)缺陷重新進行數(shù)據(jù)采集進行數(shù)據(jù)標注訓練數(shù)據(jù)模型數(shù)據(jù)開發(fā)框架流程01智能座艙開發(fā)流程介紹（1）數(shù)據(jù)缺陷

這一過程中，首先需要從已量產(chǎn)的產(chǎn)品中提取數(shù)據(jù)缺陷DATA-Failure；數(shù)據(jù)缺陷包含數(shù)據(jù)漏檢，虛假數(shù)據(jù)，數(shù)據(jù)校驗不通過部分等。（2）數(shù)據(jù)采集

針對數(shù)據(jù)缺陷需要重新進行數(shù)據(jù)采集DATA-Collection，該采集過程包含在開發(fā)階段通過搭建的數(shù)據(jù)采集平臺進行數(shù)據(jù)采集（比如可以是實車在駕駛過程中用到的駕駛艙內(nèi)外行車記錄儀、全景影像、前視或后視攝像頭等），也包含在已經(jīng)量產(chǎn)的車型中設(shè)置的數(shù)據(jù)埋點或影子模式方式進行。數(shù)據(jù)開發(fā)框架01智能座艙開發(fā)流程介紹（3）數(shù)據(jù)標注

采集數(shù)據(jù)進行數(shù)據(jù)標注DATA-Label，這里需要注意的是智能座艙和智能駕駛的標注方式上有所不同；如座艙主要設(shè)計圖片、語音等標注，ADAS主要涉及道路環(huán)境語義（如車道線、護欄、錐桶等標注類型）等標注。（4）數(shù)據(jù)模型

對于智能座艙算法而言，最重要的是進行人工智能的機器視覺算法訓練，該過程設(shè)計形成較為精準的數(shù)據(jù)模板，將標注后的數(shù)據(jù)用于進行數(shù)據(jù)模型訓練DATA-Model。數(shù)據(jù)開發(fā)框架AI算法倉庫主要是對數(shù)據(jù)平臺中的數(shù)據(jù)模型進行有效訓練，模型訓練主要高中低三種漸進開發(fā)模式。高級模式：該AI算法倉庫中訓練模型復雜，需要耗費較多的AI算力用于權(quán)值監(jiān)測、關(guān)鍵點檢測、圖像語義分割，圖形骨架提取等。中級模式：算法倉庫都是一些標準化模型，如安全帶、座椅識別等標準件的識別等；這種類型的識別過程都是一些標準化的識別過程，甚至不包含浮點運算，都是整型運算，算法耗費算力小，效率高。低級模式：算法倉庫中復雜度一般，分類較多，嵌入多模型組合進行分類，可實現(xiàn)諸如抽煙、打電話等駕駛員基本的操作過程識別。需要說明的是該模型對于開發(fā)團隊的能力建設(shè)要求較高。01智能座艙開發(fā)流程介紹應用開發(fā)框架01智能座艙開發(fā)流程介紹應用集成框架應用集成框架平臺包含利用AI應用開發(fā)中間件集成模型框架，搭建通信及底層組件開發(fā)集成過程中包含模型轉(zhuǎn)換（即浮點轉(zhuǎn)定點）與編譯，生成標準化模型，隨后通過加載模型跟配置（配置可以放到固定的地方）定義輸入輸出：編寫過程代碼（包含處理邏輯），接收函數(shù)框架，定義消息類型（自動反序列化與序列化），釋放軟件等過程釋放軟件等過程。后續(xù)可編譯生成.so文件，并加載到感知管道Pipeline中案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)PART02

根據(jù)各框架的優(yōu)缺點，結(jié)合應用實際我們選擇paddlepaddle，paddlepaddle提供直接的生產(chǎn)途徑。02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)深度學習框架選擇不管是在服務器、邊緣設(shè)備還是網(wǎng)絡(luò)上，paddlepaddle都可以幫助我們輕松地訓練和部署模型，無論您使用何種語言或平臺。一、下載anaconda Anaconda是一個開源的Python發(fā)行版本，其包含了conda、Python等180多個科學包及其依賴項。使用Anaconda可以通過創(chuàng)建多個獨立的Python環(huán)境，避免用戶的Python環(huán)境安裝太多不同版本依賴導致沖突。官網(wǎng)地址：/download/官方地址：/archive/清華大學鏡像：/anaconda/archive/訓練主機環(huán)境搭建02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)二、安裝anaconda

訓練主機環(huán)境搭建02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)數(shù)據(jù)集采集與制作

圖像數(shù)據(jù)采集圖像預處理圖像標注數(shù)據(jù)集預劃分數(shù)據(jù)集采集與制作流程02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)（1）圖像數(shù)據(jù)采集

由于我們的應用為駕駛員抽煙狀態(tài)檢測，而網(wǎng)絡(luò)上沒有免費公開的駕駛員抽煙面部姿態(tài)數(shù)據(jù)集，所以我們將利用攝像頭或者網(wǎng)上爬蟲來獲取數(shù)據(jù)。（2）圖像預處理

利用OpenCV對采集到的視頻以每秒10幀進行面部截取，并將截取到的圖片保存至相應文件夾中。數(shù)據(jù)集采集與制作02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)（3）圖像標注

目標檢測數(shù)據(jù)的標注推薦使用LabelMe標注工具，具體方法可以查看能力模塊五任務二“實現(xiàn)數(shù)據(jù)的采集與標注”。（4）數(shù)據(jù)集劃分

轉(zhuǎn)換完數(shù)據(jù)后，為了進行訓練，還需要將數(shù)據(jù)劃分為訓練集、驗證集和測試集，我們可以使用數(shù)據(jù)集劃分工具將數(shù)據(jù)劃分為70%訓練集，20%驗證集和10%的測試集。數(shù)據(jù)集采集與制作02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)PaddleX目前提供了FasterRCNN和YOLOv3兩種檢測結(jié)構(gòu)，多種backbone模型，可滿足開發(fā)者不同場景和性能的需求。我們選擇YOLOv3-MobileNetV3，優(yōu)點是模型小，移動端上預測速度有優(yōu)勢。模型訓練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)

定義訓練和驗證時的transforms #API說明 https://paddlex.readthedocs.io/zh_CN/develop/apis/transforms/det_transforms.html模型訓練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)

定義訓練和驗證所用的數(shù)據(jù)集 #API說明： https://paddlex.readthedocs.io/zh_CN/develop/apis/datasets.html#paddlex-datasets-vocdetection模型訓練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)#初始化模型，并進行訓練 #可使用VisualDL查看訓練指標，參考 https://paddlex.readthedocs.io/zh_CN/develop/train/visualdl.html模型訓練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn) #API說明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3模型訓練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)模型訓練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn) #API說明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#paddlex-det-yolov3 #API說明: https://paddlex.readthedocs.io/zh_CN/develop/apis/models/detection.html#id1模型訓練02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn) #各參數(shù)介紹與調(diào)整說明： https://paddlex.readthedocs.io/zh_CN/develop/appendix/parameters.html模型裁剪

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)模型裁剪可以更好地滿足在端側(cè)、移動端上部署場景下的性能需求，可以有效地降低模型的體積，以及計算量，加速預測性能。PaddleX集成了PaddleSlim的基于敏感度的通道裁剪算法，開發(fā)者可以在PaddleX的訓練代碼里輕松使用起來。模型裁剪訓練

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)在前兩步，我們得到了正常訓練保存的模型output/yolov3_mobilenetv3/best_model和基于該保存模型得到的參數(shù)敏感度信息文件yolov3_mobilenetv3.sensi.data，接下來則是進行模型裁剪訓練。模型部署導出

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)

檢查你的模型文件夾，如果里面是model.pdparams、model.pdopt和model.yml3個文件時，那么就可以使用下列命令進行模型導出。視頻預測

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)視頻預測

02案例：基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛員艙內(nèi)抽煙行為檢測系統(tǒng)流程的分析與實現(xiàn)駕駛員狀態(tài)監(jiān)控本地訓練部署PART03一、軟件連通

點擊汽車智能座艙系統(tǒng)實訓臺中的教學系統(tǒng)，選擇“駕駛員狀態(tài)監(jiān)控單元”，進入模塊頁面后，點擊實例測試，選擇模型為默認模型（256_best_Reset50_model.h5），打開攝像頭，點擊“建立通訊連接”，將軟件與python進行通訊連接。軟件連接與內(nèi)置數(shù)據(jù)集實例測試03駕駛員狀態(tài)監(jiān)控本地訓練部署二、內(nèi)置數(shù)據(jù)集實例測試

在軟件內(nèi)部，已經(jīng)嵌入與駕駛員狀態(tài)監(jiān)控相關(guān)的10類常見行為的數(shù)據(jù)集，具體包括：與乘客說話，右手發(fā)短信，右手打電話，喝水，安全駕駛，左手發(fā)短信，左手打電話，手伸向后座，操作收音機，調(diào)整臉部。在連通成功后可以直接點擊“運行”按鈕進行測試。軟件連接與內(nèi)置數(shù)據(jù)集實例測試03駕駛員狀態(tài)監(jiān)控本地訓練部署一、制作數(shù)據(jù)集

單個行為數(shù)據(jù)集的制作過程是：①打開攝像頭②填寫該行為的名稱（如打哈欠）③對展示行為進行拍照，截取該照片，截圖將顯示在右側(cè)④數(shù)據(jù)類別默認放置在train中⑤點擊“確認使用改數(shù)據(jù)”。自主創(chuàng)建與訓練模型03駕駛員狀態(tài)監(jiān)控本地訓練部署二、數(shù)據(jù)集管理

新創(chuàng)建的圖片數(shù)據(jù)可以在“數(shù)據(jù)集管理”頁面中觀察到，新增的圖片數(shù)據(jù)存儲默認路徑：DataBase->DNS->train->（新創(chuàng)建的行為名稱）->圖片名稱。三、訓練模型

與手勢識別自主訓練相似，駕駛員狀態(tài)監(jiān)控自主訓練模型也是需要進行如圖所示的參數(shù)配置：①選擇優(yōu)化器位adam；②確定訓練次數(shù)為100；③填寫數(shù)據(jù)種類數(shù)量（默認10，若有自主新增行為類型N類，實際種類數(shù)量為10+N）；④建立通訊連接；⑤點擊運行。點擊運行后就進入到自主訓練模型的過程。自主創(chuàng)建與訓練模型03駕駛員狀態(tài)監(jiān)控本地訓練部署自主創(chuàng)建與訓練模型03駕駛員狀態(tài)監(jiān)控本地訓練部署四、模型訓練測試

測試環(huán)節(jié)與內(nèi)置的數(shù)據(jù)集測試的操作