汽車智能座艙系統(tǒng)與應(yīng)用 課件 模塊六 掌握智能座艙場景測試技術(shù)

能力模塊六

掌握智能座艙場景測試技術(shù)任務(wù)一

了解座艙場景的測試流程有效的測試可以確保座艙智能場景的穩(wěn)定性，提升用戶的使用體驗。作為智能座艙測試工程師，主管要求你根據(jù)最近開發(fā)的智能座艙語音相關(guān)的設(shè)備進行功能測試，并完成一份測試用例的填寫。任務(wù)引入Tasktointroduce01座艙場景測試流程設(shè)計02座艙場景測試流程實施目錄

CONTENTS03座艙場景測試流程管理座艙場景測試流程設(shè)計PART0101座艙場景測試流程設(shè)計

主要目的是構(gòu)建功能場景測試的標(biāo)準(zhǔn)或臨時數(shù)據(jù)集，從而找出誤報及漏報badcase，量化輸出指標(biāo)，并反饋給研發(fā)等其他部門。這些數(shù)據(jù)主要包括各個功能使用狀態(tài)下的正負樣本，以及常規(guī)使用狀態(tài)下的自然數(shù)據(jù)。常規(guī)使用下的自然數(shù)據(jù)，可以從不同氣候，艙內(nèi)人員不同的數(shù)量來綜合考慮。構(gòu)建一個完整的數(shù)據(jù)集，融合各類實體元素，也涵蓋了實體執(zhí)行的動作及實體之間的連接關(guān)系。測試數(shù)據(jù)集構(gòu)建01座艙場景測試流程設(shè)計臺架測試臺架測試主要是衡量各種算法，功能的指標(biāo)是否已經(jīng)達到了發(fā)行版本的標(biāo)準(zhǔn)。目前，測試硬件臺架的搭建，都是按照智能座艙領(lǐng)域的控制器的布置，上下游線束連接。輸入/輸出是否靈敏，算法的誤報率是否滿足要求，各項功能直接是否能協(xié)同工作等多方面。對于硬件還涉及各種信號線束的復(fù)用和擴展分路，以及是否滿足緊湊的布線要求。根據(jù)測試結(jié)果，將所有的結(jié)果進行梳理，什么地方需要分發(fā)，什么地方需要整合，什么地方還需要增強等將結(jié)果反饋給產(chǎn)品經(jīng)理和研發(fā)部門。01座艙場景測試流程設(shè)計實車測試

實車測試包含正常工況測試和復(fù)雜工況測試。正常工況測試可以測試座艙在典型場景下的安全性及舒適性，需通過專業(yè)測試工程師使用專業(yè)的測試設(shè)備，如駕駛?cè)?、目?biāo)物、采集設(shè)備等完成。復(fù)雜工況測試可以測試座艙對連續(xù)場景、復(fù)雜使用環(huán)境、突發(fā)意外情況的應(yīng)對能力等，需要配合數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)分析工具等完成。正常工況測試，除常規(guī)場景測試外，為保證場景的豐富性及覆蓋率，可人為在艙內(nèi)布置相關(guān)場景。座艙場景測試流程實施PART0202座艙場景測試流程實施不同類型的產(chǎn)品測試的方式和重點不一樣，測試流程也會不一樣。即使同樣類型的產(chǎn)品，不同的公司所制訂的測試流程也會不一樣。雖然不同軟件的詳細測試步驟不同，但它們所遵循的最基本的測試流程是一樣的。02座艙場景測試流程實施一、分析測試需求

測試人員在制訂測試計劃之前需要先對產(chǎn)品需求進行分析，以便對要開發(fā)的產(chǎn)品有一個清晰的認識，從而明確測試對象及測試工作的范圍和測試重點。在分析需求時還可以獲取一些測試數(shù)據(jù)，作為測試計劃的基本依據(jù)，為后續(xù)的測試打好基礎(chǔ)。二、制定測試計劃

測試工作貫穿于整個軟件開發(fā)生命周期，是一項龐大而復(fù)雜的工作，需要制訂一個完整且詳細的測試計劃作為指導(dǎo)。測試計劃是整個測試工作的導(dǎo)航圖，但它并不是一成不變的，隨著項目推進或需求變更，測試計劃也會不斷發(fā)生改變。02座艙場景測試流程實施三、設(shè)計測試用例

測試用例（TestCase）指的是一套詳細的測試方案，包括測試環(huán)境、測試步驟、測試數(shù)據(jù)和預(yù)期結(jié)果。

不同的公司會有不同的測試用例模板，雖然它們在風(fēng)格和樣式上有所不同，但本質(zhì)上是一樣的，都包括了測試用例的基本要素。02座艙場景測試流程實施四、執(zhí)行測試

執(zhí)行測試時要根據(jù)測試用例的優(yōu)先級進行。測試執(zhí)行過程看似簡單，只要按照測試用例完成測試工作即可，但實則并不如此。測試用例的數(shù)目非常多，測試人員需要完成所有測試用例的執(zhí)行，每一個測試用例都可能會發(fā)現(xiàn)很多缺陷，測試人員要做好測試記錄與跟蹤，衡量缺陷的質(zhì)量并編寫缺陷報告。五、編寫測試報告

測試報告是對一個測試活動的總結(jié)，對項目測試過程進行歸納，對測試數(shù)據(jù)進行統(tǒng)計，對項目的測試質(zhì)量進行客觀評價。座艙場景測試流程管理PART0303座艙場景測試流程管理嚴格按照產(chǎn)品測試管理流程，通過嚴格的產(chǎn)品測試工作，及時發(fā)現(xiàn)問題、解決問題，研發(fā)出高質(zhì)量的產(chǎn)品。采用適宜的方法對軟件產(chǎn)品的測試過程及測試中發(fā)現(xiàn)的軟件Bug進行全過程的監(jiān)控和跟蹤管理，以保證測試過程的有效性。如果發(fā)現(xiàn)某階段測試沒有實現(xiàn)預(yù)定的目標(biāo)，應(yīng)進行適當(dāng)調(diào)整或糾正。03座艙場景測試流程管理測試資源管理

測試資源管理主要包括對人力資源、工作環(huán)境、使用設(shè)備、技術(shù)支持的管理。測試過程中，針對測試進度合理調(diào)配測試人員、重新分配測試任務(wù)。做好測試環(huán)境的維護，保持測試環(huán)境穩(wěn)定。維護好測試人員使用的機器設(shè)備，確保設(shè)備正常運轉(zhuǎn)。03座艙場景測試流程管理測試問題管理

測試問題管理主要是對測試人員在對軟件產(chǎn)品測試過程中，發(fā)現(xiàn)問題的管理，對測試人員測試行為的管理。檢查測試人員是否執(zhí)行測試計劃規(guī)定檢查測試人員是否采用標(biāo)準(zhǔn)的格式記錄Bug，并按規(guī)定的流程提交測試記錄跟蹤發(fā)現(xiàn)的Bug是否及時得到解決，沒有解決的原因是什么針對測試過程遇到的問題，發(fā)現(xiàn)測試計劃、測試案例有遺漏或不對的地方應(yīng)及時提出優(yōu)化方案保持測試環(huán)境的清潔，規(guī)范測試數(shù)據(jù)，保證測試結(jié)果的準(zhǔn)確03座艙場景測試流程管理測試問題管理跟蹤測試進度，合理調(diào)配測試資源，及時解決影響測試進度的問題制定應(yīng)急措施，因某種原因造成項目發(fā)生沖突時，應(yīng)能及時對測試工作進行調(diào)整，盡快制定出有效的解決方案加強測試人員與技術(shù)人員的交流與合作，減少內(nèi)耗，提高工作效率使用測試管理工具，通過使用測試管理工具，可以有效控制、管理和改進測試過程，完善工作流程，及時發(fā)現(xiàn)問題、解決問題和反饋問題；同時可以高效地編寫、查詢和引用測試用例，快速填寫、修改和查詢軟件Bug報告，詳細記錄、跟蹤和管理每個軟件Bug的生命過程，直至排除這個Bug，同時提供相關(guān)的分析和統(tǒng)計報表1、查看教材中展示的測試用例，總結(jié)測試用例的結(jié)構(gòu)和內(nèi)容。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進行交流，并分享技巧。隨堂討論結(jié)合教材資料與下表提供的資料，制作一份關(guān)于音樂界面操作功能（上下曲切換、播放/停止）的測試用例，具體可填入教材所示的工單內(nèi)。任務(wù)實施感謝觀看能力模塊六

掌握智能座艙場景測試技術(shù)任務(wù)二

認知座艙場景的測試工具在實際開發(fā)環(huán)境中，需要用專門的工具去測試，對于測試工具，不同的團隊均會有不同的測試工具，在完成測試功能分析之后，主管要求你先匯總測試工具功能及使用方法相關(guān)資料，為團隊的正式測試工作做準(zhǔn)備。任務(wù)引入Tasktointroduce01圖像測試工具認知02語音測試工具認知目錄

CONTENTS03汽車智能座艙實訓(xùn)系統(tǒng)軟件認知圖像測試工具認知PART0101圖像測試工具認知問題一

數(shù)據(jù)量大、存儲難：錄制數(shù)據(jù)、閉環(huán)數(shù)據(jù)、現(xiàn)有的測試集和回灌生成的數(shù)據(jù)量很大，經(jīng)常需要不停地轉(zhuǎn)移，不同使用者來回拷貝，無法有效歸檔，易冗余和丟失。問題二

研發(fā)和測試數(shù)據(jù)難以一致:測試集、干擾集、自然駕駛、錄制的專項功能測試集、測試和研發(fā)在各自不停地清洗，每個版本需要驗證一致性對齊，異常繁瑣，費時費力。數(shù)據(jù)管理

座艙數(shù)據(jù)管理在實際開發(fā)中常面臨以下2個問題:

數(shù)據(jù)管理的本質(zhì)是實現(xiàn)物理數(shù)據(jù)的數(shù)字化，通過各種抽象標(biāo)簽對這些數(shù)據(jù)從不同維度表達我們的認知。最后像人類的語言一樣，通過不同的組合來表達不同的語義，從而檢索到需要的數(shù)據(jù)。01圖像測試工具認知數(shù)據(jù)管理01圖像測試工具認知自動化測試對于自動化測試來說，座艙測試方案從最初的單個重復(fù)回灌方式，到自動化回灌，到基于數(shù)據(jù)驅(qū)動的自動化測試方案，越來越受到重視自動化測試技術(shù)有良好的可重復(fù)性，高并發(fā)和高效率的特點，為各類測試項目顯營提高了測試效率，將測試人員從繁瑣的執(zhí)行中解放了出來。01圖像測試工具認知badcase管理對于badcase管理來說，座艙測試數(shù)據(jù)主要分為正樣本負樣本和自然駕駛。其中正樣本的badcase是漏報，負樣本和自然駕駛的badcase是誤報。測試場景數(shù)據(jù)和訓(xùn)練數(shù)據(jù)在場景上區(qū)別較大，會造成badcase較多的情況。但badcase并不能明確地確定模型現(xiàn)存缺陷，所以需要先對badcase打上不同的標(biāo)簽，進行多維度標(biāo)注。語音測試工具認知PART0202語音測試工具認知

語音測試工具主要是針對影音娛樂系統(tǒng)的語音喚醒、交互、控制及發(fā)聲等功能的測試。主要測試目標(biāo)包括：復(fù)雜工況環(huán)境下，語音交互功能的完整性、可靠性驗證在復(fù)雜工況環(huán)境下，語音交互結(jié)果與外部控制器之間的有效動作驗證02語音測試工具認知喚醒率測試喚醒語多語種（普通話、方言）的喚醒音頻文件（MP3格式）結(jié)果確認喚醒后HMI界面及反饋音（如：我在的/有什么需要幫助嗎？）環(huán)境確認多場景下的背景噪音音頻文件（MP3格式）一、條件準(zhǔn)備02語音測試工具認知喚醒率測試二、測試方法流程程序觸發(fā)系統(tǒng)收音：根據(jù)系統(tǒng)要求，首先，進行程序觸發(fā)系統(tǒng)收音，有的車機系統(tǒng)可以隨時喚醒則不需要此步驟。播放背景噪音和喚醒音頻：程序控制播放背景噪音和喚醒音頻具體是利用設(shè)定好的程序，播放背景噪音，用特定語音命令（喚醒音頻）來進行系統(tǒng)喚醒。設(shè)置等待時間：設(shè)置等待時間，一般為1秒。畫面檢查與收音對比：喚醒成功后，需要進行畫面檢查（圖像對比）以及收音比對。02語音測試工具認知外部控制測試一、條件準(zhǔn)備喚醒語使用多語種（普通話、方言）的設(shè)備控制音頻文件（MP3格式）環(huán)境噪音準(zhǔn)備多場景下的背景噪音音頻文件，格式為MP3格式。結(jié)果確認結(jié)果確認是根據(jù)文字識別（輸出預(yù)想）+HMI進行外部控制的測試確認02語音測試工具認知二、測試方法流程程序觸發(fā)系統(tǒng)收音：根據(jù)系統(tǒng)要求，首先，進行程序觸發(fā)系統(tǒng)收音，有的車機系統(tǒng)可以隨時喚醒則不需要此步驟。播放背景噪音和喚醒音頻：程序控制播放背景噪音和喚醒音頻具體是利用設(shè)定好的程序，播放背景噪音，用特定語音命令（喚醒音頻）來進行系統(tǒng)喚醒。設(shè)置等待時間：設(shè)置等待時間，一般為1秒。畫面檢查與收音對比：喚醒成功后，需要進行畫面檢查（圖像對比）以及收音比對。外部控制測試汽車智能座艙實訓(xùn)系統(tǒng)軟件認知PART0303汽車智能座艙實訓(xùn)系統(tǒng)軟件認知該系統(tǒng)有10個功能：電子助力轉(zhuǎn)向系統(tǒng)、車身控制模塊、電池管理系統(tǒng)、車輛控制單元、空調(diào)控制系統(tǒng)、智能座艙控制單元、集成測試、駕駛員狀態(tài)監(jiān)控單元、手勢識別控制單元以及語音識別控制單元。03汽車智能座艙實訓(xùn)系統(tǒng)軟件認知

其中，電子助力轉(zhuǎn)向系統(tǒng)（ElectricPowerSteering，EPS）是指依靠電機提供輔助扭矩的動力轉(zhuǎn)向系統(tǒng)。系統(tǒng)內(nèi)置講解視頻可進行學(xué)習(xí)，在進行EPS系統(tǒng)故障測試時，需要進行命令輸入和報文查看，具體操作如下：①查看備注開關(guān)②命令值填寫“01”③自動生成報文，其中bete7顯示01表示EPS故障④點擊“發(fā)送命令”⑤顯示當(dāng)前狀態(tài)03汽車智能座艙實訓(xùn)系統(tǒng)軟件認知

操作成功后可在儀表屏右上方查看EPS系統(tǒng)故障顯示。03汽車智能座艙實訓(xùn)系統(tǒng)軟件認知集成測試模塊：勾選待測模塊，點擊測試開始，測試時電腦會每隔一段時間隨機輸入命令值，觀察儀表屏和且主/副娛樂顯示屏測試數(shù)據(jù)。測試模塊包括：汽車速度、遠光燈控制、駕駛員側(cè)門控制、擋位控制顯示、動力電池SOC、充電功率顯示、空調(diào)風(fēng)速、室內(nèi)溫度、室外溫度、總百公里耗能顯示以及續(xù)航里程顯示03汽車智能座艙實訓(xùn)系統(tǒng)軟件認知

點擊測試結(jié)束，可停止測試，點擊歷史記錄會顯示最近的測試數(shù)據(jù)。1、概括語音測試工具的四類測試方法。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進行交流，并分享技巧。隨堂討論完成CAN信號模擬EPS系統(tǒng)故障測試與汽車儀表屏車門車燈測試，并填寫教材所示工單。任務(wù)實施感謝觀看能力模塊六

掌握智能座艙場景測試技術(shù)任務(wù)三了解座艙場景的測試標(biāo)準(zhǔn)與需求對于智能座艙，硬件是基礎(chǔ)，交互能力（系統(tǒng)）是用戶依賴的關(guān)鍵，而應(yīng)用生態(tài)則是多樣性體驗升級，面對豐富多樣的交互功能，熟悉各類測試需求和標(biāo)準(zhǔn)是十分必要的。作為智能座艙測試工程師，在某項目開發(fā)過程中，為統(tǒng)一測試數(shù)據(jù)內(nèi)容，主管要求你查閱測試標(biāo)準(zhǔn)并整理一份座艙交互功能測試需求清單，能夠更好完成測試工作。任務(wù)引入Tasktointroduce01座艙交互功能測試需求認知02車載視覺測試標(biāo)準(zhǔn)認知目錄

CONTENTS03車載語音測試標(biāo)準(zhǔn)認知座艙交互功能測試需求認知PART0101座艙交互功能測試需求認知智能座艙功能測試需求

功能測試主要是用于驗證功能是否正確實現(xiàn)，常規(guī)的功能測試有：語音交互測試視覺測試外設(shè)交互測試電源適配測試HMI頁面切換測試UI邏輯測試01座艙交互功能測試需求認知智能座艙功能測試需求語音交互測試用于驗證人機語音交互功能，包括語音識別、語音合成、語義識別、多語種識別、多方言識別、語音識別率等測試。視覺測試主要是圖像識別人臉識別測試，需考慮到光線、角度、距離等因素，測試指標(biāo)有識別率，誤識別率，響應(yīng)時間等外設(shè)交互測試主要是指外置移動U盤測試、智能移動終端測試01座艙交互功能測試需求認知智能座艙功能測試需求電源適配測試主要在不同的電壓環(huán)境、不同供電條件下的功能狀態(tài)測試，用于驗證智能座艙的電源適應(yīng)能力。HMI頁面切換測試以HMI界面切換設(shè)計為基礎(chǔ)，進行正向切換邏輯驗證，包括HMI滑屏切換、界面層級驗證界面元素拖拽界面一致性驗證。UI邏輯測試主要是進行UI界面一致性測試。常見的UI界面切換功能測試有：地圖應(yīng)用進入/退出測試、音樂進入/退出測試、電話進入/退出測試、天氣進入/退出測試、生活服務(wù)進入/退出測試等。性能測試主要是對智能座艙的穩(wěn)定性、可靠性、用戶體驗性等方面展開測試，主要包括：座艙啟動時間、應(yīng)用啟動時間、不同應(yīng)用的響應(yīng)時間、動作響應(yīng)時間、頁面切換流暢度、接觸的硬件材質(zhì)耐久可靠性、頁面切換流暢程度等等內(nèi)容。性能測試更加注重用戶的體驗感，將主觀評價客觀化，通過收集實際數(shù)據(jù)來進行分析，從而對智能座艙相關(guān)產(chǎn)品的應(yīng)用表現(xiàn)做出評估。01座艙交互功能測試需求認知智能座艙功能測試需求響應(yīng)時間驗證響應(yīng)時間作為智能座艙用戶體驗性指標(biāo)，反映了座艙產(chǎn)品的品質(zhì)。響應(yīng)時間測試，測試需求主要有車機冷啟動時間、儀表冷啟動時間、倒車影像冷啟動時間、路徑規(guī)劃冷啟動時間等。頁面流暢度測試主要的測試指標(biāo)有：最大連續(xù)卡頓幀數(shù)、平均幀率、卡頓總幀數(shù)、卡頓比率等。01座艙交互功能測試需求認知智能座艙性能測試需求車載視覺測試標(biāo)準(zhǔn)認知PART0202車載視覺測試標(biāo)準(zhǔn)認知專業(yè)評價指標(biāo)

實際測試過程中，需對不同場景維度以及車內(nèi)人員的為進行不同的排列組合及遍歷取值，以擴展場景邊界，有效覆蓋測試育區(qū)。在指標(biāo)方面，下表中的幾個專業(yè)指標(biāo)會被經(jīng)常用到。符號英文名解釋FNFalseNegative正樣本被預(yù)測為了負樣本的個數(shù)，即漏報FPFalsePositive負樣本被預(yù)測為了正樣本的個數(shù)，即誤報TNTrueNegative既是負樣本又被預(yù)測為負樣本的個數(shù)TPTruePositive既是正樣本又被預(yù)測為正樣本的個數(shù)，即檢測正確02車載視覺測試標(biāo)準(zhǔn)認知專業(yè)評測指標(biāo)

一、Recall（召回率）

也稱查全率，使用正樣本測試集輸出Recall，即在所有正樣本數(shù)據(jù)集中識別正確個數(shù)的比例，以目標(biāo)檢測為例，我們往往把圖片中的物體作為正例，召回率高代表著模型可以找出圖片中更多的物體。具體計算如下。02車載視覺測試標(biāo)準(zhǔn)認知專業(yè)評測指標(biāo)

二、Accuracy（準(zhǔn)確率）

評測指標(biāo)中最直觀表示，判斷正確的數(shù)據(jù)（TP+TN）占總數(shù)據(jù)的比例。表示有多少比例的樣本預(yù)測正確，多用于統(tǒng)計性別識別結(jié)果。具體計算如下。02車載視覺測試標(biāo)準(zhǔn)認知專業(yè)評測指標(biāo)

三、Precision（精確率）

針對模型判斷出的所有正例（TP+FP）而言，其中真正例（TP）占的比例.精確率也叫查準(zhǔn)率，還是以目標(biāo)檢測為例，精確率高表示模型檢測出的物體中大部分確實是物體，只有少量不是物體的對象被當(dāng)成物體。具體計算如下。車載語音測試標(biāo)準(zhǔn)認知PART0303車載語音測試標(biāo)準(zhǔn)認知序號測試內(nèi)容測試指標(biāo)詳細描述1喚醒率喚醒率=R/N*100%成功喚醒次數(shù)與喚醒詞總次數(shù)之比，假設(shè)測試語料中總共嘗試N次喚醒，