第6章 智能網(wǎng)聯(lián)汽車測評技術(shù)

第六章

智能網(wǎng)聯(lián)汽車測評技術(shù)

第一節(jié)

測試評價流程第二節(jié)

測試場景的構(gòu)建第三節(jié)

測試技術(shù)分類測評流程主要研究內(nèi)容包括：應(yīng)用場景（測什么）；測試場景（在什么環(huán)境下測）；測試方法與技術(shù)（用什么方法和手段測）；評價體系（如何評價），本白皮書基于此原則提出構(gòu)建智能網(wǎng)聯(lián)汽車產(chǎn)品測試評價流程，如圖6-1所示：第一節(jié)

測試評價流程圖6-1智能網(wǎng)聯(lián)汽車產(chǎn)品測試評價流程（1）應(yīng)用場景本測評流程優(yōu)先重點考慮五大連續(xù)運行場景：高速/環(huán)路、市內(nèi)運行、泊車/取車、封閉園區(qū)和城際/郊區(qū)，其中高速/環(huán)路為封閉道路，城際/郊區(qū)為半封閉道路，具有連接性的道路。不同應(yīng)用場景具有相對應(yīng)的連續(xù)測評場景、測試方法和評價方法。（2）測試場景通過自然駕駛數(shù)據(jù)、標(biāo)準(zhǔn)法規(guī)場景、危險工況場景和參數(shù)重組場景等數(shù)據(jù)來源構(gòu)建測試場景庫，該測試場景包括基礎(chǔ)和進(jìn)階測試場景，滿足基礎(chǔ)測試和優(yōu)化引導(dǎo)的需求。（3）測試方法與技術(shù)采用虛擬仿真測試、封閉場地測試、實際道路測試相結(jié)合的測試方法，通過設(shè)置測試條件、測試規(guī)程、測試通過條件等，搭建可實現(xiàn)自動駕駛功能與ODD全覆蓋的測試方法。（4）評價方法通過安全、體驗和配置三大維度對智能網(wǎng)聯(lián)汽車產(chǎn)品的能力進(jìn)行評價，該三大評價維度和其對應(yīng)的評價指標(biāo)包括基礎(chǔ)指標(biāo)和進(jìn)階指標(biāo)，滿足基礎(chǔ)測試和優(yōu)化引導(dǎo)的需求。自動駕駛測試場景是支撐智能網(wǎng)聯(lián)汽車測試評價技術(shù)的核心要素與關(guān)鍵技術(shù)，通過場景的解構(gòu)與重構(gòu)對智能網(wǎng)聯(lián)汽車進(jìn)行封閉場地測試和虛擬測試已成為業(yè)內(nèi)公認(rèn)的最佳測試手段，得到廣泛關(guān)注。自動駕駛測試場景具有無限豐富、極其復(fù)雜、不可預(yù)測、不可窮盡等特點，本章參考《自動駕駛測試場景技術(shù)發(fā)展與應(yīng)用》概述構(gòu)建測試場景庫的方法。第二節(jié)測試場景的構(gòu)建自動駕駛測試場景是一定時間和空間范圍內(nèi)車輛ODD元素、OEDR元素、自車元素的綜合信息融合。本白皮書所述自動駕駛測試場景應(yīng)根據(jù)五大運行環(huán)境，結(jié)合場景元素進(jìn)行構(gòu)建。例如，在高速公路行駛時的功能場景需要描述道路的幾何結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)、與其他交通參與者的交互以及天氣狀況等，而在地下停車場行駛則只需要描述建筑物的布局，此時天氣條件則不需要進(jìn)行詳細(xì)的描述。另一方面，需要識別ODD各種使用場景下的安全風(fēng)險，即基于安全分析，從系統(tǒng)內(nèi)部識別可能存在的失效，建立失效場景。綜上，場景元素主要包含

ODD元素、OEDR元素、自車元素和失效元素，如下：一、測試場景設(shè)計方法及要求

（1）ODD元素ODD元素主要包括道路信息、環(huán)境信息和交通參與者。道路信息通常包括道路類型（主車道、主從車道等）、道路表面（摩擦系數(shù)、材質(zhì)等）、道路幾何（曲率、坡度、交叉口）、交通標(biāo)志（交通燈與交通標(biāo)志牌）、道路設(shè)施元素（包括隧道、車站、立交橋、收費站，施工路段）等。環(huán)境信息主要包括天氣、光照和連接性等，其中，天氣元素包括晴天、雨天、雪天等不同天氣類型以及不同能見度等信息，光照指不同光照度下的環(huán)境，如：艷陽天、夜晚、黃昏、不同燈光照射下的環(huán)境等。連接性指自車所處環(huán)境的網(wǎng)絡(luò)連接性，V2X連接性以及是否支持高精地圖等特性。交通參與者主要包括機動車、非機動車、行人、障礙物、動物等。（2）OEDR元素OEDR是指相應(yīng)測試場景下自動駕駛系統(tǒng)需要探測的物體或者事件以及應(yīng)做出的響應(yīng)，作為仿真測試場景的關(guān)鍵考察方面，其主要包括交通參與者的類型及運動等信息。如在自車左前方的行人正在橫穿，自車前方的機動車減速等。（3）自車元素自車元素主要包括自我車輛的類型、性能特性和駕駛行為等，如自車為乘用車，最高車速為110km/h，正在進(jìn)行變道操作。（4）失效模式為保證自動駕駛的安全性，需測試車輛的失效響應(yīng)，通過設(shè)置一些失效模式如注入故障、超出ODD、傳感器失效等，設(shè)置超過ODD的參數(shù)取值等來驗證車輛的失效響應(yīng)能力。例如，按照感知系統(tǒng)失效（由于安裝、環(huán)境、車輛等因素導(dǎo)致的感知系統(tǒng)無法準(zhǔn)確識別到環(huán)境中的風(fēng)險）、復(fù)雜交通場景（交通流與道路的組合導(dǎo)致本車處于危險的交通環(huán)境）、車輛控制失效（如由于載荷、路面或側(cè)風(fēng)等原因?qū)е碌能囕v無法跟隨控制指令）等進(jìn)行分類。對智能網(wǎng)聯(lián)汽車進(jìn)行基于場景的各項測試時，構(gòu)建場景的數(shù)據(jù)來源多種多樣，通過對數(shù)據(jù)來源進(jìn)行分類，可將場景概括為四大類：自然駕駛場景、危險工況場景、標(biāo)準(zhǔn)法規(guī)測試場景以及參數(shù)重組測試場景。自然駕駛場景可包含智能網(wǎng)聯(lián)汽車所處的人-車-環(huán)境-任務(wù)等全方位信息，能夠很好地體現(xiàn)測試的隨機性、復(fù)雜性及典型性區(qū)域特點，為測試場景構(gòu)建中的充分測試場景。危險工況場景是智能網(wǎng)聯(lián)汽車測試過程中進(jìn)行自動駕駛控制策略驗證的關(guān)鍵部分，為場景構(gòu)建中的必要測試場景。標(biāo)準(zhǔn)法規(guī)測試場景通過現(xiàn)有的標(biāo)準(zhǔn)、評價規(guī)程等構(gòu)建測試場景，為場景構(gòu)建中驗證自動駕駛有效性的基礎(chǔ)測試場景。參數(shù)重組測試場景通過對靜態(tài)要素、動態(tài)要素以及駕駛?cè)诵袨橐刂g不同排列組合及遍歷取值，進(jìn)而補充大量未知工況的測試場景，有效覆蓋自動駕駛功能測試盲區(qū)，為場景構(gòu)建中的補充測試場景。針對某項特定自動駕駛功能設(shè)計測試場景，需定義自動駕駛系統(tǒng)的ODD，即明確系統(tǒng)在不同類型的道路上、道路的不同位置上、不同的速度范圍及其他環(huán)境條件下的功能表現(xiàn)，應(yīng)確保對自動駕駛系統(tǒng)使用場景的充分覆蓋。如圖6-2，根據(jù)不同自動駕駛系統(tǒng)的設(shè)計運行范圍，將測試場景分為高速/環(huán)路、市內(nèi)運行、泊車/取車、封閉園區(qū)和城際/郊區(qū)五種典型應(yīng)用場景。每種應(yīng)用場景下，可在不同抽象程度上基于ODD運行設(shè)計域、OEDR事件探測及響應(yīng)、自車行為及失效模式等元素，提取各類型典型場景，進(jìn)行場景參數(shù)標(biāo)注及統(tǒng)計分析，形成邏輯場景，而后基于邏輯場景的參數(shù)分布，大規(guī)模生成具體場景，并以通用場景格式存儲，構(gòu)成數(shù)萬級測試用例的場景庫。同時對于場景的評價也可以從ODD、OEDR、自車行為及失效模式等4個維度進(jìn)行量化，從而對場景進(jìn)行分級，形成基礎(chǔ)測試場景和進(jìn)階測試場景，分別實現(xiàn)對智能網(wǎng)聯(lián)汽車產(chǎn)品準(zhǔn)入的支撐，對市場上智能網(wǎng)聯(lián)汽車產(chǎn)品測評優(yōu)化的引導(dǎo)。圖6-2測試場景設(shè)計示意圖如圖6-3所示，不同數(shù)據(jù)來源（自然駕駛、危險工況、標(biāo)準(zhǔn)法規(guī)、參數(shù)重組）的場景用例設(shè)計首先語義描述其操作場景得到功能場景，然后通過參數(shù)化定義操作場景的狀態(tài)空間得到邏輯場景，接著對操作場景的狀態(tài)空間參數(shù)賦值得到具體場景，最后通過軟件建模復(fù)現(xiàn)具體場景得到測試用例。二、場景庫構(gòu)建流程及要求圖6-3測試場景用例設(shè)計流程自動駕駛測試場景對自動駕駛研發(fā)和測試工作起著重要作用。場景庫是場景的載體平臺，通過場景數(shù)據(jù)采集、分析挖掘、測試驗證等步驟，實現(xiàn)內(nèi)容閉環(huán)。通過上述場景元素、場景數(shù)據(jù)來源和場景設(shè)計方法得到自動駕駛測試場景。對自動駕駛場景進(jìn)行測試驗證主要是將場景庫內(nèi)已經(jīng)構(gòu)建好的場景抽取出來，用虛擬場景驗證、實車場景驗證等方法進(jìn)行驗證，確認(rèn)場景的真實性、代表性和有效性，從而更好地服務(wù)于研發(fā)和測試工作，包括模型在環(huán)、軟件在環(huán)（測試控制器模型與代碼之間的一致性）、硬件在環(huán)（半實物仿真，RCP，HIL）仿真測試，實車場地和道路測試等。與場景相關(guān)的測試結(jié)果反饋給場景庫，對場景的分析挖掘方法等進(jìn)行修正，或者根據(jù)需要重構(gòu)生成場景，更新補充完善場景庫。場景庫進(jìn)一步有效支撐測試研發(fā)工作，從而形成場景庫構(gòu)建與應(yīng)用的正向循環(huán)。第三節(jié)測試技術(shù)分類場景建設(shè)及功能劃分與智能網(wǎng)聯(lián)汽車仿真測試、場地測試、道路測試密不可分，如圖6-4所示。虛擬仿真測試應(yīng)覆蓋ODD范圍內(nèi)可預(yù)測的全部場景，包括不易出現(xiàn)的邊角場景，覆蓋ODD范圍內(nèi)全部自動駕駛功能；封閉場地測試應(yīng)覆蓋ODD范圍內(nèi)的極限場景，如安全相關(guān)的事故場景和危險場景，覆蓋自動駕駛系統(tǒng)正常狀態(tài)下的典型功能，驗證仿真測試結(jié)果；真實道路測試覆蓋ODD范圍內(nèi)典型場景組合的道路，覆蓋隨機場景及隨機要素組合，驗證自動駕駛功能應(yīng)對隨機場景的能力。圖6-4不同測試類型驗證不同場景功能示意圖總體上，虛擬仿真測試是加速自動駕駛研發(fā)過程和保證安全的核心環(huán)節(jié)，封閉場地測試是自動駕駛研發(fā)過程的有效驗證手段，真實道路測試是檢測自動駕駛系統(tǒng)性能的必要環(huán)節(jié),也是實現(xiàn)自動駕駛商業(yè)部署的前置條件。圖6-5給出了虛擬仿真測試、封閉場地測試、實際道路測試的測試流程圖。測評車型選定后，首先進(jìn)行審核與虛擬仿真測試，根據(jù)是否具備仿真測試條件，進(jìn)行虛擬仿真測試或者審核。如果具備虛擬仿真測試條件，則在虛擬仿真測試用例庫中依據(jù)虛擬仿真測試流程進(jìn)行驗證全部聲明的ODD和自動駕駛功能；如果不具備虛擬仿真測試條件，則依據(jù)評價指標(biāo)審核全部聲明的ODD和自動駕駛功能。并且根據(jù)第六章安全、體驗、配置進(jìn)行綜合的審核與仿真測試評價。其次進(jìn)行封閉場地測試，封閉場地測試用例圍繞五大運行場景建設(shè)：高速/環(huán)路、市內(nèi)運行、城際/郊區(qū)、泊車/取車、封閉園區(qū)；構(gòu)建測試用例參考附錄1安全元素。封閉場地測試依據(jù)聲明的ODD、自動駕駛功能在五大應(yīng)用場景測試用例庫中選取確定測試用例。實際道路測試首先需要獲取實際道路測試牌照，然后根據(jù)產(chǎn)品聲明的ODD確定測試路段。在測試過程中，必須達(dá)到一定的測試時長和里程，覆蓋自動駕駛必備功能，充分驗證自動駕駛的功能和性能表現(xiàn)。并且根據(jù)第六章安全、體驗、配置進(jìn)行綜合的實際道路測試評價。圖6-5智能網(wǎng)聯(lián)汽車產(chǎn)品測試流程1．虛擬仿真測試流程如圖6-6，針對智能網(wǎng)聯(lián)汽車自動駕駛功能的虛擬仿真測試，典型的測試流程包括：測試需求分析、測試資源配置、接口定義、設(shè)計測試用例、執(zhí)行測試、出具測試報告以及形成評價結(jié)論等主要環(huán)節(jié)。（1）測試需求分析針對自動駕駛功能，規(guī)范對應(yīng)的測試對象、測試項目、測試方法、測試資源配置、接口規(guī)范、數(shù)據(jù)存儲、評價方案和結(jié)果展示的具體要求，確定虛擬仿真任務(wù)的輸入（如虛擬仿真測試對象的數(shù)學(xué)模型、駕駛自動化系統(tǒng)指標(biāo)、自動駕駛功能要求以及相應(yīng)文檔）；確定虛擬仿真任務(wù)的輸出（如仿真數(shù)據(jù)、仿真結(jié)果分析以及相應(yīng)文檔），指導(dǎo)測試工作的開展。一、虛擬仿真測試（2）測試資源配置根據(jù)自動駕駛功能確定虛擬仿真測試所需資源，如人員需求、人員的責(zé)任、仿真模型要求、場地要求、設(shè)備需求等；對虛擬仿真系統(tǒng)進(jìn)行參數(shù)設(shè)置：包括車輛模型配置、靜態(tài)場景配置、動態(tài)場景配置、傳感器模擬配置、控制器配置等主要過程。圖6-6智能網(wǎng)聯(lián)汽車自動駕駛功能的虛擬仿真測試流程（3）接口定義根據(jù)模擬仿真測試對象確定用軟件或者實物來實現(xiàn)駕駛自動化系統(tǒng)的各部分，確定仿真系統(tǒng)各部分之間的接口關(guān)系，匹配各子系統(tǒng)和單元間接口，包括車輛模型、環(huán)境模型、傳感器模型、執(zhí)行器和控制器之間的接口等。（4）設(shè)計測試用例根據(jù)自動駕駛功能及ODD（五大應(yīng)用場景）設(shè)計測試用例，確定測試方案，確定虛擬仿真測試平臺依據(jù)的測試規(guī)則，先基礎(chǔ)后進(jìn)階高級增加測試場景，制定通過條件。（5）執(zhí)行測試虛擬仿真測試包括單一場景輸入測試和路網(wǎng)連續(xù)里程測試，通過單一場景輸入測試后進(jìn)行路網(wǎng)連續(xù)里程測試。當(dāng)發(fā)現(xiàn)某測試場景結(jié)果為不通過時，可終止單項測試或者重啟虛擬仿真測試流程。（6）出具測試報告通過軟件進(jìn)行自動化測試結(jié)果的數(shù)據(jù)處理，并根據(jù)規(guī)范生成測試報告，報告應(yīng)包括測試對象、測試人員、測試時間、測試結(jié)果和測試數(shù)據(jù)等內(nèi)容。（7）形成評價結(jié)論測試結(jié)果應(yīng)比對標(biāo)準(zhǔn)值和歷史數(shù)據(jù)，形成評價結(jié)果的評分。2.虛擬仿真測試基本要求（1）測試要求1）所有的測試項目都應(yīng)由駕駛自動化系統(tǒng)和算法完成，測試期間不應(yīng)對系統(tǒng)和算法進(jìn)行任何變更調(diào)整；應(yīng)說明測試系統(tǒng)的組成及工作原理，自動駕駛功能及設(shè)計運行范圍ODD，風(fēng)險減緩策略及最小安全狀態(tài)等；2）依據(jù)自動駕駛功能定義及范圍設(shè)計測試用例，應(yīng)至少包括設(shè)計運行范圍測試、動態(tài)駕駛?cè)蝿?wù)測試、目標(biāo)事件檢測和響應(yīng)測試、故障保護(hù)響應(yīng)、風(fēng)險減緩策略測試等；3）應(yīng)保證單一場景輸入測試中同一場景重復(fù)測試的高度一致性，并在測試報告中詳細(xì)記錄所有測試場景中的數(shù)次重復(fù)測試詳細(xì)的關(guān)鍵過程數(shù)據(jù)及結(jié)果：在多個相同場景下，通過在封閉場地和道路測試中獲取實車決策輸出，驗證虛擬仿真結(jié)果的有效性；4）路網(wǎng)連續(xù)里程測試應(yīng)第四章場景庫測試場景設(shè)計要求，遍歷預(yù)期ODD內(nèi)的測試場景，驗證駕駛自動化系統(tǒng)的ODD邊界，驗證駕駛自動化系統(tǒng)應(yīng)對極限場景的能力和魯棒性，驗證駕駛自動化系統(tǒng)的高里程通過性；通過路網(wǎng)連續(xù)里程測試發(fā)現(xiàn)駕駛自動化系統(tǒng)存在風(fēng)險項，應(yīng)對其在封閉場地進(jìn)行復(fù)現(xiàn)確認(rèn)，經(jīng)確認(rèn)一致后，應(yīng)將風(fēng)險項在測試報告中說明。

（2）通過條件1）單一場景通過指標(biāo)包括合規(guī)性指標(biāo)和安全性指標(biāo)。重點考察駕駛自動化系統(tǒng)運行時能否遵守道路交通法律法規(guī)、道路標(biāo)識規(guī)則等相關(guān)規(guī)定；駕駛自動化系統(tǒng)能夠避免碰撞等安全事故。一級指標(biāo)二級指標(biāo)三級指標(biāo)四級指標(biāo)合規(guī)性遵守交通規(guī)則不壓線車輛與標(biāo)線的相對位置

按照道路指示標(biāo)志行車指示標(biāo)志識別性、距離/速度/加速度值、車道線識別及相對位置滿足在用的其他標(biāo)準(zhǔn)法規(guī)的要求如AEB、LKA等

安全性不發(fā)生交通事故不與車輛發(fā)生碰撞本車與周邊車輛的相對速度和位置不與行人發(fā)生碰撞本車與行人的相對速度和位置表6-1虛擬仿真單一場景通過指標(biāo)2）連續(xù)場景通過指標(biāo)包括場景覆蓋度和安全運行里程，重點考察駕駛自動化系統(tǒng)應(yīng)對多功能、連續(xù)性場景時的系統(tǒng)性能。1．封閉場地測試項目封閉場地測試用例圍繞五大應(yīng)用場景建設(shè)：高速/環(huán)路、市內(nèi)運行、城際/郊區(qū)、泊車/取車、封閉園區(qū)。根據(jù)智能網(wǎng)聯(lián)汽車聲明的設(shè)計運行范圍ODD及自動駕駛功能，在五大應(yīng)用場景測試用例庫中選取確定測試用例，測試智能網(wǎng)聯(lián)汽車的真實表現(xiàn)。如表6-2，舉例說明了智能網(wǎng)聯(lián)汽車自動駕駛功能典型測試用例，其中測試用例設(shè)計元素可參考文獻(xiàn)[74]附錄1高速公路應(yīng)用場景下安全評價指標(biāo)示例。二、封閉場地測試表

6-2智能網(wǎng)聯(lián)汽車自動駕駛功能典型測試用例示例序號智能網(wǎng)聯(lián)汽車自動駕駛功能典型測試用例1跟車行駛2循線行駛3變道行駛4障礙物檢測及響應(yīng)5對動物的識別及響應(yīng)6行人和非機動車識別及避讓7對交警指揮手勢檢測和響應(yīng)8應(yīng)急車輛避讓9超車10交通標(biāo)志和標(biāo)線識別及響應(yīng)11道路盡頭調(diào)頭12靠路邊停車13交叉路口通行14環(huán)形路口通行15停車場通行16坡道停走17匝道匯入?yún)R出18施工區(qū)域通行19收費站通行20通過隧道21通過公交車站22通過學(xué)校區(qū)域原則上，針對高級別智能網(wǎng)聯(lián)汽車，應(yīng)在連續(xù)運行場景中針對自動駕駛功能進(jìn)行測試，以評價其真實的使用性能和體驗。但實際上，封閉場地的連續(xù)場景測試，對測評機構(gòu)的硬件設(shè)施能力要求較高，因此在現(xiàn)有測評能力不足的情況下，連續(xù)場景也可以拆分為單一測試場景進(jìn)行測試。23特殊天氣行駛（雨、雪、霧）24夜間行駛25自動泊車26路徑規(guī)劃27駕駛?cè)藸顟B(tài)監(jiān)控2．封閉場地測試場景設(shè)計根據(jù)企業(yè)申報的智能網(wǎng)聯(lián)汽車設(shè)計運行范圍ODD及自動駕駛功能，選取封閉場地測試項目，針對每個測試項目，設(shè)計封閉場地測試場景、測試方法與評價標(biāo)準(zhǔn)。封閉場地測試場景和測試用例設(shè)計原則上充分考慮場景的典型性、危險性以及對法律法規(guī)的符合性。測試車輛應(yīng)在不進(jìn)行軟硬件變更的條件下通過所有規(guī)定的測試用例，驗證產(chǎn)品駕駛自動化系統(tǒng)、人機交互功能的合規(guī)性和安全性。以城市道路場景中交通標(biāo)志識別及響應(yīng)測試為例，說明自動駕駛功能封閉場地測試場景、測試方法及通過標(biāo)準(zhǔn)：（1）測試場景設(shè)置測試道路為至少包含一條車道的長直道，并于該路段設(shè)置各類交通標(biāo)志牌，測試車輛對于標(biāo)志牌的識別能力并做出相應(yīng)執(zhí)行，如圖6-7所示。（2）測試方法及通過標(biāo)準(zhǔn)①禁止掉頭標(biāo)志識別及響應(yīng)測試方法。測試車輛在自動駕駛模式下，在距離禁止通行標(biāo)志100m前達(dá)到30km/h的車速，并勻速沿車道中間通過標(biāo)志；標(biāo)準(zhǔn)要求車輛能夠識別禁止掉頭標(biāo)志牌。②禁止通行標(biāo)志識別及響應(yīng)測試方法。測試車輛在自動駕駛模式下，在距離禁止通行標(biāo)志100m前達(dá)到30km/h的車速，并勻速沿車道中間在禁止通行標(biāo)志處停車；標(biāo)準(zhǔn)要求測試車輛能夠識別禁止通行標(biāo)志牌。圖6-