智能網(wǎng)聯(lián)汽車視覺(jué)感知系統(tǒng)預(yù)期功能安全第2部分：測(cè)試與評(píng)價(jià)方法

ICS

CCSCS

000

團(tuán)體標(biāo)準(zhǔn)

T/CSAExx－20xx

000

智能網(wǎng)聯(lián)汽車視覺(jué)感知系統(tǒng)預(yù)期功能安全

0第2部分：測(cè)試與評(píng)價(jià)方法00

Intelligentandconnectedvehicle－Safetyoftheintendedfunctionalityforvisual

perceptionsystem

PartII:Testingandevaluationmethod

（征求意見(jiàn)稿）

000

在提交反饋意見(jiàn)時(shí)，請(qǐng)將您知道的該標(biāo)準(zhǔn)所涉必要專利信息連同支持性文件一并附上

D0raftingguidelinesforcommercialgrades0standardofChinesemedicinal0materials

000

2022-xx-xx發(fā)布2022-xx-xx實(shí)施

中國(guó)汽車工程學(xué)會(huì)發(fā)布

000

000

T/CASExx－2021

000

目次

1范圍.................................................................................2

2規(guī)范性引用文件.......................................................................2

3術(shù)語(yǔ)和定義...........................................................................2

40視覺(jué)感知系統(tǒng)測(cè)試與評(píng)價(jià)流程................................0...........................03

5視覺(jué)感知系統(tǒng)測(cè)試范圍確定.............................................................3

5.1感知系統(tǒng)測(cè)試項(xiàng)確定................................................................3

5.2觸發(fā)條件篩選......................................................................4

5.3基礎(chǔ)場(chǎng)景篩選......................................................................4

5.4測(cè)試場(chǎng)景構(gòu)建......................................................................4

000

6測(cè)試方法定義.........................................................................5

6.1視覺(jué)感知系統(tǒng)測(cè)試方法..............................................................5

6.2視覺(jué)感知系統(tǒng)測(cè)試要求..............................................................5

7性能量化評(píng)價(jià).........................................................................6

7.1評(píng)價(jià)體系框架......................................................................6

07.2多維度評(píng)價(jià)................................0................................0........7

7.3單層級(jí)評(píng)價(jià)........................................................................9

7.4單場(chǎng)景評(píng)價(jià)........................................................................9

7.5多場(chǎng)景評(píng)價(jià)........................................................................9

7.6評(píng)估結(jié)果.........................................................................10

附錄A（資料性）感知系統(tǒng)測(cè)試項(xiàng)具體參數(shù)..................................................11

000

附錄B（規(guī)范性）觸發(fā)條件清單...........................................................13

附錄C（規(guī)范性）基礎(chǔ)場(chǎng)景清單...........................................................16

附錄D（資料性）視覺(jué)感知系統(tǒng)測(cè)試方法...................................................22

附錄E（資料性）評(píng)價(jià)指標(biāo)量綱歸一化參數(shù)..................................................24

附錄F（規(guī)范性）被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果模板....................................27

000

附錄G（資料性）視覺(jué)感知系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果示例................................29

000

I

000

T/CASExx－2021

000

前言

本文件按照GB/T1.1－2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》

的規(guī)定起草。

XXXX（團(tuán)標(biāo)號(hào)）《智能網(wǎng)聯(lián)汽車視覺(jué)感知系統(tǒng)預(yù)期功能安全》分為X部分：

——第一部分：觸發(fā)條件分析與描述方法

000

——第二部分：測(cè)試與評(píng)價(jià)方法

本部分為XXXX（團(tuán)標(biāo)號(hào)）的第2部分

請(qǐng)注意本文件的某些內(nèi)容可能涉及專利，本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)

任。

本文件由中國(guó)智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)創(chuàng)新聯(lián)盟提出。

本文件起草單位：同濟(jì)大學(xué)、上海機(jī)動(dòng)車檢測(cè)認(rèn)證技術(shù)研究中心有限公司、北京地平

線機(jī)器人技術(shù)研發(fā)有限公司、中汽研汽車檢驗(yàn)中心（天津）有限公司、優(yōu)力標(biāo)準(zhǔn)技術(shù)服務(wù)

000

有限公司、武漢路特斯科技有限公司、上海淞泓智能汽車科技有限公司、清華大學(xué)、國(guó)汽

（北京）智能網(wǎng)聯(lián)汽車研究院有限公司、上海禾賽科技有限公司、中國(guó)汽車工程研究院股

份有限公司、大唐高鴻智聯(lián)科技（重慶）有限公司、高通無(wú)線通信技術(shù)（中國(guó)）有限公司、

北京賽目科技有限公司、國(guó)汽智控（北京）科技有限公司、北京裕峻汽車技術(shù)研究有限公

司、中汽數(shù)據(jù)（天津）有限公司、毫末智行科技有限公司、通標(biāo)標(biāo)準(zhǔn)技術(shù)服務(wù)有限公司、

博世汽車部件（蘇州）有限公司、惠州市德賽西威汽車電子股份有限公司、工業(yè)和信息化

部電子第五研究所、南昌智能新能源汽車研究院、華東交通大學(xué)。

0本文件主要起草人：xx。00

000

000

000

000

T/CASExx－2021

000

引言

車輛的預(yù)期功能安全是指不存在因預(yù)期功能不足引起的危害而導(dǎo)致不合理的風(fēng)險(xiǎn)。

ISO21448提供了用于確保預(yù)期功能安全（SOTIF）的措施的通用論證框架和指南，為實(shí)現(xiàn)

和保持SOTIF所需的相關(guān)設(shè)計(jì)、驗(yàn)證和確認(rèn)措施以及在運(yùn)行階段的活動(dòng)提供指導(dǎo)。

000

本標(biāo)準(zhǔn)以ISO21448為基礎(chǔ)，針對(duì)其中的感知系統(tǒng)局限性分析、觸發(fā)條件識(shí)別、性能測(cè)

試評(píng)價(jià)的需求，規(guī)定了分析要求、測(cè)試方法和評(píng)價(jià)體系，適用于智能網(wǎng)聯(lián)汽車視覺(jué)感知系

統(tǒng)在設(shè)計(jì)開(kāi)發(fā)、測(cè)試驗(yàn)證、產(chǎn)品認(rèn)證等階段的測(cè)試評(píng)價(jià)活動(dòng)。

視覺(jué)感知系統(tǒng)是智能網(wǎng)聯(lián)汽車環(huán)境感知的重要組成部分，其受到外部環(huán)境影響因素干

擾下的感知性能表現(xiàn)對(duì)于智能網(wǎng)聯(lián)汽車的安全運(yùn)行至關(guān)重要，是車輛預(yù)期功能安全流程中

需關(guān)注的重要環(huán)節(jié)。其感知性能的局限性分析、測(cè)試與性能評(píng)價(jià)等對(duì)相關(guān)系統(tǒng)的工程應(yīng)用

均必不可少。

0本標(biāo)準(zhǔn)針對(duì)的是視覺(jué)感知系統(tǒng)的觸發(fā)條件分析和預(yù)期功能安全性能測(cè)評(píng)，同時(shí)它提供00

了一個(gè)方法框架，在該框架內(nèi)可以分析其他環(huán)境感知傳感器的性能局限。

本系列標(biāo)準(zhǔn)包括2部分。

其中第1部分主要針對(duì)視覺(jué)感知系統(tǒng)的觸發(fā)條件分析方法和描述規(guī)范：

a)提供了面向視覺(jué)感知系統(tǒng)的觸發(fā)條件分析要求；

b)提供了滿足安全分析、測(cè)試驗(yàn)證等不同需求的觸發(fā)條件描述規(guī)范；

c)提供了基于觸發(fā)條件和一般場(chǎng)景的感知系統(tǒng)測(cè)試用例構(gòu)建方法。

0其中第2部分主要針對(duì)視覺(jué)感知系統(tǒng)的測(cè)試方法和評(píng)價(jià)體系0：0

a)規(guī)定了典型視覺(jué)感知系統(tǒng)的測(cè)試評(píng)價(jià)流程、測(cè)試方法、測(cè)試要求；

b)提供了滿足視覺(jué)感知預(yù)期功能安全性能評(píng)價(jià)的評(píng)價(jià)體系和參考指標(biāo)；

c)提供了可參考的觸發(fā)條件清單及測(cè)試用例清單。

000

000

000

I

000

T/CASExx－2021

000

1范圍

本文件規(guī)定了智能網(wǎng)聯(lián)汽車視覺(jué)感知系統(tǒng)預(yù)期安全測(cè)試與評(píng)價(jià)規(guī)范。

本文件適用于智能網(wǎng)聯(lián)乘用車視覺(jué)感知系統(tǒng)在測(cè)試與驗(yàn)證階段、產(chǎn)品認(rèn)證階段針對(duì)預(yù)

期功能安全已知場(chǎng)景的測(cè)試范圍確定、測(cè)試方法定義和性能量化評(píng)價(jià)。

本文件不適用于非感知任務(wù)直接相關(guān)因素如視野盲區(qū)、設(shè)計(jì)缺陷等造成的系統(tǒng)性功能

0不足。00

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日

期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本

（包括所有的修改單）適用于本文件。

000

GB5768道路交通標(biāo)志和標(biāo)線

XXX-XXXXXX智能網(wǎng)聯(lián)汽車自動(dòng)駕駛功能場(chǎng)地試驗(yàn)方法及要求

T/CSAExx－20xx智能網(wǎng)聯(lián)汽車視覺(jué)感知系統(tǒng)預(yù)期功能安全第1部分：觸發(fā)條件分析

與描述方法

3術(shù)語(yǔ)和定義

000

T/CSAExx－20xx界定的以及下列術(shù)語(yǔ)和定義適用于本文。

3.1

感知系統(tǒng)測(cè)試項(xiàng)perceptionsystemtestitem

根據(jù)被測(cè)系統(tǒng)功能定義確定所需開(kāi)展測(cè)試的場(chǎng)景要素，用以指導(dǎo)測(cè)試開(kāi)展。

3.2

000

基礎(chǔ)場(chǎng)景basicscenario

視覺(jué)感知系統(tǒng)中感知狀態(tài)量化的交通環(huán)境，包含各類感知系統(tǒng)測(cè)試項(xiàng)。

3.3

被測(cè)系統(tǒng)systemundertest

按照本文件要求開(kāi)展測(cè)試與評(píng)價(jià)的視覺(jué)感知系統(tǒng)。

03.400

測(cè)試場(chǎng)景testscenario

用于自動(dòng)駕駛系統(tǒng)或被測(cè)車輛測(cè)試和評(píng)價(jià)的場(chǎng)景，由觸發(fā)條件結(jié)合基礎(chǔ)場(chǎng)景得到。

3.5

運(yùn)行設(shè)計(jì)域operationaldesigndomain；ODD

駕駛自動(dòng)化系統(tǒng)設(shè)計(jì)時(shí)確定的適用于其功能運(yùn)行的外部環(huán)境條件。

000

[來(lái)源：GB/T40429-2021，2.11]

2

000

T/CASExx－2021

03.600

真值系統(tǒng)groundtruthreferencesystem

測(cè)量或記錄測(cè)試過(guò)程中的各類信號(hào)數(shù)據(jù)，并能生成部分或全部測(cè)試指標(biāo)（如目標(biāo)類

別、位置、速度、加速度等）真值的軟硬件系統(tǒng)。

3.7

0測(cè)試系統(tǒng)testsystem00

搭載被測(cè)系統(tǒng)與真值系統(tǒng)的整車或其他測(cè)試平臺(tái)。

4視覺(jué)感知系統(tǒng)測(cè)試與評(píng)價(jià)流程

視覺(jué)感知系統(tǒng)預(yù)期功能安全測(cè)試與評(píng)價(jià)流程主要包括測(cè)試范圍確定、測(cè)試方法定義和

性能量化評(píng)價(jià)三步，測(cè)試與評(píng)價(jià)流程如圖1。

0測(cè)試范圍確定即根據(jù)被測(cè)系統(tǒng)的功能定義確定感知系統(tǒng)測(cè)試項(xiàng)，并篩選基礎(chǔ)場(chǎng)景和觸00

發(fā)條件，結(jié)合觸發(fā)條件與基礎(chǔ)場(chǎng)景構(gòu)建測(cè)試場(chǎng)景。

測(cè)試方法定義即根據(jù)觸發(fā)條件測(cè)試方法搭建測(cè)試平臺(tái)，開(kāi)展仿真回灌測(cè)試和封閉場(chǎng)地

測(cè)試，獲取測(cè)試數(shù)據(jù)。

性能量化評(píng)價(jià)即根據(jù)測(cè)試數(shù)據(jù)計(jì)算評(píng)價(jià)指標(biāo)，基于視覺(jué)感知系統(tǒng)預(yù)期功能安全性能量

化評(píng)價(jià)體系輸出評(píng)價(jià)結(jié)果。

000

000

圖1測(cè)試與評(píng)價(jià)流程

5視覺(jué)感知系統(tǒng)測(cè)試范圍確定

05.1感知系統(tǒng)測(cè)試項(xiàng)確定00

根據(jù)視覺(jué)感知系統(tǒng)所服務(wù)的自動(dòng)駕駛功能及其設(shè)計(jì)運(yùn)行域，確定系統(tǒng)預(yù)期應(yīng)感知并輸

出相關(guān)識(shí)別結(jié)果的感知系統(tǒng)測(cè)試項(xiàng)，感知系統(tǒng)測(cè)試項(xiàng)應(yīng)全面覆蓋自動(dòng)駕駛功能設(shè)計(jì)運(yùn)行域

范圍內(nèi)的各類要素。感知系統(tǒng)測(cè)試項(xiàng)包含具體參數(shù)見(jiàn)附錄A。

注：感知系統(tǒng)測(cè)試項(xiàng)應(yīng)根據(jù)行業(yè)通行做法，根據(jù)要素類型進(jìn)行分層描述，包括道路結(jié)構(gòu)（Layer1）、

交通基礎(chǔ)設(shè)施（Layer2）、道路和設(shè)施臨時(shí)改變（Layer3）、交通參與物（Layer4）和自車狀

態(tài)（Layer7），如表1所示。

000

3

000

T/CASExx－2021

000

表1感知系統(tǒng)測(cè)試項(xiàng)

分層要素類場(chǎng)景要素

Layer1道路結(jié)構(gòu)包括車道信息、路面狀態(tài)、標(biāo)志標(biāo)線、附屬物等

Layer2道路基礎(chǔ)設(shè)施包括各類交通信號(hào)燈、標(biāo)志牌等交通設(shè)施設(shè)備

Layer3道路和設(shè)施臨時(shí)改變包括道路條件變化、車道變化、車道占據(jù)等

0Layer4交通參與物0主要包括車輛、行人、非機(jī)動(dòng)車、動(dòng)物和各類障礙物0

Layer7自車狀態(tài)感知系統(tǒng)狀態(tài)：遮擋、凍結(jié)、反光

5.2觸發(fā)條件篩選

5.2.1觸發(fā)條件清單

觸發(fā)條件清單即視覺(jué)感知系統(tǒng)可能面臨觸發(fā)條件的集合，本文件共計(jì)了定義56個(gè)觸發(fā)

1)

0條件，視覺(jué)感知系統(tǒng)觸發(fā)條件清單如附錄0B所示。0

注：觸發(fā)條件的定義滿足《智能網(wǎng)聯(lián)汽車視覺(jué)感知系統(tǒng)預(yù)期功能安全第1部分：觸發(fā)條件分析與描

述方法》所定義的具體觸發(fā)條件。

5.2.2觸發(fā)條件篩選要求

視覺(jué)感知系統(tǒng)觸發(fā)條件作為測(cè)試場(chǎng)景的重要組成部分，需涵蓋被測(cè)系統(tǒng)的全部測(cè)試項(xiàng)。

篩選要求如下：

a)傳感器觸發(fā)類觸發(fā)條件：若被測(cè)系統(tǒng)具備相應(yīng)的自檢功能，則需選擇相應(yīng)的觸發(fā)

000

條件；

b)圖像質(zhì)量觸發(fā)類觸發(fā)條件：若被測(cè)系統(tǒng)運(yùn)行設(shè)計(jì)域內(nèi)涵蓋此類觸發(fā)條件，則需選

擇相應(yīng)的觸發(fā)條件；

c)圖像識(shí)別觸發(fā)類觸發(fā)條件：若被測(cè)系統(tǒng)的測(cè)試項(xiàng)包括此類要素，則需選擇相應(yīng)的

觸發(fā)條件。

5.3基礎(chǔ)場(chǎng)景篩選

000

5.3.1基礎(chǔ)場(chǎng)景清單

本文件中基礎(chǔ)場(chǎng)景的構(gòu)建參考了GB/T《智能網(wǎng)聯(lián)汽車自動(dòng)駕駛功能場(chǎng)地試驗(yàn)方法及

要求》。針對(duì)視覺(jué)感知系統(tǒng)測(cè)試項(xiàng)構(gòu)建了25個(gè)基礎(chǔ)場(chǎng)景2)，如附錄C所示。

5.3.2基礎(chǔ)場(chǎng)景篩選要求

視覺(jué)感知系統(tǒng)基礎(chǔ)場(chǎng)景篩選要求如下：

0a)測(cè)試項(xiàng)完整性：基礎(chǔ)場(chǎng)景涵蓋0被測(cè)系統(tǒng)全部感知系統(tǒng)測(cè)試項(xiàng)；0

b)參數(shù)完整性：基礎(chǔ)場(chǎng)景中要素的屬性涵蓋被測(cè)系統(tǒng)測(cè)試項(xiàng)全部參數(shù)。

5.4測(cè)試場(chǎng)景構(gòu)建

5.4.1測(cè)試場(chǎng)景構(gòu)建

1)觸發(fā)條件將隨視覺(jué)感知系統(tǒng)技術(shù)發(fā)展水平而更新，后續(xù)觸發(fā)條件更新將另行公布。

02)基礎(chǔ)場(chǎng)景將隨視覺(jué)感知系統(tǒng)技術(shù)發(fā)展水平而更新，后續(xù)基礎(chǔ)場(chǎng)景更新將另行公布。00

4

000

T/CASExx－2021

0本文件規(guī)定了視覺(jué)感知系統(tǒng)測(cè)試場(chǎng)景由基礎(chǔ)場(chǎng)景0結(jié)合觸發(fā)條件構(gòu)成，測(cè)試場(chǎng)景符合單0

一變量原則，各測(cè)試場(chǎng)景均由一個(gè)基礎(chǔ)場(chǎng)景疊加一個(gè)觸發(fā)條件約束得到。

5.4.2測(cè)試場(chǎng)景構(gòu)建原則

基礎(chǔ)場(chǎng)景上疊加觸發(fā)條件的原則如下：

a)傳感器觸發(fā)類觸發(fā)條件：觸發(fā)條件作為傳感器的補(bǔ)充要求添加至基礎(chǔ)場(chǎng)景，被測(cè)

系統(tǒng)全部基礎(chǔ)場(chǎng)景均需疊加此類觸發(fā)條件；

b)圖像質(zhì)量觸發(fā)類觸發(fā)條件：觸發(fā)條件作為場(chǎng)景的補(bǔ)充要求添加至基礎(chǔ)場(chǎng)景，被測(cè)

000

系統(tǒng)全部基礎(chǔ)場(chǎng)景均需疊加此類觸發(fā)條件；

c)圖像識(shí)別觸發(fā)類觸發(fā)條件：觸發(fā)條件作為基礎(chǔ)場(chǎng)景中感知系統(tǒng)測(cè)試項(xiàng)的補(bǔ)充屬性

添加至基礎(chǔ)場(chǎng)景，包含此類感知系統(tǒng)測(cè)試項(xiàng)的基礎(chǔ)場(chǎng)景均需疊加此類觸發(fā)條件。

6測(cè)試方法定義

6.1視覺(jué)感知系統(tǒng)測(cè)試方法

000

本文件采用的視覺(jué)感知系統(tǒng)測(cè)試方法包括：仿真回灌測(cè)試和封閉場(chǎng)地測(cè)試。測(cè)試方法

定義見(jiàn)附錄D。針對(duì)不同觸發(fā)條件的測(cè)試方法建議如附錄A所示。

6.2視覺(jué)感知系統(tǒng)測(cè)試要求

6.2.1仿真回灌測(cè)試要求

6.2.1.1硬件要求

000

仿真回灌測(cè)試的硬件要求包括：

a)虛擬仿真軟件計(jì)算平臺(tái)滿足攝像頭模型的實(shí)時(shí)渲染要求；

b)圖像傳輸系統(tǒng)滿足被測(cè)系統(tǒng)的幀率需求；

c)圖像傳輸系統(tǒng)的輸出滿足被測(cè)系統(tǒng)計(jì)算平臺(tái)接口要求；

d)圖像傳輸系統(tǒng)的輸入滿足虛擬仿真軟件計(jì)算平臺(tái)接口要求。

06.2.1.2軟件要求00

仿真回灌測(cè)試的軟件要求包括：

a)虛擬仿真軟件支持高真實(shí)的虛擬引擎；

b)虛擬仿真軟件滿足被測(cè)系統(tǒng)分辨率要求；

c)虛擬仿真軟件支持場(chǎng)景搭建；

d)虛擬仿真軟件滿足被測(cè)系統(tǒng)標(biāo)定要求；

e)虛擬仿真軟件滿足準(zhǔn)確性要求，包括環(huán)境模型、道路模型等；

0f)虛擬仿真軟件滿足視覺(jué)感知系統(tǒng)實(shí)時(shí)性要求。00

6.2.2封閉場(chǎng)地測(cè)試要求

6.2.2.1測(cè)試場(chǎng)地要求

封閉測(cè)試場(chǎng)地中基礎(chǔ)場(chǎng)景的要求如下：

a)測(cè)試場(chǎng)地能夠滿足測(cè)試場(chǎng)景搭建要求；

0b)測(cè)試場(chǎng)地?zé)o其他非觸發(fā)條件因素干擾0；0

5

000

T/CASExx－2021

0c)測(cè)試道路為平坦、干燥的瀝青或混凝土路面0:單車道寬度為3.5m~3.75m；0

d)測(cè)試道路坡度不超過(guò)1%；

e)測(cè)試場(chǎng)景標(biāo)志牌、標(biāo)線清晰可見(jiàn)，且符合GB5768《道路交通標(biāo)志和標(biāo)線》要求。

6.2.2.2測(cè)試系統(tǒng)要求

測(cè)試系統(tǒng)要求如下：

a)被測(cè)系統(tǒng)按要求安裝、標(biāo)定和調(diào)整，被測(cè)系統(tǒng)安裝誤差應(yīng)符合要求，如有必要，

0應(yīng)進(jìn)行動(dòng)態(tài)標(biāo)定；00

b)被測(cè)系統(tǒng)FOV內(nèi)無(wú)非測(cè)試場(chǎng)景要素干擾；

c)真值系統(tǒng)感知精度高于被測(cè)系統(tǒng)：

1）CAN信號(hào)采樣頻率應(yīng)不低于100Hz；

2）橫向距離測(cè)量精度應(yīng)達(dá)到0.25m/km；

3）縱向距離測(cè)量精度應(yīng)達(dá)到0.08m/km；

4）速度測(cè)量精度應(yīng)達(dá)到0.25m/s；

05）橫擺角速度測(cè)量精度應(yīng)達(dá)到00.052rad/s；0

6）縱向探測(cè)距離應(yīng)優(yōu)于被測(cè)系統(tǒng)的可視距離；

7）不同設(shè)備之間的數(shù)據(jù)傳輸應(yīng)進(jìn)行時(shí)間同步，時(shí)間同步精度不大于10ms。

d)測(cè)試精度要求：

1）測(cè)試系統(tǒng)和目標(biāo)車輛速度:0±2km/h；

2）測(cè)試系統(tǒng)和目標(biāo)車輛加速度:0±0.5m/s2；

3）測(cè)試系統(tǒng)和目標(biāo)車輛相對(duì)橫向距離:0±0.1m；

4）測(cè)試系統(tǒng)與目標(biāo)車輛相對(duì)縱向距離:0±0.1m。

000

7性能量化評(píng)價(jià)

7.1評(píng)價(jià)體系框架

依據(jù)對(duì)感知系統(tǒng)測(cè)試項(xiàng)的分析與分解，視覺(jué)感知系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)體系框架

分為五個(gè)層次：多維度評(píng)價(jià)、單目標(biāo)物評(píng)價(jià)、單層級(jí)評(píng)價(jià)、單場(chǎng)景評(píng)價(jià)和多場(chǎng)景評(píng)價(jià)。如

0圖2所示。00

000

圖2視覺(jué)感知系統(tǒng)預(yù)期功能安全評(píng)價(jià)體系

000

6

000

T/CASExx－2021

07.2多維度評(píng)價(jià)00

多維度評(píng)價(jià)從準(zhǔn)確性、精準(zhǔn)性、穩(wěn)定性、及時(shí)性和完整性等5個(gè)維度進(jìn)行評(píng)價(jià)，不同評(píng)

價(jià)維度下的評(píng)價(jià)指標(biāo)如錯(cuò)誤!未找到引用源。所示。根據(jù)感知系統(tǒng)測(cè)試項(xiàng)參數(shù)在整個(gè)測(cè)試過(guò)

程的測(cè)試結(jié)果計(jì)算各評(píng)價(jià)指標(biāo)。不同評(píng)價(jià)指標(biāo)量綱不盡相同，應(yīng)對(duì)各評(píng)價(jià)指標(biāo)進(jìn)行歸一化

處理。

表2各維度評(píng)價(jià)指標(biāo)

評(píng)價(jià)維度維度解釋評(píng)價(jià)指標(biāo)指標(biāo)解釋

0針對(duì)離散型數(shù)據(jù)結(jié)果的精確度0精準(zhǔn)率，所有的檢測(cè)結(jié)果中，被正確檢測(cè)0

準(zhǔn)確性Precision

評(píng)價(jià)的目標(biāo)數(shù)占所有檢測(cè)目標(biāo)的比重

針對(duì)連續(xù)型數(shù)據(jù)結(jié)果的精確度平均誤差，體現(xiàn)正預(yù)測(cè)對(duì)象位置上的精確

精確性Meanerror

評(píng)價(jià)度，用于衡量對(duì)象位置確定的精確程度

針對(duì)檢測(cè)結(jié)果關(guān)于對(duì)象、空占空因子，準(zhǔn)確預(yù)測(cè)的比例，包括時(shí)間比

穩(wěn)定性DutyFactor

間、時(shí)間的一致性進(jìn)行評(píng)價(jià)例、空間比例等

針對(duì)感知系統(tǒng)檢測(cè)目標(biāo)的遲滯上報(bào)延遲，視覺(jué)感知系統(tǒng)輸出識(shí)別結(jié)果時(shí)

及時(shí)性ReportDelay

性評(píng)價(jià)刻與視覺(jué)傳感器輸出圖像時(shí)刻差值

查全率或召回率，從預(yù)測(cè)的角度，應(yīng)該被

完整性針對(duì)檢測(cè)結(jié)果的完備性的評(píng)價(jià)Recall

00預(yù)測(cè)為正類的對(duì)象中，被正確識(shí)別的比例0

7.2.1評(píng)價(jià)指標(biāo)計(jì)算方法

7.2.1.1Precision：計(jì)算公式如下：

∑??

?????????=?·············································(1)

∑???+∑???

000

式中：

???——即真實(shí)數(shù)（TP），在第t幀中該目標(biāo)存在假設(shè)相關(guān)屬性與其匹配；

???——即誤檢數(shù)（FP），在第t幀中給出的假設(shè)相關(guān)屬性沒(méi)有目標(biāo)與其匹配。

7.2.1.2Meanerror：計(jì)算公式如下：

∑|???|

?????????=??··············································(2)

00∑???0

式中：

??——即第t幀目標(biāo)與其配對(duì)假設(shè)屬性之間的差值，即匹配誤差；

?——即第t幀目標(biāo)與其配對(duì)假設(shè)屬性之間的真值；

??——即第t幀中該目標(biāo)存在假設(shè)屬性與其匹配。

7.2.1.3DutyFactor：計(jì)算公式如下：

000

∑??

??????????=??···············································(3)

∑???

式中：

???——即真實(shí)數(shù)（TP），在第t幀中該目標(biāo)存在假設(shè)相關(guān)屬性與其匹配；

??——即測(cè)試項(xiàng)位于被測(cè)系統(tǒng)感知范圍的總幀數(shù)。

7.2.1.4ReportDelay：計(jì)算公式如下：

000

7

000

T/CASExx－2021

00???????????=?????············································0(4)

式中：

??——即視覺(jué)傳感器輸出圖像時(shí)刻；

??——即視覺(jué)感知系統(tǒng)輸出識(shí)別結(jié)果時(shí)刻。

7.2.1.5Recall：計(jì)算公式如下：

∑????

00??????=···············································0(5)

∑????+∑????

式中：

???——即真實(shí)數(shù)（TP），在第t幀中該目標(biāo)存在假設(shè)相關(guān)屬性與其匹配；

???——即漏檢數(shù)（FN），在第t幀中未檢出目標(biāo)相關(guān)屬性。

7.2.2評(píng)價(jià)指標(biāo)量綱歸一化

各評(píng)價(jià)指標(biāo)均符合單調(diào)性，本文件采用線性分段函數(shù)進(jìn)行量綱歸一化。評(píng)價(jià)指標(biāo)量綱

000

歸一化滿足下式：

YxX,

11

YY21?（6）

Score-+,Index1112=(xXYXxX)

XX21?

YxX22,

式中：

0x——即某感知系統(tǒng)測(cè)試項(xiàng)參數(shù)的0評(píng)價(jià)指標(biāo)的計(jì)算結(jié)果；0

?1——即評(píng)價(jià)指標(biāo)量綱歸一化下限值，且0<?1<1；

?2——即評(píng)價(jià)指標(biāo)量綱歸一化上限值，且0<?2<1；

?1——即滿足評(píng)價(jià)指標(biāo)量綱歸一化下限參數(shù)；

?2——即滿足評(píng)價(jià)指標(biāo)量綱歸一化上限參數(shù)；

??????????——即某感知系統(tǒng)測(cè)試項(xiàng)參數(shù)的評(píng)價(jià)指標(biāo)得分。

根據(jù)評(píng)價(jià)指標(biāo)與評(píng)價(jià)結(jié)果的相關(guān)性不同，將評(píng)價(jià)指標(biāo)分為正相關(guān)和負(fù)相關(guān)兩類：

0a)正相關(guān)：即評(píng)價(jià)指標(biāo)結(jié)果越大，評(píng)價(jià)結(jié)果越優(yōu)，0?1<?2；0

b)負(fù)相關(guān)：即評(píng)價(jià)指標(biāo)結(jié)果越大，評(píng)價(jià)結(jié)果越差，?2<?2。

注：不同測(cè)試項(xiàng)的評(píng)價(jià)指標(biāo)歸一化函數(shù)具體參數(shù)見(jiàn)附錄E。

7.2.3評(píng)價(jià)指標(biāo)結(jié)果歸一化

針對(duì)特定感知系統(tǒng)測(cè)試項(xiàng)，各維度下評(píng)價(jià)指標(biāo)使用平均權(quán)重進(jìn)行歸一化。歸一化結(jié)果

取決于各測(cè)試項(xiàng)參數(shù)評(píng)價(jià)指標(biāo)得分。其計(jì)算公式如下：

0010

?????=∑??????（7）

???????????=1??????

式中：

??????????????——即感知系統(tǒng)測(cè)試項(xiàng)的某維度預(yù)期功能安全性能評(píng)價(jià)結(jié)果；

?——即某維度下感知系統(tǒng)測(cè)試項(xiàng)參數(shù)個(gè)數(shù)；

??????????——即感知系統(tǒng)測(cè)試項(xiàng)參數(shù)的評(píng)價(jià)指標(biāo)得分。

7.3單目標(biāo)物評(píng)價(jià)

000

8

000

T/CASExx－2021

0單目標(biāo)物評(píng)價(jià)即評(píng)估被測(cè)系統(tǒng)針對(duì)不同感知系統(tǒng)測(cè)試項(xiàng)的0預(yù)期功能安全性能水平。單0

目標(biāo)物評(píng)價(jià)的輸入為該感知系統(tǒng)測(cè)試項(xiàng)不同維度評(píng)價(jià)結(jié)果，其計(jì)算公式如下：

1

?????=∑5?????（8）

???5?=1??????????

式中：

????????——即某感知系統(tǒng)測(cè)試項(xiàng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果；

——即針對(duì)第i維度的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果。

???????????????

7.4單層級(jí)評(píng)價(jià)

000

單層級(jí)評(píng)價(jià)對(duì)表1中的5個(gè)層級(jí)進(jìn)行評(píng)價(jià)，評(píng)價(jià)被測(cè)系統(tǒng)在各個(gè)層級(jí)的預(yù)期功能安全性

能水平。其中，被測(cè)系統(tǒng)在Layer7自車狀態(tài)層級(jí)的預(yù)期功能安全性能評(píng)價(jià)結(jié)果為被測(cè)系統(tǒng)

是否滿足預(yù)期功能的二元判斷；而針對(duì)其他四個(gè)層級(jí)，每個(gè)層級(jí)包括若干感知系統(tǒng)測(cè)試項(xiàng)，

針對(duì)各感知系統(tǒng)測(cè)試項(xiàng)的評(píng)價(jià)結(jié)果由上述單目標(biāo)物評(píng)價(jià)得出。

針對(duì)Layer7自車狀態(tài)層級(jí)的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)公式如下：

1，滿足預(yù)期功能設(shè)定

??????????={（9）

0700，不滿足預(yù)期功能設(shè)定0

式中：

——即第7層級(jí)的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果。

??????????7

針對(duì)其余四個(gè)層級(jí)的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)公式如下：

1

?????=∑??????（10）

????????=1????

式中：

——即第j層級(jí)的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果，；

0???????????0?∈[1,4]0

?——即場(chǎng)景中該層級(jí)下感知系統(tǒng)測(cè)試項(xiàng)個(gè)數(shù)；

——即該層級(jí)下針對(duì)測(cè)試項(xiàng)i的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果。

?????????

7.5單場(chǎng)景評(píng)價(jià)

單場(chǎng)景評(píng)價(jià)即評(píng)估被測(cè)系統(tǒng)在某場(chǎng)景下的預(yù)期功能安全性能水平。單場(chǎng)景評(píng)價(jià)輸入為

單層級(jí)評(píng)價(jià)結(jié)果，若測(cè)試場(chǎng)景包括Layer7自車狀態(tài)層級(jí)中的感知系統(tǒng)測(cè)試項(xiàng)，其計(jì)算公式

如下：

000

（11）

????????????????=??????????7

式中：

????????????????——即單場(chǎng)景下的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果；

——即場(chǎng)景層級(jí)7的評(píng)價(jià)結(jié)果。

??????????7

反之，其計(jì)算公式如下：

1

?????=∑4?????（12）

???????????4?=1??????

0式中：00

????????????????——即單場(chǎng)景下的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果；

——即場(chǎng)景層級(jí)i的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果。

???????????

7.6多場(chǎng)景評(píng)價(jià)

多場(chǎng)景評(píng)價(jià)即由多個(gè)測(cè)試場(chǎng)景評(píng)價(jià)結(jié)果得出被測(cè)系統(tǒng)預(yù)期功能安全性能最終評(píng)價(jià)結(jié)果。

結(jié)合不同觸發(fā)條件的難度水平，將不同測(cè)試場(chǎng)景賦予不同難度等級(jí)。根據(jù)《智能網(wǎng)聯(lián)汽車

0視覺(jué)感知系統(tǒng)預(yù)期功能安全測(cè)試與量化評(píng)價(jià)第01部分：觸發(fā)條件分析方法與描述規(guī)范0》中對(duì)

9

000

T/CASExx－2021

0觸發(fā)條件系統(tǒng)敏感度的定義，本文件0依據(jù)觸發(fā)條件系統(tǒng)敏感度不同將測(cè)試場(chǎng)景劃分0不同難

度等級(jí)與權(quán)重系數(shù)，如表3所示。

表3測(cè)試場(chǎng)景難度等級(jí)與權(quán)重系數(shù)

難度等級(jí)系統(tǒng)敏感度觸發(fā)條件示例權(quán)重系數(shù)

1無(wú)（基礎(chǔ)場(chǎng)景）/0.15

降雨、降雪、沙塵等；

2P10.20

目標(biāo)特征遮擋、磨損等；

霧、霾等；

000

3P2傳感器污漬、磨損等；0.25

目標(biāo)特征與其他物體相似、與背景相融等；

暗光、逆光等；

4P3傳感器被不透光物遮蓋等；0.30

目標(biāo)特征罕見(jiàn)等；

針對(duì)不同測(cè)試方法的多場(chǎng)景評(píng)價(jià)輸出為被測(cè)系統(tǒng)預(yù)期功能安全性能最終評(píng)價(jià)結(jié)果。其

計(jì)算公式如下：

000

1

?????=∑???(∑??????)（13）

??????????????=1????????=1??????????????????

式中：

??????????????????——即多場(chǎng)景下的被測(cè)系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果；

?——即難度等級(jí)的個(gè)數(shù)，此處?=4；

——即觸發(fā)條件難度等級(jí)i的權(quán)重系數(shù)，∑?；

????????=1???????=1

?——即難度等級(jí)i所包含場(chǎng)景個(gè)數(shù)；

0——即觸發(fā)條件0難度等級(jí)i的第j個(gè)測(cè)試場(chǎng)景的單場(chǎng)景評(píng)價(jià)結(jié)果0。

???????????????????????

7.7評(píng)價(jià)結(jié)果

視覺(jué)感知系統(tǒng)預(yù)期功能安全性能評(píng)價(jià)結(jié)果代表被測(cè)系統(tǒng)在觸發(fā)條件作用下的性能表現(xiàn)，

評(píng)價(jià)結(jié)果應(yīng)涵蓋全部信息，包括評(píng)價(jià)體系中各層次的輸出，輸出模板如附錄F所示。

000

000

000

10

000

T/CASExx－2021

00附錄A