《電力行業(yè)人工智能算法模型評(píng)測(cè)規(guī)范》

ICS35.240

L70

團(tuán)體標(biāo)準(zhǔn)

T/XXXXXXXX—2020

電力行業(yè)人工智能算法模型

評(píng)測(cè)規(guī)范（征求意見(jiàn)稿）

DefectdetectionmodelevaluationspecificationforElectricPowerIndustry

2021-xx-xx發(fā)布2021-xx-xx實(shí)施

XXXX發(fā)布

1

T/XXXXXXXX—2020

前言

本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則?第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)

則》的規(guī)定起草。

本標(biāo)準(zhǔn)由中電聯(lián)（SAC/TC28）提出并歸口。

本標(biāo)準(zhǔn)起草單位：國(guó)網(wǎng)甘肅省電力公司電力科學(xué)研究院,國(guó)家電網(wǎng)有限公司大數(shù)據(jù)中心,

國(guó)電南瑞科技股份有限公司深圳分公司，中國(guó)電力科學(xué)研究院有限公司,中國(guó)華電集團(tuán)有限

公司甘肅分公司。

本標(biāo)準(zhǔn)主要起草人：XXX。

II

T/CESAXXXX—2020

電力行業(yè)人工智能算法模型評(píng)測(cè)規(guī)范

1.范圍

本標(biāo)準(zhǔn)提出了人工智能面向電力行業(yè)的人工智能算法模型的評(píng)測(cè)方法、評(píng)測(cè)指標(biāo)，以及

模型完備性評(píng)測(cè)、確定模型分類和模型任務(wù)、選擇評(píng)價(jià)指標(biāo)、選擇測(cè)試數(shù)據(jù)集、單項(xiàng)評(píng)價(jià)指

標(biāo)量化評(píng)估等內(nèi)容。

本標(biāo)準(zhǔn)適用于指導(dǎo)面向電力行業(yè)人工智能算法模型開(kāi)發(fā)方、用戶方以及第三方等相關(guān)組

織對(duì)人工智能算法模型的模型資源、模型應(yīng)用、模型性能、模型效率性、模型魯棒性、模型

兼容性開(kāi)展評(píng)估工作。

2.術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

2.1.正樣本positivesample

期望正確分類或判定得到的類別所對(duì)應(yīng)的樣本。

2.2.負(fù)樣本negativesample

模型集中除正樣本以外的樣本。

2.3.評(píng)測(cè)指標(biāo)evaluationmetrics

在評(píng)測(cè)元素上用于評(píng)測(cè)模型質(zhì)量及效果的統(tǒng)計(jì)值。

2.4.模型任務(wù)modeltask

基于特定技術(shù)與理論實(shí)現(xiàn)的模型服務(wù)。

2.5.接口interface

兩個(gè)功能單元共享的邊界，它由各種特征（如功能、物理互連、信號(hào)交互等）來(lái)定義。

2.6.模型文件modelfile

利用數(shù)據(jù)訓(xùn)練得到的能夠描述模型網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)權(quán)重參數(shù)的文件。

3

T/CESAXXXX—2020

2.7.模型部署modeldeployment

根據(jù)提供的算法模型源文件、模型配置文件等，結(jié)合相應(yīng)的開(kāi)發(fā)語(yǔ)言、深度學(xué)習(xí)框架、

模型配置說(shuō)明、運(yùn)行依賴說(shuō)明，手動(dòng)完成運(yùn)行框架、依賴環(huán)境安裝和配置文件調(diào)整，實(shí)現(xiàn)算

法模型的成功部署，完成相應(yīng)推理服務(wù)。

2.8.模型封裝modelencapsulation

隱藏模型的屬性和實(shí)現(xiàn)細(xì)節(jié)，僅對(duì)外公開(kāi)接口，控制在程序中屬性的讀取和修改的訪問(wèn)

級(jí)別。

2.9.重合率adversarialexamples

對(duì)于給定的數(shù)據(jù)集，輸出分類的樣本框與正確樣本框重合區(qū)域占正確樣本框區(qū)域的比

例。

3.評(píng)測(cè)方法

評(píng)測(cè)方法及說(shuō)明如下：

A)查閱材料：查閱技術(shù)規(guī)格說(shuō)明、外部評(píng)估報(bào)告、設(shè)計(jì)文檔、開(kāi)發(fā)文檔、用戶文檔、

管理文檔、產(chǎn)品檢測(cè)報(bào)告等相關(guān)材料；

B)查看系統(tǒng)：查看模型部署后系統(tǒng)運(yùn)行日志、配置文件、參數(shù)設(shè)置、產(chǎn)品版本、網(wǎng)絡(luò)

配置等；

C)訪談人員：與被測(cè)系統(tǒng)或產(chǎn)品有關(guān)人員進(jìn)行交流、討論等活動(dòng)，獲取相關(guān)證據(jù)，了

解有關(guān)信息；

D)攻擊測(cè)試：利用專業(yè)攻擊方法，對(duì)模型進(jìn)行攻擊，分析攻擊結(jié)果，獲取證據(jù)以證明

系統(tǒng)的安全性是否得以有效實(shí)施；

E)模型測(cè)試：基于電力場(chǎng)景樣本數(shù)據(jù)，通過(guò)模型對(duì)目標(biāo)變量進(jìn)行預(yù)測(cè)，將預(yù)測(cè)出的結(jié)

果和目標(biāo)變量真實(shí)值進(jìn)行比對(duì)并計(jì)算相應(yīng)的算法評(píng)估指標(biāo)；

F)查看模型：查看代碼、樣本數(shù)據(jù)、訓(xùn)練數(shù)據(jù)等。

4.評(píng)測(cè)指標(biāo)

4.1.模型資源

4.1.1.模型元信息

模型元信息應(yīng)包括模型名稱、模型大小、模型版本、模型開(kāi)發(fā)框架、模型運(yùn)行參數(shù)等信

息，模型元信息應(yīng)包含附錄A.3要求的各屬性。模型元信息的模型摘要中應(yīng)說(shuō)明模型的場(chǎng)景

類別和任務(wù)類別。

4

T/CESAXXXX—2020

4.1.2.模型封裝

模型應(yīng)采用模型文件、模型服務(wù)程序或模型鏡像形式進(jìn)行模型封裝，具體要求如下：

A)模型文件應(yīng)包含算法模型源文件和算法模型配置文件，應(yīng)符合《Q/GDW

12118.1—2021人工智能平臺(tái)架構(gòu)及技術(shù)要求》中算法模型源文件和算法模型配置文件的要

求，應(yīng)支持tar和zip壓縮格式，大小不宜超過(guò)2GB；

B)模型服務(wù)程序通常通過(guò)web框架技術(shù)提供交互式服務(wù)，應(yīng)支持壓縮格式，大小不宜

超過(guò)5GB;

C)模型容器應(yīng)包含但不限于操作系統(tǒng)、環(huán)境依賴、配置文件、模型推理服務(wù)文件、模

型網(wǎng)絡(luò)結(jié)構(gòu)文件、模型權(quán)重文件、服務(wù)啟動(dòng)文件等內(nèi)容，應(yīng)支持tar格式，大小不宜超過(guò)5GB。

4.1.3.技術(shù)規(guī)格說(shuō)明文檔

技術(shù)規(guī)格說(shuō)明文檔應(yīng)包含適配環(huán)境、部署方式、使用方式、性能規(guī)格、更新方式、更新

日志、安全說(shuō)明等技術(shù)規(guī)格信息。要求如下：

A)適配環(huán)境應(yīng)明確模型適配的云、邊、端軟硬件環(huán)境，包含模型推理運(yùn)行依賴的軟件

環(huán)境（如操作系統(tǒng)、顯卡驅(qū)動(dòng)、CUDA庫(kù)、容器引擎）與版本號(hào)、最低硬件配置、推薦硬件

配置、可支持的計(jì)算加速硬件列表等軟硬件要求；

B)部署方式應(yīng)明確模型部署步驟，便于使用者進(jìn)行使用；

C)使用方式應(yīng)明確模型使用方式，例如運(yùn)行模型的命令、運(yùn)行腳本或模型服務(wù)調(diào)用接

口的定義；

D)性能規(guī)格應(yīng)明確模型在性能評(píng)價(jià)所達(dá)到的指標(biāo)；

E)更新方式應(yīng)明確模型版本更新所采用的更新步驟說(shuō)明，指導(dǎo)模型維護(hù)人員進(jìn)行模型

版本更新；

F)更新日志應(yīng)明確模型不同版本之間的差異；

G)安全說(shuō)明應(yīng)明確當(dāng)模型接受并且使用來(lái)自不可信數(shù)據(jù)源的輸入時(shí)，有明確的處理措

施防止出現(xiàn)安全漏洞問(wèn)題。

4.2.模型應(yīng)用

4.2.1.模型接口

部署后的模型應(yīng)符合《Q/GDW12118.1—2021人工智能平臺(tái)架構(gòu)及技術(shù)要求》中的規(guī)定

對(duì)外提供接口，接口應(yīng)采用json格式與https協(xié)議。具體要求如下：

A)請(qǐng)求參數(shù)應(yīng)包含請(qǐng)求程序的ID和使用的模型推理管線名稱。模型所提供的服務(wù)按照

模型自身任務(wù)類型應(yīng)包含如下請(qǐng)求參數(shù)：

1)圖像識(shí)別模型所提供服務(wù)的請(qǐng)求參數(shù)應(yīng)包含圖像數(shù)據(jù)或圖像輸入輸出路徑；

2)視頻識(shí)別模型所提供服務(wù)的的請(qǐng)求參數(shù)應(yīng)包含視頻數(shù)據(jù)、視頻輸入輸出路徑或

實(shí)時(shí)視頻流地址。

B)響應(yīng)參數(shù)應(yīng)包含狀態(tài)編碼、結(jié)果產(chǎn)生時(shí)間。模型所提供的服務(wù)應(yīng)按照模型自身任務(wù)

類型給出不同的響應(yīng)結(jié)果。要求如下：

1)圖像分類應(yīng)輸出類別、置信度等；

5

T/CESAXXXX—2020

2)目標(biāo)檢測(cè)應(yīng)輸出檢測(cè)框的坐標(biāo)、類別、置信度等；

3)圖像分割應(yīng)輸出分割圖等；

4)視頻分類應(yīng)輸出類別、置信度等；

5)行為檢測(cè)應(yīng)輸出行為起始和結(jié)束時(shí)間、類別、置信度等；

6)目標(biāo)跟蹤應(yīng)輸出目標(biāo)在視頻序列中的坐標(biāo)信息。

4.2.2.模型部署

模型部署具體要求如下：

A)模型文件、模型服務(wù)程序、模型鏡像的部署應(yīng)分別采用模型文件部署、應(yīng)用程序部

署、鏡像部署的形式；

B)模型在人工智能平臺(tái)運(yùn)行環(huán)境部署時(shí)應(yīng)使用模型庫(kù)的模型部署功能，在邊側(cè)、端側(cè)

的部署時(shí)宜使用模型庫(kù)的多級(jí)協(xié)同功能；

C)模型在人工智能平臺(tái)運(yùn)行環(huán)境部署時(shí)，對(duì)計(jì)算資源的需求宜符合《Q/GDW

12118.1—2021人工智能平臺(tái)架構(gòu)及技術(shù)要求》中對(duì)平臺(tái)硬件的要求；

D)模型文件應(yīng)通過(guò)深度學(xué)習(xí)框架的服務(wù)部署庫(kù)封裝為模型服務(wù)后進(jìn)行部署，服務(wù)部署

庫(kù)包括但不限于TensorflowServing、TorchServe、PaddleServing；

E)模型文件部署前可選擇根據(jù)設(shè)備的架構(gòu)、配置及業(yè)務(wù)需求進(jìn)行模型轉(zhuǎn)換及壓縮。

4.2.3.模型集成

.云模式下業(yè)務(wù)集成

模型以云模式的方式與各業(yè)務(wù)系統(tǒng)集成結(jié)構(gòu)如圖1所示，模型宜按需部署在人工智能平

臺(tái)，業(yè)務(wù)系統(tǒng)直接向模型發(fā)送識(shí)別請(qǐng)求并獲取識(shí)別結(jié)果。

圖1模型與業(yè)務(wù)系統(tǒng)的云模式集成結(jié)構(gòu)

6

T/CESAXXXX—2020

邊端模式下業(yè)務(wù)集成

模型以邊端模式的方式與本地業(yè)務(wù)應(yīng)用集成結(jié)構(gòu)如圖2所示，模型宜按需部署在智能邊

緣設(shè)備和其它智能終端，本地業(yè)務(wù)應(yīng)用向邊端設(shè)備下達(dá)指令，智能終端的識(shí)別結(jié)果反饋至本

地業(yè)務(wù)應(yīng)用。

圖2模型與業(yè)務(wù)的邊端模式集成結(jié)構(gòu)

4.3.模型性能

4.3.1.正確率

評(píng)價(jià)要素內(nèi)容如下：

A)模型分類結(jié)果正確的樣本數(shù)量占總樣本數(shù)量的比例；

B)表征模型分類正確水平，正確率越高，模型分類結(jié)果越正確。

計(jì)算方法：正確率計(jì)算方法見(jiàn)附錄A.1.1。

4.3.2.準(zhǔn)確率

評(píng)價(jià)要素內(nèi)容如下：

A)模型分類結(jié)果正確的正樣本數(shù)量占分類結(jié)果中所有正樣本數(shù)量的比例；

B)表征模型分類正樣本查準(zhǔn)水平，準(zhǔn)確率越高，模型正樣本分類越準(zhǔn)確。

計(jì)算方法：準(zhǔn)確率計(jì)算方法見(jiàn)附錄A.1.2。

4.3.3.召回率

評(píng)價(jià)要素內(nèi)容如下：

A)模型分類結(jié)果正確的正樣本數(shù)量占測(cè)試集中所有正樣本數(shù)量的比例；

B)表征模型分類正樣本查全水平，召回率越高，模型分類正樣本識(shí)別越完整。

計(jì)算方法：召回率計(jì)算方法見(jiàn)附錄A.1.3。

7

T/CESAXXXX—2020

4.3.4.平均精度

評(píng)價(jià)要素內(nèi)容如下：

A)以準(zhǔn)確率為縱軸、召回率為橫軸繪制的曲線下面積；

B)表征模型查準(zhǔn)和查全的綜合水平，平均精度越高，模型查準(zhǔn)和查全的綜合性能越好。

計(jì)算方法：平均精度計(jì)算方法見(jiàn)附錄A.1.4。

4.3.5.平均正確率

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行多標(biāo)簽分類任務(wù)的性能；

B)模型分類結(jié)果中各分類正確的樣本數(shù)量占該類樣本總數(shù)量的比例均值；

C)表征模型分類的平均正確水平，平均正確率越高，模型分類越正確。

計(jì)算方法：平均正確率計(jì)算方法見(jiàn)附錄A.1.5。

4.3.6.平均準(zhǔn)確率

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行多標(biāo)簽分類任務(wù)的性能；

B)模型分類結(jié)果中各分類正確的正樣本數(shù)量占分類結(jié)果中該類正樣本數(shù)量的比例均

值；

C)表征模型分類的平均查準(zhǔn)水平，平均準(zhǔn)確率越高，模型正樣本分類越準(zhǔn)確。

計(jì)算方法：平均準(zhǔn)確率計(jì)算方法見(jiàn)附錄A.1.6。

4.3.7.平均召回率

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行多標(biāo)簽分類任務(wù)的性能；

B)模型分類結(jié)果中各類分類正確的正樣本數(shù)量占測(cè)試集中該類正樣本數(shù)量的比例均

值；

C)表征模型分類的平均查全水平，平均召回率越高，模型正樣本識(shí)別越完整。

計(jì)算方法：平均召回率計(jì)算方法見(jiàn)附錄A.1.7。

4.3.8.平均精度均值

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行多標(biāo)簽分類任務(wù)的性能；

B)模型分類結(jié)果中各類標(biāo)簽平均精度的平均值；

C)表征模型分類查準(zhǔn)和查全的綜合水平，平均精度均值越高，模型在查準(zhǔn)和查全的綜

合性能越好。

計(jì)算方法：平均精度計(jì)算方法見(jiàn)附錄A.1.8。

8

T/CESAXXXX—2020

4.3.9.平均交并比

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行圖像分割任務(wù)的性能；

B)圖像分割結(jié)果中各預(yù)測(cè)區(qū)域和標(biāo)準(zhǔn)區(qū)域交并比的平均值；

C)表征圖像分割的準(zhǔn)確程度，平均交并比越高，模型對(duì)圖像分割越準(zhǔn)確。

計(jì)算方法：平均交并比計(jì)算方法見(jiàn)附錄A.1.9。

4.3.10.視頻幀準(zhǔn)確率均值

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行行為檢測(cè)任務(wù)的性能；

B)模型對(duì)視頻以幀為單位進(jìn)行行為標(biāo)記；

C)模型各類標(biāo)記結(jié)果正確的視頻幀數(shù)占標(biāo)記結(jié)果中該類視頻幀總數(shù)的比例均值；

D)表征模型對(duì)視頻幀行為檢測(cè)的平均查準(zhǔn)水平，視頻幀準(zhǔn)確率均值越高，模型對(duì)視頻

幀檢測(cè)越準(zhǔn)確。

計(jì)算方法：視頻幀準(zhǔn)確率均值計(jì)算方法見(jiàn)附錄A.1.10。

4.3.11.視頻片段準(zhǔn)確率均值

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行視頻分類任務(wù)的性能；

B)模型對(duì)視頻以片段為單位進(jìn)行分類標(biāo)記；

C)模型標(biāo)各類標(biāo)記結(jié)果正確的視頻片段數(shù)占標(biāo)記結(jié)果中該類視頻總數(shù)的比例均值；

D)表征模型對(duì)視頻片段分類的平均查準(zhǔn)水平，視頻片段準(zhǔn)確率均值越高，模型對(duì)視頻

片段檢測(cè)越準(zhǔn)確。

計(jì)算方法：視頻片段準(zhǔn)確率均值計(jì)算方法見(jiàn)附錄A.1.11。

4.3.12.成功率曲線下面積

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行單目標(biāo)跟蹤任務(wù)的性能；

B)以模型準(zhǔn)確率為縱軸，1減去準(zhǔn)確率的值為橫軸，繪制成功率曲線，計(jì)算曲線下面

積；

C)評(píng)價(jià)模型將正樣本判斷為正樣本的可能性大于判斷為負(fù)樣本的可能性的概率；

D)表征模型對(duì)正樣本分類正確的概率，成功率曲線下面積越大，模型對(duì)正樣本分類正

確的概率越高。

計(jì)算方法：成功率曲線下面積計(jì)算方法見(jiàn)附錄A.1.12。

4.3.13.平均重疊率

評(píng)價(jià)要素內(nèi)容如下：

9

T/CESAXXXX—2020

A)評(píng)價(jià)模型執(zhí)行單目標(biāo)跟蹤任務(wù)的性能；

B)模型對(duì)視頻各幀預(yù)測(cè)區(qū)域和標(biāo)準(zhǔn)區(qū)域交并比的均值；

C)表征模型對(duì)目標(biāo)跟蹤的準(zhǔn)確率，平均重疊率越高，模型對(duì)目標(biāo)跟蹤越準(zhǔn)確。

計(jì)算方法：平均重疊率計(jì)算方法見(jiàn)附錄A.1.13。

4.3.14.期望平均重疊率

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行單目標(biāo)跟蹤任務(wù)的性能；

B)模型從最小視頻幀長(zhǎng)至最大視頻幀長(zhǎng)檢測(cè)結(jié)果中，各視頻幀序列的平均重疊率均值；

C)表征模型對(duì)目標(biāo)跟蹤的準(zhǔn)確率與穩(wěn)定性，期望平均重疊率越高，模型對(duì)目標(biāo)跟蹤在

準(zhǔn)確率與穩(wěn)定性方面性能越好。

計(jì)算方法：期望平均重疊率計(jì)算方法見(jiàn)附錄A.1.14。

4.3.15.平均像素誤差

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行單目標(biāo)跟蹤任務(wù)的性能；

B)模型預(yù)測(cè)區(qū)域和標(biāo)準(zhǔn)區(qū)域中心位置的像素距離均值；

C)表征模型對(duì)目標(biāo)跟蹤的偏離程度，平均像素誤差越低，模型對(duì)位置預(yù)測(cè)越準(zhǔn)確。

計(jì)算方法：平均像素誤差計(jì)算方法見(jiàn)附錄A.1.15。

4.3.16.多目標(biāo)跟蹤準(zhǔn)確度

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行多目標(biāo)跟蹤任務(wù)的性能；

B)模型多目標(biāo)識(shí)別結(jié)果中錯(cuò)誤識(shí)別次數(shù)、漏識(shí)別次數(shù)及目標(biāo)切換次數(shù)之和與真實(shí)目標(biāo)

總數(shù)的比例；

C)表征模型對(duì)多目標(biāo)跟蹤的準(zhǔn)確程度，多目標(biāo)跟蹤準(zhǔn)確度越高，模型對(duì)多目標(biāo)跟蹤越

準(zhǔn)確。

計(jì)算方法：多目標(biāo)跟蹤準(zhǔn)確度計(jì)算方法見(jiàn)附錄A.1.16。

4.3.17.多目標(biāo)跟蹤精確度

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行多目標(biāo)跟蹤任務(wù)的性能；

B)模型多目標(biāo)識(shí)別結(jié)果中各目標(biāo)預(yù)測(cè)區(qū)域和標(biāo)準(zhǔn)區(qū)域的交并比之和與標(biāo)準(zhǔn)區(qū)域總數(shù)的

比例；

C)表征模型對(duì)多目標(biāo)跟蹤的精確程度，多目標(biāo)跟蹤精確度越高，模型對(duì)多目標(biāo)的跟蹤

越精確。

計(jì)算方法：多目標(biāo)跟蹤精確度計(jì)算方法見(jiàn)附錄A.1.17。

10

T/CESAXXXX—2020

4.3.18.決定系數(shù)

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行數(shù)值回歸任務(wù)的性能；

B)模型預(yù)測(cè)結(jié)果中標(biāo)準(zhǔn)值和平均預(yù)測(cè)值之差的平方和為回歸平方和；

C)模型預(yù)測(cè)結(jié)果中標(biāo)準(zhǔn)值和預(yù)測(cè)值之差的平方和為總偏差平方和；

D)決定系數(shù)為1減去回歸平方和與總偏差平方和的比值；

E)表征模型在數(shù)值回歸任務(wù)中解釋因變量變化的能力，決定系數(shù)越高，因變量變化通

過(guò)模型能被自變量解釋的比例越高。

計(jì)算方法：決定系數(shù)的計(jì)算方法見(jiàn)附錄A.1.18。

4.3.19.蘭德系數(shù)

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行數(shù)值聚類任務(wù)的性能；

B)評(píng)價(jià)模型聚類結(jié)果中和標(biāo)準(zhǔn)集一致的數(shù)據(jù)對(duì)的數(shù)量與聚類結(jié)果數(shù)據(jù)對(duì)總數(shù)的比例；

C)表征模型在數(shù)值聚類任務(wù)中聚類結(jié)果的匹配水平，蘭德系數(shù)越高，模型的聚類結(jié)果

越匹配。

計(jì)算方法：蘭德系數(shù)的計(jì)算方法見(jiàn)附錄A.1.19。

4.3.20.調(diào)整蘭德系數(shù)

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型執(zhí)行數(shù)值聚類任務(wù)的性能；

B)模型聚類結(jié)果中，蘭德系數(shù)和期望蘭德系數(shù)之差與最大期望蘭德系數(shù)和期望蘭德系

數(shù)之差的比例；

C)表征模型在標(biāo)準(zhǔn)集和聚類結(jié)果中分類隨機(jī)分布的條件下聚類結(jié)果的匹配水平，調(diào)整

蘭德系數(shù)越高，模型的聚類結(jié)果越匹配。

計(jì)算方法：調(diào)整蘭德系數(shù)的計(jì)算方法見(jiàn)附錄A.1.20。

4.4.模型效率性

4.4.1.磁盤占用膨脹率

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型判定后占用的磁盤存儲(chǔ)量增加的比例；

B)表征模型判定過(guò)程附加的存儲(chǔ)消耗量，磁盤占用膨脹率越小，模型存儲(chǔ)空間占用越

少。

計(jì)算方法：磁盤占用膨脹率計(jì)算方法見(jiàn)附錄A.2.1。

11

T/CESAXXXX—2020

4.4.2.內(nèi)存使用率

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型開(kāi)銷的內(nèi)存量占內(nèi)存總量的比例；

B)表征模型的內(nèi)存開(kāi)銷量，內(nèi)存使用率越小，模型內(nèi)存使用越少。

計(jì)算方法：內(nèi)存使用率計(jì)算方法見(jiàn)附錄A.2.2。

4.4.3.響應(yīng)時(shí)間

評(píng)價(jià)要素內(nèi)容如下：

A)在給定的軟硬件環(huán)境下，模型對(duì)給定的數(shù)據(jù)進(jìn)行運(yùn)算并獲得結(jié)果所需要的時(shí)間；

B)表征模型解決任務(wù)所消耗的時(shí)間，模型響應(yīng)時(shí)間越小，模型響應(yīng)越快。

計(jì)算方法：響應(yīng)時(shí)間計(jì)算方法見(jiàn)附錄A.2.3。

4.5.模型魯棒性

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型在存在信號(hào)干擾或特征規(guī)律發(fā)生變化的測(cè)試數(shù)據(jù)集的性能指標(biāo)，性能指標(biāo)

選取規(guī)則見(jiàn)附錄C；

B)表征模型對(duì)新樣本的維持性能穩(wěn)定的能力，魯棒性指標(biāo)越高，模型維持性能穩(wěn)定的

能力越好。

計(jì)算方法：魯棒性指標(biāo)計(jì)算方法見(jiàn)附錄A.3。

4.6.模型兼容性

評(píng)價(jià)要素內(nèi)容如下：

A)評(píng)價(jià)模型文件源文件、模型配置文件符合《省側(cè)人工智能平臺(tái)軟硬件適配規(guī)范》5.5

章節(jié)對(duì)應(yīng)算法框架、源文件信息和模型文件格式要求；

B)評(píng)價(jià)模型協(xié)同應(yīng)符合《人工智能平臺(tái)多級(jí)協(xié)同規(guī)范》5.3.1節(jié)模型協(xié)同對(duì)應(yīng)技術(shù)要求；

C)評(píng)價(jià)模型大小應(yīng)符合《人工智能平臺(tái)多級(jí)協(xié)同規(guī)范》7.5.2節(jié)模型格式和大小要求；

計(jì)算方法：兼容性指標(biāo)計(jì)算方法見(jiàn)附錄A.4

5.評(píng)估流程

5.1.概述

評(píng)估流程如圖3所示，包括模型完備性評(píng)測(cè)、確定模型分類和模型、選擇評(píng)價(jià)指標(biāo)、選

擇測(cè)試數(shù)據(jù)集、單項(xiàng)評(píng)測(cè)指標(biāo)量化和整體評(píng)測(cè)效果這六個(gè)活動(dòng)。

12

T/CESAXXXX—2020

圖3人工智能算法模型評(píng)估流程

5.2.模型完備性評(píng)測(cè)

模型完備性主要包括模型資源、模型應(yīng)用，評(píng)測(cè)要求如下：

A)根據(jù)4.1.1節(jié)內(nèi)容，采用“查閱材料”、“查看模型”方法對(duì)模型元信息進(jìn)行評(píng)測(cè)；

B)根據(jù)4.1.2節(jié)內(nèi)容，采用“查閱材料”、“查看模型”方法對(duì)模型封裝進(jìn)行評(píng)測(cè)；

C)根據(jù)4.1.3節(jié)內(nèi)容，采用“查閱材料”、“查看模型”方法對(duì)技術(shù)規(guī)格說(shuō)明文檔進(jìn)行

評(píng)測(cè)；

D)根據(jù)4.2.1節(jié)內(nèi)容，采用“查閱材料”、“模型測(cè)試”方法對(duì)模型接口進(jìn)行評(píng)測(cè)，接

口輸出格式見(jiàn)附錄B.1；

E)根據(jù)4.2.2節(jié)內(nèi)容，采用“查閱材料”、“查看系統(tǒng)”方法對(duì)模型部署進(jìn)行評(píng)測(cè)；

F)根據(jù)4.2.3節(jié)內(nèi)容，采用“查看系統(tǒng)”方法對(duì)模型集成進(jìn)行評(píng)測(cè)；

5.3.確定模型分類和模型任務(wù)

確定模型分類和模型任務(wù)要求如下：

A)針對(duì)電力行業(yè)應(yīng)用場(chǎng)景，采用“查看模型”、“查看系統(tǒng)”方法確定模型分類和任

務(wù)，模型分類、任務(wù)內(nèi)容如下表：

序號(hào)模型分類模型任務(wù)

1輸電應(yīng)用

2變電應(yīng)用圖像分類、目標(biāo)檢測(cè)、圖像分割、視頻分類、行為檢測(cè)、單目

3配電應(yīng)用標(biāo)跟蹤、多目標(biāo)跟蹤

4安監(jiān)違章應(yīng)用

5用電應(yīng)用

數(shù)值分類、數(shù)值回歸、數(shù)值聚類

6營(yíng)銷應(yīng)用

7調(diào)度應(yīng)用數(shù)值分類、數(shù)值回歸、數(shù)值聚類、目標(biāo)檢測(cè)

圖像分類、圖像分割、目標(biāo)檢測(cè)、視頻分類、行為檢測(cè)、單目

8其他

標(biāo)跟蹤、多目標(biāo)跟蹤、數(shù)值分類、數(shù)值回歸、數(shù)值聚類

5.4.選擇評(píng)價(jià)指標(biāo)

選擇評(píng)價(jià)指標(biāo)要求如下：

A)根據(jù)模型任務(wù)類型確定相應(yīng)的模型性能指標(biāo)，見(jiàn)規(guī)范性附錄C.1，模型效率性指標(biāo)根

13

T/CESAXXXX—2020

據(jù)4.4章節(jié)，模型魯棒性指標(biāo)根據(jù)4.5章節(jié)，模型兼容性指標(biāo)根據(jù)4.6章節(jié)。

5.5.選擇測(cè)試數(shù)據(jù)集

測(cè)試數(shù)據(jù)集選擇采用“查閱材料”、“查看系統(tǒng)”方法，要求如下：

A)測(cè)試數(shù)據(jù)集應(yīng)與訓(xùn)練數(shù)據(jù)集具有互斥性；

B)測(cè)試數(shù)據(jù)集樣本格式參照“中國(guó)電工技術(shù)學(xué)會(huì)團(tuán)體標(biāo)準(zhǔn)T/CES129-2022《電力人工智

能平臺(tái)樣本規(guī)范》”；

C)測(cè)試數(shù)據(jù)集、魯棒性測(cè)試數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)集的比例宜為2：2：8；

D)魯棒性測(cè)試數(shù)據(jù)集應(yīng)包含但不限于模糊、含噪、復(fù)雜環(huán)境圖片或視頻樣本;

E)測(cè)試數(shù)據(jù)集、魯棒性數(shù)據(jù)集樣本包含的各類別的樣本數(shù)量宜相同。

5.6.單項(xiàng)評(píng)價(jià)指標(biāo)量化

單項(xiàng)評(píng)價(jià)指標(biāo)量化要求如下：

A)采用“模型測(cè)試”方法，根據(jù)本文件4.3章節(jié)，采用附錄A.1.1-A.1.20量化模型性能，

其中公式中判斷是否正確的依據(jù)是“輸出框區(qū)域與標(biāo)準(zhǔn)框區(qū)域重合率IOU值大于規(guī)定閾

值（50%）且屬性描述正確”；

B)采用“模型測(cè)試”方法，根據(jù)本文件4.4章節(jié)，采用附錄A.2.1-A.2.3量化模型效率；

C)采用“模型測(cè)試”、“攻擊測(cè)試”方法，根據(jù)本文件4.5章節(jié)，采用附錄A.3量化模

型魯棒性；

D)采用“查閱材料”方法，根據(jù)本文件4.6章節(jié)，采用附錄A.4公式量化模型兼容性。

5.7.整體評(píng)測(cè)效果

根據(jù)上述步驟計(jì)算得到的單項(xiàng)評(píng)價(jià)指標(biāo)值，對(duì)分析模型評(píng)價(jià)出具評(píng)價(jià)報(bào)告，詳見(jiàn)資料性

附錄D。

分析模型評(píng)價(jià)過(guò)程實(shí)施完畢后，將評(píng)價(jià)結(jié)果進(jìn)行記錄并存檔，以便后續(xù)模型優(yōu)化和推廣

應(yīng)用使用。評(píng)價(jià)結(jié)果記錄詳見(jiàn)附錄D.1。

14

T/CESAXXXX—2020

附錄A

（資料性附錄）

電力人工智能模型評(píng)價(jià)指標(biāo)計(jì)算方法

A.1性能指標(biāo)

A.1.1正確率

正確率的計(jì)算方式見(jiàn)公式（A.1）：

（）（A.1）

AcTPcTN/cTPcTNcFPcFN

式中：

A——正確率；

——模型分類正確的正樣本數(shù)量；

cTP

——模型分類成正類的負(fù)樣本數(shù)量；

cFP

——模型分類正確的負(fù)樣本數(shù)量；

cTN

——模型分類成負(fù)類的正樣本數(shù)量。

cFN

A.1.2準(zhǔn)確率

準(zhǔn)確率的計(jì)算方式見(jiàn)公式（A.2）：

（A.2）

PcTP/cTPcFP

式中：

P——準(zhǔn)確率；

——模型分類正確的正樣本數(shù)量；

cTP

——模型分類成正類的負(fù)樣本數(shù)量。

cFP

A.1.3召回率

召回率的計(jì)算方式見(jiàn)公式（A.3）：

（A.3）

RcTP/cTPcFN

式中：

R——召回率；

——模型分類正確的正樣本數(shù)量；

cTP

——模型分類成負(fù)類的正樣本數(shù)量。

cFN

A.1.4平均精度

平均精度的計(jì)算方式見(jiàn)公式（A.4）：

15

T/CESAXXXX—2020

1

（A.4）

VAPprdr

0

式中：

——平均精度；

VAP

pr——以準(zhǔn)確率為縱軸、召回率為橫軸繪制的曲線函數(shù)。

A.1.5平均正確率

平均正確率的計(jì)算方式見(jiàn)公式（A.5）：

M

V(1/M)（cc）/cccc（A.5）

MAi1TPiTNiTPiTNiFPiFNi

式中：

——平均正確率；

VMA

c——第i類分類結(jié)果中正確的正樣本數(shù)量；

TPi

c——第i類分類結(jié)果中正確的負(fù)樣本數(shù)量；

TNi

c——第i類分類結(jié)果中錯(cuò)誤的正樣本數(shù)量；

FPi

c——第i類分類結(jié)果中錯(cuò)誤的負(fù)樣本數(shù)量；

FNi

M——類別總數(shù)。

A.1.6平均準(zhǔn)確率

平均準(zhǔn)確率的計(jì)算方式見(jiàn)公式（A.6）：

M

V(1/M)c/cc（A.6）

MPi1TPiTPiFPi

式中：

——平均準(zhǔn)確率；

VMP

c——第i類分類結(jié)果中正確的正樣本數(shù)量；

TPi

c——第i類分類結(jié)果中錯(cuò)誤的正樣本數(shù)量；

FPi

M——類別總數(shù)。

A.1.7平均召回率

平均召回率的計(jì)算方式見(jiàn)公式（A.7）：

M

V(1/M)c/cc（A.7）

MRi1TPiTPiFNi

式中：

——平均召回率；

VMR

c——第i類分類結(jié)果中正確的正樣本數(shù)量；

TPi

c——第i類分類結(jié)果中錯(cuò)誤的負(fù)樣本數(shù)量；

FNi

M——類別總數(shù)。

A.1.8平均精度均值

平均精度均值的計(jì)算方式見(jiàn)公式（A.8）：

16

T/CESAXXXX—2020

M

V(1/M)V（A.8）

MAPi1APi

式中：

——平均精度均值；

VMAP

V——第i類的平均精度；

APi

M——類別總數(shù)。

A.1.9平均交并比

平均交并比的計(jì)算方式見(jiàn)公式（A.9）：

1Mc

ii（A.9）

VMIOUMM

M1I0ccc

j0ijj0jiii

式中：

——平均交并比；

VMIOU

M——類別總數(shù)；

——屬于第類，且被預(yù)測(cè)為第類的樣本數(shù)量。

cijij

A.1.10視頻幀準(zhǔn)確率均值

視頻幀精度均值的計(jì)算方式見(jiàn)公式（A.10）：

M

V(1/M)F/F（A.10）

framemAPi1detialli

式中：

——視頻幀精度均值；

VframemAP

F——正確標(biāo)簽的第i類視頻幀數(shù)量；

deti

——檢測(cè)結(jié)果中第i類視頻幀數(shù)；

Fall

M——類別總數(shù)。

A.1.11視頻片段準(zhǔn)確率均值

視頻片段精度均值的計(jì)算方式見(jiàn)公式（A.11）：

M

V(1/M)I/I（A.11）

videomAPi1realialli

式中：

——視頻片段精度均值；

VvideomAP

I——正確標(biāo)簽的第i類視頻片段數(shù)；

reali

I——檢測(cè)結(jié)果中第i類視頻片段數(shù)。

alli

A.1.12成功率曲線下面積

成功率曲線下面積的計(jì)算方式見(jiàn)公式（A.12）：

M(M1)

rank

insipositiveclassinsi

V2（A.12）

AUCMN

式中：

17

T/CESAXXXX—2020

——成功率曲線下面積；

VAUC

rank——第i條視頻的輸出置信度排序序號(hào)；

insi

M——正樣本數(shù)量；

N——負(fù)樣本數(shù)量；

——正樣本序號(hào)的序號(hào)。

insipositiveclass

A.1.13平均重疊率

平均重疊率的計(jì)算方式見(jiàn)公式（A.13）：

1QpreQtruth

ii（A.13）

VAOR

|S|QQ

ciScpreitruthi

式中：

——平均重疊率；

VAOR

——一段視頻的幀數(shù)；

Sc

Q——預(yù)測(cè)區(qū)域；

prei

Q——標(biāo)準(zhǔn)區(qū)域。

truthi

A.1.14期望平均重疊率

期望平均重疊率的計(jì)算方式見(jiàn)公式（A.14）：

1

VV（A.14）

EAOAORS

NhighNlowNs{Nlow:Nhigh}

式中：

——期望平均重疊率；

VEAO

——視頻幀序列最大幀長(zhǎng)度；

Nhigh

——視頻幀序列最小幀長(zhǎng)度；

Nlow

——表示第S幀序列的幀長(zhǎng)度；

Ns

V——表示第S幀序列的評(píng)價(jià)重疊率。

AORS

A.1.15平均像素誤差

平均像素誤差的計(jì)算方式見(jiàn)公式（A.15）：

1Sc

Vd（A.15）

APEpixeli

Sci1

式中：

——期望平均重疊率；

VAPE

——一段視頻的幀數(shù)；

Sc

d——預(yù)測(cè)目標(biāo)中心位置與真實(shí)位置的像素距離。

pixeli

A.1.16多目標(biāo)跟蹤準(zhǔn)確度

18

T/CESAXXXX—2020

多目標(biāo)跟蹤準(zhǔn)確度的計(jì)算方式見(jiàn)公式（A.16）：

Mccc

FNiFPiIDSWi（A.16）

VMOTA1

i1c

GTi

式中：

——多目標(biāo)跟蹤準(zhǔn)確度；

VMOTA

M——目標(biāo)總數(shù)；

c——第i個(gè)目標(biāo)失敗的次數(shù)；

FNi

c——第i個(gè)視頻錯(cuò)誤識(shí)別目標(biāo)的次數(shù)；

FPi

c——第i個(gè)目標(biāo)標(biāo)識(shí)切換總數(shù)；

IDSWi

c——第i個(gè)視頻實(shí)際目標(biāo)出現(xiàn)總次數(shù)。

GTi

A.1.17多目標(biāo)跟蹤精確度

多目標(biāo)跟蹤精確度的計(jì)算方式見(jiàn)公式（A.17）：

dt,i

Vt,i（A.17）

MOTPc

tt

式中：

——多目標(biāo)跟蹤精確度；

VMOTP

——第幀中的標(biāo)準(zhǔn)區(qū)域數(shù)；

ctt

——第幀中第個(gè)預(yù)測(cè)區(qū)域與標(biāo)準(zhǔn)區(qū)域之間的重疊率。

dt,iti

A.1.18決定系數(shù)

決定系數(shù)的計(jì)算方式見(jiàn)公式（A.18）：

N

(vv)2

i1truthipredicti（A.18）

V21N

r(vv)2

i1truthipredict

式中：

——平均絕對(duì)誤差值；

Vr2

N——樣本總數(shù)；

v——模型輸出的第i個(gè)樣本的預(yù)測(cè)值；

predicti

v——第i個(gè)樣本的標(biāo)準(zhǔn)值；

truthi

——所有預(yù)測(cè)值的平均值。

vpredict

A.1.19蘭德系數(shù)

蘭德系數(shù)的計(jì)算方式見(jiàn)公式（A.19）：

(A.19)

VRI(csscdd)/(csscsdcdscdd)

式中：

——蘭德系數(shù)；

VRI

——在聚類結(jié)果中屬于同一類別，且在標(biāo)準(zhǔn)情況下也為同一類別的數(shù)據(jù)對(duì)的數(shù)

css

量；

19

T/CESAXXXX—2020

——在聚類結(jié)果中屬于不同類別，且在標(biāo)準(zhǔn)情況下也為不同類別的數(shù)據(jù)對(duì)的

cdd

數(shù)量；

——在聚類結(jié)果中屬于同一類別，但標(biāo)準(zhǔn)情況下為不同類別的數(shù)據(jù)對(duì)的數(shù)量；

csd

——在聚類結(jié)果中屬于不同類別，但在標(biāo)準(zhǔn)情況下為同一類別的數(shù)據(jù)對(duì)的數(shù)

cds

量。

A.1.20調(diào)整蘭德系數(shù)

調(diào)整蘭德系數(shù)的計(jì)算方式見(jiàn)公式（A.20）：

（A.20）

VARI(VRIE(VRI))/(fmax(VRI)E(VRI))

式中：

——調(diào)整蘭德系數(shù)；

VARI

——蘭德系數(shù)；

VRI

——蘭德系數(shù)均值；

E(VRI)

——蘭德系數(shù)最大值。

fmax(VRI)

A.2效率性指標(biāo)

A.2.1磁盤占用膨脹率

磁盤占用膨脹率的計(jì)算方式見(jiàn)公式（A.46）：

（A.46）

Vocc_diskD2D1/D2

式中：

——磁盤占用膨脹率；

Vocc_disk

——磁盤空間初始占用量；

D1

——模型判定后磁盤空間占用量。

D2

[Q/GDW11941-2018，定義B.6.2]

A.2.2內(nèi)存使用率

內(nèi)存使用率的計(jì)算方式見(jiàn)公式（A.47）：

（A.47）

Vocc_memMuse/Mtotal

式中：

——內(nèi)存使用率；

Vocc_mem

——模型內(nèi)存空間使用量；

Muse

——內(nèi)存空間總量。

Mtotal

[Q/GDW11941-2018，定義B.6.3]

A.2.3響應(yīng)時(shí)間

響應(yīng)時(shí)間的計(jì)算方式見(jiàn)公式（A.48）：

（A.48）

TRTTeTs

式中：

20

T/CESAXXXX—2020

——響應(yīng)時(shí)間；

TRT

——批量樣本輸入的開(kāi)始時(shí)間；

Ts

——獲得最后一個(gè)樣本模型處理結(jié)果的結(jié)束時(shí)間。

Te

A.3魯棒性指標(biāo)

魯棒性指標(biāo)的計(jì)算方式見(jiàn)公式（A.49）：

n

（A.49）

Vrobust(1/n)i1(ErobustiEi)/Ei

式中：

——魯棒性指標(biāo)值；

Vrobust

n——模型所需評(píng)價(jià)的性能性指標(biāo)個(gè)數(shù)；

——模型在存在信號(hào)干擾或特征負(fù)率變化的測(cè)試數(shù)據(jù)集上的第i個(gè)性能性

Erobusti

指標(biāo)；

——模型在存在一般測(cè)試數(shù)據(jù)集上的第i個(gè)性能性指標(biāo)。

Ei

A.4兼容性指標(biāo)

兼容性指標(biāo)的計(jì)算方式見(jiàn)公式（A.50）：

（A.50）

VcompatibilityFCS

式中：

——兼容性指標(biāo)值；

Vcompatibility

F——模型文件源文件、模型配置符合要求，符合取值1，不符合取值0；

C——模型協(xié)同符合要求，符合取值1，不符合取值0；

S——模型大小符合要求，符合取值1，不符合取值0。

21

T/CESAXXXX—2020

附錄B

（資料性附錄）

B.1模型服務(wù)接口示例

本模型提供目標(biāo)檢測(cè)推理服務(wù)，采用RESTful接口風(fēng)格。請(qǐng)求參數(shù)為圖片數(shù)據(jù)、請(qǐng)求程

序ID、模型推理管線名稱，響應(yīng)參數(shù)為服務(wù)狀態(tài)編碼、推理結(jié)果信息（目標(biāo)類別和目標(biāo)框位

置）。

請(qǐng)求方式：POST

請(qǐng)求示例如下：

{

"analyseId":"請(qǐng)求ID",

"pipelineName":"推理管線",

"imageData":"圖片數(shù)據(jù)，base64編碼"

}

模型結(jié)果返回如下：

{

"resultCode":"200",//狀態(tài)編碼

"data":{

"objectList":[

{

"score":0.99{//置信度

"bndbox":{//坐標(biāo)

"ymin":"158.31",

"xmin":"1374.15",

"ymax":"329.69",

"xmax":"1522.13"

},

"category":"安全帽"http://類別

}

],

},

"analyseTime":"2020-01-0112:00:00"http://結(jié)果產(chǎn)生時(shí)間

}

22

T/CESAXXXX—2020

附錄C

（資料性附錄）

電力行業(yè)人工智能算法模型評(píng)測(cè)指標(biāo)

表C.1電力行業(yè)模型性能指標(biāo)

評(píng)價(jià)指標(biāo)

視

視成多多

頻期

平頻功平目目

平平平平片望平

平均幀率均標(biāo)標(biāo)決

序正準(zhǔn)召均均均均段平均調(diào)整

模型任務(wù)均精準(zhǔn)曲像跟跟定

號(hào)確確回正準(zhǔn)召交準(zhǔn)均重蘭德

精度確線素蹤蹤系

率率率確確回并確重疊系數(shù)

度均率下誤準(zhǔn)精數(shù)

率率率比率疊率

值均面差確確

均率

值積度度

值

1圖像單分類

2圖像多分類

3單目標(biāo)檢測(cè)

4多目標(biāo)檢測(cè)

5圖像分割

6單類視頻分類