《電力人工智能邊端測(cè)模型技術(shù)規(guī)范》（征求意見(jiàn)稿）

ICS號(hào)

中國(guó)標(biāo)準(zhǔn)文獻(xiàn)分類(lèi)號(hào)

CES

團(tuán)體標(biāo)準(zhǔn)

T/CESXXX-XXXX

電力人工智能邊端側(cè)模型技術(shù)規(guī)范

Technicalspecificationforelectricpowerartificialintelligencesideandend

measurementmodel

（征求意見(jiàn)稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國(guó)電工技術(shù)學(xué)會(huì)發(fā)布

電力人工智能邊端側(cè)模型技術(shù)規(guī)范

1范圍

本標(biāo)準(zhǔn)規(guī)定了電力人工智能邊端側(cè)模型技術(shù)應(yīng)用相關(guān)的通用要求、安全性要求、效率要求、算子要

求、模型應(yīng)用封裝要求和模型評(píng)價(jià)指標(biāo)及方法本文件適用于電力輸變配和安檢等數(shù)據(jù)采集終端智能分析

應(yīng)用場(chǎng)景，提升電力邊端側(cè)數(shù)據(jù)匯集分析智能化水平，構(gòu)建低延時(shí)、低帶寬依賴(lài)、經(jīng)濟(jì)智能、數(shù)據(jù)可控

和高可靠性的邊端人工智能算力賦能體系。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T5271.28信息技術(shù)詞匯第28部分：人工智能基本概念與專(zhuān)家系統(tǒng)

GB/T34952多媒體數(shù)據(jù)語(yǔ)義描述要求

3術(shù)語(yǔ)和定義

GB/T5271.28界定的以及下列術(shù)語(yǔ)和定義適用于本文件。

3.1電力邊端側(cè)模型Edgemodelofelectricpower

面向電力生產(chǎn)數(shù)據(jù)端側(cè)（數(shù)據(jù)采集裝置）和邊側(cè)數(shù)據(jù)（變電站、作業(yè)現(xiàn)場(chǎng)等小范圍設(shè)備集控場(chǎng)景）

篩選歸集與數(shù)據(jù)分析任務(wù)，基于邊緣硬件架構(gòu)優(yōu)化與深度學(xué)習(xí)技術(shù)構(gòu)建的可集成在邊側(cè)或端側(cè)具備基礎(chǔ)

算力設(shè)備上的模型，能夠滿(mǎn)足低時(shí)延、低功耗、低帶寬的基本業(yè)務(wù)要求。

3.2開(kāi)放神經(jīng)網(wǎng)絡(luò)交換ONNX

一種針對(duì)機(jī)器學(xué)習(xí)所設(shè)計(jì)的開(kāi)放式的文件格式，用于存儲(chǔ)訓(xùn)練好的電力人工智能邊端模型。它使得

不同的人工智能框架可以采用相同格式存儲(chǔ)電力人工智能邊端模型數(shù)據(jù)并交互。

3.3應(yīng)用容器引擎Docker

開(kāi)源的應(yīng)用容器引擎，打包電力人工智能應(yīng)用以及依賴(lài)包到一個(gè)可移植的鏡像中，然后發(fā)布到任何

流行的Linux或Windows操作系統(tǒng)的機(jī)器上，也可以實(shí)現(xiàn)虛擬化。容器是完全使用沙箱機(jī)制，相互之

間不會(huì)有任何接口。

3.4算子Operator

是一個(gè)函數(shù)空間到函數(shù)空間上的映射O：X→X。廣義上的算子可以推廣到任何空間，如內(nèi)積空間等。

3.5功率分析儀Poweranalyzer

用來(lái)測(cè)量電機(jī)、變頻器、變壓器等功率轉(zhuǎn)換裝置的功率、效率等參量。

3.6人工智能artificialintelligence

利用數(shù)字計(jì)算機(jī)或者由數(shù)字計(jì)算機(jī)控制的機(jī)器，模擬、延伸和擴(kuò)展人類(lèi)的智能，感知環(huán)境、獲取知

識(shí)并使用知識(shí)獲得最佳結(jié)果的理論、方法、技術(shù)和應(yīng)用系統(tǒng)。

T/CESXXX-XXXX

3.7電力人工智能模型artificialintelligencemodel

通過(guò)學(xué)習(xí)海量電力樣本數(shù)據(jù)中的內(nèi)在規(guī)律和表現(xiàn)層次，實(shí)現(xiàn)包括分類(lèi)、回歸、聚類(lèi)、目標(biāo)檢測(cè)、光

學(xué)字符識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別等任務(wù)。

3.8分類(lèi)模型classificationmodel

判斷一個(gè)新的觀(guān)察電力樣本數(shù)據(jù)所屬的電力類(lèi)別的模型。

3.9回歸模型regressionmodel

預(yù)測(cè)一個(gè)新的觀(guān)察電力樣本數(shù)據(jù)的連續(xù)型目標(biāo)值的模型。

3.10聚類(lèi)模型clusteringmodel

劃分無(wú)標(biāo)記的電力樣本數(shù)據(jù)集為多個(gè)電力類(lèi)別的模型。

3.11目標(biāo)檢測(cè)模型objectdetectionmodel

確定電力圖像上目標(biāo)所屬電力類(lèi)別和位置屬性信息的模型。

3.12光學(xué)字符識(shí)別模型opticalcharacterrecognitionmodel

將電力影像上的文字內(nèi)容轉(zhuǎn)換為直接可編輯文字的模型。

3.13自然語(yǔ)言處理模型naturallanguageprocessingmodel

人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的模型，用于人類(lèi)與機(jī)器的交互，能夠挖掘電力領(lǐng)域自然

語(yǔ)言文本蘊(yùn)含的電力相關(guān)信息和知識(shí)。

3.14語(yǔ)音識(shí)別模型speechrecognitionmodel

將電力語(yǔ)音數(shù)據(jù)轉(zhuǎn)換為機(jī)器可讀數(shù)據(jù)（文本內(nèi)容、二進(jìn)制編碼、字符序列等）的模型。

3.15聲音檢測(cè)類(lèi)sounddetectionandrecognition

主要以檢測(cè)電力設(shè)備運(yùn)行聲音為主要目的任務(wù)。

3.16文字輸入類(lèi)textinput

以文字錄入為主要目的，要求把電力領(lǐng)域的語(yǔ)音轉(zhuǎn)化為電力領(lǐng)域相關(guān)文字的任務(wù)。

3.17訓(xùn)練數(shù)據(jù)集trainingset

電力人工智能邊端模型構(gòu)建過(guò)程中使用的電力數(shù)據(jù)集合。

3.18測(cè)試數(shù)據(jù)集testingset

評(píng)估電力人工智能邊端模型構(gòu)建質(zhì)量的電力數(shù)據(jù)集合。

3.19真正例truepositives

電力人工智能邊端模型正確判定的正類(lèi)電力樣本。

3.20假正例falsepositives

2

T/CESXXX-XXXX

電力人工智能被邊端模型判定為正類(lèi)的負(fù)類(lèi)電力樣本。

3.21真正例率truepositiverate

電力人工智能邊端模型正確判定的正類(lèi)電力樣本占所有正類(lèi)電力樣本的比例。

3.22假正例率falsepositiverate

電力人工智能邊端模型判定為正類(lèi)的負(fù)類(lèi)電力樣本占所有負(fù)類(lèi)電力樣本的比例。

3.23正確率accuracy

電力人工智能邊端模型判斷正確的電力樣本占所有電力樣本的比例。

3.24精確率precision

電力人工智能邊端模型正確判定的正類(lèi)電力樣本占所有邊端模型判定的正類(lèi)電力樣本的比例。

3.25召回率recall

電力人工智能邊端模型正確判定的正類(lèi)電力樣本占所有正類(lèi)電力樣本的比例。

3.26F1值F1-score

電力人工智能邊端模型的精確率和召回率的調(diào)和平均。

3.27對(duì)數(shù)損失logloss

電力人工智能邊端模型決策所包含的信息量。

3.28P-R曲線(xiàn)precisionrecallcurve

以電力人工智能邊端模型精確率為縱軸、召回率為橫軸作圖得到的曲線(xiàn)。

3.29平均精確率meanprecision

電力人工智能邊端模型判定所有電力領(lǐng)域類(lèi)別的精確率的均值。

3.30平均召回率meanrecall

電力人工智能邊端模型判定的所有電力領(lǐng)域類(lèi)別的召回率的均值。

3.31平均精度averageprecision

在P-R曲線(xiàn)下，電力人工智能邊端模型的召回率從0到1各個(gè)點(diǎn)的精確率的均值，即P-R曲線(xiàn)下的

面積。

3.32平均精度均值meanaverageprecision

電力人工智能邊端模型判定的所有電力領(lǐng)域類(lèi)別的平均精度的均值。

3.33平均絕對(duì)誤差meanabsoluteerror

電力人工智能邊端模型預(yù)測(cè)結(jié)果與目標(biāo)值的差的絕對(duì)值的平均值。

3.34均方誤差meansquareerror

3

T/CESXXX-XXXX

電力人工智能邊端模型預(yù)測(cè)結(jié)果與目標(biāo)值的差的平方的平均值。

3.35均方根誤差rootmeansquareerror

電力人工智能邊端模型預(yù)測(cè)結(jié)果與目標(biāo)值的差的平方的平均值的根。

3.36決定系數(shù)r-squared

描述回歸方程與真實(shí)電力樣本數(shù)據(jù)輸出之間的相似程度。

3.37校正決定系數(shù)adjustedr-squared

描述回歸方程與真實(shí)電力樣本數(shù)據(jù)輸出之間的相似程度，基于決定系數(shù)的調(diào)整。

3.38蘭德系數(shù)randindex

電力人工智能邊端模型劃分正確的電力樣本對(duì)數(shù)占所有電力樣本對(duì)數(shù)的比例。

3.39調(diào)整蘭德系數(shù)adjustedrandindex

蘭德系數(shù)的去均值歸一化。

3.40互信息mutualinformation

描述兩個(gè)變量之間重疊的信息量。

3.41調(diào)整互信息adjustedmutualinformation

一種基于互信息的聚類(lèi)效果評(píng)價(jià)方法。

3.42輪廓系數(shù)silhouettecoefficient

結(jié)合簇內(nèi)凝聚度和分離度的一種聚類(lèi)效果評(píng)價(jià)方式。

3.43平均編輯距離averageeditdistance

電力人工智能邊端模型識(shí)別的字符串變換到標(biāo)準(zhǔn)字符串進(jìn)行的插入、刪除、替換操作次數(shù)的均值。

3.44字符識(shí)別準(zhǔn)確率characterrecognitionaccuracy

電力人工智能邊端模型正確識(shí)別字符數(shù)占所有識(shí)別字符數(shù)的比例。

3.45字符識(shí)別召回率characterrecognitionrecall

電力人工智能邊端模型正確識(shí)別字符數(shù)占所有標(biāo)準(zhǔn)字符數(shù)的比例。

3.46文本行定位準(zhǔn)確率textlinepositioningaccuracy

電力人工智能邊端模型正確定位的文本行數(shù)占所有文本行數(shù)的比例。

3.47文本行定位召回率textlinepositioningrecall

電力人工智能邊端模型正確定位的文本行數(shù)占所有標(biāo)準(zhǔn)文本行數(shù)的比例。

3.48詞錯(cuò)誤率worderrorrate

電力人工智能邊端模型輸出詞序列與標(biāo)準(zhǔn)詞序列的標(biāo)準(zhǔn)編輯距離占標(biāo)準(zhǔn)詞序列中所有詞語(yǔ)的比例。

4

T/CESXXX-XXXX

3.49字錯(cuò)誤率charactererrorrate

電力人工智能邊端模型輸出字序列與標(biāo)準(zhǔn)字序列的標(biāo)準(zhǔn)編輯距離占標(biāo)準(zhǔn)字序列中所有字的比例。

3.50句錯(cuò)誤率sentenceerrorrate

電力人工智能邊端模型輸出錯(cuò)誤句子的個(gè)數(shù)占所有句子的比例。

3.51雙語(yǔ)評(píng)估替換bilingualevaluationunderstudy

用于評(píng)估電力領(lǐng)域自然語(yǔ)言處理生成類(lèi)文本的質(zhì)量，簡(jiǎn)稱(chēng)BLEU。

3.52魯棒性robustness

描述擾動(dòng)、異常和危險(xiǎn)情況下電力人工智能模型的工作能力。

3.53完備性completeness

電力人工智能邊端模型具有算法框架、開(kāi)發(fā)語(yǔ)言、模型版本、運(yùn)行環(huán)境等完整信息以及電力模型文

件及附屬源信息齊全等。

3.54黑盒攻擊blackboxattack

攻擊者未知攻擊電力人工智能邊端模型的內(nèi)部結(jié)構(gòu)，訓(xùn)練參數(shù)，防御方法，通過(guò)一定規(guī)則構(gòu)造攻擊

電力樣本以完成攻擊。

3.55白盒攻擊whiteboxattack

攻擊者已知攻擊電力人工智能邊端模型的內(nèi)部結(jié)構(gòu)，訓(xùn)練參數(shù)，防御方法，構(gòu)造特定的攻擊電力樣

本以完成攻擊。

4通用要求

電力人工智能邊端側(cè)模型主要應(yīng)用電力業(yè)務(wù)邊端數(shù)據(jù)采集分析場(chǎng)景，需能夠快速適配主流邊緣計(jì)算

硬件架構(gòu)，支持基于不同運(yùn)算框架之間的模型超參轉(zhuǎn)換，邊端推理效率和安全性方面符合基本要求。

4.1應(yīng)用場(chǎng)景

電力人工智能邊端側(cè)模型主要通過(guò)集成到輸變配和安監(jiān)的源端數(shù)據(jù)采集裝置或邊側(cè)數(shù)據(jù)集控終端

進(jìn)行快速數(shù)據(jù)分析，提升電力數(shù)據(jù)分析處理效率。

4.2硬件架構(gòu)適配

電力人工智能邊端側(cè)模型根據(jù)實(shí)際應(yīng)用場(chǎng)景和邊端硬件架構(gòu)不同需支持差異化的適配，需支持的硬

件架構(gòu)包括但不限于FPGA和ARM內(nèi)核等。

4.3模型超參轉(zhuǎn)換

電力人工智能邊端側(cè)模型為適應(yīng)不同運(yùn)算框架下的超參轉(zhuǎn)換需求，需滿(mǎn)足ONNX或TensorRT轉(zhuǎn)換標(biāo)

準(zhǔn)，采用相同格式存儲(chǔ)模型數(shù)據(jù)并交互。

4.4邊端推理效率

5

T/CESXXX-XXXX

邊端側(cè)模型應(yīng)考慮資源占用情況，運(yùn)行算力要求不宜高于1TFLOPS，邊端推理功耗不超過(guò)5W，單

張圖像的響應(yīng)處理時(shí)間應(yīng)小于0.5s。

4.5應(yīng)用安全

安全性方面應(yīng)符合Q/GDW1597-2015標(biāo)準(zhǔn)的要求。

5通用算子要求

邊端側(cè)應(yīng)當(dāng)支持常見(jiàn)的深度學(xué)習(xí)底層框架，邊端側(cè)模型算子根據(jù)模型實(shí)際應(yīng)用場(chǎng)景，進(jìn)行差異化組

合應(yīng)用，但邊端側(cè)算子必須滿(mǎn)足底層框架相關(guān)API使用規(guī)則。各類(lèi)常見(jiàn)深度學(xué)習(xí)框架如下表所示，具體

的框架對(duì)應(yīng)的常規(guī)算子詳見(jiàn)附錄1

算子融合要求：對(duì)于按順序出現(xiàn)的基礎(chǔ)算子如卷積、激活函數(shù)以及池化等，需支持按照算子出現(xiàn)的

順序進(jìn)行單級(jí)融合或多級(jí)融合。

自定義算子要求：對(duì)于常用算子外的由大量基本操作構(gòu)成的運(yùn)算過(guò)程，需支持提供相應(yīng)接口以完成

自定義計(jì)算節(jié)點(diǎn)的搭建及調(diào)用。

高性能計(jì)算要求：對(duì)于常用算子及自定義算子不同的計(jì)算硬件需求，需支持不同硬件間的并行處理，

并支持依據(jù)算子相關(guān)性進(jìn)行數(shù)據(jù)傳輸和共享。

表5-1框架支持列表

深度學(xué)習(xí)框架指令參數(shù)項(xiàng)模型文件類(lèi)型

TensorFlowtf.pb,.ckpt

Caffecaffe.onnx

ONNXonnx.protxt,.caffemodel

Pytorchtorch.pt,.pth

6模型封裝要求

邊端側(cè)模型封裝應(yīng)考慮模型管理與數(shù)據(jù)貫通要求，實(shí)現(xiàn)與邊緣智能服務(wù)平臺(tái)或人工智能平臺(tái)等管理

系統(tǒng)的數(shù)據(jù)貫通，實(shí)現(xiàn)模型初始化消息隊(duì)列服務(wù)和數(shù)據(jù)管理服務(wù)，并采用Docker容器化方式進(jìn)行封裝。

圖6-1模型封裝體系

6.1模型初始化服務(wù)

6

T/CESXXX-XXXX

用于與管理系統(tǒng)進(jìn)行交互，實(shí)現(xiàn)兩級(jí)貫通與初始化算法需要輸出的消息隊(duì)列。

圖6-2模型初始化服務(wù)流程

表6-1模型初始化服務(wù)接口

edge_computing_msg_queue_output_init初始化需要輸出的算法消息隊(duì)列

edge_computing_msg_queue_output_deinit反初始化需要輸出的算法消息隊(duì)列

6.2數(shù)據(jù)管理服務(wù)

數(shù)據(jù)管理服務(wù)依托邊緣側(cè)模型推理服務(wù)為結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)提供具備一定安全性的數(shù)據(jù)

管理服務(wù)。

圖6-3數(shù)據(jù)管理服務(wù)流程

表6-2數(shù)據(jù)管理服務(wù)接口

edge_computing_data_push數(shù)據(jù)推送

edge_computing_structured_data_read結(jié)構(gòu)化數(shù)據(jù)讀取

edge_computing_unstructured_data_re非結(jié)構(gòu)化數(shù)據(jù)讀取

ad

6.2.1數(shù)據(jù)推送

推送結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)管理。數(shù)據(jù)管理服務(wù)接口的type字段用于區(qū)分結(jié)構(gòu)化數(shù)據(jù)

和非結(jié)構(gòu)化數(shù)據(jù)；其余字段按照接口說(shuō)明傳入?yún)?shù)，從而調(diào)用edge_computing_data_push接口來(lái)實(shí)現(xiàn)對(duì)

托管數(shù)據(jù)的推送。

數(shù)據(jù)推送接口如下：

7

T/CESXXX-XXXX

6.2.2結(jié)構(gòu)化數(shù)據(jù)讀取

結(jié)構(gòu)化數(shù)據(jù)讀取，主要根據(jù)其key字段，獲取對(duì)應(yīng)的value值。

結(jié)構(gòu)化數(shù)據(jù)讀取接口如下：

/*結(jié)構(gòu)化數(shù)據(jù)讀取接口

*@name結(jié)構(gòu)化數(shù)據(jù)讀取

*@paramkey:結(jié)構(gòu)化數(shù)據(jù)的key字段

*@paramaddress:存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)value值的空間地址

*@paramcapacity:存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)value值的空間大小

*@return1:成功;0:失敗

*/

intedge_computing_structured_data_read(constchar*key,void*address,size_t

capacity);

6.2.3非結(jié)構(gòu)化數(shù)據(jù)讀取

非結(jié)構(gòu)化數(shù)據(jù)讀取，主要根據(jù)其存儲(chǔ)地址，找到并讀取其內(nèi)容。

非結(jié)構(gòu)化數(shù)據(jù)讀取接口如下：

/*非結(jié)構(gòu)化數(shù)據(jù)讀取接口

*@name非結(jié)構(gòu)化數(shù)據(jù)讀取

*@paramfile:非結(jié)構(gòu)化數(shù)據(jù)的文件名稱(chēng)

*@parampath:非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)地址

*@return1:成功;0:失敗

*/

intedge_computing_unstructured_data_read(constchar*file,constchar*path);

6.3容器化模型打包

容器化模型打包通過(guò)Docker方式，定制化模型打包配制文件Dockerfile,通過(guò)執(zhí)行dockerbuild命令來(lái)

構(gòu)建鏡像：

dockerbuild-t<repo>:<tag>.

其中，-t為鏡像的名字及標(biāo)簽，格式為<repo>:<tag>，Dockerfile的內(nèi)容及dockerbuild中的相關(guān)選項(xiàng)

可參考Docker官方文檔。

在完成制作鏡像后，可以通過(guò)dockersave將指定鏡像保存成tar歸檔文件：

dockersave-o<repo_target>.tar<repo_source>:<tag>

其中，-o為指定輸出tar文件，輸出為<repo_target>.tar即導(dǎo)出的鏡像tar名稱(chēng)，<repo_source>:<tag>為

原始鏡像的名稱(chēng)及標(biāo)簽。

8

T/CESXXX-XXXX

在管理系統(tǒng)管理發(fā)布與初始化邊緣側(cè)模型過(guò)程中，除了構(gòu)建完成的docker鏡像包文件，還包含其它

信息如鏡像名稱(chēng)、鏡像版本（用戶(hù)自定義）以及Docker鏡像啟動(dòng)參數(shù)（如--rm-i-t-d-P）等。

7模型評(píng)價(jià)指標(biāo)及方法

邊端測(cè)模型評(píng)價(jià)通用指標(biāo)包括邊端模型推理速度和邊端模型推理功耗，針對(duì)不同的邊端算法任務(wù)分

為分類(lèi)、回歸、聚類(lèi)、目標(biāo)檢測(cè)、光學(xué)字符識(shí)別、語(yǔ)音識(shí)別和自然語(yǔ)言處理模型評(píng)價(jià)指標(biāo)。

7.1模型評(píng)價(jià)體系

圖7-1邊端模型評(píng)價(jià)體系

邊端模型評(píng)價(jià)主要包括邊端模型評(píng)價(jià)等級(jí)、評(píng)價(jià)方法和評(píng)價(jià)指標(biāo)三個(gè)大方面。邊端模型評(píng)價(jià)的模型

和測(cè)試數(shù)據(jù)從邊緣智能服務(wù)平臺(tái)下發(fā)至邊緣設(shè)備中，通過(guò)測(cè)試集和擴(kuò)充測(cè)試集數(shù)據(jù)計(jì)算各類(lèi)邊端模型的

評(píng)價(jià)指標(biāo)，獲得模型的安全性、效率性、魯棒性等指標(biāo)，最終得到各邊端模型的等級(jí)，并上傳至邊緣智

能服務(wù)平臺(tái)。

7.2安全性評(píng)價(jià)

9

T/CESXXX-XXXX

用于評(píng)價(jià)電力人工智能邊端模型的安全程度，宜包括但不限于下列內(nèi)容：

a)通過(guò)黑盒攻擊算法構(gòu)建攻擊樣本數(shù)據(jù)集，依據(jù)7.5計(jì)算邊端模型攻擊樣本數(shù)據(jù)集上的功能性指

標(biāo)。

b)通過(guò)白盒攻擊算法構(gòu)建攻擊樣本數(shù)據(jù)集，依據(jù)7.5計(jì)算邊端模型攻擊樣本數(shù)據(jù)集上的功能性指

標(biāo)。

7.3魯棒性評(píng)價(jià)

用于評(píng)價(jià)電力人工智能邊端模型是否在樣本變動(dòng)時(shí)仍能維持性能，應(yīng)包括但不限于下列內(nèi)容：

a)圖像類(lèi)樣本應(yīng)經(jīng)過(guò)旋轉(zhuǎn)、裁剪、平移、模糊、加噪、縮放構(gòu)建新的測(cè)試數(shù)據(jù)集，計(jì)算邊端模型

在新測(cè)試數(shù)據(jù)集上的功能性指標(biāo)。

b)文本類(lèi)樣本應(yīng)擴(kuò)展、插值、交換、刪除、分隔、詞匯替換構(gòu)建新的測(cè)試數(shù)據(jù)集，計(jì)算邊端模型

在新測(cè)試數(shù)據(jù)集上的功能性指標(biāo)。

c)語(yǔ)音類(lèi)樣本應(yīng)經(jīng)過(guò)擴(kuò)展、加噪構(gòu)建新的測(cè)試數(shù)據(jù)集，計(jì)算邊端模型在新測(cè)試數(shù)據(jù)集上的功能性

指標(biāo)。

d)目標(biāo)檢測(cè)類(lèi)模型的魯棒性評(píng)價(jià)樣本應(yīng)包含光照或角度變化、相似物與遮擋物干擾。

e)光學(xué)字符識(shí)別模型宜包含字體變換，手寫(xiě)與印刷字符變換等，可根據(jù)具體業(yè)務(wù)應(yīng)用。

f)自然語(yǔ)言處理模型魯棒性評(píng)價(jià)樣本應(yīng)包含同義詞、近義詞和反義詞干擾，停用詞干擾。

g)語(yǔ)音識(shí)別類(lèi)模型的魯棒性評(píng)價(jià)樣本應(yīng)包含語(yǔ)速、語(yǔ)調(diào)、聲調(diào)、口音、表達(dá)方式變化。

7.4模型推理效率評(píng)價(jià)

用于評(píng)價(jià)電力人工智能邊端模型運(yùn)行效率是否滿(mǎn)足要求，宜包括但不限于下列內(nèi)容：

a)邊端模型推理速度：計(jì)算邊端模型完成測(cè)試數(shù)據(jù)集推理的平均速度。

b)邊端模型推理功耗：計(jì)算邊端模型推理需要的功耗。

邊端模型推理速度、邊端模型推理功耗指標(biāo)應(yīng)作為邊端模型推理效率性的重要參考指標(biāo)，具體指標(biāo)

需根據(jù)業(yè)務(wù)實(shí)際需求確定。

7.5評(píng)價(jià)指標(biāo)

7.5.1分類(lèi)模型評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)電力人工智能分類(lèi)模型實(shí)現(xiàn)的功能是否滿(mǎn)足要求，宜包括準(zhǔn)確率、精確率、召回率、F1

值和對(duì)數(shù)損失等內(nèi)容，具體計(jì)算過(guò)程見(jiàn)附錄2.1。

7.5.2回歸模型評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)電力人工智能回歸模型實(shí)現(xiàn)的功能是否滿(mǎn)足要求，宜包括平均絕對(duì)誤差、均方誤差、均方

根誤差、決定系數(shù)和校正決定系數(shù)等內(nèi)容，具體計(jì)算過(guò)程詳見(jiàn)附錄2.2。

7.5.3聚類(lèi)模型評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)電力人工智能聚類(lèi)模型實(shí)現(xiàn)的功能是否滿(mǎn)足要求，宜包括調(diào)整蘭德系數(shù)、調(diào)整互信息、和

輪廓系數(shù)等內(nèi)容，具體計(jì)算過(guò)程見(jiàn)附錄2.3。

7.5.4目標(biāo)檢測(cè)模型評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)目標(biāo)檢測(cè)模型實(shí)現(xiàn)的功能是否滿(mǎn)足要求，宜包括IoU大于或等于預(yù)設(shè)值、平均精確率、平

均召回率、平均精度和平均精度均值等內(nèi)容，具體計(jì)算過(guò)程見(jiàn)附錄2.4。

10

T/CESXXX-XXXX

7.5.5光學(xué)字符識(shí)別模型評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)光學(xué)字符識(shí)別模型實(shí)現(xiàn)的功能是否滿(mǎn)足要求，宜包括平均編輯距離、字符識(shí)別準(zhǔn)確率、字

符識(shí)別召回率、文本行定位準(zhǔn)確率和文本行定位召回率等內(nèi)容，具體計(jì)算過(guò)程見(jiàn)附錄2.5。

7.5.6語(yǔ)音識(shí)別模型評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)語(yǔ)音識(shí)別模型實(shí)現(xiàn)的功能是否滿(mǎn)足要求，宜包括字錯(cuò)誤率、句錯(cuò)誤率、字匹配率、字準(zhǔn)確

率、誤報(bào)率、漏報(bào)率、檢出率和語(yǔ)音識(shí)別模型響應(yīng)系數(shù)等內(nèi)容，具體計(jì)算過(guò)程見(jiàn)附錄2.6。

7.5.7自然語(yǔ)言處理模型評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)自然語(yǔ)言處理模型實(shí)現(xiàn)的功能是否滿(mǎn)足要求，宜包括精確率、召回率、F1和BLEU等內(nèi)容，

具體計(jì)算過(guò)程見(jiàn)附錄2.7。

7.5.8邊端模型推理效率評(píng)價(jià)指標(biāo)

（1）邊端模型推理速度評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)電力人工智能邊端模型推理速度是否滿(mǎn)足要求，宜包括但不限于內(nèi)容：

a)計(jì)算邊端模型完成測(cè)試數(shù)據(jù)集推理的平均時(shí)間。

b)計(jì)算邊端模型完成測(cè)試數(shù)據(jù)集推理平均速度。

（2）邊端模型功耗評(píng)價(jià)指標(biāo)

用于評(píng)價(jià)電力人工智能邊端模型功耗是否滿(mǎn)足要求，宜包括但不限于內(nèi)容：

a)計(jì)算邊端模型完成測(cè)試數(shù)據(jù)集推理的平均功耗。

7.6評(píng)價(jià)方法

人工智能邊端模型評(píng)價(jià)測(cè)試流程包括模型完備性評(píng)價(jià)、評(píng)價(jià)測(cè)試集選取、選擇模型評(píng)價(jià)指標(biāo)、模型

封裝測(cè)試和模型推理效率測(cè)試等五個(gè)步驟，如下圖所示。

圖7-2邊端模型評(píng)價(jià)測(cè)試流程

11

T/CESXXX-XXXX

7.6.1模型完備性評(píng)價(jià)

具備完備性的人工智能邊端模型應(yīng)具備以下條件：

a)邊端模型應(yīng)有對(duì)應(yīng)的模型描述文件，具體應(yīng)包含模型名稱(chēng)、模型用途、運(yùn)行模式、模型類(lèi)型、

模型運(yùn)行環(huán)境、開(kāi)發(fā)語(yǔ)言、開(kāi)發(fā)框架、模型版本、模型提供單位、模型訓(xùn)練數(shù)據(jù)集規(guī)模等基本

描述信息；

b)邊端模型宜提供模型源文件和模型相關(guān)附屬源文件等。

7.6.2評(píng)價(jià)測(cè)試數(shù)據(jù)集選取

a)測(cè)試數(shù)據(jù)集應(yīng)與訓(xùn)練數(shù)據(jù)集具有互斥性，即測(cè)試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集不重合；

b)測(cè)試數(shù)據(jù)類(lèi)型為圖像文件時(shí)，圖片宜為RGB三通道彩色圖像，圖片分辨率宜不低于500*500像

素，圖片格式宜為jpg、png、jpeg、bmp、tif等；

c)分類(lèi)模型與聚類(lèi)模型測(cè)試數(shù)據(jù)集中所有類(lèi)別樣本數(shù)量比例建議相同，可根據(jù)具體業(yè)務(wù)需求進(jìn)行

調(diào)整；

d)目標(biāo)檢測(cè)模型測(cè)試數(shù)據(jù)集中包含目標(biāo)樣本與不包含目標(biāo)樣本比例建議為7:3，且每一個(gè)目標(biāo)類(lèi)

別的樣本數(shù)量宜不少于500張；

e)測(cè)試數(shù)據(jù)集樣本標(biāo)注信息應(yīng)完備并準(zhǔn)確無(wú)誤，且應(yīng)避免被人為添加的惡意數(shù)據(jù)污染。

f)語(yǔ)音測(cè)試樣本格式宜為cpm、speex、speex-wb、mp3等，音頻采樣率宜不低于8kHz，音頻長(zhǎng)度

宜不少于3秒且不超過(guò)180秒，語(yǔ)言種類(lèi)包括中文、英文、地方方言等；

g)自然語(yǔ)言處理模型的測(cè)試數(shù)據(jù)，宜為UTF-8純文本格式文件，單次文本長(zhǎng)度宜不超過(guò)5000字符

（一個(gè)漢字、英文字母、標(biāo)點(diǎn)符號(hào)，均記為一個(gè)字符），文件內(nèi)宜根據(jù)具體需求涵蓋單句、段

落、文章、詩(shī)詞等多種文學(xué)結(jié)構(gòu)的文本。

7.6.3選擇模型評(píng)價(jià)指標(biāo)

應(yīng)結(jié)合具體業(yè)務(wù)應(yīng)用場(chǎng)景和邊端模型類(lèi)型選擇模型評(píng)價(jià)指標(biāo)。具體選取規(guī)則如下：

a)邊端模型評(píng)價(jià)宜包含模型指標(biāo)評(píng)價(jià)、安全性、魯棒性和效率性等內(nèi)容；

b)邊端模型指標(biāo)評(píng)價(jià)至少應(yīng)包含7.5中對(duì)應(yīng)的指標(biāo)；

c)安全性評(píng)價(jià)：基于邊端模型安全測(cè)試樣本，計(jì)算功能性指標(biāo)，觀(guān)察指標(biāo)變化評(píng)價(jià)模型安全性，

d)魯棒性評(píng)價(jià)：基于邊端模型魯棒性測(cè)試樣本，計(jì)算功能性指標(biāo)，觀(guān)察指標(biāo)變化評(píng)價(jià)邊端模型魯

棒性。

7.6.4模型封裝測(cè)試

邊端模型封裝測(cè)試通過(guò)判斷邊端模型是否成功部署于邊端，并根據(jù)邊端返回的封裝信息來(lái)判斷模型

封裝是否成功。

7.6.5模型推理效率測(cè)試

模型推理效率測(cè)試分為推理速度測(cè)試和功耗測(cè)試兩部分。

（1）邊端模型推理速度評(píng)價(jià)測(cè)試

計(jì)算模型推理時(shí)間在執(zhí)行模型推理語(yǔ)句前得到時(shí)間點(diǎn)，與得到模型推理結(jié)果后的時(shí)間點(diǎn)進(jìn)行相減，

得到推理時(shí)間，時(shí)間點(diǎn)可以通過(guò)調(diào)取系統(tǒng)時(shí)間來(lái)獲得。

（2）邊端模型功耗評(píng)價(jià)測(cè)試

模型功耗測(cè)試方法如下：

（1）能耗測(cè)試接線(xiàn)圖

12

T/CESXXX-XXXX

+

電源接口

+

可調(diào)直流電源功率分析儀至待測(cè)設(shè)備

-

-

圖7-3模型功耗測(cè)試電路圖

可調(diào)直流電源為標(biāo)準(zhǔn)的可調(diào)穩(wěn)壓電源，輸出電壓根據(jù)待測(cè)設(shè)備的需求，可設(shè)置為3.2V的整數(shù)倍（即

為3.2V、6.4V、9.6V等）。

功率分析儀全過(guò)程記錄被測(cè)對(duì)象功耗情況。

電源接口采用XT60母口。待測(cè)前端設(shè)備應(yīng)將內(nèi)置電池去除，內(nèi)部電源接口統(tǒng)一更換為XT60公口，

接至設(shè)備外。

（2）能耗測(cè)試方法

待測(cè)前端設(shè)備在收到統(tǒng)一的指令后，啟動(dòng)模型推理計(jì)算，開(kāi)始進(jìn)行不間斷的識(shí)別運(yùn)算，每識(shí)別完一

份數(shù)據(jù)，立即上報(bào)結(jié)果，測(cè)試此階段的總能耗。

7.7模型性能等級(jí)判定

7.7.1模型等級(jí)判定一般規(guī)則

a)本技術(shù)規(guī)范適用于邊端模型部署應(yīng)用前的入網(wǎng)評(píng)價(jià)和部署應(yīng)用后的應(yīng)用效果評(píng)價(jià)；

b)本技術(shù)規(guī)范對(duì)邊端模型進(jìn)行等級(jí)判定，實(shí)際應(yīng)用中應(yīng)考慮模型安全性、魯棒性、效率性等其他

因素。

c)本技術(shù)規(guī)范的模型等級(jí)是對(duì)業(yè)務(wù)應(yīng)用功能相近的模型進(jìn)行歸類(lèi)，不對(duì)模型的可用性進(jìn)行定義，

被測(cè)模型最終評(píng)價(jià)結(jié)果宜參考具體業(yè)務(wù)場(chǎng)景的相關(guān)規(guī)范。

7.7.2分類(lèi)模型等級(jí)

分類(lèi)模型評(píng)價(jià)等級(jí)參考以下規(guī)則：

表7-1分類(lèi)模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

準(zhǔn)確率≥95%，精確率≥95%，召回率≥95%，F(xiàn)1值≥0.95，對(duì)數(shù)損失≤0.7，

C1

AUC≤0.7

準(zhǔn)確率≥85%，精確率≥85%，召回率≥85%，F(xiàn)1值≥0.85，對(duì)數(shù)損失≤0.75，

C2

AUC≤0.75

準(zhǔn)確率≥80%、精確率≥80%，召回率≥80%，F(xiàn)1值≥0.8，對(duì)數(shù)損失≤0.8，

C3

AUC≤0.8

準(zhǔn)確率≥75%、精確率≥75%，召回率≥75%，F(xiàn)1值≥0.75，對(duì)數(shù)損失≤0.85，

C4

AUC≤0.85

準(zhǔn)確率≥70%、精確率≥70%，召回率≥70%，F(xiàn)1值≥0.7，對(duì)數(shù)損失≤0.95，

C5

AUC≤0.95

13

T/CESXXX-XXXX

7.7.3回歸模型等級(jí)

回歸模型評(píng)價(jià)等級(jí)參考以下規(guī)則：

表7-2回歸模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

決定系數(shù)≥0.90C1

決定系數(shù)≥0.85C2

決定系數(shù)≤0.80C3

決定系數(shù)≤0.75C4

決定系數(shù)≤0.7C5

7.7.4聚類(lèi)模型等級(jí)

聚類(lèi)模型評(píng)價(jià)等級(jí)參考以下規(guī)則：

表7-3聚類(lèi)模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

調(diào)整蘭德系數(shù)≥0.95，調(diào)整互信息≥0.95，輪廓系數(shù)≥0.95C1

調(diào)整蘭德系數(shù)≥0.85，調(diào)整互信息≥0.85，輪廓系數(shù)≥0.85C2

整蘭德系數(shù)≥0.8，調(diào)整互信息≥0.8，輪廓系數(shù)≥0.8C3

調(diào)整蘭德系數(shù)≥0.75，調(diào)整互信息≥0.75，輪廓系數(shù)≥0.75C4

調(diào)整蘭德系數(shù)≥0.7，調(diào)整互信息≥0.7，輪廓系數(shù)≥0.7C5

7.7.5目標(biāo)檢測(cè)模型等級(jí)

目標(biāo)檢測(cè)模型IOU值宜設(shè)置為0.5，評(píng)價(jià)等級(jí)參考以下規(guī)則：

表7-4目標(biāo)檢測(cè)模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均精確率≥95%，平均召回率≥95%，平均精度≥0.95，平均精度均值

C1

≥0.95

平均精確率≥85%，平均召回率≥85%，平均精度≥0.85，平均精度均值

C2

≥0.85

平均精確率≥80%，平均召回率≥80%，平均精度≥0.8，平均精度均值

C3

≥0.8

平均精確率≥75%，平均召回率≥75%，平均精度≥0.75，平均精度均值

C4

≥0.75

平均精確率≥70%，平均召回率≥70%，平均精度≥0.7，平均精度均值

C5

≥0.7

7.7.6光學(xué)字符識(shí)模型等級(jí)

目標(biāo)檢測(cè)模型評(píng)價(jià)等級(jí)參考以下規(guī)則：

表7-5光學(xué)字符識(shí)別模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

平均編輯距離，字符識(shí)別準(zhǔn)確率≥95%，字符識(shí)別召回率≥95%，文本定

C1

位準(zhǔn)確率≥95%，文本定位召回率≥95%

平均編輯距離，字符識(shí)別準(zhǔn)確率≥85%，字符識(shí)別召回率≥85%，文本定C2

14

T/CESXXX-XXXX

位準(zhǔn)確率≥85%，文本定位召回率≥85%

平均編輯距離，字符識(shí)別準(zhǔn)確率≤80%，字符識(shí)別召回率≥80%，文本定

C3

位準(zhǔn)確率≤80%，文本定位召回率≤80%

平均編輯距離，字符識(shí)別準(zhǔn)確率≥75%，字符識(shí)別召回率≥75%，文本定

C4

位準(zhǔn)確率≥75%，文本定位召回率≥75%

平均編輯距離，字符識(shí)別準(zhǔn)確率≥70%，字符識(shí)別召回率≥70%，文本定

C5

位準(zhǔn)確率≥70%，文本定位召回率≥70%

7.7.7語(yǔ)音識(shí)別模型等級(jí)

語(yǔ)音識(shí)別模型評(píng)價(jià)等級(jí)參考以下規(guī)則：

表7-6語(yǔ)音識(shí)別模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

字精確率≥95%，句錯(cuò)誤率≤5%，響應(yīng)系數(shù)≤1.1C1

字精確率≥85%，句錯(cuò)誤率≤10%，響應(yīng)系數(shù)≤1.2C2

字精確率≥80%，句錯(cuò)誤率≤15%，響應(yīng)系數(shù)≤1.3C3

字精確率≥75%，句錯(cuò)誤率≤30%，響應(yīng)系數(shù)≤1.4C4

字精確率≥70%，句錯(cuò)誤率≤35%，響應(yīng)系數(shù)≤1.5C5

7.7.8自然語(yǔ)言處理模型等級(jí)

對(duì)于自然語(yǔ)言處理的分類(lèi)任務(wù)，評(píng)價(jià)等級(jí)可參考以下規(guī)則：

表7-7自然語(yǔ)言處理模型評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

準(zhǔn)確率≥95%，召回率≥95%，F(xiàn)1值≥0.95，C1

準(zhǔn)確率≥85%，召回率≥85%，F(xiàn)1值≥0.85，C2

準(zhǔn)確率≥80%，召回率≥80%，F(xiàn)1值≥0.8，C3

準(zhǔn)確率≥75%，召回率≥75%，F(xiàn)1值≥0.75，C4

準(zhǔn)確率≥70%，召回率≥70%，F(xiàn)1值≥0.7，C5

對(duì)于自然語(yǔ)言處理領(lǐng)域的生成式任務(wù)，因文本質(zhì)量難以量化，功能性評(píng)價(jià)可參考BLEU等生成式任

務(wù)評(píng)價(jià)指標(biāo)，與其他同類(lèi)型模型進(jìn)行橫向?qū)Ρ取?/p>

7.7.9模型推理效率等級(jí)

邊端模型推理速度等級(jí)參考以下規(guī)則：

表7-8邊端模型推理速度評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

推理速度≥0.05s/張C1

推理速度≥0.1s/張C2

推理速度≥0.2s/張C3

推理速度≥0.3s/張C4

推理速度≥0.4s/張C5

邊端模型推理功耗等級(jí)參考以下規(guī)則：

15

T/CESXXX-XXXX

表7-9邊端模型推理速度評(píng)價(jià)值計(jì)算

指標(biāo)判定模型等級(jí)

功耗≥0.1wC1

功耗≥1wC2

功耗≥2wC3

功耗≥3wC4

功耗≥4wC5

16

T/CESXXX-XXXX

附錄A

(資料性附錄)

常見(jiàn)框架算子對(duì)照表

表A.1基于Tensorflow框架的算子對(duì)照表

邊端算子TFAPI邊端算子TFAPI

ArgMaxtf.math.argmaxInputtf.placeholder

tf.maximum(net*

alpha,net)

slim.batch_normLeakyRelu

#alphaisconst

BatchNorm

tf.layers.batch_normalizationMeantf.reduce_mean

tf.nn.batch_normalizationPadtf.pad

Concattf.concatslim.max_pool2d

tf.layer.average_pool

Consttf.constant

ing2d

Poolingtf.layers.max_poolin

slim.conv2d

g2d

Conv2Dtf.layers.conv2dtf.nn.max_pool

tf.nn.conv2dRelutf.nn.relu

slim.convolution2d_transposeRelu6tf.nn.relu6

tf.layers.convolution2d_transposeReshapetf.reshape

DeConv2D

tf.nn.convolution2d_transposeSigmoidtf.math.sigmoid

+slim.softmax

Eltwisetf.math.addSoftmaxtf.nn.softmax

tf.image.resize_bilin

slim.flatten

ear

tf.image.resize_imag

FlattenUpsample

tf.reshapees

method=BILINEAR

slim.fully_connected

FullyConnectedtf.layers.dense

表A.2Caffe算子對(duì)照表

邊端算子CaffeLayer邊端算子CaffeLayer

BatchNormBatchNormInputInput

ConcatConcatLRNLRN

Conv2DConvolutionPoolingPooling

EltwiseEltwiseReluRelu

FullyConnectedInnerProductSoftmaxSoftmax

17

T/CESXXX-XXXX

表A.3Pytorch算子對(duì)照表

邊端算子PytorchOP邊端算子PytorchOP

BatchNormbatch_normPadconstant_pad_nd

Concatcatmax_pool2d

Pooling

Conv2D_convolutionavg_pool2d

FlattenflattenRelureluorrelu_

FullyConnectedmatmulReshapeview

GlobalAvgPooladaptive_avg_pool2dSoftmaxsoftmax

LeakyReluleaky_relu_upsample_bilinear2d

Upsample

Meanmeanupsample_nearest2d

表A.4ONNX算子對(duì)照表

邊端算子ONNXOP邊端算子ONNXOP

ArgMaxArgMaxReduceMean

Mean

BatchNormBatchNormalizatioGlobalAveragePool

n

ConcatConcatPadPad

Conv2DConvAveragePool

Pooling

AddMaxPool

Eltwise

SumReluRelu

FlattenReshapeReshapeReshape

GemmSoftmaxSoftmax

FullyConnected

MatMul