人工智能 國(guó)資央企行業(yè)大模型評(píng)測(cè)要求 第1部分：電力大模型（征求意見(jiàn)稿）

準(zhǔn)T/CESAXXXX—202X人工智能?chē)?guó)資央企行業(yè)大模型評(píng)測(cè)要求ArtificialIntelligence-Evaluationrequirementsforindustry-specificlargemodelsofChinesecentralState-ownedenterprises-Part1:largemodelsforthepowerindustry202X-XX-XX發(fā)布202X-XX-XX實(shí)施中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布I ——第1部分：電力大模型；——第2部分：交通大模型；本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、中國(guó)電子工業(yè)引言技術(shù)在國(guó)資央企各行業(yè)內(nèi)的深度融合與創(chuàng)新應(yīng)用，推動(dòng)行業(yè)整體向智能化1GB/TXXXX.2—XXXX人工智能大模型第2部分mAP：均值平均精度（MeanAveragePrecFLOPS：每秒所執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)（floating-pointoMoE：混合專(zhuān)家（MixtureofExpeNLP：自然語(yǔ)言處理（NaturalLanguageProcesBLEU:雙語(yǔ)互譯質(zhì)量評(píng)估(bilingualevaluationunderROUGE:基于召回率的摘要評(píng)估(Recall-OrientedUnderstudyforGistingEFPS:每秒幀數(shù)(FramesPerSePSNR:峰值信噪比(PeakSigna1-to-NoiseSSIM:結(jié)構(gòu)相似性指數(shù)(StructuralSimilarityIn4評(píng)測(cè)框架4.1概述評(píng)測(cè)基本框架要求包括評(píng)測(cè)對(duì)象、評(píng)測(cè)任務(wù)、2電力專(zhuān)業(yè)能力應(yīng)包含規(guī)劃建設(shè)、發(fā)電、輸電31）建設(shè)現(xiàn)場(chǎng)安全規(guī)范識(shí)別應(yīng)包括未佩戴安全帽識(shí)別a)電力規(guī)劃知識(shí)問(wèn)答應(yīng)包括相關(guān)政策知識(shí)問(wèn)答、負(fù)荷預(yù)測(cè)知識(shí)問(wèn)答、能源規(guī)劃知識(shí)問(wèn)答、電網(wǎng)2）負(fù)荷預(yù)測(cè)知識(shí)問(wèn)答應(yīng)包括傳統(tǒng)負(fù)荷預(yù)測(cè)方法問(wèn)答、新型負(fù)荷預(yù)測(cè)技術(shù)問(wèn)a)電力勘測(cè)設(shè)計(jì)知識(shí)問(wèn)答應(yīng)包括巖土專(zhuān)業(yè)知識(shí)問(wèn)答、勘測(cè)知識(shí)問(wèn)答、電力工程設(shè)計(jì)知識(shí)問(wèn)答等2）勘測(cè)知識(shí)問(wèn)答應(yīng)包括地形勘測(cè)知識(shí)問(wèn)答、水文勘測(cè)知識(shí)問(wèn)答、地質(zhì)災(zāi)害勘3）電力工程設(shè)計(jì)知識(shí)問(wèn)答應(yīng)包括設(shè)計(jì)規(guī)范、行業(yè)標(biāo)準(zhǔn)、管理規(guī)定和建4a)電力建設(shè)施工知識(shí)問(wèn)答應(yīng)包括施工標(biāo)準(zhǔn)知識(shí)問(wèn)答、安全管理知識(shí)問(wèn)答、異常天氣預(yù)警應(yīng)對(duì)知2）安全管理知識(shí)問(wèn)答應(yīng)包括電力基建施工中的安全風(fēng)險(xiǎn)、管理措施和應(yīng)急預(yù)3）異常天氣預(yù)警應(yīng)對(duì)知識(shí)問(wèn)答應(yīng)包括各類(lèi)異常天2）設(shè)計(jì)文檔生成為根據(jù)給定設(shè)計(jì)指標(biāo)參數(shù)、地質(zhì)2）布置方案生成為根據(jù)劃定的布置范圍和規(guī)范52）人員安全帽佩戴識(shí)別任務(wù)可識(shí)別發(fā)電場(chǎng)站內(nèi)作業(yè)現(xiàn)場(chǎng)人員是否按規(guī)定佩戴安全帽，支持多3）人員工作服識(shí)別任務(wù)可識(shí)別發(fā)電場(chǎng)站內(nèi)人員是4）人員睡崗識(shí)別任務(wù)可識(shí)別工作人員的睡崗情況，支持靠椅后61）設(shè)備運(yùn)檢知識(shí)問(wèn)答：能夠給出來(lái)源于火電、風(fēng)電、水2）機(jī)組故障判定：能夠根據(jù)輸入的發(fā)電設(shè)備故障機(jī)組情況，3）檢修技改分析：能夠給出來(lái)源于發(fā)電設(shè)備運(yùn)行狀況分析其所屬的5.2.3輸電a）輸電系統(tǒng)缺陷應(yīng)包括桿塔異物識(shí)別、導(dǎo)線缺陷識(shí)別、塔基基礎(chǔ)缺陷識(shí)別、防震錘問(wèn)題、小金78）絕緣子問(wèn)題：能夠識(shí)別無(wú)人機(jī)巡檢中復(fù)合絕緣子傘裙a）輸電施工機(jī)械類(lèi)隱患識(shí)別任務(wù)包括吊車(chē)識(shí)別、挖掘機(jī)識(shí)別、樁機(jī)識(shí)別、塔吊識(shí)別和水a(chǎn)）輸電非施工機(jī)械類(lèi)識(shí)別應(yīng)包括煙霧、火災(zāi)、遮陽(yáng)網(wǎng)、薄膜識(shí)別、易漂浮物識(shí)別、房屋識(shí)別a）輸電人員行為識(shí)別應(yīng)包括安全帽識(shí)別、工作服識(shí)別、安全帶識(shí)別、異常行為識(shí)別和人85.2.3.4.1輸電設(shè)備、設(shè)施運(yùn)檢a）直流輸電運(yùn)檢知識(shí)問(wèn)答應(yīng)包括直流線路運(yùn)檢知識(shí)問(wèn)答、直流桿塔運(yùn)檢知識(shí)問(wèn)答等2）直流桿塔運(yùn)檢知識(shí)問(wèn)答：能夠給出直流輸電線路各類(lèi)桿塔巡檢維護(hù)、試驗(yàn)檢測(cè)a）輸電設(shè)備安全監(jiān)督知識(shí)問(wèn)答應(yīng)包括輸電線路安全管理規(guī)定問(wèn)答、輸電隱患排查及治理知識(shí)問(wèn)答92）輸電隱患排查及治理知識(shí)問(wèn)答：能夠給出輸電架空線路、高壓電纜線路2）高壓電纜故障推理：能夠根據(jù)高壓電纜線路及其附屬設(shè)施發(fā)生故障后采集a）變電設(shè)備缺陷識(shí)別應(yīng)包括異物識(shí)別、設(shè)備銹蝕、設(shè)備漏油、絕緣子缺陷、儀表盤(pán)缺陷識(shí)別、端12）設(shè)備狀態(tài)指示識(shí)別：能夠識(shí)別分合閘指示、壓板狀態(tài)、空開(kāi)狀態(tài)、指示燈a）變電施工機(jī)械類(lèi)隱患識(shí)別任務(wù)包括吊車(chē)識(shí)別、挖掘機(jī)識(shí)別、樁機(jī)識(shí)別、塔吊識(shí)別和水5.2.4.2.2變電非施工機(jī)械類(lèi)隱a）輸電人員行為識(shí)別應(yīng)包括安全帽識(shí)別、工作服識(shí)別、安全帶識(shí)別、異常行為識(shí)別和人a）變電站設(shè)備運(yùn)檢知識(shí)問(wèn)答應(yīng)包括變壓器運(yùn)檢知識(shí)問(wèn)答、高壓組合電器運(yùn)檢知識(shí)問(wèn)答、二次1）變壓器運(yùn)檢知識(shí)問(wèn)答：能夠給出變電站主變壓器2）高壓組合電器運(yùn)檢知識(shí)問(wèn)答：能夠給出變電站常規(guī)敞開(kāi)式空氣絕緣配電裝置（AIS）、氣3）二次設(shè)備運(yùn)檢知識(shí)問(wèn)答：能夠給出變電站繼電保護(hù)、測(cè)控裝置、波、電能質(zhì)量監(jiān)測(cè)、自動(dòng)同期/解列裝置、遠(yuǎn)動(dòng)通信、網(wǎng)絡(luò)安全及電站監(jiān)控系統(tǒng)等所有二次設(shè)備，a）換流站設(shè)備運(yùn)檢知識(shí)問(wèn)答應(yīng)包括換流閥運(yùn)檢知識(shí)問(wèn)答、換流變壓器運(yùn)檢知識(shí)問(wèn)答、換流站2）換流變壓器運(yùn)檢知識(shí)問(wèn)答：能夠給出換流變壓器及其附屬設(shè)施的巡檢維護(hù)3）換流站開(kāi)關(guān)運(yùn)檢知識(shí)問(wèn)答：能夠給出換流站交、直流斷路器及其附14）濾波及無(wú)功補(bǔ)償設(shè)備運(yùn)檢知識(shí)問(wèn)答：能夠給出換流站平波電抗器、交流濾波器和各類(lèi)無(wú)功5）換流站二次設(shè)備運(yùn)檢知識(shí)問(wèn)答：能夠給出換流站保護(hù)測(cè)控裝置、綜合自動(dòng)化系統(tǒng)2）換流站設(shè)備故障推理：能夠根據(jù)換流站設(shè)備及其附屬設(shè)施發(fā)生故障后采集a）配電系統(tǒng)缺陷識(shí)別應(yīng)包括異物識(shí)別、銹蝕問(wèn)題、絕緣子問(wèn)題、變壓器問(wèn)題和導(dǎo)線類(lèi)缺陷等任a）配電施工機(jī)械類(lèi)隱患識(shí)別任務(wù)包括吊車(chē)識(shí)別、挖掘機(jī)識(shí)別、樁機(jī)識(shí)別、塔吊識(shí)別和水1a）輸電人員行為識(shí)別應(yīng)包括安全帽識(shí)別、工作服識(shí)別、安全帶識(shí)別、異常行為識(shí)別和人員身份a）配電網(wǎng)運(yùn)檢知識(shí)問(wèn)答應(yīng)包括配電線路運(yùn)檢知識(shí)問(wèn)答、電纜運(yùn)檢知識(shí)問(wèn)答、配電變壓器2）電纜運(yùn)檢知識(shí)問(wèn)答：能夠給出配電電纜及通道附屬設(shè)施3）配電變壓器運(yùn)檢知識(shí)問(wèn)答：能夠給出柱上變壓器、箱式變壓器等各類(lèi)配電變壓器及其2）配電隱患排查及治理知識(shí)問(wèn)答：能夠給出配電線路、設(shè)備運(yùn)行及附2）配電線路故障定位：能夠根據(jù)配電線路發(fā)生故障后，采集其附屬設(shè)施及配2）配電搶修方案生成：能夠根據(jù)配電網(wǎng)故障研判和處理建議，參a）電力營(yíng)銷(xiāo)知識(shí)問(wèn)答應(yīng)包括營(yíng)銷(xiāo)政策知識(shí)問(wèn)答、營(yíng)銷(xiāo)業(yè)務(wù)管理規(guī)定問(wèn)答、營(yíng)銷(xiāo)業(yè)務(wù)標(biāo)準(zhǔn)規(guī)范問(wèn)答122）電力營(yíng)銷(xiāo)指標(biāo)研判：能夠基礎(chǔ)數(shù)據(jù)分析售電量、銷(xiāo)售額增長(zhǎng)率、電c）考察電力知識(shí)理解能力、分析推理能力a）能夠利用數(shù)據(jù)融合、大數(shù)據(jù)、人工智能技術(shù)，通過(guò)新能源功率預(yù)測(cè)典型場(chǎng)景辨識(shí)，優(yōu)選新能源事故事件風(fēng)險(xiǎn)分析、處置策略、故障/異常適當(dāng)處置過(guò)程，故障/異常后運(yùn)行方式1c）考察電力知識(shí)理解能力、分析推理能力c）考察電力知識(shí)理解能力、分析推理能力5.2.7.3.3負(fù)荷轉(zhuǎn)供輔助決策方案生cc）考察電力知識(shí)理解能力、分析推理能力5.2.7.4.3暫態(tài)分析——擾動(dòng)后測(cè)試數(shù)據(jù)中正確的條目數(shù)。t——第i條測(cè)試數(shù)據(jù)發(fā)送請(qǐng)求的時(shí)間點(diǎn)。2t——第i條測(cè)試數(shù)據(jù)發(fā)送請(qǐng)求的時(shí)間點(diǎn)。t——第i條測(cè)試數(shù)據(jù)開(kāi)始推理的時(shí)間點(diǎn)。t——第m個(gè)測(cè)試幀完成推理的時(shí)間點(diǎn)；t——第m個(gè)測(cè)試幀開(kāi)始推理的時(shí)間點(diǎn)。2型型型0分;型2Precision=..............Recall=....................Precision——精確率；F1——F1Score；mIOUmIOU=i.................................PA——像素準(zhǔn)確率；SSIM=......................I(i,j)——原始圖像在位置(i,j)的像素值；K(i,j)——增強(qiáng)后的圖像在位置(i,j)的像素值；2σ——原始圖像的方差；σ——增強(qiáng)后圖像的方差；ACC=...........................例預(yù)測(cè)值與實(shí)際值之間差異的絕對(duì)值的平均Precision=...............Recall=....................Precision——精確率；RMSE=