2021 人工智能平臺(tái)架構(gòu)及技術(shù)要求 第1：總體架構(gòu)與技術(shù)要求

1II目??次前言 II范圍 1規(guī)范性引用文件 1術(shù)語(yǔ)和定義 1縮略語(yǔ) 3架構(gòu)要求 3概述 3總體架構(gòu) 3功能架構(gòu) 5技術(shù)架構(gòu) 6數(shù)據(jù)架構(gòu) 7多級(jí)協(xié)同 8技術(shù)要求 9功能要求 9性能要求 10安全要求 10硬件要求 10編制說(shuō)明 11PAGEPAGE11PAGEPAGE10人工智能平臺(tái)架構(gòu)及技術(shù)要求第1部分：總體架構(gòu)與技術(shù)要求范圍本部分規(guī)定了人工智能平臺(tái)建設(shè)的架構(gòu)要求和技術(shù)要求。本部分適用于人工智能平臺(tái)的規(guī)劃、設(shè)計(jì)、建設(shè)和運(yùn)維。規(guī)范性引用文件GB/T5271.1—2000信息技術(shù)詞匯第1部分：基本術(shù)語(yǔ)GB/T5271.28—2001信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)GB/T5271.29—2006信息技術(shù)詞匯第29部分：人工智能語(yǔ)音識(shí)別與合成GB/T5271.31—2006信息技術(shù)詞匯第31部分：人工智能機(jī)器學(xué)習(xí)GB/T5271.34—2006信息技術(shù)詞匯第34部分：人工智能神經(jīng)網(wǎng)絡(luò)術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1人工智能artificialintelligence（如推理和學(xué)習(xí)相關(guān)的各種功能的模型和系統(tǒng)。[GB/T5271.28—2001,定義28.01.01]3.2機(jī)器學(xué)習(xí)machinelearning功能單元通過(guò)獲取新知識(shí)或技能，或通過(guò)整理已有的知識(shí)或技能來(lái)改進(jìn)其性能的過(guò)程。[GB/T5271.31—2006,定義31.01.02]3.3神經(jīng)網(wǎng)絡(luò)neuralnetwork[GB/T5271.34—2006,定義34.01.06]3.4訓(xùn)練（在神經(jīng)網(wǎng)絡(luò)中）training（inneuralnetwork）教會(huì)神經(jīng)網(wǎng)絡(luò)在輸入值的樣本和正確輸出值之間作出結(jié)合的步驟。[GB/T5271.34—2006,定義34.03.18]3.5樣本數(shù)據(jù)sampledata其具備的特征能夠反映總體數(shù)據(jù)情況的一部分個(gè)體數(shù)據(jù)。3.6推理inference從已知前提導(dǎo)出結(jié)論的推理方法。1：2：術(shù)語(yǔ)“推理”既指過(guò)程也指結(jié)果。[GB/T5271.28—2001,定義28.03.01]3.7深度學(xué)習(xí)deeplearning3.8深度學(xué)習(xí)框架deeplearningframework一種支持深度學(xué)習(xí)模型設(shè)計(jì)、訓(xùn)練和推理的工具。3.9資源resource執(zhí)行所要求的操作而必需的數(shù)據(jù)處理系統(tǒng)的任何組成部分。[GB/T5271.1—2000,定義01.01.23]3.10配置configuration信息處理系統(tǒng)中的硬件和軟件組織和互連起來(lái)的方式。[GB/T5271.1—2000,定義01.01.26]3.11接口interface兩個(gè)功能單元共享的邊界，它由各種特征（如功能、物理互連、信號(hào)交換等）來(lái)定義。[GB/T5271.1—2000,定義01.01.38]3.12計(jì)算機(jī)視覺(jué)computervision功能單元獲取、處理和理解可視數(shù)據(jù)的能力。[GB/T5271.28—2001,定義28.01.19]3.13語(yǔ)音識(shí)別speechrecognition利用功能單元進(jìn)行的，從語(yǔ)音信號(hào)到語(yǔ)音內(nèi)容的某一表示的轉(zhuǎn)換。[GB/T5271.29—2006,定義29.01.30]3.14數(shù)據(jù)標(biāo)注dataannotation通過(guò)分類、畫(huà)框、注釋等方式對(duì)數(shù)據(jù)進(jìn)行標(biāo)記，形成可供計(jì)算機(jī)分析識(shí)別的數(shù)據(jù)?？s略語(yǔ)下列縮略語(yǔ)適用于本文件。SVM：支持向量機(jī)（SupportVectorMachines）SVD：奇異值分解（SingularValueDecomposition）PCA：主成分分析（PrincipalComponentAnalysis）OLS：最小二乘法（OrdinaryLeastSquares）CNN：卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）DNN：深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks）YOLO：YOLO模型（YouOnlyLookOnce）TFLOPS：萬(wàn)億次浮點(diǎn)運(yùn)算每秒（TeraFloating-pointOperationsPerSecond）FMI：FMI指數(shù)（FowlkesandMallowsIndex）架構(gòu)要求人工智能平臺(tái)架構(gòu)要求包括：總體架構(gòu)：規(guī)定人工智能平臺(tái)總體結(jié)構(gòu)以及和其它平臺(tái)及組件的關(guān)系；功能架構(gòu)：規(guī)定人工智能平臺(tái)總體功能結(jié)構(gòu)；技術(shù)架構(gòu)：規(guī)定人工智能平臺(tái)主體組件的技術(shù)選型和技術(shù)范圍；數(shù)據(jù)架構(gòu)：規(guī)定人工智能平臺(tái)數(shù)據(jù)的架構(gòu)；多級(jí)協(xié)同：規(guī)定人工智能平臺(tái)的總部、省、地市、邊緣端的多級(jí)結(jié)構(gòu)?？傮w架構(gòu)33部分基于國(guó)網(wǎng)云提供的基礎(chǔ)CPUAI實(shí)驗(yàn)訓(xùn)練應(yīng)使用樣本庫(kù)的樣本集，通過(guò)訓(xùn)練得到可用的模型，模型可輸出至模型庫(kù)；模型庫(kù)存放訓(xùn)練出的算法模型或采購(gòu)來(lái)的第三方算法模型；人工智能平臺(tái)應(yīng)提供模型推送功能，可通過(guò)云邊協(xié)同套件推送至邊側(cè)設(shè)備；人工智能中臺(tái)可支撐設(shè)備運(yùn)維、電網(wǎng)調(diào)度、客戶服務(wù)、安全管控和企業(yè)經(jīng)營(yíng)等電力業(yè)務(wù)；邊緣側(cè)設(shè)備的樣本數(shù)據(jù)可通過(guò)云邊協(xié)同套件上傳至樣本庫(kù)；平臺(tái)層支撐各類人工智能服務(wù)，并通過(guò)服務(wù)支撐應(yīng)用層的業(yè)務(wù)應(yīng)用。圖1人工智能平臺(tái)總體架構(gòu)圖訓(xùn)練運(yùn)行平臺(tái)訓(xùn)練運(yùn)行平臺(tái)應(yīng)包括：模型訓(xùn)練、模型部署、模型評(píng)估和服務(wù)發(fā)布等4部分。各部分應(yīng)滿足的要求為：不同框架的環(huán)境創(chuàng)建采用統(tǒng)一的操作入口；模型開(kāi)發(fā)提供命令行式全功能操作方式；模型訓(xùn)練包括命令行式訓(xùn)練、可視化建模和自動(dòng)化建模；模型評(píng)估包括模型選擇、驗(yàn)證集選擇、驗(yàn)證環(huán)境選擇和結(jié)果展示。模型庫(kù)模型庫(kù)應(yīng)包括：模型管理和鏡像封裝2部分。模型庫(kù)支撐的服務(wù)層的具體要求為：基礎(chǔ)模型服務(wù)可包括：智能語(yǔ)音：語(yǔ)音識(shí)別和語(yǔ)音合成等；自然語(yǔ)言處理：信息檢索和問(wèn)答對(duì)話等；計(jì)算機(jī)視覺(jué)：圖像識(shí)別和視頻分析等；知識(shí)圖譜：圖譜構(gòu)建和圖譜服務(wù)等。業(yè)務(wù)模型服務(wù)可包括但不限于以下幾方面：1）變壓器滲漏油識(shí)別；客服工單分析；客服語(yǔ)音質(zhì)檢；電網(wǎng)設(shè)備故障事件抽??；線路金具缺銷釘識(shí)別；電力文本查重；變壓器聲紋識(shí)別；電網(wǎng)事件演進(jìn)關(guān)系抽?。晃创靼踩边`章識(shí)別；輿情分析預(yù)警；設(shè)備故障診斷；缺陷設(shè)備屬性抽取。模型管理服務(wù)應(yīng)包括：對(duì)模型進(jìn)行統(tǒng)一生命周期管理；對(duì)模型進(jìn)行標(biāo)簽、收藏等特定服務(wù)；支持多廠商多框架多功能模型統(tǒng)一納管。樣本庫(kù)樣本庫(kù)應(yīng)包括：樣本管理和樣本標(biāo)注2部分，應(yīng)滿足如下要求：樣本管理包括：樣本數(shù)據(jù)集管理、標(biāo)簽管理和樣本信息管理等；樣本標(biāo)注包括：文本標(biāo)注、視頻標(biāo)注、音頻標(biāo)注和圖像標(biāo)注。功能架構(gòu)人工智能平臺(tái)功能應(yīng)包括：樣本庫(kù)、模型庫(kù)和訓(xùn)練運(yùn)行平臺(tái)。人工智能平臺(tái)功能架構(gòu)如下圖2，功能架構(gòu)應(yīng)滿足如下要求：訓(xùn)練運(yùn)行平臺(tái)可分為訓(xùn)練環(huán)境和運(yùn)行環(huán)境，訓(xùn)練環(huán)境包括：模型開(kāi)發(fā)、模型訓(xùn)練、模型評(píng)估、模型庫(kù)包括：模型資源服務(wù)目錄、模型文件存儲(chǔ)、模型鏡像封裝、模型版本管理、模型調(diào)試、模型同步和模型下載。圖2人工智能平臺(tái)功能架構(gòu)圖技術(shù)架構(gòu)圖3人工智能平臺(tái)技術(shù)架構(gòu)圖人工智能平臺(tái)技術(shù)架構(gòu)要求為：APISDKGUIKubernetesDocker算法集成應(yīng)包括算法模塊：SVM、SVD、PCA、OLS、CNN、DNN、YOLO學(xué)習(xí)框架應(yīng)包括主流的開(kāi)源深度學(xué)習(xí)框架；KettleSqoopNumpy、Scikit-learnCeph平臺(tái)應(yīng)支持多租戶；ISC；配置管理模塊宜采用配置引擎的方式開(kāi)發(fā)；Harbor；資源應(yīng)支持動(dòng)態(tài)分配；AIGPUNPUCentOS7.3Ubuntu16.04數(shù)據(jù)架構(gòu)訓(xùn)練組件讀取樣本庫(kù)的數(shù)據(jù)和模型庫(kù)的模型，并將訓(xùn)練好的模型入庫(kù)存儲(chǔ)到模型庫(kù)；總部和省公司的樣本庫(kù)可實(shí)現(xiàn)樣本目錄同步；總部和省公司的模型庫(kù)可實(shí)現(xiàn)模型目錄同步；模型庫(kù)的模型可通過(guò)云邊協(xié)同套件下發(fā)到邊緣端。圖4人工智能平臺(tái)數(shù)據(jù)架構(gòu)多級(jí)協(xié)同邊緣端應(yīng)至少具備推理計(jì)算及業(yè)務(wù)模型服務(wù)能力；公司級(jí)人工智能平臺(tái)應(yīng)為公司各業(yè)務(wù)部門、各省公司及各地市公司提供高效共享的算法訓(xùn)練、驗(yàn)證、管理及推理服務(wù)；省公司級(jí)人工智能平臺(tái)應(yīng)為省公司各業(yè)務(wù)部門及各地市公司提供人工智能服務(wù)能力；公司級(jí)和省公司級(jí)人工智能平臺(tái)應(yīng)具備模型推送能力。圖5人工智能平臺(tái)多級(jí)協(xié)同結(jié)構(gòu)圖技術(shù)要求功能要求訓(xùn)練運(yùn)行平臺(tái)訓(xùn)練運(yùn)行平臺(tái)功能要求為：項(xiàng)目管理：項(xiàng)目創(chuàng)建、項(xiàng)目切換、項(xiàng)目刪除和項(xiàng)目監(jiān)控；MindSporeTensorFlowMXNetPyTorchCaffe模型評(píng)估：評(píng)估指標(biāo)和評(píng)估報(bào)告管理，按算法類型分為：分類算法：準(zhǔn)確率指標(biāo)評(píng)估、召回率指標(biāo)評(píng)估、F1回歸算法：誤差平方和、決定系數(shù)和校正決定系數(shù)；聚類算法：緊密型、間隔性、純度、標(biāo)準(zhǔn)化互信息、蘭德指數(shù)、FMI、Jaccard算法管理：算法上架、算法分類和算法下架等容器管理：容器鏡像文件導(dǎo)入和導(dǎo)出。模型庫(kù)模型庫(kù)功能要求為：模型管理：模型導(dǎo)入、模型刪除、版本管理、模型標(biāo)簽、模型收藏和模型共享；樣本庫(kù)樣本庫(kù)功能要求為：數(shù)據(jù)接入：本地文件導(dǎo)入、HDFSFTPNFS數(shù)據(jù)預(yù)處理：特征提取、灰度校正和平滑去噪等；數(shù)據(jù)標(biāo)注：宜支持智能標(biāo)注，以模型來(lái)給未標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注。性能要求響應(yīng)時(shí)限人工智能平臺(tái)響應(yīng)時(shí)限應(yīng)符合Q/GDW/Z11212-2014《信息系統(tǒng)非功能性需求規(guī)范》的規(guī)定可靠性數(shù)據(jù)完整性：存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí)，應(yīng)確保數(shù)據(jù)完整；算力完整性：計(jì)算節(jié)點(diǎn)發(fā)生故障時(shí)，應(yīng)不影響訓(xùn)練和推理的執(zhí)行結(jié)果；消息完整性：消息隊(duì)列節(jié)點(diǎn)發(fā)生故障時(shí)，應(yīng)確保消息不丟失，且不影響消息正常提交和消費(fèi)；任務(wù)調(diào)度完整性：任務(wù)調(diào)度節(jié)點(diǎn)發(fā)生故障時(shí)，應(yīng)不影響任務(wù)調(diào)度和執(zhí)行；網(wǎng)絡(luò)完整性：網(wǎng)絡(luò)發(fā)生故障并恢復(fù)后，系統(tǒng)和任務(wù)、服務(wù)均應(yīng)自動(dòng)繼續(xù)運(yùn)行。可擴(kuò)展性安全要求人工智能平臺(tái)的安全要求包括：GB/T18336—2015GB/T22239-2019《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》的規(guī)定；平臺(tái)中人工智能算法在支撐業(yè)務(wù)應(yīng)用時(shí)，應(yīng)充分考慮算法計(jì)算精度突然降低、計(jì)算結(jié)果出錯(cuò)、計(jì)算結(jié)果超時(shí)等狀