信息化業(yè)務需求匯總表-基于容器云技術的人工智能平臺建設

1、附件1信息化建設業(yè)務需求分析報告（基于容器云技術的人工智能平臺建設）中報部門（單位）：XXXX （蓋章）中報時間：年 月目錄 TOC o 1-5 h z HYPERLINK l bookmark4 o Current Document 1概述1系統(tǒng)建設現(xiàn)狀1必要性分析 1建設目標3 HYPERLINK l bookmark6 o Current Document 2業(yè)務需求3人工智能云平臺3業(yè)務需求描述 3業(yè)務流程6業(yè)務數(shù)據(jù)63集成需求74實施范圍75其他需求7可靠性7信息安全7可維護性7易修改7易測試7系統(tǒng)災備設計81概述系統(tǒng)建設現(xiàn)狀國網(wǎng)浙江信通公司作為國網(wǎng)浙江電力的信息化支撐單位，率先建成

2、融合企業(yè)云計算大數(shù)據(jù)一體化服務平臺和全業(yè)務統(tǒng)一數(shù)據(jù)中心的浙電云”平臺。目前已有219臺服務器規(guī)模，部署了 30個技術組件，并完成39套企業(yè)核心業(yè)務系統(tǒng)全業(yè)務數(shù)據(jù)的匯集，合計 數(shù)據(jù)表39674張，總的數(shù)據(jù)存儲量達527TB。初步構(gòu)建企業(yè)數(shù)據(jù)統(tǒng)一匯集共享機制，已 累計為公司50多個項目的80多個互聯(lián)網(wǎng)+”創(chuàng)新應用提供數(shù)據(jù)服務支持，形成了 互聯(lián) 網(wǎng)+”智能運檢、互聯(lián)網(wǎng)+”營銷服務、互聯(lián)網(wǎng)+”規(guī)劃、互聯(lián)網(wǎng)+”電力物資、運監(jiān)大數(shù)據(jù) 和財務精益化等新型業(yè)務形態(tài)雛形。建成用電客戶標簽庫、大數(shù)據(jù)運營監(jiān)測系統(tǒng)、智能 運檢管控平臺、供電服務指揮系統(tǒng)、配電網(wǎng)規(guī)劃輔助決策等創(chuàng)新業(yè)務應用。企業(yè)數(shù)據(jù)統(tǒng) 一匯集共享機制及業(yè)

3、務創(chuàng)新運營機制的初步建成，為人工智能在國網(wǎng)浙江電力的試點應用落地及鋪開打下了較為堅實的基礎。必要性分析人工智能在電力能源有很廣泛的應用技術場景，可以對如下技術場景進行儲備： ?多功能場景分析系統(tǒng)，包括攝像機自動標定、人員檢測、人員跟蹤、姿勢分類、行 為分析、三維重建等模塊。? 利用無人機，巡線機器人和遙感衛(wèi)星等對書店設備本體和輸電通道環(huán)境進行立體巡 檢和風險評測，基于人工智能圖片識別技術有效的處理圖片以及視頻技術，準確識 別出輸變電設備本體的缺陷和輸電線路的潛在風險。? 基于導航圖像的知識積累和人工智能，通過對空間導航和智能巡檢規(guī)劃，優(yōu)化巡檢 路徑和重點排查區(qū)域。? 通過人工智能圖像識別技術，

4、識別用電現(xiàn)場危險行為，增強用電現(xiàn)場作業(yè)的安全性 和效率。? 基于深度學習技術對云觀測圖像中的云層和云系進行識別和辨識，并對其演化進行 預測，實現(xiàn)對云層遮擋條件下光伏功率的快速波動的預測，提供新能源跨省、跨區(qū) 域高效消納能力。隨著新能源持續(xù)高比例運行、電力電子裝置大量應用、電力市場化水平不斷提高， 電力系統(tǒng)的動態(tài)非線性、多時間尺度、不確定性和難預測性表現(xiàn)得更加突出，以人工智 能為核心的數(shù)據(jù)驅(qū)動方法相對于基于物理模型的分析方法，更加精準地刻畫電力系統(tǒng)特-1 -征，。同時，為了應對上述變化，電力系統(tǒng)部署了眾多用于監(jiān)測、 控制、管理的信息通信 系統(tǒng)，產(chǎn)生著大量的數(shù)據(jù)，在電網(wǎng)安全與控制領域、輸變電領域、

5、配用電領域、新能源 領域等應用場景下表現(xiàn)出大維度、小樣本、非結(jié)構(gòu)化的數(shù)據(jù)特性，目前常規(guī)的統(tǒng)計分析、 數(shù)據(jù)挖掘、機器學習，難以滿足需求。機器學習構(gòu)建任何適用于生產(chǎn)環(huán)境的機器學習系統(tǒng)都涉及各種組件的組合，通常會 混合供應商和手動解決方案。連接和管理這些服務已然不易，再加上復雜的環(huán)境設置， 都為機器學習應用帶來了巨大的障礙?；A設施工程師通常會在測試單個模型之前，花 費大量時間手動調(diào)整部署和升級的解決方案。更糟的是，這些部署與他們部署的集群緊 密相關，以至于這套技術棧不便遷移。如果沒有重構(gòu)，將模型從筆記本電腦移動到高可 擴展的云集群幾乎是不可能的。以上的問題造成了大量人力和物力的浪費，并為每次遷 移

6、造成了引入bug的機會。通過使用kubernete溶器云的一鍵配置集群規(guī)模和設備， 更 方便地使用CPU和GPU可配置為使用 CPU或GPU,并通過單一設置調(diào)整集群的 大小，支持訓練加速等等特性解決以上問題。建設目標.搭建人工智能云平臺，包括圖像標注系統(tǒng)，模型開發(fā)和訓練平臺，模型服務托管 平臺。打通數(shù)據(jù) 歿塊山艮務流程，為算法科學家提供一站式開發(fā)體驗。.人工智能算法包含：圖像分析（人、物、OCR）、文本類型（對話機器人基礎算 法、文本分析、知識圖譜構(gòu)建基礎算法、文本分類、語義分析）、語音類型（聲紋識別、 語音識別、異音檢測、語音質(zhì)量檢測、語音合成）、機器學習（推薦系統(tǒng)、時序預測、無 監(jiān)督算法）

7、等。將這些常用算法包直接上架到人工智能平臺算法商店進行統(tǒng)一管管，提 升開發(fā)效率。.打造安全高效的數(shù)據(jù)存儲管理平臺，將內(nèi)部和外部數(shù)據(jù)集統(tǒng)一存儲在數(shù)據(jù)存儲 管理平臺上。并支持通過對象存儲或分布式文件存儲實現(xiàn)數(shù)據(jù)的快速訪問和更新。2業(yè)務需求人工智能平臺硬件配置業(yè)務需求描述（1）平臺硬件配置9臺2u 12*4T SATA 存儲機器（72線程，128G）序號產(chǎn)品型號詳細配置單位數(shù)量單價合計備注安擎服務器EG520R-G10存儲節(jié)點整機部分機架式2U臺9毛.00（+）配件CPUE5-2697v4 18 核 36 線程顆280500.00/85,500.00主板X10DRL-I （集成 I350 2 口千兆

8、網(wǎng)卡）塊1機箱RM23624H01 （兩塊 800W冗余電源,2U,12盤位，帶2*2.5寸尾盤）臺1內(nèi)存32G DDR4 RECC根4raid 卡LSI 9361-8I 含線(1G)塊1硬盤4T SATA 3.5 寸塊12萬兆網(wǎng)卡Intel X520SR2 含模塊塊1導軌副16臺2u 8*240G計算節(jié)點（72線程，128G）序號產(chǎn)品型號詳細配置單位數(shù)量單價合計備注安擎服務器EG520R-G10管理節(jié) 點整機部分機架式2U臺6W.00（+）配件CPUE5-2697v4 18 核 36 線程顆270900.00空96,300.00主板X10DRL-I （集成 I350 2 口千兆網(wǎng)卡）塊1機箱

9、RM23608H01 （兩塊 550W冗余電源,2U,8盤位）臺1內(nèi)存32G DDR4 RECC塊4SSDS4500 240G SSD塊8萬兆網(wǎng)卡Intel X520SR2 含模塊塊1導軌副150 臺 1 機 4 卡 GPU 1080ti 機器(56 線程，128G)規(guī)模說明:集群類型集群用途說明規(guī)模預估備注管理集群管理集群：.多臺服務器節(jié)點組建高可用主控集 群。.多臺服務器節(jié)點組建高可用鏡像倉 庫集群。7臺服務器鏡像節(jié)點服務器存儲用量較大。存儲集群存儲集群：.人工智能平臺配置，狀態(tài)信息存儲。.訓練數(shù)據(jù)集（視頻，圖片，文本，語 音等類型文件）存儲。.模型訓練輸出文件存儲（訓練模型文 件，訓練事

10、件文件，訓練日志文件）。11臺服務器視頻監(jiān)控類存儲資源計算參考公 式：存儲（TB） = 2.16TB3.24TB/天 x攝像頭數(shù)（單位：千臺）x存 儲天數(shù)。GPU集群GPU集群：.部分GPU節(jié)點用于模型訓練任務。.部分GPU節(jié)點用于模型服務實例運 行。50臺GPU服務器（每臺4塊GPU顯卡）由于GPU廠商的限制，多個訓 練任務不能同時公用一塊 GPU 卡，所以每個訓練任務至少獨占 一塊GPU卡。資源參考公式：服務器（臺）=分析場景類別（種）X 模型訓 練實例數(shù)+模型實例數(shù)? 4。業(yè)務流程無業(yè)務數(shù)據(jù)無人工智能云平臺建設業(yè)務需求描述(1)劃分實驗域與生產(chǎn)域針對浙電云平臺應用運行中產(chǎn)生的海量數(shù)據(jù)搭建

11、人工智能平臺訓練的實驗域和調(diào)用人 工智能平臺模型服務的生產(chǎn)域，生產(chǎn)域緊密結(jié)合浙電云平臺以及運行應用。其中包括三 大組件：訓練數(shù)據(jù)管理組件，AI模型訓練組件，模型托管組件。(2)基于kubernetes容器云在不同的基礎設施上輕松可重復、便攜的部署和管理松散耦合的微服務應用，根據(jù)需 求進行縮放，利用kubernetes為使用者提供簡單的清單，以便可以輕松地在任何位置使 用機器學習堆棧在kubernetes上運行。此外，容器云技術可以基于部署集群進行自我配 置，最大化使用資源。(3)基本公共組件平臺綜合管理功能，主要針對平臺管理員角色，其中功能包含：賬號管理、多租戶 管理、計算存儲網(wǎng)絡資源管理、告

12、警管理、日志管理、監(jiān)控管理、插件擴展中心功能。(4)訓練數(shù)據(jù)管理對接和管理底層存儲，將存儲資源分配給平臺用戶，平臺用戶基于管理員已分配存 儲空間來存儲訓練數(shù)據(jù)集。已存儲的數(shù)據(jù)集可以在平臺上進行數(shù)據(jù)標記操作。存儲數(shù)據(jù) 中包含訓練代碼文件，可以通過jupyter notebook進行在線修改訓練代碼以及Debug。AI 訓練結(jié)束后對訓練產(chǎn)生的事件、日志、模型文件進行存儲。(5) AI模型訓練模型訓練包含前期訓練的項目參數(shù)配置、資源分配、任務提交、任務提交后的資源 調(diào)度以及資源緊張時任務插隊系統(tǒng)，以及在訓練過程中資源監(jiān)控、訓練日志、訓練可視 化展示，模型評估以及模型導出的全生命周期管理。(6)模型托

13、管模型托管包括模型運行環(huán)境定義，模型發(fā)布實例數(shù)定義，模型運行后的彈性伸縮策 略定義，客戶端調(diào)用示例代碼段生成，模型運行后GPU等資源監(jiān)控告警，模型實例運行日志收集與展示。2.2.2業(yè)務流程2.2.3業(yè)務數(shù)據(jù)無2.3人工智能算法庫與數(shù)據(jù)資料庫業(yè)務需求描述(1)人工智能算法庫由于人工智能應用的開發(fā)復雜度高，不僅僅涉及到軟件前端和后端的開發(fā)，還要 涉及到人工智能模型和算法的研發(fā)、開發(fā)人員對于人工智能算法的了解。平臺應具備 常見的基礎算法庫，基于人工智能場景的豐富，我們需要的算法庫包括但不限于：圖像分析：? 人：人臉識別、人臉檢測、人體檢測、人體跟蹤、行為分析? 物：物品識別、細粒度分類、缺陷檢測?

14、OCR:車票 OCR、通用 OCR、發(fā)票 OCR、表格 OCR文本類型：? 對話機器人基礎算法? 文本分析? 知識圖譜構(gòu)建基礎算法? 文本分類? 語義分析語音類型：? 聲紋識別? 語音識別?異音檢測?語音質(zhì)量檢測?語音合成機器學習：?推薦系統(tǒng)：1.基于圖像識別的電商內(nèi)容推薦系統(tǒng)；2.基于深度學習的用戶行為推薦-6 -系統(tǒng)；3.基于深度學習的排序算法。? 時序預測：1.非參數(shù)時序預測；2.機器學習時序預測；3.深度學習時序預測。? 無監(jiān)督算法：1.聚類算法；2.降維算法。(2)人工智能數(shù)據(jù)資料庫建設搭建人工智能數(shù)據(jù)資料庫，將內(nèi)部和外部數(shù)據(jù)集統(tǒng)一存儲在資料庫中，支持通過對象 存儲或塊存儲實現(xiàn)數(shù)據(jù)的

15、快速訪問和更新。業(yè)務流程無業(yè)務數(shù)據(jù)無2.4典型場景應用驗證業(yè)務需求描述(1)智能工單問答機器人與工單知識圖譜驗證1)構(gòu)建知識圖譜知識圖譜是一項在語義層級對于語言進行梳理和整理的技術，可以簡單分為通用知識圖譜和領 域知識圖譜兩類。通過建設好的知識圖譜，我們可以自動進行推理，讓我們的語義相關產(chǎn)品更加智 能。通用知識圖譜建立是一個長期的、十分巨大的工程，耗費人力和物力。為了提供項目的可行性,我們這里主要探討的是如何建立一個細分領域的知識圖譜，通常包含的步驟是：?語料準備針對要建立知識圖譜的領域，盡可能全的搜集相關語料，包括產(chǎn)品介紹，問答，工單等。對語 料進行一定程度的清洗，剔除無關的部分，按照領域和

16、類別進行梳理。如果語料數(shù)量龐大，可以有 代表性的整理其中一部分，然后請算法工程師和知識工程師根據(jù)以整理的語料進行建模，利用機器 學習的方法整理相關語料，從而節(jié)省人力，提升效率。? 抽取實體針對整理好的原始語料，請領域?qū)＜液拖鄳膬?nèi)容編輯人員從中抽取本領域的各種實體(一般 是專有名詞、概念等)、以及實體的相關屬性。這一步要求有較高的專業(yè)知識以及一定的知識工程、 知識管理能力，一般由領域?qū)＜液椭R工程師聯(lián)合起來共同完成。在實際的項目進行中，也可以通 過人機結(jié)合的方式，由領域?qū)＜姨岢鱿嚓P要求，并整理出一系列樣本范例，然后由算法工程師建立 相應的機器學習模型做大規(guī)模抽取。? 建立關系有了實體/屬性的數(shù)

17、據(jù)之后，下一步是請領域?qū)＜以趯嶓w之間建立相應的關系，比如包含關系、 繼承關系、從屬關系等等。這部分工作一般是由領域?qū)＜医o出關系的類型和基本樣例，由算法工程 師建模在原始語料上進行挖掘，有了初步結(jié)果之后由領域?qū)＜疫M行審核矯正，并將相關結(jié)果反饋給 算法工程師進行模型調(diào)優(yōu)。? 導入數(shù)據(jù)庫為了提升效率、便于檢索，知識圖譜的存儲一般需要專業(yè)的數(shù)據(jù)庫存儲層，特別是數(shù)據(jù)量很大 的時候，一般不適合用傳統(tǒng)的關系式數(shù)據(jù)庫進行存儲。針對較大規(guī)模的知識圖譜，我們一般建議采 用專業(yè)的圖數(shù)據(jù)庫進行存儲，而規(guī)模較小的知識圖譜，可以考慮用自定義的數(shù)據(jù)結(jié)構(gòu)直接存儲在內(nèi) 存中，一般也可以應對日常的各種應用。? 開發(fā)應用至此知識圖

18、譜的建立過程基本完成，往下由開發(fā)人員根據(jù)具體的應用場景進行開發(fā)。一般圖數(shù) 據(jù)庫會提供一系列的開發(fā)接口，根據(jù)不同的應用需求，例如問答、檢索、匹配計算、知識展示等等 調(diào)用相應的接口進行開發(fā)。2）文檔解析系統(tǒng)文檔解析流程分內(nèi)容結(jié)構(gòu) 化礴錄書格首先，文本抽取模塊從原始文檔中初步抽取出文本。之后的內(nèi)容糾錯模塊對抽取出初步文本進行各 種類型的糾錯。例如原始抽取可能無法區(qū)分不屬于一列的同行信息，內(nèi)容糾錯模塊利用機器學習模 型和自然語言處理模型區(qū)分出不同的列，然后再把不同列的信息進行重新整合。原始文檔中除了正文外，還會包含大量的非正文內(nèi)容，如標題、頁眉、頁腳和標注等。這些信 息在文本抽取模塊抽取后是混合在正文

19、內(nèi)容中的。內(nèi)容結(jié)構(gòu)化模塊的目的是利用機器學習分類模型 把這些內(nèi)容分門別類地從正文中剝離出來。3）表格解析系統(tǒng)表格解析 流程文檔中包含復雜的表格，而這些表格信息又是文檔的重要組成部分。首先，文本抽取模塊從原 始文檔中初步抽取出文本。之后的表格定位模塊利用位置信息和所在位置的內(nèi)容定位到表格的具體 位置。表格/文本對齊模塊把表格中的內(nèi)容與具體單元格進行對齊，對齊后的數(shù)據(jù)進入表格解析模塊。表格解析模塊識別跨行跨列的單元格、以及表格跨頁，表中表等復雜情況，對它們分別做解析并以合適的結(jié)構(gòu)存儲最終的結(jié)果。4)知識點抽取系統(tǒng)知識點抽取系統(tǒng)利用人工標注的少量樣例數(shù)據(jù)，訓練深度學習模型，然后利用訓練好的模型從 新

20、文檔中抽取對應的知識點。利用深度學習和遷移學習模型，少量的人工標注投入，就能獲得泛化 性很好的新知識點抽取能力。利用閱讀理解技術中最新的句間注意力(Inter-Attention )和句內(nèi)注意力(Intra-Attention )機制，我們在原有閱讀理解模型的基礎上，研發(fā)了準確度更高，可解釋性更好的注意力匹配模型：Attention-MC模型。下圖是Attention-MC模型的結(jié)構(gòu)。固刑biPl*：mi i i m利用閱讀理解技術，直接從文檔中抽取所需的 知識點詞向通過無監(jiān)督訓練獲得新的知識點抽取僅需107 00個 樣本即可5)對話機器人核心技術在完成多個具體對話機器人項目后，我們發(fā)現(xiàn)可以依據(jù)問題類型的不同，來劃分對話子機器人。不同的對話子機器人，使用最適合場景的技術框架來實現(xiàn)，以便應對不同類型的用戶問題。所有這些對話子機器人，通過路由子機器人( RouteBot)進行整合，最終形成 DeepBot對話框架。不只是單輪的FAQ機耕人利用相代消婚，省嘀消解實現(xiàn)多能 對話效果在用戶問嶷意眼不明稿的情況下, 有tt對快燭進行反向相間的問是，針時不同用戶苦像 的用戶.給出不同答篁不同背