數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)方案

1、數(shù)據(jù)質(zhì)量管理系統(tǒng)介紹 第1頁(yè)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)第2頁(yè)數(shù)據(jù)質(zhì)量管理現(xiàn)存問(wèn)題及制約原因制約原因系統(tǒng)應(yīng)用對(duì)象不明確、系統(tǒng)應(yīng)用層級(jí)定位不清因定位不清造成系統(tǒng)界面設(shè)計(jì)不能滿(mǎn)足各層級(jí)需求系統(tǒng)適應(yīng)性不能滿(mǎn)足地域性、個(gè)性化需求，差異顯著缺乏針對(duì)數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)化流程及溝通機(jī)制系統(tǒng)適用性不強(qiáng)，未強(qiáng)調(diào)數(shù)據(jù)質(zhì)量管理，更多偏向于數(shù)據(jù)上報(bào)及下發(fā)管理數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則不全方面、針對(duì)網(wǎng)省適用性相對(duì)較差不具備自建指標(biāo)校驗(yàn)?zāi)芰夹g(shù)元素造成業(yè)務(wù)人員無(wú)法使用系統(tǒng)運(yùn)維等人員對(duì)業(yè)務(wù)不清造成數(shù)據(jù)質(zhì)量無(wú)法及時(shí)得到確認(rèn)業(yè)務(wù)人員對(duì)運(yùn)維人員依賴(lài)性強(qiáng)數(shù)據(jù)質(zhì)量不受控制直接上報(bào)國(guó)網(wǎng)源數(shù)據(jù)提供人員無(wú)法使用系統(tǒng)，無(wú)法對(duì)上報(bào)數(shù)

2、據(jù)進(jìn)行確認(rèn)不支持校驗(yàn)規(guī)則自定義修改無(wú)數(shù)據(jù)質(zhì)量預(yù)判機(jī)制缺乏數(shù)據(jù)質(zhì)量問(wèn)題分析、歸集及經(jīng)驗(yàn)共享機(jī)制缺乏考評(píng)通報(bào)機(jī)制數(shù)據(jù)質(zhì)量查詢(xún)功效不完善問(wèn)題第3頁(yè)趨于嚴(yán)謹(jǐn)數(shù)據(jù)質(zhì)量評(píng)價(jià)考評(píng)規(guī)則上月28日 本月5日 本月8日 本月15日允許?。ㄊ校┲貜?fù)上報(bào)數(shù)據(jù)，截止5日統(tǒng)計(jì)各省（市）及時(shí)率本段時(shí)間允許?。ㄊ校┬薷母髦笜?biāo)數(shù)據(jù)，截止8日統(tǒng)計(jì)各?。ㄊ校?zhǔn)確率、完整率、接入率截止8日不允許省（市）修改指標(biāo)數(shù)據(jù)，從9日至15日出具運(yùn)行監(jiān)測(cè)控?cái)?shù)據(jù)質(zhì)量閱讀通報(bào)123當(dāng)前總部數(shù)據(jù)質(zhì)量考評(píng)過(guò)程上月28日 本月8日 本月15日只允許?。ㄊ校┥蠄?bào)一次，不允許修改系統(tǒng)生成較難明細(xì)數(shù)據(jù)與上報(bào)數(shù)據(jù)增加防修改加密碼，增加上報(bào)審計(jì)功效1后期總部數(shù)據(jù)質(zhì)

3、量考評(píng)過(guò)程一次性出具運(yùn)行監(jiān)測(cè)控?cái)?shù)據(jù)質(zhì)量閱讀通報(bào)2省企業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)省企業(yè)運(yùn)監(jiān)系統(tǒng)國(guó)網(wǎng)運(yùn)監(jiān)系統(tǒng)123第4頁(yè)提供友好、易操作數(shù)據(jù)質(zhì)量管理界面系統(tǒng)應(yīng)用滿(mǎn)足運(yùn)監(jiān)人員、業(yè)務(wù)人員及系統(tǒng)運(yùn)維人員需求建立數(shù)據(jù)質(zhì)量異常在線溝通及數(shù)據(jù)調(diào)整流程提升數(shù)據(jù)質(zhì)量管理省企業(yè)運(yùn)監(jiān)數(shù)據(jù)質(zhì)量提升系統(tǒng)建設(shè)目標(biāo)及定位定制化開(kāi)發(fā)建設(shè)自定義數(shù)據(jù)校驗(yàn)規(guī)則，滿(mǎn)足省企業(yè)實(shí)際業(yè)務(wù)運(yùn)行現(xiàn)實(shí)狀況依靠數(shù)據(jù)質(zhì)量管理方法，有效結(jié)合制度及管理文件，經(jīng)過(guò)系統(tǒng)落地建立省企業(yè)當(dāng)?shù)財(cái)?shù)據(jù)質(zhì)量問(wèn)題歸集共享平臺(tái)建立省企業(yè)數(shù)據(jù)質(zhì)量評(píng)價(jià)功效，促進(jìn)數(shù)據(jù)接入質(zhì)量提升提供數(shù)據(jù)質(zhì)量問(wèn)題繼而輔助功效縮短數(shù)據(jù)質(zhì)量校驗(yàn)頻度，提供預(yù)判功效接口及數(shù)據(jù)鏈路監(jiān)測(cè)能力提升數(shù)據(jù)質(zhì)量監(jiān)測(cè)能

4、力提升實(shí)現(xiàn)省運(yùn)監(jiān)中心對(duì)企業(yè)業(yè)務(wù)數(shù)據(jù)產(chǎn)生、數(shù)據(jù)接入到匯總計(jì)算結(jié)果全過(guò)程、可視化監(jiān)測(cè)管理，確保數(shù)據(jù)完整、準(zhǔn)確、及時(shí)高質(zhì)量接入及上報(bào)。第5頁(yè)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)第6頁(yè)系統(tǒng)應(yīng)用設(shè)計(jì)第7頁(yè)功效清單功效點(diǎn)功效點(diǎn)描述系統(tǒng)管理包含資源監(jiān)測(cè)、配置管理、安全管理、備份恢復(fù)、日志管理等數(shù)據(jù)加工經(jīng)過(guò)對(duì)計(jì)算規(guī)則庫(kù)進(jìn)行配置，提供計(jì)算引擎和統(tǒng)計(jì)服務(wù)，實(shí)現(xiàn)數(shù)據(jù)加工數(shù)據(jù)存放對(duì)存入數(shù)據(jù)轉(zhuǎn)存需求進(jìn)行處理，提供數(shù)據(jù)壓縮服務(wù)數(shù)據(jù)處理對(duì)接入數(shù)據(jù)質(zhì)量管理系統(tǒng)數(shù)據(jù)進(jìn)行正確性檢驗(yàn)、格式轉(zhuǎn)換、標(biāo)準(zhǔn)統(tǒng)一，并提供數(shù)據(jù)調(diào)整功效數(shù)據(jù)訪問(wèn)跨平臺(tái)數(shù)據(jù)訪問(wèn)服務(wù)及數(shù)據(jù)訪問(wèn)服務(wù)數(shù)據(jù)接入傳輸提供數(shù)據(jù)接入及傳輸通道元數(shù)據(jù)管理數(shù)據(jù)監(jiān)測(cè)點(diǎn)管

5、理及維護(hù)，映射關(guān)系模型維護(hù)等數(shù)據(jù)質(zhì)量評(píng)價(jià)依照管理制度對(duì)數(shù)據(jù)接入情況進(jìn)行排名比較數(shù)據(jù)看板對(duì)系統(tǒng)各個(gè)步驟運(yùn)行情況進(jìn)行統(tǒng)計(jì)、分析、展示支撐工具門(mén)戶(hù)集成、二次開(kāi)發(fā)接口等支撐服務(wù)第8頁(yè)系統(tǒng)集成設(shè)計(jì)第9頁(yè)物理布署設(shè)計(jì)第10頁(yè)系統(tǒng)安全設(shè)計(jì)安全控制點(diǎn)防護(hù)策略設(shè)計(jì)身份認(rèn)證1、設(shè)置密碼存放和傳輸安全；2、保護(hù)身份驗(yàn)證Cookie；3、同一用戶(hù)同時(shí)只允許登錄一個(gè)；授權(quán)1、設(shè)計(jì)資源訪問(wèn)控制方案，驗(yàn)證用戶(hù)訪問(wèn)權(quán)限；2、限制用戶(hù)對(duì)系統(tǒng)級(jí)資源訪問(wèn)；3、設(shè)計(jì)統(tǒng)一訪問(wèn)控制機(jī)制；輸入輸出驗(yàn)證1、設(shè)計(jì)驗(yàn)證全部起源不在可信范圍之內(nèi)輸入數(shù)據(jù)；2、應(yīng)在服務(wù)器端和客戶(hù)端都應(yīng)進(jìn)行輸入驗(yàn)證；3、應(yīng)對(duì)輸入內(nèi)容進(jìn)行規(guī)范化處理后再進(jìn)行驗(yàn)證，如文件路

6、徑、 URL地址等，需要規(guī)范化為標(biāo)準(zhǔn)格式后再進(jìn)行驗(yàn)證；配置管理1、應(yīng)使用最少特權(quán)進(jìn)程和服務(wù)帳戶(hù)；2、應(yīng)防止應(yīng)用程序調(diào)用支撐系統(tǒng)資源；3、單獨(dú)分配管理特權(quán)；會(huì)話(huà)管理1、設(shè)計(jì)登錄成功使用新會(huì)話(huà)；2、設(shè)計(jì)會(huì)話(huà)數(shù)據(jù)存放安全；3、設(shè)計(jì)會(huì)話(huà)安全終止；4、設(shè)計(jì)合理會(huì)話(huà)存活時(shí)間；加密技術(shù)1、不使用自創(chuàng)加密方法；參數(shù)操作1、確保用戶(hù)沒(méi)有繞過(guò)檢驗(yàn)；2、應(yīng)驗(yàn)證從客戶(hù)端發(fā)送全部數(shù)據(jù)；異常管理1、使用通用錯(cuò)誤信息；2、程序發(fā)生異常時(shí)，應(yīng)在日志中統(tǒng)計(jì)詳細(xì)錯(cuò)誤消息；審核和日志1、審計(jì)功效開(kāi)啟和關(guān)閉；2、應(yīng)用系統(tǒng)開(kāi)啟和停頓；3、訪問(wèn)控制信息；4、用戶(hù)對(duì)數(shù)據(jù)異常操作事件；第11頁(yè)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特

7、點(diǎn)第12頁(yè)明細(xì)查詢(xún)數(shù)據(jù)看板（有好圖換之）監(jiān)測(cè)校驗(yàn)卡板采取“一頁(yè)紙”設(shè)計(jì)思緒，面向省企業(yè)運(yùn)監(jiān)中心、省企業(yè)業(yè)務(wù)部門(mén)、地市企業(yè)運(yùn)監(jiān)中心、地市企業(yè)業(yè)務(wù)部門(mén)，實(shí)現(xiàn)四方面用戶(hù)定制化適用需求，并可實(shí)現(xiàn)自定義配置，用戶(hù)可在看板完成所需全部功效。依據(jù)用戶(hù)權(quán)限及需求建立模塊化看板功效，基礎(chǔ)功效為國(guó)網(wǎng)運(yùn)監(jiān)數(shù)據(jù)接入要求，如接入率、及時(shí)率、完整性、準(zhǔn)確性等，業(yè)務(wù)部門(mén)界面包含本期、往期數(shù)據(jù)接入情況，運(yùn)監(jiān)中心能夠看到本層級(jí)及下級(jí)數(shù)據(jù)接入情況，監(jiān)測(cè)看板數(shù)據(jù)依據(jù)等率時(shí)間隨時(shí)刷新界面情況，第一時(shí)間了解數(shù)據(jù)接入請(qǐng)款個(gè)，同時(shí)提供接入情況對(duì)比功效（如數(shù)據(jù)接入增加率等）。系統(tǒng)將集成門(mén)戶(hù)待辦功效，數(shù)據(jù)接入情況實(shí)時(shí)進(jìn)行通知，并依據(jù)內(nèi)容同時(shí)發(fā)

8、送運(yùn)監(jiān)中心及業(yè)務(wù)部門(mén)，用戶(hù)可經(jīng)過(guò)通知了解概要情況，同時(shí)也可進(jìn)入看板了解詳細(xì)情況?？窗寮闪讼到y(tǒng)全部功效，類(lèi)似于系統(tǒng)首頁(yè)，用戶(hù)可發(fā)起問(wèn)詢(xún)、數(shù)據(jù)下鉆、調(diào)整流程、校驗(yàn)規(guī)則配置等多項(xiàng)功效。功效點(diǎn)規(guī)劃功效點(diǎn)說(shuō)明功效實(shí)現(xiàn)場(chǎng)景配置選擇預(yù)判展示按業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，并提供各指標(biāo)展示控件，即各類(lèi)展示主題用戶(hù)選擇崗位權(quán)限內(nèi)關(guān)注主題進(jìn)行展示?？窗寮深A(yù)警功效，系統(tǒng)在后臺(tái)實(shí)現(xiàn)自動(dòng)校驗(yàn)后完成預(yù)判展示功效，將校驗(yàn)結(jié)果展示在看板上?？窗寮摄@取功效，實(shí)現(xiàn)預(yù)判數(shù)據(jù)、業(yè)務(wù)指標(biāo)數(shù)據(jù)、業(yè)務(wù)明細(xì)數(shù)據(jù)穿透查詢(xún)第13頁(yè)數(shù)據(jù)加工對(duì)監(jiān)測(cè)點(diǎn)計(jì)算規(guī)則進(jìn)行設(shè)置，支持各類(lèi)函數(shù)，腳本支持自定義函數(shù)公式管理，公式由數(shù)據(jù)加工服務(wù)進(jìn)行存放和管理在數(shù)據(jù)加工服

9、務(wù)中，計(jì)算點(diǎn)用于表示公式，包含公式執(zhí)行腳本、觸發(fā)方式及其他相關(guān)配置信息計(jì)算點(diǎn)可以選擇是否在實(shí)時(shí)庫(kù)中對(duì)應(yīng)測(cè)點(diǎn)和不對(duì)應(yīng)測(cè)點(diǎn)用戶(hù)可以對(duì)計(jì)算點(diǎn)進(jìn)行增加、刪除、修改調(diào)用腳本執(zhí)行計(jì)算算法，生成并保存計(jì)算結(jié)果根據(jù)用戶(hù)配置周期，當(dāng)周期抵達(dá)時(shí)自動(dòng)對(duì)腳本進(jìn)行運(yùn)算周期可認(rèn)為年、月、日、小時(shí)、分鐘、秒為單位進(jìn)行設(shè)置等計(jì)算結(jié)果存放，如果計(jì)算點(diǎn)對(duì)應(yīng)了實(shí)時(shí)庫(kù)測(cè)點(diǎn)則腳本執(zhí)行結(jié)果自動(dòng)存放在對(duì)應(yīng)實(shí)時(shí)庫(kù)測(cè)點(diǎn)中，如果沒(méi)有對(duì)應(yīng)可以經(jīng)過(guò)調(diào)用數(shù)據(jù)提交接口處理計(jì)算結(jié)果功效細(xì)分功效實(shí)現(xiàn)計(jì)算規(guī)則庫(kù)函數(shù)支持周期觸發(fā)計(jì)算公式管理事件觸發(fā)計(jì)算腳本編輯器定時(shí)觸發(fā)計(jì)算計(jì)算結(jié)果存放計(jì)算引擎規(guī)則設(shè)置第14頁(yè)數(shù)據(jù)處理對(duì)數(shù)據(jù)源發(fā)送數(shù)據(jù)進(jìn)行校驗(yàn)，并生成告警對(duì)產(chǎn)生異

10、常數(shù)據(jù)進(jìn)行同時(shí)強(qiáng)調(diào)數(shù)據(jù)預(yù)判后處理流程，用戶(hù)經(jīng)過(guò)發(fā)起流程方式，提醒業(yè)務(wù)部門(mén)重新推送數(shù)據(jù)支持?jǐn)?shù)據(jù)即時(shí)、批量修正及重新推送調(diào)整功效細(xì)分功效實(shí)現(xiàn)數(shù)據(jù)校驗(yàn)數(shù)據(jù)校驗(yàn)判斷校驗(yàn)告警發(fā)送數(shù)據(jù)同時(shí)批量修正流程修正數(shù)據(jù)修正第15頁(yè)數(shù)據(jù)接入接收不一樣數(shù)據(jù)起源數(shù)據(jù)并解析成數(shù)據(jù)質(zhì)量管理系統(tǒng)標(biāo)準(zhǔn)格式存入增刪改接口服務(wù)器，分發(fā)接入接口、歷史補(bǔ)招任務(wù)，設(shè)置運(yùn)行計(jì)劃數(shù)據(jù)源自定義監(jiān)測(cè)點(diǎn)定義（增刪改查），包含所屬數(shù)據(jù)源、監(jiān)測(cè)點(diǎn)名稱(chēng)、描述、計(jì)算公式、啟用標(biāo)志等監(jiān)控運(yùn)行接口運(yùn)行狀態(tài)，包含內(nèi)存使用、數(shù)據(jù)寫(xiě)入量、寫(xiě)入監(jiān)測(cè)點(diǎn)列表等接入數(shù)據(jù)異常及時(shí)告警功效功效細(xì)分功效實(shí)現(xiàn)接入適配器管理接口服務(wù)器管理數(shù)據(jù)源定義管理接口機(jī)運(yùn)行狀態(tài)監(jiān)控接入監(jiān)控管理自

11、定義監(jiān)測(cè)點(diǎn)管理接口適配器接入異常處理接口異常管理第16頁(yè)數(shù)據(jù)質(zhì)量評(píng)價(jià)根據(jù)省企業(yè)數(shù)據(jù)質(zhì)量管理方法，在系統(tǒng)中固化數(shù)據(jù)質(zhì)量評(píng)價(jià)規(guī)則，每七天期內(nèi)對(duì)各業(yè)務(wù)數(shù)據(jù)質(zhì)量進(jìn)行打分評(píng)選，按照及時(shí)性、準(zhǔn)確性等要求，按天倒排。通報(bào)結(jié)果定時(shí)以模板形式發(fā)送各業(yè)務(wù)部門(mén)，抄送企業(yè)領(lǐng)導(dǎo)。功效細(xì)分功效實(shí)現(xiàn)評(píng)價(jià)流程流程定義流程及角色關(guān)聯(lián)評(píng)價(jià)匯報(bào)指標(biāo)定義評(píng)價(jià)定義模板定義第17頁(yè)目錄現(xiàn)狀及系統(tǒng)定位系統(tǒng)架構(gòu)設(shè)計(jì)核心功能介紹系統(tǒng)特點(diǎn)第18頁(yè)系統(tǒng)應(yīng)用特點(diǎn)促進(jìn)省企業(yè)大數(shù)據(jù)應(yīng)用及標(biāo)準(zhǔn)化建設(shè)數(shù)據(jù)質(zhì)量管理系統(tǒng)應(yīng)用將有效結(jié)合結(jié)合省企業(yè)電力大數(shù)據(jù)技術(shù)研究、應(yīng)用系統(tǒng)及多項(xiàng)目建設(shè)結(jié)果，促進(jìn)包含大數(shù)據(jù)建設(shè)、運(yùn)行與服務(wù)等統(tǒng)一大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系建設(shè)，為企業(yè)電力大數(shù)據(jù)建設(shè)提供保障。提升運(yùn)監(jiān)中心數(shù)據(jù)綜合管理水平 經(jīng)過(guò)對(duì)數(shù)據(jù)質(zhì)量管理指標(biāo)重定義、監(jiān)測(cè)校驗(yàn)頻度分析定義，構(gòu)建由數(shù)據(jù)分析、數(shù)據(jù)接入、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)展示、數(shù)據(jù)調(diào)整一體化管理體系，做到數(shù)據(jù)妥善保管、高質(zhì)量有序存放、方便查閱，嚴(yán)防毀損、散失和泄密，從而大大提升運(yùn)監(jiān)中心數(shù)據(jù)綜合管理水平。促進(jìn)企業(yè)大數(shù)據(jù)管理標(biāo)準(zhǔn)化數(shù)據(jù)質(zhì)量管理專(zhuān)業(yè)化第19頁(yè)系統(tǒng)建設(shè)重點(diǎn)數(shù)據(jù)質(zhì)量管理需建立強(qiáng)有力管理制度做支撐，有效確保數(shù)據(jù)管理執(zhí)行可行性，確保數(shù)據(jù)接入及時(shí)、準(zhǔn)確，需與業(yè)務(wù)職能部門(mén)建立