大數(shù)據(jù)治理管理與運營體系數(shù)據(jù)治理運營實施方案

數(shù)據(jù)治理運營體系與原則大數(shù)據(jù)治理運營支撐體系數(shù)據(jù)治理組織數(shù)據(jù)標準規(guī)范治理平臺工具數(shù)據(jù)治理活動數(shù)據(jù)管理制度大數(shù)據(jù)治理運營實施原則平臺建設(shè)先行長期治理運營1+N運營模式(即統(tǒng)一數(shù)據(jù)平臺支持多個治理運營組)數(shù)據(jù)治理運營以業(yè)務(wù)線劃分平臺建設(shè)以功能線劃分平臺建設(shè)與治理運營團隊相獨立政企數(shù)據(jù)治理運營構(gòu)建一個能持續(xù)高效運轉(zhuǎn)的政務(wù)數(shù)據(jù)治理運營體系始終以數(shù)據(jù)服務(wù)業(yè)務(wù)為目標，持續(xù)建設(shè)高價值的數(shù)據(jù)資產(chǎn)與服務(wù)數(shù)據(jù)治理運營總體流程數(shù)據(jù)準備準備資產(chǎn)編目數(shù)據(jù)采集規(guī)范設(shè)計開發(fā)調(diào)度質(zhì)量監(jiān)控數(shù)據(jù)倉庫數(shù)據(jù)應(yīng)用數(shù)據(jù)源數(shù)據(jù)湖數(shù)據(jù)倉庫歷史數(shù)據(jù)全量遷移源連接和目標連接遷移作業(yè)運行作業(yè)業(yè)務(wù)數(shù)據(jù)增量采集定義增量設(shè)置觸發(fā)運行作業(yè)資產(chǎn)數(shù)據(jù)維護數(shù)據(jù)源維護數(shù)據(jù)倉庫數(shù)據(jù)規(guī)范主題設(shè)計標準管理碼表管理數(shù)據(jù)標準關(guān)系建模維度建模指標管理流程框架業(yè)務(wù)指標技術(shù)指標腳本開發(fā)批處理作業(yè)實時處理作業(yè)業(yè)務(wù)指標監(jiān)控指標規(guī)則業(yè)務(wù)場景運行檢查數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則模板作業(yè)質(zhì)量運行檢查數(shù)據(jù)地圖業(yè)務(wù)資產(chǎn)技術(shù)資產(chǎn)數(shù)據(jù)權(quán)限數(shù)據(jù)安全申請審核創(chuàng)建發(fā)布使用運營數(shù)據(jù)治理運營業(yè)務(wù)流程公安系統(tǒng)社保系統(tǒng)教育系統(tǒng)市監(jiān)系統(tǒng)……委辦系統(tǒng)各委辦前置庫大數(shù)據(jù)中心-數(shù)據(jù)湖&數(shù)據(jù)庫ODS貼源層DWD基礎(chǔ)庫人口、法人、電子證照、空間地理主題庫互聯(lián)網(wǎng)+監(jiān)管、城市管理、…專題庫婚姻死亡、經(jīng)偵、…共享庫共享前置庫數(shù)據(jù)歸集清洗加工分發(fā)分發(fā)分發(fā)分發(fā)分發(fā)分發(fā)文件下發(fā)庫表下發(fā)分發(fā)內(nèi)部單位外部機構(gòu)數(shù)據(jù)調(diào)用接口調(diào)用數(shù)據(jù)使用單位基于業(yè)務(wù)與管理規(guī)則，進行實施與管控數(shù)據(jù)治理運營·數(shù)據(jù)資源歸集庫表歸集：數(shù)據(jù)源為前置庫表信息附件歸集：數(shù)據(jù)源中有照片數(shù)據(jù)或者pdf、word等非結(jié)構(gòu)化數(shù)據(jù)API接口歸集：數(shù)據(jù)通過接口獲取，目前如健康云API接口調(diào)入，以10分鐘的頻率采集文件歸集：數(shù)據(jù)源是不同的文件形式（CSV、excel、TXT、dat）流數(shù)據(jù)歸集：數(shù)據(jù)源為實時流數(shù)據(jù)編制目錄數(shù)據(jù)預處理（清洗、轉(zhuǎn)換、標準化）文件接入服務(wù)接口接入庫表接入實時流接入選擇歸集目錄創(chuàng)建歸集任務(wù)配置歸集頻率自動掛接資源編目歸集預處理數(shù)據(jù)治理運營·基礎(chǔ)庫建設(shè)流程大數(shù)據(jù)管理中心委辦局（供給）提出主題庫建設(shè)需求開始明確責任需求清單三清單管理確認責任清單共享數(shù)據(jù)推送主題庫應(yīng)用/數(shù)據(jù)共享結(jié)束委辦局（需求）溝通方案(三方)建主題庫并分配資源主題庫開發(fā)生成資源目錄整理制作郎豐利1519數(shù)據(jù)治理運營·專題/主題應(yīng)用開發(fā)與運營整合了大數(shù)據(jù)匯聚、整合、融合分析與應(yīng)用運營能力，建立了垮多委辦之間的協(xié)作機制，打造了一體化全流程主題/專題應(yīng)用庫建設(shè)體系，可快速實現(xiàn)從模型構(gòu)建到模型的落地應(yīng)用，為政府提供高效的基礎(chǔ)/專題/主題庫應(yīng)用開發(fā)與運營服務(wù)。需求立項模型建構(gòu)模型調(diào)優(yōu)模型發(fā)布迭代數(shù)據(jù)服務(wù)分析報告模型應(yīng)用說明政務(wù)服務(wù)社會服務(wù)+模型建構(gòu)模型發(fā)布主/專題應(yīng)用反饋數(shù)據(jù)匯聚應(yīng)用發(fā)布模型構(gòu)建數(shù)據(jù)分析參數(shù)調(diào)優(yōu)數(shù)據(jù)預處理模型評估匯聚相關(guān)委辦對應(yīng)數(shù)據(jù)處理空值，屬性值轉(zhuǎn)換分析數(shù)據(jù)與需求相關(guān)性選擇合適的算法進行建模調(diào)整數(shù)據(jù)模型參數(shù)基礎(chǔ)/主/專題發(fā)布評估模型準確性，合理性數(shù)據(jù)治理運營·數(shù)據(jù)應(yīng)用開發(fā)通過大數(shù)據(jù)平臺基于用戶信息及用戶行為綜合特征，知識圖譜以及地理空間關(guān)聯(lián)特征，進行融合匯聚和深度挖掘關(guān)聯(lián)分析，形成多維標簽體系，進而支撐從各類數(shù)據(jù)挖掘應(yīng)用與開發(fā)，實現(xiàn)數(shù)據(jù)價值最大化。大數(shù)據(jù)標簽匯聚與應(yīng)用開發(fā)能力屬性標簽事件標簽靜態(tài)穩(wěn)定標簽短期時序事件和專題事件車輛屬性：品牌、型號、出廠年份、行駛公里數(shù)。線路屬性：線路起點、線路終點、時刻表、車輛數(shù)、班次。駕駛員屬性：性別、年齡、駕齡、行駛證類別。車輛行駛情況：行駛時間，是否晚點。停靠情況：車輛進場時間，車輛出廠時間駕駛員駕駛情況：當天駕駛時長、上班時間違章事件：車輛違章、車輛事故。保養(yǎng)事件：保養(yǎng)記錄、維修記錄。專題事件：節(jié)假日、特定事件等關(guān)鍵事件。建立多層級實體模型，模型覆蓋車輛、線路、駕駛員、停車場等實體。建立多維標簽覆蓋從靜態(tài)屬性到動態(tài)行為標簽。從無到有，打造出一套連接線上線下的時間序列，滿足應(yīng)用要求。動態(tài)行為標簽…………旨在建造更專業(yè)更精準的標簽體系，為客戶實現(xiàn)數(shù)據(jù)價值最大化，推動標簽在企業(yè)在應(yīng)用中發(fā)揮價值。除了數(shù)據(jù)監(jiān)控、精準營銷方面外，結(jié)合數(shù)據(jù)挖掘算法與主流的機器學習框架TensorFlow，在自然語言、圖像識別、知識圖譜等方面可以挖掘非結(jié)構(gòu)化數(shù)據(jù)，形成高效、靈活的應(yīng)用。算法設(shè)計建立模型數(shù)據(jù)整合業(yè)務(wù)分析應(yīng)用開發(fā)數(shù)據(jù)治理建設(shè)中容易踩的幾個”坑”取數(shù)據(jù)先行而不是編數(shù)據(jù)目錄先行，導致后續(xù)對平臺中數(shù)據(jù)的管理與使用失控元數(shù)據(jù)管理后置引發(fā)不一致(元數(shù)據(jù)和實體數(shù)據(jù)資源、設(shè)計和實現(xiàn)、文檔和實現(xiàn))災(zāi)難缺乏統(tǒng)一數(shù)據(jù)開發(fā)技術(shù)標準與規(guī)范，導致重復開發(fā)，總體開發(fā)成本大、效率低，問題多、隱患大采用以代碼為主的數(shù)據(jù)應(yīng)用開發(fā)方式，導致數(shù)據(jù)應(yīng)用黑盒問題嚴重，問題定位困難，維護成本高前置業(yè)務(wù)的數(shù)據(jù)庫表自行修改，導致數(shù)據(jù)匯聚失敗或者引發(fā)后續(xù)數(shù)據(jù)質(zhì)量問題缺乏權(quán)責明確、清晰的管理與約束手段導致業(yè)務(wù)單位提交數(shù)據(jù)不到位、不及時由供需部門直接對接，數(shù)據(jù)部門沒有發(fā)揮出協(xié)同中心作用，導致業(yè)務(wù)單位要數(shù)據(jù)難，效率低、怨言大沒有建立基于明確權(quán)責劃定的多部門溝通與協(xié)調(diào)機制，導致反復溝通、信息不同步、整體工作效率低避坑指南·數(shù)據(jù)治理運營基本心法前置-定義數(shù)據(jù)治理與管理相關(guān)的技術(shù)、業(yè)務(wù)與管理標準及規(guī)范編制數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)信息配置數(shù)據(jù)質(zhì)量標準定義數(shù)據(jù)開發(fā)技術(shù)標準數(shù)據(jù)上報提交規(guī)范與要求數(shù)據(jù)應(yīng)用需求受理開發(fā)流程數(shù)據(jù)使用申請與使用規(guī)范綜合運用技術(shù)、管理甚至行政手段，來保障這些規(guī)范的落地與執(zhí)行強元數(shù)據(jù)前置控制數(shù)據(jù)標準執(zhí)行控制技術(shù)標準執(zhí)行控制智能化監(jiān)控與告警明確數(shù)據(jù)中心職責目標范圍強調(diào)數(shù)據(jù)治理各方權(quán)責配套管理、溝通與考核機制堅定的業(yè)務(wù)目標強力的組織領(lǐng)導強大的系統(tǒng)工具獨立的運營團隊高效的技術(shù)支撐避坑指南·構(gòu)建數(shù)據(jù)治理運營服務(wù)能力數(shù)據(jù)匯聚對接實施服務(wù)企業(yè)數(shù)據(jù)治理運營服務(wù)能力專業(yè)數(shù)據(jù)治理運營團隊完善治理運營服務(wù)流程豐富治理運營服務(wù)經(jīng)驗多樣服務(wù)實施交付方式治理服務(wù)綜合數(shù)據(jù)應(yīng)用咨詢服務(wù)系統(tǒng)平臺運行維護服務(wù)數(shù)據(jù)模型設(shè)計開發(fā)服務(wù)業(yè)務(wù)數(shù)據(jù)開放運維服務(wù)數(shù)據(jù)清洗處理實施服務(wù)避坑指南·搭建數(shù)據(jù)治理運營團隊數(shù)據(jù)治理工作離不開強有力的組織保障，政府必須構(gòu)建專門的數(shù)據(jù)治理管理團隊，由專門的數(shù)據(jù)治理管理團隊成為組織大數(shù)據(jù)戰(zhàn)略的制定者、推動者和實施者，負責組織內(nèi)數(shù)據(jù)資產(chǎn)的開發(fā)和利用，通過數(shù)據(jù)推動組織業(yè)務(wù)的創(chuàng)新和發(fā)展。信息化領(lǐng)導小組數(shù)據(jù)治理管理領(lǐng)導小組IT信息部門牽頭業(yè)務(wù)部門其他業(yè)務(wù)部門數(shù)據(jù)治理實施部其他管理部門數(shù)據(jù)對接組需求管理組數(shù)據(jù)質(zhì)量管理組數(shù)據(jù)安全管控組數(shù)據(jù)歸集組數(shù)據(jù)模型設(shè)計組基礎(chǔ)模型開發(fā)組應(yīng)用模型開發(fā)組運行維護組平臺開發(fā)組數(shù)據(jù)分析組數(shù)據(jù)清洗組數(shù)據(jù)治理典型團隊架構(gòu)項目總集管理治理部門可以是實體部門，也可是業(yè)務(wù)和IT部聯(lián)合組成的虛擬團隊整個數(shù)據(jù)治理團隊的建設(shè)中可通過引入平臺與治理運營供應(yīng)商來共同組建，并可引入一個項目總集方負責日常運營工作；建議需求、質(zhì)量與安全管理工作由政府內(nèi)部人員來負責。避坑指南·制定數(shù)據(jù)治理配套制度數(shù)據(jù)治理相關(guān)的技術(shù)與管理流程規(guī)范規(guī)定了數(shù)據(jù)中心與業(yè)務(wù)部門，以及各系統(tǒng)之間的數(shù)據(jù)歸集、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)模型開發(fā)、數(shù)據(jù)資產(chǎn)體系框架構(gòu)建、部署規(guī)范、數(shù)據(jù)安全運維管理以及數(shù)據(jù)共享的相關(guān)要求，指導整個組織展開大數(shù)據(jù)的管理與應(yīng)用。數(shù)據(jù)治理技術(shù)與管理流程規(guī)范總覽數(shù)據(jù)歸集技術(shù)規(guī)范數(shù)據(jù)模型設(shè)計技術(shù)規(guī)范數(shù)據(jù)模型開發(fā)技術(shù)規(guī)范數(shù)據(jù)資產(chǎn)管理規(guī)范數(shù)據(jù)安全管理規(guī)范數(shù)據(jù)共享技術(shù)規(guī)范數(shù)據(jù)開發(fā)需求響應(yīng)流程數(shù)據(jù)共享應(yīng)用申請流程數(shù)據(jù)質(zhì)量要求管理規(guī)范數(shù)據(jù)規(guī)范是指對政務(wù)核心數(shù)據(jù)進行有關(guān)存在性、完整性、質(zhì)量及歸檔的測量標準，為評估政務(wù)數(shù)據(jù)質(zhì)量；數(shù)據(jù)治理需要管理和制度的有力支撐，需結(jié)合組織現(xiàn)狀，制定對應(yīng)管理辦法、流程、認責體系，并頒布相關(guān)規(guī)章制度。數(shù)據(jù)運營案例·某市大數(shù)據(jù)資源中心建設(shè)與運營支撐參與了某市大數(shù)據(jù)資源中心、基礎(chǔ)庫、專題主題庫的建設(shè)，主要負責委辦數(shù)據(jù)對接、數(shù)據(jù)治理與應(yīng)用開發(fā)的運營支撐工作。進入某市大數(shù)據(jù)資源中心數(shù)據(jù)運營項目；參與了多個委辦數(shù)據(jù)對接抽取、數(shù)據(jù)清洗治理的運營支撐工作；參與了數(shù)據(jù)分析與應(yīng)用開發(fā)工作，包括基礎(chǔ)庫、主題專題庫的建設(shè)；目前已經(jīng)完成了互聯(lián)網(wǎng)+監(jiān)管、城市管理等幾個主題的遷移及改造相關(guān)工作；負責數(shù)據(jù)應(yīng)用開發(fā)與共享的運營支撐工作，在疫情期間參與了隨S碼的開發(fā)與開放工作。市場監(jiān)管城市管理公共安全社會治理主題庫政務(wù)服務(wù)專題庫宏觀經(jīng)濟專題庫經(jīng)濟運行監(jiān)測宏觀經(jīng)濟預測宏觀經(jīng)濟指數(shù)市場主體發(fā)展人口和就業(yè)……民生幸福專題庫人口遷移老齡化及養(yǎng)老公共安全政務(wù)服務(wù)城市綜合體……市場運行專題庫主體準入分析產(chǎn)業(yè)結(jié)構(gòu)調(diào)整大眾創(chuàng)業(yè)分析電子商務(wù)發(fā)展中小企業(yè)發(fā)展……人口庫法人庫電子證照庫空間地理庫基礎(chǔ)庫數(shù)據(jù)源四大庫市級建設(shè)系統(tǒng)數(shù)據(jù)各市級委辦數(shù)據(jù)各行政區(qū)數(shù)據(jù)某市大數(shù)據(jù)中心-數(shù)據(jù)湖&數(shù)據(jù)庫數(shù)據(jù)共享開放平臺數(shù)據(jù)開放清