202x年大數(shù)據(jù)治理建設(shè)及運營方案共23頁(專業(yè)完整版)

1、大數(shù)據(jù)治理建設(shè)及運營目錄/Contents運營思路01數(shù)據(jù)資產(chǎn)定義及流程規(guī)范02治理規(guī)范及質(zhì)量管控03市質(zhì)量考核標準及提升方案04運營思路核心原則組建運營團隊職責(zé)定義、規(guī)范先行規(guī)范化的運營及治理持續(xù)的質(zhì)量管控對接組治理組編目及歸集規(guī)范政務(wù)系統(tǒng)建設(shè)指導(dǎo)規(guī)范數(shù)據(jù)治理技術(shù)規(guī)范數(shù)據(jù)質(zhì)量管理規(guī)范目錄/Contents思路01運營架構(gòu)及流程02治理規(guī)范及質(zhì)量管控03市質(zhì)量考核標準及提升方案04運營團隊架構(gòu)及職責(zé)數(shù)據(jù)資產(chǎn)定義（治理對象及要求）目錄類型來源數(shù)據(jù)介質(zhì)治理需求政務(wù)系統(tǒng)目錄庫表區(qū)委辦局HiveHBaseElasticsearch需要清洗，然后融合加工市區(qū)級聯(lián)目錄庫表市資源平臺HiveHBaseEla

2、sticsearch無需清洗，可以融合加工API接口目錄API市資源平臺區(qū)資源平臺區(qū)委辦局API無需清洗文件目錄 文件區(qū)委辦局HDFS無需清洗GIS數(shù)據(jù)目錄庫表空間地理子系統(tǒng)PostgreSQL無需清洗，可以融合加工GIS服務(wù)目錄API空間地理子系統(tǒng)API無需清洗物聯(lián)數(shù)據(jù)目錄（存量）庫表物聯(lián)子系統(tǒng)HiveHBaseElasticsearch無需清洗，可以融合加工物聯(lián)消息目錄（實時）MQ物聯(lián)子系統(tǒng)Kafka無需清洗視頻文件目錄（存量）文件視頻子系統(tǒng)HDFS無需清洗視頻設(shè)備目錄（實時）設(shè)備連線視頻子系統(tǒng)設(shè)備自身無需清洗治理流程規(guī)范委辦局前置機共享交換數(shù)據(jù)目錄數(shù)據(jù)歸集數(shù)據(jù)清洗/融合數(shù)據(jù)底座數(shù)據(jù)脫敏門

3、戶數(shù)據(jù)資產(chǎn)MX區(qū)大數(shù)據(jù)中心 - 數(shù)據(jù)治理流程數(shù)據(jù)目錄：委辦局用戶編目，形成委辦局政務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)的庫表目錄。數(shù)據(jù)歸集：根據(jù)委辦局目錄去前置機抽取數(shù)據(jù)，歸集進底座；歸集后發(fā)送實際歸集數(shù)據(jù)給到資產(chǎn)，關(guān)聯(lián)目錄和入底座的物理表名，觸發(fā)治理清洗任務(wù)數(shù)據(jù)治理：包括數(shù)據(jù)的清洗開發(fā)，質(zhì)量監(jiān)控等治理任務(wù)數(shù)據(jù)資產(chǎn)：包括各種數(shù)據(jù)資產(chǎn)目錄及資產(chǎn)信息。門戶：門戶提供各類數(shù)據(jù)資產(chǎn)查詢，包括數(shù)據(jù)目錄（一目錄），需求清單、責(zé)任清單和負面清單（三清單）以及各類治理任務(wù)查詢。共享交換：根據(jù)門戶給到的審批結(jié)果、資產(chǎn)給到的資源信息、底座給到的數(shù)據(jù)通過通用API脫敏后給到委辦局用戶。編目治理規(guī)范治理主線環(huán)節(jié)委辦局對接組平臺組治理組-開

4、發(fā)治理組-質(zhì)檢編目編目規(guī)范編目規(guī)范編目規(guī)范-目錄稽核歸集委辦推送規(guī)范歸集規(guī)范平臺歸集規(guī)范-源數(shù)據(jù)稽核治理過程-清洗融合規(guī)范清洗融合規(guī)范清洗融合規(guī)范治理過程稽核123環(huán)節(jié)治理對象事前事中事后編目資源目錄定義規(guī)范、職責(zé)、執(zhí)行流程、監(jiān)控流程、提交物規(guī)范、質(zhì)量監(jiān)控規(guī)則平臺功能建設(shè)按照規(guī)范執(zhí)行定期檢查及回顧問題報告清單周期質(zhì)量報告歸集資源數(shù)據(jù)清洗融合清洗后的基礎(chǔ)模型融合后的主題/專題模型管控按流程按職責(zé)目錄/Contents適用范圍及核心原則01數(shù)據(jù)資產(chǎn)定義及流程規(guī)范02治理規(guī)范及質(zhì)量管控03市質(zhì)量考核標準及提升方案04數(shù)據(jù)治理框架數(shù)據(jù)標準管理目錄管理數(shù)據(jù)地圖字典標準數(shù)據(jù)項標準數(shù)據(jù)目錄管理數(shù)據(jù)資產(chǎn)管理資

5、產(chǎn)目錄資產(chǎn)清單數(shù)據(jù)血緣資產(chǎn)分析治理團隊管理組織層級管理數(shù)據(jù)團隊管理數(shù)據(jù)加工治理規(guī)范定義編目規(guī)范清洗規(guī)范融合規(guī)范歸集規(guī)范質(zhì)量管控全過程流程驅(qū)動全過程開發(fā)質(zhì)量控制目錄質(zhì)量管控源數(shù)據(jù)質(zhì)量管控質(zhì)量檢查質(zhì)量檢查報告數(shù)據(jù)清洗數(shù)據(jù)融合任務(wù)監(jiān)控運維數(shù)據(jù)共享數(shù)據(jù)歸集數(shù)據(jù)治理實現(xiàn)從數(shù)據(jù)的采集、加工到數(shù)據(jù)探索服務(wù)的全生命周期管理。并提供數(shù)據(jù)開發(fā)全過程的治理管控能力。數(shù)據(jù)治理配套數(shù)據(jù)規(guī)范管理，建立數(shù)據(jù)標準化模型，對每個數(shù)據(jù)元素的業(yè)務(wù)描述、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)規(guī)則、質(zhì)量規(guī)則、管理規(guī)則、采集規(guī)則進行清晰的定義，讓數(shù)據(jù)的歸集、清洗、加工融合以及開放等數(shù)據(jù)治理過程均有標準可循。目錄注冊數(shù)據(jù)定義校驗規(guī)則管理物理表檢查配置治理過程中的

6、數(shù)據(jù)質(zhì)量管控質(zhì)量規(guī)范數(shù)據(jù)治理核心工作編目歸集清洗/融合字段名稱和類型標準化維度值標準化不合規(guī)范過濾四. 質(zhì)量檢查目錄質(zhì)量歸集質(zhì)量清洗/融合質(zhì)量質(zhì)量規(guī)范數(shù)據(jù)治理核心工作1、編目、歸集規(guī)范編目要素目錄唯一性命名規(guī)范時間戳規(guī)范表注釋規(guī)范字段注釋規(guī)范枚舉值規(guī)范歸集規(guī)范提綱總體目標建設(shè)原則接入雙方責(zé)任數(shù)據(jù)轉(zhuǎn)換責(zé)任關(guān)鍵字使用規(guī)范數(shù)據(jù)源接入方式前置機準備接入方式實現(xiàn)數(shù)據(jù)源變更申請流程變更流程說明數(shù)據(jù)歸集技術(shù)流程2種編目流程：委辦局主動上報自有數(shù)據(jù)業(yè)務(wù)需求驅(qū)動提出數(shù)據(jù)需求編目主要職責(zé)：委辦局編目規(guī)則平臺落地治理組檢查編目結(jié)果歸集配置流程根據(jù)目錄清單進行歸集配置歸集組進行歸集配置歸集組進行質(zhì)量檢查配置歸集組負責(zé)

7、進行資產(chǎn)更新日常歸集流程系統(tǒng)根據(jù)配置進行日常歸集歸集組監(jiān)控歸集任務(wù)治理組負責(zé)質(zhì)量檢查對接組與委辦局負責(zé)歸集問題反饋及處理。應(yīng)編盡編，應(yīng)歸盡歸數(shù)據(jù)清洗數(shù)據(jù)模型設(shè)計設(shè)計評審開發(fā)測試發(fā)布上線培訓(xùn)需求分析數(shù)據(jù)調(diào)研清洗建模流程正向設(shè)計：從數(shù)據(jù)調(diào)研出發(fā)逆向設(shè)計：從需求分析出發(fā)DWD/DWS維度建模寬度建模物理模型設(shè)計邏輯模型設(shè)計分表規(guī)則表命名規(guī)則字段命名原則數(shù)據(jù)處理原則數(shù)據(jù)有效性策略數(shù)據(jù)關(guān)系定義維值定義規(guī)則公安數(shù)據(jù)數(shù)據(jù)清洗ODS（貼源層）社保數(shù)據(jù)教育數(shù)據(jù)其他委辦數(shù)據(jù)數(shù)據(jù)清洗完成數(shù)據(jù)從ODS到DWD/DWS的數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)清洗需符合數(shù)據(jù)設(shè)計規(guī)范與開發(fā)規(guī)范，保證數(shù)據(jù)質(zhì)量與數(shù)據(jù)一致性。在建設(shè)初期的物理模型與邏輯

8、模型設(shè)計過程中，建立一系列標準規(guī)范及策略，保證數(shù)據(jù)模型設(shè)計合理。同時結(jié)合精細化管理規(guī)范流程與嚴格的設(shè)計規(guī)范，提升模型質(zhì)量、模型應(yīng)用的靈活性、降低維護成本、節(jié)省計算能力。逆向正向2、數(shù)據(jù)清洗/融合流程規(guī)范市監(jiān)數(shù)據(jù)程序命名文件頭函數(shù)庫主函數(shù)變量定義時間參數(shù)臨時表結(jié)果表SQL代碼索引分區(qū)/分桶表空間程序開發(fā)規(guī)范3、數(shù)據(jù)質(zhì)量管控 工作內(nèi)容政務(wù)數(shù)據(jù)治理質(zhì)量管控主要定義管控職責(zé)，管控內(nèi)容，管控流程。管控方面主要分為三個環(huán)節(jié)：目錄質(zhì)量管控、源數(shù)據(jù)質(zhì)量管控、治理過程中的數(shù)據(jù)質(zhì)量管控。管控內(nèi)容：檢查委辦局上報的目錄質(zhì)量管控項目：目錄唯一性、時間戳、表注釋、字段注釋、命名規(guī)范管控內(nèi)容：周期性檢查從委辦局歸集的數(shù)據(jù)

9、質(zhì)量管控項目：歸集及時性、數(shù)據(jù)拒載率、時間戳符合規(guī)范、主要指標數(shù)據(jù)質(zhì)量(空值，字段類型，字段長度等)政務(wù)數(shù)據(jù)治理質(zhì)量管控目錄質(zhì)量管控源數(shù)據(jù)質(zhì)量管控治理過程中的數(shù)據(jù)質(zhì)量管控管控內(nèi)容：檢查治理后數(shù)據(jù)的數(shù)據(jù)質(zhì)量管控項目：出數(shù)及時性、時間戳符合規(guī)范、數(shù)據(jù)波動、主要指標數(shù)據(jù)質(zhì)量管控核心管控職責(zé)Who誰管？管控內(nèi)容What管什么？管控流程How怎么管？歸集前歸集后治理過程3.1數(shù)據(jù)質(zhì)量管控 目錄質(zhì)量管控目錄是政務(wù)數(shù)據(jù)治理的基礎(chǔ)，對后續(xù)數(shù)據(jù)歸集、治理、共享影響很大，需要重點關(guān)注目錄質(zhì)量。在數(shù)據(jù)歸集前，需要進行目錄質(zhì)量管控。委辦局上報目錄時，針對委辦局上報的目錄質(zhì)量進行評審，評審?fù)ㄟ^后，目錄才可正式上線。歸集

10、組治理組對接組委辦局開始上報編目質(zhì)量檢查是否有質(zhì)量問題更新資產(chǎn)系統(tǒng)目錄配置數(shù)據(jù)歸集數(shù)據(jù)歸集入湖結(jié)束否目錄評審是是否評審?fù)ㄟ^是否目錄唯一性命名規(guī)范時間戳規(guī)范表注釋齊全字段注釋齊全主要管控內(nèi)容歸集前管控資產(chǎn)目錄3.2數(shù)據(jù)質(zhì)量管控 歸集質(zhì)量管控源數(shù)據(jù)質(zhì)量管控是數(shù)據(jù)歸集環(huán)節(jié)的管控，在歸集環(huán)節(jié)管控可以有效控制后續(xù)數(shù)據(jù)質(zhì)量，該環(huán)節(jié)管控對數(shù)質(zhì)量管控效果最好。委辦局周期上報數(shù)據(jù)時，針對委辦局上報的數(shù)據(jù)質(zhì)量進行周期監(jiān)控，建立監(jiān)控、處理、反饋閉環(huán)監(jiān)控流程。歸集組治理組對接組委辦局開始數(shù)據(jù)歸集入湖歸集及時性數(shù)據(jù)拒載率時間戳符合規(guī)范主鍵不空且唯一核心字段數(shù)據(jù)質(zhì)量(空值，字段類型，字段長度等）核心字段定義：支持人口庫、

11、法人庫、空間地理庫建設(shè)的關(guān)鍵字段。主要管控內(nèi)容歸集環(huán)節(jié)管控查詢資產(chǎn)目錄是否有質(zhì)量問題預(yù)設(shè)質(zhì)量規(guī)則是生成問題報告及清單問題報告清單生成代辦任務(wù)包括待辦內(nèi)容、接受單位、責(zé)任人、處理時限派發(fā)任務(wù)結(jié)束優(yōu)化數(shù)據(jù)質(zhì)量反饋完成任務(wù)跟蹤數(shù)據(jù)質(zhì)量檢查否定期出具質(zhì)量匯總報告3.3數(shù)據(jù)質(zhì)量管控 清洗/融合的數(shù)據(jù)質(zhì)量管控治理過程中的數(shù)據(jù)質(zhì)量管控是數(shù)據(jù)清洗/融合環(huán)節(jié)的管控，針對治理后數(shù)據(jù)按照預(yù)設(shè)的數(shù)據(jù)質(zhì)量規(guī)則，自動進行數(shù)據(jù)質(zhì)量管控。即針對不同的數(shù)據(jù)對象，配置相應(yīng)的數(shù)據(jù)質(zhì)量指標，不限于：數(shù)據(jù)完整性、數(shù)據(jù)準確性、數(shù)據(jù)唯一性、數(shù)據(jù)一致性、數(shù)據(jù)關(guān)聯(lián)性、數(shù)據(jù)及時性等。治理組開始完整性(目錄與物理表、字段檢查)規(guī)范性(日期、時間、

12、身份證等）準確性(空值、閾值、枚舉值轉(zhuǎn)換）唯一性（沒有重復(fù)數(shù)據(jù)）關(guān)聯(lián)性（業(yè)務(wù)邏輯檢查，引用檢查）及時性主要管控內(nèi)容治理過程中管控是否有質(zhì)量問題預(yù)設(shè)質(zhì)量規(guī)則是生成問題報告及清單問題報告清單派發(fā)任務(wù)結(jié)束優(yōu)化數(shù)據(jù)質(zhì)量反饋完成任務(wù)跟蹤數(shù)據(jù)質(zhì)量檢查否定期出具質(zhì)量匯總報告數(shù)據(jù)清洗/融合涉及業(yè)務(wù)口徑的確認流程治理組對接組委辦局開始核心目錄確認流程更新核心目錄梳理核心關(guān)鍵字(身份證、戶籍）確認核心關(guān)鍵字審核通過提取核心目錄確認目錄結(jié)束典型流程：目錄/Contents適用范圍及核心原則01數(shù)據(jù)資產(chǎn)定義及流程規(guī)范02治理規(guī)范及質(zhì)量管控03市質(zhì)量考核標準及提升方案04市質(zhì)量考核-評分項庫表目錄提交情況1.資源目錄的

13、編制情況2.資源目錄與資源的掛載情況1.數(shù)據(jù)的歸集情況2.數(shù)據(jù)完整性3.數(shù)據(jù)的規(guī)范性4.數(shù)據(jù)的時效性1.數(shù)據(jù)需求情況2.服務(wù)資源調(diào)用情況3.數(shù)據(jù)使用情況數(shù)據(jù)治理應(yīng)用推進情況市質(zhì)量考核-標準及提升方案分類指標指標分數(shù)考核要點提升方案信息系統(tǒng)梳理庫表目錄提交情況10應(yīng)用系統(tǒng)上報數(shù)量各單位應(yīng)用系統(tǒng)上報數(shù)資源目錄編制資源目錄的編制情況（核心業(yè)務(wù)目錄）301.發(fā)布資源目錄數(shù)量2.已發(fā)布資源中涉及到核心業(yè)務(wù)目錄數(shù)3.資源目錄掛載量4.資源目錄共享量5.單位之間共享調(diào)用次數(shù)1.在數(shù)據(jù)資產(chǎn)平臺里上報核心目錄（核心目錄是只包含自然人、法人、空間地理信息的目錄）。2.下線非核心目錄及不共享目錄。3.設(shè)置歸集任務(wù)，

14、將數(shù)據(jù)歸集進湖。資源目錄與資源的掛載情況1.在數(shù)據(jù)開發(fā)平臺里進行數(shù)據(jù)清洗，掛載資源，并檢查數(shù)據(jù)資產(chǎn)平臺中目錄是否成功掛載資源。2.保持100%的資源掛載率，且下線掛載失敗的目錄。數(shù)據(jù)匯聚數(shù)據(jù)的歸集情況251.歸集數(shù)據(jù)表總數(shù)（核心目錄）2.不可有空表3.不可有不合格表（主鍵和時間戳不完整）4.清洗表數(shù)量5.當(dāng)月累計歸集ODS數(shù)據(jù)量6.累計歸集ODS數(shù)據(jù)量1.數(shù)據(jù)表及數(shù)據(jù)歸集進湖，下線歸集失敗的任務(wù)數(shù)據(jù)完整性1.需要進行空表檢測，保證無空表目錄2.保證100%的清洗率。數(shù)據(jù)的規(guī)范性1.保證歸集的每張表都有主鍵和業(yè)務(wù)時間戳。2.保證每張表都有交換時間戳。數(shù)據(jù)的時效性數(shù)據(jù)共享數(shù)據(jù)需求情況201.數(shù)據(jù)資

15、源需求的申請量2.市級資源的接口調(diào)用（調(diào)用次數(shù)）。3.國家資源的接口調(diào)用 (調(diào)用次數(shù))。4.有效的資源調(diào)用（成功調(diào)用次數(shù)）5.下線閑置服務(wù)接口。6.包含自然人、法人、一網(wǎng)通辦的數(shù)據(jù)治理量在數(shù)據(jù)資產(chǎn)平臺盡量多的申請資源需求（本區(qū)，市區(qū)、國家、其他區(qū)）服務(wù)資源調(diào)用情況1.提升接口調(diào)用量（不一定要有需求）。2.下線閑置接口。3.清洗、融合盡量包含自然人、法人、一網(wǎng)通辦數(shù)據(jù)。數(shù)據(jù)使用情況上傳區(qū)交換子系統(tǒng)日志,區(qū)平臺交換日志數(shù)據(jù)治理應(yīng)用數(shù)據(jù)治理應(yīng)用推進情況15參與相關(guān)事項建設(shè)1.參與上海市大數(shù)據(jù)中心的各項試點建設(shè)2.及時進行管理規(guī)范的制訂及頒布；3.參與市區(qū)級聯(lián)(聯(lián)調(diào)、數(shù)據(jù)對接）市質(zhì)量考核-標準及提升方

16、案分類指標指標分數(shù)考核要點常見問題提升方案信息系統(tǒng)梳理庫表目錄提交情況10應(yīng)用系統(tǒng)上報數(shù)量各單位應(yīng)用系統(tǒng)上報數(shù)資源目錄編制資源目錄的編制情況（核心業(yè)務(wù)目錄）301.發(fā)布資源目錄數(shù)量2.已發(fā)布資源中涉及到核心業(yè)務(wù)目錄數(shù)3.資源目錄掛載量4.資源目錄共享量5.單位之間共享調(diào)用次數(shù)1.核心目錄占比過低2.存在不共享/調(diào)用的目錄1.在數(shù)據(jù)資產(chǎn)平臺里上報核心目錄（核心目錄是只包含自然人、法人、空間地理信息的目錄）。2.下線非核心目錄及不共享目錄。3.設(shè)置歸集任務(wù)，將數(shù)據(jù)歸集進湖。資源目錄與資源的掛載情況1.有編目但未掛載資源的目錄未下線1.在數(shù)據(jù)開發(fā)平臺里進行數(shù)據(jù)清洗，掛載資源，并檢查數(shù)據(jù)資產(chǎn)平臺中目錄

17、是否成功掛載資源。2.保持100%的資源掛載率，且下線掛載失敗的目錄。數(shù)據(jù)匯聚數(shù)據(jù)的歸集情況251.歸集數(shù)據(jù)表總數(shù)（核心目錄）2.不可有空表3.不可有不合格表（主鍵和時間戳不完整）4.清洗表數(shù)量5.當(dāng)月累計歸集ODS數(shù)據(jù)量6.累計歸集ODS數(shù)據(jù)量1.存在歸集失敗的任務(wù)1.數(shù)據(jù)表及數(shù)據(jù)歸集進湖，下線歸集失敗的任務(wù)數(shù)據(jù)完整性1.清洗不完整、清洗質(zhì)量不高1.需要進行空表檢測，保證無空表目錄2.保證100%的清洗率。數(shù)據(jù)的規(guī)范性1.存在部分資源數(shù)據(jù)主鍵、時間戳缺失的問題2.清洗了大量非核心目錄的數(shù)據(jù)1.保證歸集的每張表都有主鍵和業(yè)務(wù)時間戳。2.保證每張表都有交換時間戳。3.保障核心目錄的清洗量數(shù)據(jù)的時效性數(shù)據(jù)共享數(shù)據(jù)需求情況201.數(shù)據(jù)資源需求的申請量2.市級資源的接口調(diào)用（調(diào)用次數(shù)）。3.國家資源的接口調(diào)用 (調(diào)用次數(shù))。4.有效的資源調(diào)用（成功