數(shù)據(jù)治理項目交付方案

2020數(shù)據(jù)治理交付方案V1CONTENT01020304總體架構建設目標及應用價值項目交付項目計劃總體架構01大數(shù)據(jù)2.0總體架構政府部門數(shù)據(jù)（部門資源庫）部門部門部門部門部門交通局住建局氣象局水務局……社會及互聯(lián)網(wǎng)數(shù)據(jù)企事業(yè)媒體……感知數(shù)據(jù)物聯(lián)感知視頻感知……數(shù)據(jù)源數(shù)據(jù)匯聚接入數(shù)據(jù)離線同步數(shù)據(jù)實時接入數(shù)據(jù)源管理數(shù)據(jù)讀取任務管理數(shù)據(jù)斷點續(xù)傳可視化配置數(shù)據(jù)加工治理數(shù)據(jù)探查數(shù)據(jù)過濾數(shù)據(jù)修復環(huán)境隔離任務調(diào)度監(jiān)控告警運維統(tǒng)計數(shù)據(jù)體系（數(shù)據(jù)資源池）數(shù)據(jù)歸集層（原始數(shù)據(jù)資源）數(shù)據(jù)標準層（標準數(shù)據(jù)資源）民政（標準化）公安（標準化）市監(jiān)（標準化）人社（標準化）稅務（標準化）…標簽數(shù)據(jù)層（基礎/主題庫）基礎庫（人、法人、空間地理、電子證照、公共信用）政府管理對象標簽庫（人、法人…）應用數(shù)據(jù)層（專題庫）政務服務社會治理經(jīng)濟調(diào)節(jié)環(huán)境保護其他專題數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)標準管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)血緣管理數(shù)據(jù)目錄管理標簽畫像管理數(shù)據(jù)生命周期……數(shù)據(jù)服務體系數(shù)據(jù)可視化服務數(shù)據(jù)分析服務數(shù)據(jù)查詢服務數(shù)據(jù)標簽服務數(shù)據(jù)檢索服務數(shù)據(jù)目錄服務……業(yè)務應用體系一網(wǎng)通辦一網(wǎng)通管一屏總覽經(jīng)濟調(diào)整生態(tài)環(huán)境…業(yè)務中臺數(shù)據(jù)共享交換交換資源管理共享交換節(jié)點共享交換監(jiān)控數(shù)據(jù)安全管理供需對接運行監(jiān)控績效評估數(shù)據(jù)運營體系歸集管理非結(jié)構化數(shù)據(jù)接入民政公安市監(jiān)人社稅務…(RDS/SFTP)標簽層(Hive/Hbase/ES)標準層(Hive)公安標準資源庫市場監(jiān)管標準資源庫人社標準資源庫發(fā)改標準資源庫民政標準資源庫其他標準資源庫歸集層(Hive)公安民政人社市場監(jiān)管發(fā)改公安民政人社市場監(jiān)管發(fā)改社會數(shù)據(jù)其他數(shù)據(jù)社會數(shù)據(jù)標準庫統(tǒng)一數(shù)倉標簽畫像系統(tǒng)數(shù)據(jù)治理平臺數(shù)據(jù)集成開發(fā)平臺部門資源庫層級清晰分明統(tǒng)一標準規(guī)范覆蓋全域數(shù)據(jù)富含業(yè)務價值【應用層】：按照業(yè)務需求或場景，從標簽層中抽取或生成面向業(yè)務需要的特定數(shù)據(jù)，以滿足業(yè)務調(diào)用及性能需求，向特定應用組裝應用數(shù)據(jù)?！炯夹g實現(xiàn)】：專題數(shù)據(jù)通過數(shù)據(jù)融合發(fā)布，標簽API通過標簽畫像系統(tǒng)構建，可以形成統(tǒng)一數(shù)據(jù)接口提供外部調(diào)用。【歸集層】：采集匯聚內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)、感知數(shù)據(jù)等，盡可能保留原始業(yè)務數(shù)據(jù)?！炯夹g實現(xiàn)】：通過集成開發(fā)平臺將部門資源庫中的數(shù)據(jù)以增量或全量的方式接入到統(tǒng)一數(shù)倉中，且形成歷史數(shù)據(jù)（按照實際要求進行定期數(shù)據(jù)歸檔），支持對結(jié)構化數(shù)據(jù)、半結(jié)構化數(shù)據(jù)

結(jié)構化、非結(jié)構化

名稱、大小、地址、類型等數(shù)據(jù)轉(zhuǎn)化，并且可以對對互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等數(shù)據(jù)進行抓取接入。【標準層】：面向部門維度，從數(shù)據(jù)標準的角度對原始庫數(shù)據(jù)進行落標，實現(xiàn)數(shù)據(jù)依據(jù)標準進行快速質(zhì)檢、修復和篩選?！炯夹g實現(xiàn)】：通過數(shù)據(jù)探查對原始數(shù)據(jù)進行探查，推薦匹配的數(shù)據(jù)標準進行落標，根據(jù)落標的元數(shù)據(jù)生成標準結(jié)構的業(yè)務表（標準表），同時可以對落標的元數(shù)據(jù)進行質(zhì)檢，根據(jù)探查與質(zhì)檢的結(jié)果進行數(shù)據(jù)清洗?！緲撕瀸印浚好嫦驑I(yè)務對象建模，對跨部門、跨領域業(yè)務的特定數(shù)據(jù)對象進行整合，形成業(yè)務對象的全域可擴展標簽體系，方便深度分析、挖掘、應用?！炯夹g實現(xiàn)】：通過數(shù)據(jù)建模以及數(shù)據(jù)融合，將標準資源面向業(yè)務對象主體進行融合處理，并且根據(jù)業(yè)務需求構建面向業(yè)務的標簽體系。數(shù)據(jù)融合應用層(RDS/Mpp/Restful)安全生產(chǎn)監(jiān)管專題安全生產(chǎn)執(zhí)法專題自然災害監(jiān)測專題?；穼ｎ}其他專題標簽API服務發(fā)布區(qū)標準資源表發(fā)布數(shù)據(jù)清洗人口法人信用基礎/主題庫。。。業(yè)務實體表標簽庫通用明細參考維度政務服務經(jīng)濟發(fā)展黨建引領社會治理數(shù)據(jù)融合社會數(shù)據(jù)其他數(shù)據(jù)數(shù)據(jù)治理業(yè)務流構架（標準）數(shù)據(jù)治理平臺大數(shù)據(jù)資源中心人社廳/地市公安廳/地市政務數(shù)據(jù)前置庫資源目錄(共享交換平臺)歸集客戶端API接口民政廳/地市生產(chǎn)系統(tǒng)財政廳/地市生產(chǎn)系統(tǒng)生產(chǎn)系統(tǒng)生產(chǎn)系統(tǒng)數(shù)據(jù)服務部門目錄掛載部門資源庫關系數(shù)據(jù)庫集群財政發(fā)改民政交通集成開發(fā)平臺多部門共享統(tǒng)一數(shù)倉（清洗—分拆—整合）HDFS治理接入歷史數(shù)據(jù)Hive批數(shù)據(jù)批數(shù)據(jù)歸集層標準層基礎層全量標準數(shù)據(jù)基礎主題庫合并交換探查落標合并清洗過濾HiveHive業(yè)務實體表明細數(shù)據(jù)參考數(shù)據(jù)公共維度數(shù)據(jù)建模融合歸檔備份存儲歸檔Hbase/ES數(shù)據(jù)業(yè)務標簽標簽畫像系統(tǒng)集成開發(fā)平臺數(shù)據(jù)分析平臺應用服務層基礎庫服務(Mpp/RDS)人口庫法人庫數(shù)據(jù)質(zhì)檢專題服務(Mpp/RDS)黨建引領經(jīng)濟發(fā)展城市規(guī)劃交通出行政務服務衛(wèi)生環(huán)保數(shù)據(jù)交換建模融合服務發(fā)布個案查詢法人查詢畫像查詢關聯(lián)查詢計算分析支撐支撐支撐支撐一網(wǎng)統(tǒng)管一屏總覽一網(wǎng)通辦數(shù)據(jù)治理數(shù)據(jù)流架構數(shù)據(jù)安全數(shù)據(jù)脫敏管理數(shù)據(jù)訪問審計安全級別管理數(shù)據(jù)風險分析生命周期管理數(shù)據(jù)歸檔數(shù)據(jù)定版數(shù)據(jù)銷毀數(shù)據(jù)發(fā)布元數(shù)據(jù)管理數(shù)據(jù)治理標準規(guī)范體系數(shù)據(jù)安全保障體系數(shù)據(jù)源管理元數(shù)據(jù)采集元數(shù)據(jù)管理元數(shù)據(jù)版本元數(shù)據(jù)地圖元數(shù)據(jù)監(jiān)控標準管理數(shù)據(jù)元標準代碼常用規(guī)則標準文件數(shù)據(jù)探查質(zhì)量管理質(zhì)檢規(guī)則質(zhì)檢方案質(zhì)檢報告質(zhì)檢工單落標稽核規(guī)則數(shù)據(jù)清洗數(shù)據(jù)開發(fā)任務調(diào)度數(shù)據(jù)修復數(shù)據(jù)過濾數(shù)據(jù)融合數(shù)據(jù)發(fā)布數(shù)據(jù)倉庫部門資源庫中心庫歸集層標準層基礎層業(yè)務實體表維度表發(fā)布庫基礎庫主題庫數(shù)據(jù)建模設計共享校驗專題庫邏輯模型物理模型治理報告參考數(shù)據(jù)表明細表引用物化利用數(shù)據(jù)治理系統(tǒng)功能架構建設目標及應用價值02數(shù)據(jù)治理建設目標基于國家通用數(shù)據(jù)標準體系以及地方業(yè)務數(shù)據(jù)標準統(tǒng)構建通用統(tǒng)一的數(shù)據(jù)標準，形成可復用、可延續(xù)的數(shù)據(jù)標準規(guī)范。形成規(guī)范的數(shù)據(jù)標準通過治理黨建、文明、經(jīng)濟、政務等基礎資源數(shù)據(jù)，結(jié)合治理完成的數(shù)據(jù)資源體系，提供對業(yè)務應用的數(shù)據(jù)支撐，對專題應用數(shù)據(jù)的快速建立提供保障。支撐上層業(yè)務數(shù)據(jù)應用完成數(shù)據(jù)中臺部署，提供業(yè)務數(shù)據(jù)的匯聚、數(shù)據(jù)清洗，數(shù)據(jù)質(zhì)檢，數(shù)據(jù)建模，數(shù)據(jù)融合，標簽建立等能力。搭建統(tǒng)一數(shù)據(jù)中臺通過將部門歸集的數(shù)據(jù)進行標準化清洗轉(zhuǎn)換，形成標準的資源。完成對人口、法人模型的梳理，基于模型完成人口庫、法人庫的建設。建立通用的基礎數(shù)據(jù)資源體系數(shù)據(jù)治理4大建設目標【數(shù)據(jù)治理（數(shù)據(jù)中臺）的使命是讓數(shù)據(jù)持續(xù)用起來】業(yè)務數(shù)據(jù)資產(chǎn)服務業(yè)務數(shù)據(jù)業(yè)務數(shù)據(jù)化數(shù)據(jù)資產(chǎn)化資產(chǎn)服務化服務業(yè)務化通過構建統(tǒng)一數(shù)倉，完成數(shù)據(jù)中臺搭建，提供多種數(shù)據(jù)采集方式，業(yè)務形成的數(shù)據(jù)流入數(shù)據(jù)中臺，對數(shù)據(jù)不斷補充滋養(yǎng)對數(shù)據(jù)加工提純、價值提煉，形成高價值的數(shù)據(jù)資產(chǎn),通過數(shù)據(jù)標準、數(shù)據(jù)建模對新建業(yè)務系統(tǒng)進行數(shù)據(jù)規(guī)范，實現(xiàn)源頭數(shù)據(jù)治理。通過基礎庫和標準化的全方位數(shù)據(jù)資產(chǎn)構建數(shù)據(jù)服務能力，發(fā)揮體現(xiàn)數(shù)據(jù)資產(chǎn)的價值迅速提供數(shù)據(jù)服務能力，敏捷響應業(yè)務需求，實現(xiàn)數(shù)據(jù)治理價值變現(xiàn)【業(yè)務產(chǎn)生數(shù)據(jù)】【數(shù)據(jù)服務業(yè)務】【業(yè)務數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)服務化、服務業(yè)務化，持續(xù)賦能業(yè)務的數(shù)據(jù)應用閉環(huán)】數(shù)據(jù)治理價值體系項目交付03數(shù)據(jù)匯聚整合數(shù)據(jù)多源采集匯聚打破數(shù)據(jù)孤島和壁壘業(yè)務數(shù)據(jù)化的過程數(shù)據(jù)標準制定制定統(tǒng)一的數(shù)據(jù)標準保障數(shù)據(jù)的準確性和一致性數(shù)據(jù)標準化數(shù)據(jù)清洗、質(zhì)檢問題數(shù)據(jù)處理數(shù)據(jù)融合發(fā)布數(shù)據(jù)治理評估數(shù)據(jù)服務厘清數(shù)據(jù)構成促進數(shù)據(jù)流通對數(shù)據(jù)進行加工提煉數(shù)據(jù)價值提煉萃取整改問題數(shù)據(jù)提升數(shù)據(jù)質(zhì)量數(shù)據(jù)跨源整合專題數(shù)據(jù)應用展現(xiàn)數(shù)據(jù)治理成效體現(xiàn)數(shù)據(jù)治理成熟度數(shù)據(jù)應用價值體現(xiàn)數(shù)據(jù)治理的流程走向數(shù)據(jù)治理職責及分工大數(shù)據(jù)中心職責：數(shù)據(jù)治理聯(lián)合工作組，統(tǒng)籌本地本部門的數(shù)據(jù)治理工作；細化工作：制定數(shù)據(jù)治理工作詳細實施計劃；以發(fā)文通知的形式組織各部門開展數(shù)據(jù)治理工作；針對各部門開展數(shù)據(jù)治理工作組織提供技術指導和數(shù)據(jù)治理服務；建立數(shù)據(jù)治理標準規(guī)范體系；針對各部門數(shù)據(jù)治理工作進展進行監(jiān)督、考評；公司職責：主導數(shù)據(jù)治理工作規(guī)劃及開展，并協(xié)助大數(shù)據(jù)局以及各部門完成數(shù)據(jù)治理工作；細化工作：配合大數(shù)據(jù)局擬定數(shù)據(jù)治理詳細實施計劃；組織各部門針對數(shù)據(jù)治理開展培訓指導工作；制定數(shù)據(jù)治理標準規(guī)范（數(shù)據(jù)標準、管理規(guī)范、技術規(guī)范）；提供數(shù)據(jù)治理過程技術支撐（數(shù)據(jù)治理工具、數(shù)據(jù)治理服務）；部門職責：按大數(shù)據(jù)局要求完成本單位數(shù)據(jù)數(shù)據(jù)治理工作；細化工作：摸清本單位數(shù)據(jù)資產(chǎn)；匯聚本單位數(shù)據(jù)資源；梳理本單位數(shù)據(jù)清洗、質(zhì)檢規(guī)則；對本單位數(shù)據(jù)按照清洗、質(zhì)檢規(guī)則完成數(shù)據(jù)治理工作，并對問題數(shù)據(jù)進行整改，滿足數(shù)據(jù)應用需求；數(shù)據(jù)治理整體評估建立數(shù)據(jù)治理評估體系治理評估并發(fā)布評估結(jié)果部門業(yè)務人員部門領導新點項目組要求工作組織部門技術人員數(shù)據(jù)管理專家部門業(yè)務人員新點項目組擬定一套適用于數(shù)據(jù)治理的數(shù)據(jù)標準標準采集標準意見征求制定標準（征求意見稿）標準完善標準發(fā)布基于制定的數(shù)據(jù)標準對數(shù)據(jù)進行標準化數(shù)據(jù)元標準化代碼項標準化元數(shù)據(jù)標準化部門技術人員部門業(yè)務人員新點項目組結(jié)合通用/適應于業(yè)務的清洗、質(zhì)檢規(guī)則對數(shù)據(jù)進行處理制定清洗、質(zhì)檢規(guī)則配置清洗、質(zhì)檢作業(yè)執(zhí)行清洗、質(zhì)檢作業(yè)作業(yè)監(jiān)控部門業(yè)務人員新點項目組對清洗、質(zhì)檢后的問題數(shù)據(jù)跟蹤處理識別問題數(shù)據(jù)問題數(shù)據(jù)處理處理結(jié)果校驗部門技術人員部門業(yè)務人員新點項目組制定數(shù)據(jù)標準數(shù)據(jù)標準化數(shù)據(jù)清洗、質(zhì)檢問題數(shù)據(jù)處理融合發(fā)布數(shù)據(jù)治理評估治理后的數(shù)據(jù)融合、發(fā)布，提供數(shù)據(jù)服務數(shù)據(jù)融合數(shù)據(jù)發(fā)布部門業(yè)務人員新點項目組數(shù)據(jù)匯聚整合把各種異構數(shù)據(jù)源的數(shù)據(jù)采集并集中存儲,物理上打破數(shù)據(jù)孤島調(diào)研數(shù)據(jù)情況、數(shù)據(jù)歸集模式制定數(shù)據(jù)歸集計劃跟蹤數(shù)據(jù)歸集情況配置數(shù)據(jù)歸集作業(yè)數(shù)據(jù)歸集作業(yè)監(jiān)控部門技術人員部門業(yè)務人員新點項目組數(shù)據(jù)治理總體流程參考各部門政務信息資源目錄和業(yè)務系統(tǒng)清單，對各部門的數(shù)據(jù)情況進行摸底，包括但不局限于數(shù)據(jù)歸集模式、字典標準、重要指標項信息；并按計劃開展數(shù)據(jù)歸集工作，配置歸集任務，并監(jiān)控歸集情況。數(shù)據(jù)的匯聚整合集成開發(fā)平臺配置交換作業(yè)任務歸集數(shù)據(jù)層調(diào)研數(shù)據(jù)情況確定歸集方式內(nèi)部數(shù)據(jù)結(jié)構化數(shù)據(jù)半結(jié)構化數(shù)據(jù)非結(jié)構化數(shù)據(jù)外部數(shù)據(jù)PC網(wǎng)頁PC系統(tǒng)H5數(shù)據(jù)匯聚方式前置庫歸集客戶端API接口爬蟲從對象、關系、時空三大維度帶動整個業(yè)務流程的所有環(huán)節(jié)的數(shù)據(jù)匯聚整合，即歸集的數(shù)據(jù)要能明白主體是什么，例如自然人、法人，主體的屬性是什么，例如主體是自然人，那自然人的姓名、性別、身份證號碼等屬性字段是必須的；明白關系是什么，例如婚姻登記，要有婚姻登記類型；明白具體的時間和地點，例如婚姻登記，婚姻登記時間、婚姻登記地點等內(nèi)容是必須的；在數(shù)據(jù)調(diào)研的時候需要調(diào)研清楚；案例-IOC大屏數(shù)據(jù)匯聚1.資源目錄2.業(yè)務系統(tǒng)清單3.IOC指標4.數(shù)據(jù)采集5.實現(xiàn)數(shù)據(jù)接入已有標準集當前數(shù)據(jù)集數(shù)據(jù)標準的制定遵照國家標準，行業(yè)標準，地標，同時結(jié)合地方特色數(shù)據(jù)，形成一套適用于數(shù)據(jù)治理的統(tǒng)一數(shù)據(jù)規(guī)范“單一來源數(shù)據(jù)”是指在已有標準集中未有相關明確的說明，但實際存在數(shù)據(jù)單一來源數(shù)據(jù)可直接采納歸集的數(shù)據(jù)當前歸集數(shù)據(jù)國家標準其他地標主要參考行業(yè)標準案例-IOC大屏數(shù)據(jù)標準0

1數(shù)據(jù)標準0

2管理數(shù)據(jù)標準導入數(shù)據(jù)標準化數(shù)據(jù)元標準化參照統(tǒng)一的數(shù)據(jù)標準，對數(shù)據(jù)元進行標準化處理；即對數(shù)據(jù)元的中文名稱、英文名稱、數(shù)據(jù)類型、數(shù)據(jù)長度、值域說明、等屬性進行標準化定義代碼項標準化參照統(tǒng)一的數(shù)據(jù)標準，對數(shù)據(jù)的代碼項進行標準化處理；即對代碼項的代碼項值、代碼項中文等內(nèi)容進行標準化定義元數(shù)據(jù)標準化參照統(tǒng)一的數(shù)據(jù)標準，將標準的數(shù)據(jù)元以及標準的代碼項按照具體業(yè)務屬性組合，進行標準化定義1.進行數(shù)據(jù)探查，針對數(shù)據(jù)資源進行落標2.基于數(shù)據(jù)探查初步梳理清洗、質(zhì)檢規(guī)則案例-IOC大屏數(shù)據(jù)標準化標準數(shù)據(jù)元和標準代碼項初步判斷清洗規(guī)則通過數(shù)據(jù)的匯聚整合，解決了數(shù)據(jù)的匯聚，物理上打破了數(shù)據(jù)孤島，但大多是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起，會造成”多而全”但“臟亂差”的局面，因此需要對歸集數(shù)據(jù)按照一定的規(guī)則進行處理，提高數(shù)據(jù)的可用性。根據(jù)歸集數(shù)據(jù)，調(diào)研逐個數(shù)據(jù)元的清洗規(guī)則與部門業(yè)務人員和技術人員確認清洗規(guī)則通過數(shù)據(jù)治理平臺，參照清洗規(guī)則配置數(shù)據(jù)清洗任務確認數(shù)據(jù)清洗任務配置無誤執(zhí)行數(shù)據(jù)清洗任務完成數(shù)據(jù)清洗任務實時監(jiān)控數(shù)據(jù)清洗序號清洗規(guī)則名稱規(guī)則項規(guī)則解釋規(guī)則示例1錯誤數(shù)據(jù)修復約束函數(shù)修復用于修復配置字段的錯誤數(shù)據(jù)，根據(jù)修復規(guī)則和修復方式進行修復。其中修復規(guī)則有約束函數(shù)、空值、規(guī)則；修復方式有替換數(shù)據(jù)（或置空）、關聯(lián)修復、存異常數(shù)據(jù)選擇修復規(guī)則為約束函數(shù)，修復方式為替換數(shù)據(jù)。其中約束函數(shù)有：包含、等于、不等于、開始字符串等于、結(jié)尾字符串等于、長度等于、長度小于、長度大于等。修復規(guī)則：約束函數(shù)為長度小于，約束值為18；修復方式為存異常數(shù)據(jù)2空值修復選擇修復規(guī)則為空值，修復方式為替換數(shù)據(jù)，替換值為03正則修復選擇修復規(guī)則為正則，當不符合為手機號碼；修復方式為關聯(lián)修復。關聯(lián)關系是當前表O_LS_xtglb_testclean10和字段idacrd，目標表S_GD_XTGLB_TESTCLEA和字段idacrd。填充信息為替換字段mobile，空值填充無4字符串替換/用于替換配置字段中替換字符，替換為替換值替換字符為“-”，替換值為“/”5值映射基礎編譯用于匹配配置字段的數(shù)據(jù)，可以新增多個目標代碼項和來源代碼項不匹配數(shù)據(jù)-默認數(shù)據(jù)為999，新增4個目標代碼項和來源代碼項6邏輯編譯需添加函數(shù)校驗來進行判斷代碼項值域7刪除空格首位修復用于刪除字段中空格，包含首尾和全部兩種選擇首尾8全部修復選擇全部9大小寫轉(zhuǎn)換所有字母大寫用于轉(zhuǎn)換字段中的字母、數(shù)字和漢字，其中包括：所有字母大寫、所有字母小寫、僅首字母大寫、阿拉伯數(shù)字轉(zhuǎn)漢字、漢字轉(zhuǎn)阿拉伯數(shù)字選擇所有字母大寫10所有字母小寫選擇所所有字母小寫11僅首字母大寫選擇所僅首字母大寫12阿拉伯數(shù)字改漢字選擇所阿拉伯數(shù)字改漢字13漢字轉(zhuǎn)阿拉伯數(shù)字選擇所漢字轉(zhuǎn)阿拉伯數(shù)字14時間格式轉(zhuǎn)換/用于轉(zhuǎn)換字段的時間格式。其中包含：yyyy/MM/ddHH:mm:ss.SSS、yyyy/MM/ddHH:mm:ss.SSSXXX、yyyy/MM/ddHH:mm:ss等等選擇對應的格式即可數(shù)據(jù)治理-常用清洗規(guī)則1.清洗任務配置2.清洗規(guī)則配置案例-IOC大屏數(shù)據(jù)清洗數(shù)據(jù)質(zhì)檢中心管理操作數(shù)據(jù)治理系統(tǒng)質(zhì)檢分析新建整改工單配置質(zhì)檢規(guī)則調(diào)研、確認質(zhì)檢規(guī)則部門信息運維操作收系統(tǒng)協(xié)作整改DB可導出完成整改異常數(shù)據(jù)導出辦結(jié)工單序號質(zhì)檢規(guī)則規(guī)則解釋規(guī)則示例1空值檢查用于檢查配置字段是否存在空值，可以選擇多個字段選擇表personinfo并添加檢查字段name、phone聯(lián)合不為空選擇‘否’時，name、phone單獨判斷是否為空，為空則為異常數(shù)據(jù)聯(lián)合不為空選擇‘是’時，name、phone一起判斷，只有name、phone都為空才是異常數(shù)據(jù)2值域檢查用于檢查配置字段的取值范圍是否在輸入范圍內(nèi)，支持數(shù)值型、字符型、日期型字段檢查以及代碼項檢查當非空選擇‘否’時，空值為正確數(shù)據(jù)；當非空選擇‘是’時，空值為異常數(shù)據(jù)。選擇表personinfo并添加檢查字段birthday，值域類型選擇日期，值域范圍設為：1978-07-0100:00:00~2000-06-0100:00:00，即birthday的值要在1978-07-0100:00:00~2000-06-0100:00:00范圍內(nèi)3規(guī)范檢查用于檢查配置字段值的格式是否規(guī)范，支持身份證、手機號碼、郵箱等多種數(shù)據(jù)類型的檢測，也支持自定義規(guī)范（正則表達式）選擇表personinfo并添加檢查字段phone，非空選擇‘否’，左側(cè)規(guī)范檢查類別選擇‘手機號碼’，即phone的值要符合手機號碼正則表達式的驗證4邏輯檢查用于檢查字段之間是否滿足一定的邏輯關系。選定實體表后，在檢查公式處定義邏輯關系，如邏輯關系涉及他表，還需選擇關聯(lián)關系logictable1.number>logictable2.number，設置關聯(lián)關系為logictable1.rowguid=logictable2.rowguid（一般為主外鍵）。表示表logictable1的number字段值應該大于表logictable2的number字段值5重復數(shù)據(jù)檢查用于檢查配置字段是否有重復數(shù)據(jù)，可配置多個字段選擇表personinfo并添加重復檢查字段name、phone。表示如果表personinfo存在name字段和phone字段值都相同的多條數(shù)據(jù)，則被認定為重復數(shù)據(jù)

6及時性檢查用于檢查數(shù)據(jù)的及時性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報是否及時選擇表reportinfo，字段reportdate，開始日期為2019-07-0100:00:00，周期為7天，誤差天數(shù)3天。表示，從開始日期起，7天為一個周期，只檢查周期內(nèi)的數(shù)據(jù)，reportdate的值在當前周期的前3天，為正確數(shù)據(jù)，否則是異常數(shù)據(jù)7記錄缺失檢查用于判斷記錄是否完整，是否缺少數(shù)據(jù)行。即檢驗檢查表字段與對照表字段的值、數(shù)據(jù)量是否完全一致檢查表選擇logictable1，檢查字段number，對照表選擇logictable2，對照字段選擇number。代表：檢查表logictable1和對照表logictable2中number的值與數(shù)據(jù)量是否一致。比如檢查表的number值為10的有兩條數(shù)據(jù)，那么對照表也要有兩條number值為10的數(shù)據(jù)，數(shù)據(jù)量必須一致8引用完整性檢查用于判斷檢查表中的數(shù)據(jù)是否完全存在于比照表中。即檢查表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中檢查表選擇logictable1，檢查字段number，對照表選擇logictable2，對照字段選擇number。代表：檢查表logictable1中number字段的值必須存在于對照表logictable2的number字段中。比如檢查表有number值為10的數(shù)據(jù)，那么對照表也要有number值為10的數(shù)據(jù)9數(shù)據(jù)集檢查根據(jù)對照關系檢驗檢查表數(shù)據(jù)與比照表數(shù)據(jù)是否完全相等且數(shù)據(jù)量一致檢查表選擇personinfo，對照數(shù)據(jù)源選擇xgx_local1，對照表段選擇personextendinfo，對照關系設置為name=name，phone=phone（對照關系左側(cè)選擇檢查表字段，右側(cè)選擇對照表字段）。代表：當前數(shù)據(jù)源檢查表personinfo的name跟phone字段的值跟數(shù)量必須與對照數(shù)據(jù)源xgx_local1中的對照表personextendinfo的name跟birthday字段的值跟數(shù)量完全相等10存儲過程檢查用于執(zhí)行數(shù)據(jù)庫中的存儲過程，獲取返回的結(jié)果集數(shù)據(jù)治理-常用質(zhì)檢規(guī)則案例-IOC大屏數(shù)據(jù)質(zhì)檢1.質(zhì)檢任務配置2.質(zhì)檢規(guī)則配置大數(shù)據(jù)中心評估分析問題處理問題分析委辦局問題發(fā)現(xiàn)數(shù)據(jù)治理平臺供應商委辦局信息化供應商數(shù)據(jù)質(zhì)量檢查質(zhì)檢報告問題分析生成工單質(zhì)檢工單問題數(shù)據(jù)下發(fā)表問題數(shù)據(jù)定位問題數(shù)據(jù)修正工單辦結(jié)修復確認工單完成數(shù)據(jù)質(zhì)量評估質(zhì)量考核評估報告問題數(shù)據(jù)處理流程（大數(shù)據(jù)中心）（二選一）廳局數(shù)據(jù)中心評估分析問題處理問題分析各科室問題發(fā)現(xiàn)數(shù)據(jù)治理平臺供應商數(shù)據(jù)治理平臺供應商數(shù)據(jù)質(zhì)量檢查質(zhì)檢報告問題分析生成工單質(zhì)檢工單問題數(shù)據(jù)確認反饋處理決策問題數(shù)據(jù)修正工單辦結(jié)工單完成數(shù)據(jù)質(zhì)量評估質(zhì)量考核評估報告問題數(shù)據(jù)處理流程（數(shù)據(jù)中臺）（二選一）根據(jù)指標構建數(shù)據(jù)模型完成構建IOC專題庫（依據(jù)模型創(chuàng)建）數(shù)據(jù)融合根據(jù)指標體系構建專題庫模型依據(jù)專題庫模型將數(shù)據(jù)融合轉(zhuǎn)換到專題庫實例中123指標體系專題模型融合過程案例-IOC大屏建模型、數(shù)據(jù)融合IOC專題庫開發(fā)IOC指標結(jié)果智能分析平臺&集成開發(fā)平臺ROMA生成指標服務接口讀取調(diào)用計算利用調(diào)用通過智能分析平臺+集成開發(fā)平臺，依據(jù)專題庫，計算指標結(jié)果，最終大屏展示。案例成效-IOC大屏算指標、上大屏數(shù)據(jù)治理報告-周期治理匯報整個數(shù)據(jù)治理工作需要遵循一定的規(guī)范，保障數(shù)據(jù)治理工作準確、有序的開展數(shù)據(jù)治理工作規(guī)范保障數(shù)據(jù)匯聚整合操作規(guī)范前置庫命名規(guī)范部門資源庫命名規(guī)范數(shù)倉命名規(guī)范發(fā)布庫命名規(guī)范數(shù)據(jù)匯聚整合作業(yè)任務命名規(guī)范標準數(shù)據(jù)元管理規(guī)范標準代碼項管理規(guī)范常用規(guī)則規(guī)范標準文件規(guī)范關聯(lián)數(shù)據(jù)元規(guī)范關聯(lián)代碼項規(guī)范標準表生成規(guī)范清洗任務命名規(guī)范清洗任務增量策略配置規(guī)范質(zhì)檢任務命名規(guī)范質(zhì)檢任務增量策略配置規(guī)范數(shù)據(jù)建模操作規(guī)范數(shù)據(jù)模型命名規(guī)范01.數(shù)據(jù)匯聚整合規(guī)范02.數(shù)據(jù)標準管理規(guī)范03.數(shù)據(jù)探查規(guī)范04.數(shù)據(jù)清洗規(guī)范05.數(shù)據(jù)質(zhì)檢規(guī)范06.數(shù)據(jù)建模規(guī)范數(shù)據(jù)治理項目產(chǎn)出物數(shù)據(jù)治理項目具體的實施交付方案實施交付方案1.數(shù)據(jù)資源目錄2.數(shù)據(jù)接入清單（庫表、資源）3.數(shù)據(jù)標準4.數(shù)據(jù)清洗、質(zhì)檢規(guī)則清單5.問題數(shù)據(jù)清單6.數(shù)據(jù)模型清單7.數(shù)據(jù)發(fā)布清單8.數(shù)據(jù)質(zhì)檢報告9.數(shù)據(jù)治理報告數(shù)據(jù)治理包含一份項目藍圖規(guī)劃設計項目藍圖項目系統(tǒng)功能清單（治理平臺、集成開發(fā)平臺、智能分析平臺）功能清單項目實施計劃（數(shù)據(jù)治理項目計劃管控表）項目計劃數(shù)據(jù)治理平臺操作手冊以及操作視頻操作手冊（操作視頻）數(shù)據(jù)治理需求調(diào)研清單（系統(tǒng)需求、數(shù)據(jù)治理需求）需求調(diào)研清單項目計劃04項目里程碑模板2020年3月1日啟動IOC數(shù)據(jù)治理開工會2020年3月8日專題資源調(diào)研1、黨建引領梳理2、文明實踐梳理3、經(jīng)濟發(fā)展梳理4、政務服務梳理5、綜合態(tài)勢梳理2020年3月16日制定資源規(guī)范標準2020年6月1日專題資源歸集1、黨建引領歸集2、文明實踐歸集3、經(jīng)濟發(fā)展歸集4、政務服務歸集5、綜合態(tài)勢歸集2020年8月項目驗收2020年6月21日資源交付1、資源數(shù)據(jù)交付應用2、數(shù)據(jù)聯(lián)合調(diào)試2020年6月10日編寫功能設計文檔1、數(shù)據(jù)庫設計文檔2020年6月10日專題資源治理1、黨建引領治理2、文明實踐治理3、經(jīng)濟發(fā)展治理4、政務服務治理5、綜合態(tài)勢治理xxx項目交付計劃項目總體計劃模板項目詳細計劃模板序號建設內(nèi)容完成情況1理、匯數(shù)據(jù)資產(chǎn)理：目前已初步完成黨建引領、文明實踐、政務服務三大專題的資產(chǎn)摸底以及治理工作；匯：目前已完成市委組織部2套、市文明辦2套、新時代文明中心1套、工信局1套、統(tǒng)計局1套、市發(fā)改委1套、績效辦1套、行政審批局1套，總共10套業(yè)務生產(chǎn)系統(tǒng)的數(shù)據(jù)歸集工作；2統(tǒng)一數(shù)據(jù)標準目前已參考211項國家標準，初步制定了《XXX市數(shù)據(jù)治理通用數(shù)據(jù)元》、《XXX市數(shù)據(jù)治理通用標準代碼項》并且應用于后續(xù)的數(shù)據(jù)治理工作；3數(shù)據(jù)清洗目前已經(jīng)制定了16條通用的清洗質(zhì)檢規(guī)則，包括錯誤數(shù)據(jù)修復、字符串替換、值映射、刪除空格、大小寫轉(zhuǎn)換、時間格式轉(zhuǎn)換、空值檢查、值域檢查、規(guī)范檢查、邏輯檢查、重復數(shù)據(jù)檢查、及時性檢查、記錄缺失檢查、引用完整性檢查、數(shù)據(jù)集檢查、存儲過程檢查，具體清洗規(guī)則說明可見《清洗規(guī)則說明》4數(shù)據(jù)治理資源體系已建立原始庫（貼源層）：目前已完成原始庫（貼源層）的構建工作，實現(xiàn)從四個委辦局的業(yè)務生產(chǎn)系統(tǒng)，將數(shù)據(jù)抽取到原始庫（貼源層）,保留原始業(yè)務數(shù)據(jù),并經(jīng)過簡單數(shù)據(jù)清洗和標準化處理；數(shù)據(jù)治理已建設完成內(nèi)容模板注：

①目前數(shù)據(jù)資產(chǎn)歸集數(shù)據(jù)還未全量歸集，因此目前數(shù)據(jù)治理還未進行全量治理；

②目前已制定的元數(shù)據(jù)標準還無法完全覆蓋已歸集數(shù)據(jù)表，導致數(shù)據(jù)表貼標率較低；

③目前數(shù)據(jù)清洗、質(zhì)檢規(guī)則沉淀不夠，還未能做到全方位的數(shù)據(jù)治理工作；

④問題數(shù)據(jù)未及時處理，數(shù)據(jù)治理過程未閉環(huán)；

⑤目前標準表制定工作還未實際開展，已確定好標準表名稱，但標準表字段確定以及標準表建立工作