智慧城市大數(shù)據(jù)能力平臺項目建設(shè)方案

建建設(shè)方案智慧城市大數(shù)據(jù)能力平臺項目技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第2頁共205頁目錄 91.1項目建設(shè)背景及政策依據(jù) 91.1.1大數(shù)據(jù)能力平臺已成為智慧XX市建設(shè)的必要基礎(chǔ) 91.1.2建設(shè)大數(shù)據(jù)是構(gòu)建XX市城市大腦的重要組成部分 91.1.3建設(shè)大數(shù)據(jù)能力平臺是落實市級大數(shù)據(jù)發(fā)展政策要求 1.2項目建設(shè)需求分析 1.2.1全域數(shù)據(jù)匯聚，推動政務(wù)業(yè)務(wù)的數(shù)據(jù)協(xié)同 1.2.2多維數(shù)據(jù)分析，精準(zhǔn)支撐社會服務(wù)與管理 1.2.3深入數(shù)據(jù)洞察，輔助社會治理與高效運行 1.2.4智能數(shù)據(jù)服務(wù)，促進產(chǎn)業(yè)經(jīng)濟與社會發(fā)展 1.3當(dāng)前平臺現(xiàn)狀分析 1.3.1平臺建設(shè)現(xiàn)狀 1.3.2平臺不足分析 2.1XX市大數(shù)據(jù)建設(shè)體系規(guī)劃 2.2大數(shù)據(jù)平臺定位與價值規(guī)劃 2.3項目建設(shè)目標(biāo)與內(nèi)容規(guī)劃 2.3.1項目建設(shè)目標(biāo) 2.3.2項目建設(shè)內(nèi)容 完善大數(shù)據(jù)能力平臺建設(shè) 建設(shè)XX市政務(wù)數(shù)據(jù)資源中心 建設(shè)XX市大數(shù)據(jù)賦能應(yīng)用 2.4總體項目解決方案規(guī)劃 2.4.1平臺建設(shè)方案規(guī)劃 2.4.2數(shù)據(jù)資源中心建設(shè)規(guī)劃 252.5項目總體實施方案規(guī)劃 2.6大數(shù)據(jù)治理運營規(guī)劃 技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第3頁共205頁2.6.1治理體系與實施原則 2.6.2數(shù)據(jù)治理組織建設(shè) 2.6.3數(shù)據(jù)治理制度規(guī)范 2.6.4治理運營通用流圖 2.6.5數(shù)據(jù)治理實施流程 2.6.6數(shù)據(jù)治理關(guān)鍵心法 3.1平臺建設(shè)方案總體概述 3.1.1平臺建設(shè)內(nèi)容范圍 3.1.2平臺總體功能架構(gòu) 3.1.3平臺各部分架構(gòu)關(guān)系 3.2數(shù)據(jù)治理平臺建設(shè)方案 3.2.1數(shù)據(jù)治理概述 數(shù)據(jù)治理論述 數(shù)據(jù)治理流程 治理過程產(chǎn)出 3.2.2平臺總體建設(shè) 建設(shè)方案架構(gòu) 平臺功能架構(gòu) 數(shù)據(jù)治理開發(fā)流程 3.2.3數(shù)據(jù)標(biāo)準(zhǔn)管理 數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范 數(shù)據(jù)元管理 標(biāo)準(zhǔn)代碼配置 常用規(guī)則配置 3.2.4元數(shù)據(jù)管理 元數(shù)據(jù)管理內(nèi)容 元數(shù)據(jù)管理分類 元數(shù)據(jù)管理組織 技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第4頁共205頁元數(shù)據(jù)管理流程 元數(shù)據(jù)管理功能 元數(shù)據(jù)血緣分析 3.2.5數(shù)據(jù)質(zhì)量管理 質(zhì)量模型配置 質(zhì)量規(guī)則管理 方案配置調(diào)度 質(zhì)檢結(jié)果查看 質(zhì)檢分析報告 3.2.6數(shù)據(jù)工廠管理 流數(shù)據(jù)處理 數(shù)據(jù)開發(fā)平臺 3.2.7統(tǒng)一調(diào)度管理 3.2.8數(shù)據(jù)資產(chǎn)管理 數(shù)據(jù)資產(chǎn)注冊管理 數(shù)據(jù)資產(chǎn)分類管理 數(shù)據(jù)資產(chǎn)目錄管理 3.2.9數(shù)據(jù)智能分析 數(shù)據(jù)標(biāo)簽管理 數(shù)據(jù)血緣分析 數(shù)據(jù)探索工具 關(guān)聯(lián)度分析 3.3Al能力平臺建設(shè)方案 3.3.1Al能力平臺概述 智能標(biāo)注平臺框架 標(biāo)注流程 3.3.3Al能力平臺之·自動化機器學(xué)習(xí)平臺 產(chǎn)品架構(gòu) 技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第5頁共205頁數(shù)據(jù)處理邏輯 產(chǎn)品功能 產(chǎn)品優(yōu)勢 3.3.4Al能力平臺之·開放平臺 平臺功能 3.4GIS基礎(chǔ)平臺建設(shè)方案 3.4.1總體建設(shè)方案 平臺核心組件 核心引擎方案 資源網(wǎng)關(guān)方案 3.4.2平臺管理方案 平臺數(shù)據(jù)流向 3.4.3平臺功能建設(shè) 核心功能模塊 平臺功能展示 3.4.4平臺特點與價值 3.5數(shù)據(jù)可視化平臺建設(shè)方案 3.5.1總體建設(shè)方案 平臺定位 平臺總體架構(gòu) 平臺技術(shù)架構(gòu) 可視化流程 核心應(yīng)用流程 與數(shù)據(jù)平臺關(guān)系 大屏展示數(shù)據(jù)流 3.5.2平臺功能建設(shè) 功能架構(gòu) 功能組件 關(guān)鍵功能 第6頁共205頁功能展示 平臺功能特性 3.6安全管理平臺建設(shè)方案 3.6.1總體建設(shè)方案概述 總體安全保障方案 平臺建設(shè)架構(gòu)設(shè)計 3.6.2密碼應(yīng)用改造 設(shè)計目標(biāo)及原則 密碼方案總體架構(gòu) 安全設(shè)計 密碼技術(shù)方案 管理體系設(shè)計 運維體系設(shè)計 安全與合規(guī)性分析 3.6.3統(tǒng)一身份和權(quán)限管理 統(tǒng)一用戶管理 統(tǒng)一認證服務(wù) 統(tǒng)一權(quán)限管理 統(tǒng)一審計管理 3.6.4統(tǒng)一的敏感數(shù)據(jù)發(fā)現(xiàn) 3.6.5統(tǒng)一的數(shù)據(jù)脫敏管理 3.6.6統(tǒng)一的分類分級管理 3.6.7統(tǒng)一的加密秘鑰管理 3.6.8統(tǒng)一的安全審計分析 3.7統(tǒng)一運維平臺建設(shè)方案 3.7.1總體建設(shè)方案 平臺架構(gòu)設(shè)計 3.7.2監(jiān)控資源管理 3.7.3基礎(chǔ)資源監(jiān)測 技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第7頁共205頁3.7.4應(yīng)用服務(wù)監(jiān)控 3.7.5數(shù)據(jù)質(zhì)量監(jiān)控 3.7.6監(jiān)控告警管理 3.7.7日常巡檢管理 3.7.8平臺運維管理 3.8運營指揮大屏建設(shè)方案 3.8.1建設(shè)方案 3.8.2建設(shè)內(nèi)容 應(yīng)用設(shè)計 分析展示 3.8.3呈現(xiàn)效果 4.1中心總體定位設(shè)計 4.1.1總體設(shè)計 區(qū)域模型設(shè)計 4.1.2設(shè)計原則 4.1.3設(shè)計思路 4.1.4數(shù)倉設(shè)計 4.1.5數(shù)據(jù)安全 4.2建設(shè)XX市數(shù)據(jù)湖 4.2.1數(shù)據(jù)湖數(shù)據(jù)架構(gòu) 4.2.2數(shù)據(jù)湖數(shù)據(jù)范圍 4.3建設(shè)XX市基礎(chǔ)庫 4.3.1人口基礎(chǔ)庫建設(shè) 建設(shè)方案概述 數(shù)據(jù)整合方案 人口全息檔案 人口關(guān)系圖譜 人口全息視圖 技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第8頁共205頁人口信息統(tǒng)計 人口信息查詢 4.3.2法人基礎(chǔ)庫建設(shè) 建設(shè)方案概述 數(shù)據(jù)整合方案 法人多維畫像 法人統(tǒng)一視圖 法人信息統(tǒng)計 4.3.3空間地理庫建設(shè) 4.4建設(shè)XX市主題庫 4.4.1主題庫建設(shè)方法 主題庫建設(shè)概述 主題庫建設(shè)方法 4.4.2建設(shè)城市碼主題庫 4.4.3建設(shè)應(yīng)急主題庫 應(yīng)急主題庫概述 管理對象主題庫 災(zāi)害事件主題庫 5.1Al賦能數(shù)據(jù)治理 5.2Al賦能交通治理 5.3Al賦能路政治理 5.4Al賦能工地管理 5.5Al賦能城市安全 5.6Al賦能市場監(jiān)管 5.7Al賦能智慧旅游 5.8Al賦能智慧農(nóng)業(yè) 5.9Al賦能全民健康 第9頁共205頁1建設(shè)背景、需求與現(xiàn)狀分析2021年伊始要加快推進國家規(guī)劃已明確的重大工程和基礎(chǔ)設(shè)施建設(shè)，其中要加快5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進度，“新基建”概念呼之欲出?！靶禄ā笔欠?wù)于國家長遠發(fā)展和“兩個強國”建設(shè)戰(zhàn)略需求，以技術(shù)、產(chǎn)業(yè)驅(qū)動，具備集約高效、經(jīng)濟適用、智能綠色、安全可靠的現(xiàn)代化基礎(chǔ)設(shè)施體不斷加快并完善5G基建、大數(shù)據(jù)中心、人工智能等領(lǐng)域的“新基建”建設(shè)布局。以“新基建”牽引，夯實經(jīng)濟社會高質(zhì)量發(fā)展的“底座”和“基石”,對于引燃“十四五”產(chǎn)業(yè)動力新引擎、助力數(shù)字經(jīng)濟發(fā)展、構(gòu)建智慧和諧社會具有重要意義。為了切實推動“新基建”產(chǎn)業(yè)發(fā)展，提升XX市“數(shù)字經(jīng)濟”的比重，結(jié)合國家對“互聯(lián)網(wǎng)+政務(wù)服務(wù)”建設(shè)的指導(dǎo)方向和我省數(shù)字政府建設(shè)的工作需求，搭建XX市大數(shù)據(jù)能力平臺是最終形成智慧XX市的城市大腦過程中承上啟下的一步。政務(wù)大數(shù)據(jù)平臺建設(shè)的必要性政務(wù)大數(shù)據(jù)平臺建設(shè)的必要性智慧城市+智慧政府政務(wù)大數(shù)據(jù)通過建設(shè)XX市大數(shù)據(jù)平臺都建設(shè),為XX市經(jīng)濟發(fā)展、政務(wù)服務(wù)與社會治理進行全方面的賦能，全面推動政府?dāng)?shù)字化都轉(zhuǎn)型，并為構(gòu)建XX市城市大腦奠技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第10頁共205頁通過大數(shù)據(jù)平臺建設(shè)、推動政府?dāng)?shù)字化轉(zhuǎn)型/社金治理/數(shù)擦服務(wù)開放/市場監(jiān)管/社會數(shù)據(jù)協(xié)同/家觀經(jīng)濟1.1.3建設(shè)大數(shù)據(jù)能力平臺是落實市級大數(shù)據(jù)發(fā)展政策要求市級大數(shù)據(jù)局要以“無條件共享、按需求使用”為原則，加大所有市直屬部完善人口、法人、空間地理、信用信息、電子證照、城市感知、行為事件等公共地市分結(jié)點，并通過省市兩級數(shù)據(jù)共享交換平臺的互聯(lián)和數(shù)據(jù)資源目錄對接來實促進公共數(shù)據(jù)有序開放與規(guī)范管理，圍繞醫(yī)療衛(wèi)生、教育文化、物流產(chǎn)業(yè)、社保就業(yè)、科技創(chuàng)新、信用服務(wù)、市場監(jiān)管、地理空間信息等社會治理和民生服務(wù)重技術(shù)標(biāo)準(zhǔn)、信用體系、安全保護和保密審查等制度和機制。通過建設(shè)大數(shù)據(jù)能力平臺，實現(xiàn)對數(shù)據(jù)資源的全流程全鏈路的整合和處理，包括在數(shù)據(jù)工廠內(nèi)的數(shù)據(jù)開發(fā)、監(jiān)控運維、數(shù)據(jù)地圖服務(wù)、數(shù)據(jù)質(zhì)量、資產(chǎn)管理、數(shù)據(jù)服務(wù)和安全等，實的全鏈路展示和全景監(jiān)控，并實現(xiàn)對全市信息資源的管理。技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第11頁共205頁保進數(shù)據(jù)聯(lián)動協(xié)同形城繞一的躊部門、確地域。蹲露級的信息交換共享保進數(shù)據(jù)聯(lián)動協(xié)同形城繞一的躊部門、確地域。蹲露級的信息交換共享社金構(gòu)建數(shù)據(jù)支持體系逐步實現(xiàn)立體化。多層次。全方位的數(shù)據(jù)胺務(wù)體系有效支持電子改務(wù)公共服務(wù)數(shù)力撐開1.2項目建設(shè)需求分析理標(biāo)準(zhǔn)化體系，實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)運維、數(shù)據(jù)成本管理、血緣影響分析、數(shù)據(jù)權(quán)限控制等，對全市數(shù)據(jù)進行全生命周期管理，為各應(yīng)用提供全量、標(biāo)準(zhǔn)、干凈、智能的數(shù)據(jù)，推進數(shù)據(jù)的有序管理與共享交換。。加強數(shù)據(jù)分析與梳理，提升匯聚數(shù)據(jù)的關(guān)聯(lián)效應(yīng)，實現(xiàn)海量數(shù)據(jù)的質(zhì)量自動稽核和安全管理，為數(shù)據(jù)應(yīng)用提供可靠有效的基礎(chǔ)支撐。建設(shè)包括政務(wù)服務(wù)、決策保障、跨域協(xié)作、經(jīng)濟調(diào)節(jié)、市場監(jiān)管、社會治理、公共服務(wù)、環(huán)境保護等領(lǐng)域?qū)ｍ棿髷?shù)據(jù)分析與可視化展示應(yīng)用。大數(shù)據(jù)“資源湖”可為各部門的決策分析提供數(shù)據(jù)基礎(chǔ)，各部門無需自建大規(guī)模數(shù)據(jù)倉庫，只需開發(fā)算法模型，基于“資源湖”加載算法，即可獲取分析結(jié)果。大數(shù)據(jù)能力平臺以數(shù)據(jù)為基礎(chǔ)，以數(shù)據(jù)全鏈路加工流程為核心，提供數(shù)據(jù)匯聚、研發(fā)、治理、服務(wù)等多種功能，既可滿足平臺用戶的數(shù)據(jù)需求，又能為上層應(yīng)用提供各種行業(yè)解決方案。1.2.1全域數(shù)據(jù)匯聚，推動政務(wù)業(yè)務(wù)的數(shù)據(jù)協(xié)同形成統(tǒng)一的跨部門、跨地域、跨層級的信息交換共享機制，全面匯聚全市各類公共數(shù)據(jù)，逐步實現(xiàn)立體化、多層次、全方位的數(shù)據(jù)服務(wù)體系，有效支持電子政務(wù)公共服務(wù)能力提升。稅務(wù)局稅務(wù)局·度密格率核交期手償油試然實裝力沖估政務(wù)大數(shù)據(jù)平臺t佳建委·質(zhì)產(chǎn)評估人社杜保年器第產(chǎn)交票場每曲④數(shù)據(jù)上云技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第12頁共205頁數(shù)據(jù)工廠提供一站式、標(biāo)準(zhǔn)化、可視化、透明化的智能大數(shù)據(jù)全生命周期云研發(fā)平臺。數(shù)據(jù)工場賦予用戶僅通過單一平臺即可實現(xiàn)數(shù)據(jù)傳輸、數(shù)據(jù)計算、數(shù)監(jiān)控運維、數(shù)據(jù)質(zhì)量、數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)。算法服務(wù)基于大數(shù)據(jù)開發(fā)的數(shù)據(jù)智能應(yīng)用搭建提供一站式的算法/數(shù)據(jù)研發(fā)有效支持領(lǐng)導(dǎo)決策、政策研究以及資源投放。第13頁共205頁世保數(shù)通交渠數(shù)爆醫(yī)療教露金敏世重社合委題公共器務(wù)環(huán)保數(shù)爆公其安全分析障易生態(tài)環(huán)策分析研利宏觀數(shù)據(jù)分析應(yīng)用城市人口分析規(guī)劃AP正分橋人能夠?qū)⒅卫砗蟮臄?shù)據(jù)以業(yè)務(wù)化視角進行建模、查看、管理及使用，并提供業(yè)務(wù)衍生標(biāo)簽的自定義功能，為上層應(yīng)用提供統(tǒng)一的標(biāo)簽數(shù)據(jù)目錄和標(biāo)簽調(diào)用接口，支持沉淀回收上層應(yīng)用制作的模型標(biāo)簽，實現(xiàn)高價值標(biāo)簽共享復(fù)用。畫像分析可基于智能標(biāo)簽提供的標(biāo)簽體系進行多維度分析，按照業(yè)務(wù)需求圈單實體全方位個性化檔案，通過可視化線索分析來實現(xiàn)對于目標(biāo)群體的精準(zhǔn)定位。感知、研判及傳遞，形成捕獲一響應(yīng)—處理的聯(lián)動體系，支撐城市智慧運行?！ぁは澜泳は莱鼍な鹿侍文叟扇耸帧げ赐韭肪€道路疏通·短信通知涉事區(qū)域人員·實時監(jiān)控區(qū)域人流協(xié)同處置0·疏款建筑人群·檢查應(yīng)急選道·教護車資序河撥·急救保護資源調(diào)按N策地研判實時代遞實時感知深入、多維、智能都數(shù)據(jù)洞察，可提供自助式數(shù)據(jù)挖掘工具，面向業(yè)務(wù)管理據(jù)診斷和分析能力，快速發(fā)現(xiàn)數(shù)據(jù)規(guī)律或異常，實現(xiàn)從數(shù)據(jù)到知識的提取，輔助業(yè)務(wù)決策。通過政務(wù)大平臺數(shù)據(jù)開放應(yīng)用，形成“公共數(shù)據(jù)服務(wù)社會應(yīng)用、社會數(shù)據(jù)反哺公共數(shù)據(jù)”的良性循環(huán)促進機制。利用平臺在政務(wù)服務(wù)領(lǐng)域全面融合各個數(shù)據(jù)源中數(shù)據(jù)，按業(yè)務(wù)主題分析對象進行數(shù)據(jù)整合，輕度匯總加工，計算各類算法標(biāo)通過政務(wù)大平臺數(shù)據(jù)開放應(yīng)用，形成“公共數(shù)據(jù)服務(wù)社會應(yīng)用，社會數(shù)據(jù)反哺公通過政務(wù)大平臺數(shù)據(jù)開放應(yīng)用，形成“公共數(shù)據(jù)服務(wù)社會應(yīng)用，社會數(shù)據(jù)反哺公其數(shù)據(jù)”的良性循環(huán)促進機制8交測理庫登課度名教通公并一社金數(shù)據(jù)相互保進個人縮形沖估個人征位教繁保險公司出行數(shù)需在本項目中需要按“自然人、法人組織、信用信息、行為事件、物聯(lián)感知、技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第15頁共205頁省級數(shù)據(jù)共享交換平臺(大數(shù)據(jù)能力平臺)省級數(shù)據(jù)共享交換平臺(大數(shù)據(jù)能力平臺)數(shù)據(jù)共享交換數(shù)據(jù)共享門戶目錄管理系統(tǒng)電子證照庫數(shù)據(jù)共享交換系統(tǒng)大數(shù)據(jù)存儲與計算荊楚云網(wǎng)絡(luò)存儲存儲數(shù)據(jù)共享交換平臺目前已建成資源目錄體系、共享與交換體系。完成目錄管理系統(tǒng)、共享門戶網(wǎng)站、共享交換平臺等3個系統(tǒng)。第16頁共205頁基于平臺完成了大部分市直屬單位以及各區(qū)縣單位的數(shù)據(jù)接入及匯聚工作，并完成與省共享交換平臺(大數(shù)據(jù)能力平臺)對接工作。政務(wù)數(shù)據(jù)應(yīng)用系統(tǒng)目前市電子證照庫已歸集市直、區(qū)縣的證照目錄，已完成歸集的所有證照目市區(qū)義務(wù)教育階段網(wǎng)上報名資質(zhì)審核系統(tǒng)平臺、省級政務(wù)服務(wù)網(wǎng)調(diào)用證照接口提供了多次次調(diào)用。數(shù)據(jù)湖與庫缺乏統(tǒng)一規(guī)劃，沒有對數(shù)據(jù)倉庫進行全域的整體規(guī)劃與層級模型設(shè)計，容易形成數(shù)據(jù)沼澤，不利于數(shù)據(jù)的管理與利用。不高，數(shù)據(jù)應(yīng)用開發(fā)效率低，數(shù)據(jù)資產(chǎn)。目前平臺還不具備數(shù)據(jù)智能處理、可視化分析等能力，只能支持簡單的數(shù)據(jù)應(yīng)用場景，數(shù)據(jù)處理及應(yīng)用能力還較為薄弱，數(shù)據(jù)應(yīng)用創(chuàng)新動能不足。目前平臺還未建立完善的安全保障體系與平臺能力，數(shù)據(jù)授權(quán)、使用、審計的全生命周期管控存在短板，數(shù)據(jù)的安全防護有待提升。管理維護難度高成本大平臺還未建設(shè)統(tǒng)一的運維能力與流程，題，影響平臺正常使用。隨著平臺功能、設(shè)備、數(shù)據(jù)規(guī)模的高會導(dǎo)致無法及時發(fā)現(xiàn)、診斷及解決問大數(shù)據(jù)能力平臺第17頁共205頁2項目整體建設(shè)規(guī)劃方案按照《省人民政府關(guān)于推進數(shù)字政府建設(shè)的指導(dǎo)意見》(鄂政發(fā)(2019)4號)用的痛點，以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈、人工智能等技術(shù)為支撐，以“統(tǒng)數(shù)據(jù)建設(shè)體系，用以全面指導(dǎo)整個XX市大數(shù)據(jù)的建設(shè)，包括大數(shù)據(jù)能力平臺的建設(shè)、大數(shù)據(jù)管理制度、大數(shù)據(jù)的治理運營的流程與規(guī)范、大數(shù)據(jù)的應(yīng)用與共享逐步實現(xiàn)數(shù)據(jù)能力規(guī)模發(fā)展逐步實現(xiàn)數(shù)據(jù)能力規(guī)模發(fā)展圍繞智慧城市建設(shè)提供全鏈路服務(wù)整合數(shù)據(jù)能力數(shù)據(jù)治理管理賦能智慧運營數(shù)燃匯聚數(shù)據(jù)聯(lián)動技術(shù)平臺數(shù)據(jù)治理統(tǒng)一警控業(yè)務(wù)服務(wù)數(shù)據(jù)報務(wù)Al服務(wù)能力管理制度整合現(xiàn)有公共數(shù)據(jù)資源，布局行業(yè)數(shù)據(jù)引入，逐步形成城市數(shù)據(jù)樞紐。智能應(yīng)用等數(shù)字孿生技術(shù)能力。促進大數(shù)據(jù)供給側(cè)改革，圍繞大數(shù)據(jù)各項能力開放，推動數(shù)據(jù)應(yīng)用創(chuàng)新發(fā)展，激發(fā)數(shù)據(jù)價值。2.2大數(shù)據(jù)平臺定位與價值規(guī)劃XX市大數(shù)據(jù)能力平臺的核心是匯聚全市各類公共數(shù)據(jù)，建立面向全市政務(wù)政身政身數(shù)據(jù)檢素數(shù)據(jù)計算決策依據(jù)潤察&建議荊州市政務(wù)大數(shù)據(jù)能力平臺公共安全民生保周發(fā)展發(fā)屬覓業(yè)蓋政2.3項目建設(shè)目標(biāo)與內(nèi)容規(guī)劃通過XX市大數(shù)據(jù)能力平臺項目建設(shè)，以數(shù)字化、數(shù)據(jù)化、智能化、智慧化為實施路徑，加快實現(xiàn)“平臺通、數(shù)據(jù)通、信用通、業(yè)務(wù)通”,推動政府全方位、系統(tǒng)性變革和數(shù)字化轉(zhuǎn)型，建立服務(wù)高效、治理精難，決策科學(xué)的新型政府運行按省、市兩級加快推進智慧城市與數(shù)字政府的建設(shè)要求，結(jié)合當(dāng)前大數(shù)據(jù)平第19頁共205頁工智能等技術(shù)為支撐，推進XX市大數(shù)據(jù)能力平臺建設(shè)。為推動XX市的數(shù)字化轉(zhuǎn)型，服務(wù)高效、治理精準(zhǔn)，決策科學(xué)的新型政府運行模式，全面提升政府運行效能。推動公共數(shù)據(jù)完整歸集，按需及時同步和更新公共數(shù)據(jù)，形成大數(shù)據(jù)樞紐，保證委辦間政務(wù)協(xié)同。④驅(qū)動數(shù)據(jù)應(yīng)用，進一步完善大數(shù)據(jù)基礎(chǔ)完善基礎(chǔ)、主題數(shù)據(jù)庫建設(shè)，推動數(shù)據(jù)資源整合及數(shù)據(jù)分析應(yīng)用。搭建統(tǒng)一流數(shù)據(jù)治理與處理中臺，并完善數(shù)據(jù)共享服務(wù)與數(shù)據(jù)分析和可視化服務(wù)，提升數(shù)據(jù)共享與創(chuàng)新應(yīng)用效能。構(gòu)建統(tǒng)一數(shù)據(jù)開發(fā)與調(diào)度，增強數(shù)據(jù)管理能力建立統(tǒng)一數(shù)據(jù)運維和自有的建立完整的平臺安全和數(shù)據(jù)安全管控體系，保障數(shù)據(jù)安全管控。本次數(shù)字XX市大數(shù)據(jù)能力平臺建設(shè)項目，將以標(biāo)準(zhǔn)化數(shù)據(jù)倉庫建設(shè)為理論基礎(chǔ)，以數(shù)據(jù)中臺建設(shè)為目標(biāo)，圍繞XX市智慧城市建設(shè)，實現(xiàn)全市政務(wù)數(shù)據(jù)、視頻圖像、物聯(lián)感知、社會行業(yè)等全域數(shù)據(jù)的歸集、清洗、加工，提升數(shù)據(jù)服務(wù)實現(xiàn)全方位的數(shù)據(jù)賦能。因此，本次XX市大數(shù)據(jù)能力平臺建設(shè)項目的建設(shè)內(nèi)容主要是要搭建統(tǒng)一的大數(shù)據(jù)能力平臺；建立大數(shù)據(jù)資源中心，完成標(biāo)準(zhǔn)化數(shù)據(jù)倉庫的建設(shè)；并構(gòu)建基礎(chǔ)及融合業(yè)務(wù)應(yīng)用數(shù)據(jù)庫，為全市的政務(wù)處理、經(jīng)濟發(fā)展、社會民生、城市管理等技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第20頁共205頁在現(xiàn)有平臺基礎(chǔ)上，按照項目建設(shè)目標(biāo)，完善整個XX市大數(shù)據(jù)平臺能力與功能建設(shè)，讓平臺可以支撐整個XX市大數(shù)據(jù)管理與應(yīng)用。具體建設(shè)內(nèi)容包括：清洗、加工，支撐業(yè)務(wù)的數(shù)據(jù)應(yīng)用需求。④建設(shè)AI能力平臺等基礎(chǔ)模型為主的通用AI引擎以及滿足一網(wǎng)通辦、一網(wǎng)統(tǒng)管、經(jīng)濟發(fā)展、城市規(guī)在海量數(shù)據(jù)中計算、分析和建模來挖掘出數(shù)據(jù)價值，輸出統(tǒng)一的公共算法服務(wù)能力，統(tǒng)籌匹配各部門聚焦的業(yè)務(wù)需求，更高效的從數(shù)據(jù)中獲取應(yīng)用價值。建設(shè)GIS基礎(chǔ)平臺理數(shù)據(jù)資源的有序關(guān)聯(lián)，完善地圖更新和轉(zhuǎn)換聯(lián)動機制，支撐全市各部門對地圖建設(shè)數(shù)據(jù)可視平臺，提供基于拖拽的強大格式定義、可視化報表與圖形息集成在各種看板設(shè)備上(PC、Pad、手機、大屏等)。在數(shù)據(jù)安全保障的大環(huán)境下，建設(shè)數(shù)據(jù)安全管理平臺支撐提升全市數(shù)據(jù)資源在數(shù)據(jù)加密、脫敏、分級分類、防泄漏、安全審計分析和權(quán)限管理等數(shù)據(jù)安全防第21頁共205頁據(jù)能力平臺的應(yīng)用完成其密鑰應(yīng)用實施，最終達到實際的密鑰安全應(yīng)用需求，為大數(shù)據(jù)能力平臺提供底層安全保障，并達到符合密鑰應(yīng)用安全性測評要求。建設(shè)統(tǒng)一運維管理平臺，提供統(tǒng)一監(jiān)控運維功能，保證整個XX市大數(shù)據(jù)能力平臺的穩(wěn)定與高效運行，并提升數(shù)據(jù)資源全生命周期的保障執(zhí)行力和運維效率。建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以XX市高質(zhì)量發(fā)展實警洞察能力，輔助提升城市發(fā)展科學(xué)決策水平。制定市內(nèi)公共數(shù)據(jù)匯聚的標(biāo)準(zhǔn)規(guī)范和管理制度，歸集全市各政務(wù)單位的公共數(shù)據(jù)，形成全市的數(shù)據(jù)資源湖。經(jīng)過對數(shù)據(jù)進行清洗、轉(zhuǎn)換、融合、治理后，形成高質(zhì)量的公共數(shù)據(jù)資源，構(gòu)建形成XX市標(biāo)準(zhǔn)化數(shù)據(jù)倉庫。構(gòu)建全市公共數(shù)據(jù)的存儲與計算空間，支撐各類數(shù)據(jù)資源的匯聚存儲、處理計算與查詢應(yīng)用，并依據(jù)部門類別、數(shù)據(jù)源類別等提供資源隔離的多租戶數(shù)據(jù)應(yīng)用空間。建設(shè)、優(yōu)化全市統(tǒng)一的基礎(chǔ)人口綜合庫、法人綜合庫、空間地理庫，支撐全市人口基礎(chǔ)數(shù)據(jù)相關(guān)應(yīng)用。電子身份證、應(yīng)急管理等數(shù)據(jù)應(yīng)用。基于全市的數(shù)據(jù)資源湖，利用經(jīng)過治理后的數(shù)據(jù)，可以針對某一特領(lǐng)域的業(yè)會進行數(shù)據(jù)開放。并持續(xù)開展、深入XX市大數(shù)據(jù)的應(yīng)用探索，圍繞跨部門、跨技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第22頁共205頁一步增強政府與社會、老百姓直接的雙向互動、同步交流。針對交通卡口以及城市道路的視頻數(shù)據(jù)及圖像數(shù)據(jù)，對于交通事故、交通違路政治理險源、隱患、事故等數(shù)據(jù)相聯(lián)動關(guān)聯(lián)，實現(xiàn)對復(fù)雜場景的敏銳感知與精準(zhǔn)掌控。采用智能化信息化管理的模式對施工現(xiàn)場的人員、設(shè)備、物資、安全、質(zhì)量技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第23頁共205頁建設(shè)全市市場監(jiān)管大數(shù)據(jù)應(yīng)用服務(wù)，通過提供基礎(chǔ)監(jiān)管數(shù)據(jù)庫、精準(zhǔn)市場日常監(jiān)管、市場監(jiān)管信息共享等關(guān)鍵數(shù)據(jù)指標(biāo)服務(wù)，助力更新政府市場監(jiān)管邏輯、消除信息不對稱、增強監(jiān)管合力、解決監(jiān)管力量落差問題、降低市場監(jiān)管成本。④智慧旅游據(jù)、旅游產(chǎn)業(yè)收入數(shù)據(jù)、旅游游客接待數(shù)據(jù)、游客分布分析數(shù)據(jù)、全市居民外出市場相關(guān)數(shù)據(jù)，構(gòu)建農(nóng)業(yè)綜合信息服務(wù)、農(nóng)業(yè)數(shù)據(jù)監(jiān)測預(yù)警、農(nóng)業(yè)環(huán)境監(jiān)測等關(guān)動農(nóng)業(yè)快速與高質(zhì)量發(fā)展。全民健康建設(shè)全市集中、全面的市民健康大數(shù)據(jù)應(yīng)用服務(wù)，通過匯聚全市醫(yī)療機構(gòu)與個人健康相關(guān)數(shù)據(jù)，建設(shè)全市醫(yī)療數(shù)據(jù)共享、公眾健康指數(shù)等關(guān)鍵指標(biāo)數(shù)據(jù)服務(wù)，助力降低醫(yī)療成本，預(yù)測流行病的爆發(fā)，改善全市人民健康狀況，提高整體生活質(zhì)量。面向應(yīng)急管理常態(tài)與非常態(tài)業(yè)務(wù)需求，按照不同事件專題應(yīng)用的需求重新整合形成應(yīng)急專題庫。提供事件周邊應(yīng)急資源的分析功能，包括醫(yī)院床位數(shù)、應(yīng)急針對XX市大數(shù)據(jù)能力平臺的建設(shè)，我們將基于主流的大數(shù)據(jù)技術(shù)框架對當(dāng)前的XX市數(shù)據(jù)共享交換平臺進行完善與擴建，為XX市構(gòu)建一個強大的大數(shù)據(jù)管第24頁共205頁然后，利用數(shù)據(jù)平臺的數(shù)據(jù)采集功能，將XX市各級政府單位的政務(wù)數(shù)據(jù)、省級下發(fā)的數(shù)據(jù)、城市管理相關(guān)的監(jiān)控視頻等物聯(lián)數(shù)據(jù)、企業(yè)事業(yè)單位數(shù)據(jù)、省級下發(fā)的數(shù)據(jù)，互聯(lián)網(wǎng)等數(shù)據(jù)匯聚起來，形成統(tǒng)一的XX市級大數(shù)據(jù)資源池。之后，在利用平臺的數(shù)據(jù)治理與建模開發(fā)能力，將采集到的數(shù)據(jù)有效地進行分類整理與融合，構(gòu)建人口庫、法人庫、城市碼、智慧旅游、應(yīng)急處置等數(shù)據(jù)應(yīng)用服務(wù)，并利用統(tǒng)一門戶將相關(guān)數(shù)據(jù)應(yīng)用對外開放，向XX市各級單位等用戶提供數(shù)據(jù)服務(wù)，實現(xiàn)對全市政務(wù)等數(shù)據(jù)的集中匯聚、統(tǒng)一管理與共享利用，為XX市智慧城市大腦的構(gòu)建提供數(shù)據(jù)支撐。具體，本次項目的解決方案規(guī)劃藍圖如下：數(shù)據(jù)應(yīng)用與推送(自然人/法人)畫像一次辦好社會治理智暴城市業(yè)務(wù)目標(biāo)數(shù)家源失聯(lián)計算模型數(shù)據(jù)匯聚存健計算數(shù)據(jù)治理AI能力主專題庫數(shù)據(jù)分析數(shù)據(jù)安全區(qū)談碼區(qū)談碼海德省類人是2.4.1平臺建設(shè)方案規(guī)劃我們將基于主流的大數(shù)據(jù)技術(shù)框架對當(dāng)前的XX市數(shù)據(jù)共享交換平臺進行完善與擴建，為XX市構(gòu)建一個強大的大數(shù)據(jù)管理與應(yīng)用平臺。具體，對于本次XX市大數(shù)據(jù)能力平臺的建設(shè)規(guī)劃與架構(gòu)設(shè)計如下：第25頁共205頁大數(shù)據(jù)能力平臺省級數(shù)據(jù)共享交換平臺(大數(shù)據(jù)能力平臺)省級數(shù)據(jù)共享交換平臺(大數(shù)據(jù)能力平臺)+大數(shù)據(jù)基礎(chǔ)支撐平臺(底癥)2.4.2數(shù)據(jù)資源中心建設(shè)規(guī)劃通過匯聚全市內(nèi)各單位公共數(shù)據(jù)形成市級數(shù)據(jù)湖，同時經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、融合、治理后高質(zhì)量的公共數(shù)據(jù)資源庫，并基于相關(guān)應(yīng)用需求構(gòu)建各類應(yīng)用基礎(chǔ)、主題、專題、標(biāo)簽等數(shù)據(jù)庫，由此構(gòu)建出層級清晰、功能區(qū)域劃分合理的XX市大數(shù)據(jù)資源中心。具體，對于XX市大數(shù)據(jù)資源中心的建設(shè)規(guī)劃如下：共享庫(開放共享區(qū))數(shù)據(jù)庫(DWD層)數(shù)據(jù)湖(ODS貼源層)各類數(shù)據(jù)源數(shù)據(jù)安全保障牢抓住XX市大數(shù)據(jù)應(yīng)用的痛點，以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈、人工智能等技術(shù)為支撐，以“統(tǒng)籌規(guī)劃、集約建設(shè)、共享共治”為原則加強XX市大數(shù)據(jù)頂層設(shè)計。具體，在本次項目中我們將按照“總體規(guī)劃一步到賦能逐步升級”的原則，落實數(shù)據(jù)交換共享和協(xié)同應(yīng)用需求，逐步提升XX市大數(shù)成果，逐步完善豐富XX市大數(shù)據(jù)資源池、運營平臺、管理機制、運維支撐、組織保障體系和典型智慧應(yīng)用的建設(shè)。具體，對于本次XX市大數(shù)據(jù)能力平臺項目建設(shè)的實施方案規(guī)劃如下：3術(shù)規(guī)范平臺建設(shè)先行長期治理運營數(shù)據(jù)治理組織數(shù)據(jù)管理制度數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)治理活動治理平臺工具政務(wù)大數(shù)據(jù)治理運營支撐體系1+N運營模式#平臺建設(shè)與治理運營團隊相獨立政務(wù)數(shù)據(jù)治理運營要運意工事數(shù)據(jù)治理運營以業(yè)務(wù)線劃分利器力平臺平臺建設(shè)以功能線劃分技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第27頁共205頁者，負責(zé)組織內(nèi)數(shù)據(jù)資產(chǎn)的開發(fā)和利用，通過數(shù)據(jù)推動組織業(yè)務(wù)的創(chuàng)新和發(fā)展。數(shù)據(jù)治理實施部數(shù)據(jù)治理實施部其他管理部門其他業(yè)務(wù)部門牽頭業(yè)務(wù)部門T信息部門第28頁共205頁數(shù)據(jù)分析組數(shù)據(jù)分析組平臺開發(fā)組運行維護組數(shù)據(jù)清洗組√整個數(shù)據(jù)治理團隊的建設(shè)中可通過引入平臺與治理運營供應(yīng)商來共同組建，并可引入一個項目總集方負責(zé)日常運營工作；√建議需求、質(zhì)量與安全管理工作由組織內(nèi)部人員來負責(zé)。2.6.3數(shù)據(jù)治理制度規(guī)范數(shù)據(jù)治理相關(guān)的技術(shù)與管理流程規(guī)范規(guī)定了數(shù)據(jù)中心與業(yè)務(wù)部門，以及各系統(tǒng)之間的數(shù)據(jù)歸集、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)模型開發(fā)、數(shù)據(jù)資產(chǎn)體系框架構(gòu)建、部署規(guī)范、數(shù)據(jù)安全運維管理以及數(shù)據(jù)共享的相關(guān)要求，指導(dǎo)整個組織展開大數(shù)據(jù)數(shù)據(jù)共享應(yīng)用申請流程數(shù)據(jù)共享應(yīng)用申請流程數(shù)據(jù)開發(fā)需求響應(yīng)流程數(shù)掘共骨技術(shù)規(guī)范數(shù)據(jù)安全管理規(guī)范數(shù)據(jù)費產(chǎn)舊理規(guī)范數(shù)據(jù)質(zhì)置要求世理規(guī)范數(shù)據(jù)模型開發(fā)捷術(shù)規(guī)慧數(shù)掘模型設(shè)計技術(shù)規(guī)慧數(shù)謂歸集技木規(guī)楚技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案H細制有期√數(shù)據(jù)規(guī)范是指對政務(wù)核心數(shù)據(jù)進行有關(guān)存在性、完整性、質(zhì)量及歸檔的H細制有期辦法、流程、認責(zé)體系，并頒布相關(guān)規(guī)章制度?；A(chǔ)庫基礎(chǔ)庫豐頻情·D政務(wù)大數(shù)據(jù)資源中心-數(shù)據(jù)湖&數(shù)據(jù)庫改府內(nèi)部單位據(jù)用構(gòu)社會組的仙通調(diào)用數(shù)據(jù)前置庫共享庫每制每期分有公事數(shù)據(jù)內(nèi)部物聯(lián)聯(lián)網(wǎng)數(shù)據(jù)前置建通日覆數(shù)使機共業(yè)分期質(zhì)量監(jiān)控質(zhì)量監(jiān)控則業(yè)務(wù)場置運行檢查教據(jù)質(zhì)■規(guī)模板運行檢查規(guī)范設(shè)計維度建操指標(biāo)管理業(yè)務(wù)態(tài)標(biāo)技術(shù)島標(biāo)數(shù)配采集液連接和數(shù)概應(yīng)用發(fā)布使用通營數(shù)配氧目性護技術(shù)資產(chǎn)開發(fā)調(diào)度數(shù)探基數(shù)糖倉庫第30頁共205頁2.6.6數(shù)據(jù)治理關(guān)鍵心法前置-定義數(shù)據(jù)治理與管理相關(guān)的技術(shù)、業(yè)務(wù)與管理標(biāo)準(zhǔn)及規(guī)范前置-定義數(shù)據(jù)治理與管理相關(guān)的技術(shù)、業(yè)務(wù)與管理標(biāo)準(zhǔn)及規(guī)范強需數(shù)據(jù)效振應(yīng)用確政線標(biāo)范數(shù)報質(zhì)量元數(shù)概信息配技術(shù)標(biāo)準(zhǔn)執(zhí)行腔制編制數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行控制大數(shù)據(jù)能力平臺第31頁共205頁3大數(shù)據(jù)能力平臺建設(shè)方案在現(xiàn)有平臺基礎(chǔ)上，按照項目建設(shè)目標(biāo)，完善整個XX市大數(shù)據(jù)平臺能力與功能建設(shè)，讓平臺可以支撐整個XX市大數(shù)據(jù)管理與應(yīng)用。具體建設(shè)內(nèi)容包括：清洗、加工，支撐業(yè)務(wù)的數(shù)據(jù)應(yīng)用需求。④建設(shè)AI能力平臺等基礎(chǔ)模型為主的通用AI引擎以及滿足城市交通、路政治理、城市安全、市場監(jiān)管、智慧旅游、智慧農(nóng)業(yè)等智能場景應(yīng)用所需的算法庫，結(jié)合機器學(xué)習(xí)算法、深建設(shè)數(shù)據(jù)地理信息服務(wù)平臺，依托市級空間地理底圖和各類圖層信息臺，建④建設(shè)數(shù)據(jù)可視化平臺建設(shè)數(shù)據(jù)可視平臺，提供基于拖拽的強大格式定義、可視化報表與圖形息集成在各種看板設(shè)備上(PC、Pad、手機、大屏等)。第32頁共205頁在數(shù)據(jù)加密、脫敏、分級分類、防泄漏、安全審計分析和權(quán)限管理等數(shù)據(jù)安全防據(jù)能力平臺的應(yīng)用完成其密鑰應(yīng)用實施，最終達到實際的密鑰安全應(yīng)用需求，為大數(shù)據(jù)能力平臺提供底層安全保障，并達到符合密鑰應(yīng)用安全性測評要求。建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以XX市高質(zhì)量發(fā)展實XX市大數(shù)據(jù)能力平臺的總體架構(gòu)由支撐體系(標(biāo)準(zhǔn)規(guī)范支撐體系、管理運行維護支撐體系、安全支撐體系)、網(wǎng)絡(luò)系統(tǒng)、信息資源平臺軟硬件系統(tǒng)環(huán)境、平臺應(yīng)用系統(tǒng)(數(shù)據(jù)支撐底座、數(shù)據(jù)交換平臺、數(shù)據(jù)整理治理平臺、數(shù)據(jù)目錄管數(shù)據(jù)安全管理平臺、統(tǒng)一運維管理平臺、可視化運營指揮大屏),以及數(shù)據(jù)資源中心(數(shù)據(jù)湖、基礎(chǔ)庫、主題庫、部門數(shù)據(jù)庫、鄉(xiāng)鎮(zhèn)數(shù)據(jù)庫、鄉(xiāng)村振興數(shù)據(jù)庫)組成。具體，整個XX市大數(shù)據(jù)能力平臺的功能架第33頁共205頁繁臣集事繁臣集事大數(shù)據(jù)能力平臺技術(shù)方案統(tǒng)一通重平臺高控基控管理維流程處理數(shù)據(jù)源表務(wù)教市區(qū)縣)已有可?；o斷接口管理管理警理中認避服務(wù)安全度劑重文擊自識期積測平省糖0引示圖數(shù)配其南選女目錄系統(tǒng)日錄輸目數(shù)據(jù)準(zhǔn)管理數(shù)據(jù)發(fā)理臺法計間服務(wù)案口字位005數(shù)據(jù)海數(shù)據(jù)具事統(tǒng)一度管理量賃理審計暨理物聯(lián)/監(jiān)控程殖教程幅大數(shù)露學(xué)臺教理數(shù)庭警理主題庫學(xué)習(xí)建安3.1.3平臺各部分架構(gòu)關(guān)系提供遞用A能力引學(xué)支摔普能場景應(yīng)用數(shù)指供統(tǒng)一地理相關(guān)應(yīng)用服務(wù)，支揮地圖需求報供教據(jù)編目服務(wù)，實現(xiàn)教案委源集中應(yīng)用數(shù)縫可觀化分析與屬示支撐統(tǒng)一數(shù)據(jù)治理與紫控實現(xiàn)數(shù)據(jù)應(yīng)用的開發(fā)提供教據(jù)交操就力實現(xiàn)數(shù)據(jù)采集與開放提供基礎(chǔ)教據(jù)底座實現(xiàn)教據(jù)存儲與計算構(gòu)建全生命周期數(shù)據(jù)安全防護能力，提供統(tǒng)一數(shù)據(jù)與信意安全保障，保障平臺安金數(shù)據(jù)安全子平臺數(shù)據(jù)資源中心理口合子臺貌統(tǒng)基入整魯平深度數(shù)據(jù)分析展觀提供全局態(tài)勢司視運營指揮大屏化開發(fā)支揮程化展示臺理用解3.2.1數(shù)據(jù)治理概述數(shù)據(jù)治理將分散、多樣化的數(shù)據(jù)通過匯集、標(biāo)準(zhǔn)化、清洗等操作對數(shù)據(jù)的質(zhì)量進行全面的提升和監(jiān)控，形成全市大數(shù)據(jù)的管理和控制機制，并提供一站式數(shù)據(jù)治理體系，持續(xù)不斷的挖掘和提升數(shù)據(jù)的應(yīng)用價值。數(shù)據(jù)治理平臺通過對數(shù)據(jù)第34頁共205頁全生命周期、端到端的全鏈路透明化管控，實現(xiàn)“數(shù)據(jù)模型標(biāo)準(zhǔn)化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化”,實現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理及全業(yè)務(wù)數(shù)據(jù)脈絡(luò)不清晰的痛點問題。數(shù)據(jù)治理就是將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的手段和方法，采用的數(shù)據(jù)治理子系統(tǒng)和工人工訓(xùn)練和專家反饋不斷優(yōu)化數(shù)據(jù)理解和數(shù)據(jù)關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)給圍繞XX市大數(shù)據(jù)能力平臺的應(yīng)用建設(shè)目標(biāo)，包含數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量、智能監(jiān)控、數(shù)據(jù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對等方面服務(wù)。在數(shù)據(jù)打通過程中，同時做好數(shù)據(jù)質(zhì)量管理，主要包括四個方面數(shù)據(jù)缺失補缺、數(shù)據(jù)重復(fù)去重、數(shù)據(jù)錯誤糾正、數(shù)據(jù)不可用補救。單位公共數(shù)據(jù)資源，形成XX市大數(shù)據(jù)資源池，同時經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、融合、治理后高質(zhì)量的公共數(shù)據(jù)資源，形成XX市綜合大數(shù)據(jù)能力平臺。大數(shù)據(jù)治理方法論大數(shù)據(jù)治理方法論第一階段上云匯集01數(shù)據(jù)管理開發(fā)整>規(guī)則引擎>數(shù)據(jù)開放>預(yù)警中心>AI開放主題數(shù)據(jù)為了無法計算的價值C〕網(wǎng)里云基礎(chǔ)數(shù)據(jù)應(yīng)用數(shù)據(jù)形成知識方法手段>安保監(jiān)控大屏>全息畫像南三階段應(yīng)用關(guān)系中心>數(shù)據(jù)資產(chǎn)大屏模型治理整合數(shù)端全息格家(Gisp)展現(xiàn)第一階段：數(shù)據(jù)匯聚，融合管理第35頁共205頁從政務(wù)辦公網(wǎng)、感知網(wǎng)、社會協(xié)同單位收集各類數(shù)據(jù)，形成大數(shù)據(jù)中心的數(shù)據(jù)基礎(chǔ)，并對匯集的原始數(shù)據(jù)開展基于數(shù)據(jù)管理和業(yè)務(wù)視角的治理及應(yīng)用工作。位全局服務(wù)XX市大數(shù)據(jù)創(chuàng)新應(yīng)用的角度梳理大數(shù)據(jù)資產(chǎn)，構(gòu)建數(shù)據(jù)資源目錄和數(shù)據(jù)資產(chǎn)管理應(yīng)用，達到數(shù)據(jù)資源的規(guī)范化和可視化；匯聚后的原始數(shù)據(jù)仍處于足數(shù)據(jù)資源平臺下，數(shù)據(jù)開發(fā)者進行ETL開發(fā)、數(shù)據(jù)挖掘算法開發(fā)、數(shù)據(jù)主題庫建設(shè)等需求；對數(shù)據(jù)融合處理的全過程通過質(zhì)量管理工具進行管理監(jiān)測，保障數(shù)行安全上的分類分級，確保數(shù)據(jù)使用合理、安全可控?；跇I(yè)務(wù)應(yīng)用視角，對匯聚的基礎(chǔ)數(shù)據(jù)開展模型治理，通過數(shù)據(jù)清洗加工、基于業(yè)務(wù)背景及要求的處理加工、以及面向應(yīng)用專題場景的開發(fā)，依次構(gòu)建整合數(shù)據(jù)資源層、主題數(shù)據(jù)資源層、應(yīng)用數(shù)據(jù)資源層，形成指標(biāo)口徑一致、統(tǒng)存統(tǒng)用的大數(shù)據(jù)資源層。第二階段：基于數(shù)據(jù)，提煉抽象信息，形成知識因大數(shù)據(jù)涉及的來源廣泛、數(shù)據(jù)采集背景及方法多樣甚至特殊、復(fù)雜，導(dǎo)致因不同的匯集場景等因素，各個實體對象往往存在多個ID,需要對ID間關(guān)系做計算，通過IDMapping,建立ID和實體人/物間的關(guān)系，從而串聯(lián)起實體人/物的屬性/行為信息?；跇I(yè)務(wù)需求引導(dǎo)和對數(shù)據(jù)資源信息的價值梳理，對數(shù)據(jù)進行進一步提煉加中心產(chǎn)品對用戶及開發(fā)者開放。第三階段：構(gòu)建應(yīng)用，服務(wù)業(yè)務(wù)起各類業(yè)務(wù)創(chuàng)新應(yīng)用，如監(jiān)控大屏、全息畫像、預(yù)警中心等應(yīng)用。通過數(shù)據(jù)服務(wù)平臺，可以把數(shù)據(jù)和標(biāo)簽在線服務(wù)化提供給開發(fā)者和用戶。技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第36頁共205頁部門管理員部門管理員中心管理員(實施人員)構(gòu)到前回庫3梁蝶的世庫元數(shù)據(jù)4標(biāo)準(zhǔn)比前回岸數(shù)站5生產(chǎn)庫落標(biāo)并數(shù)據(jù)橋接到前宣庫6前二庫質(zhì)責(zé)檢查前三庫據(jù)維成治理岸8治理庫邏輯質(zhì)檢數(shù)據(jù)治理平臺會包含部分5大庫數(shù)據(jù)標(biāo)準(zhǔn)，行標(biāo)、部門標(biāo)準(zhǔn)等需由實施人員從客戶處采集后錄入系統(tǒng)2)同步數(shù)據(jù)結(jié)構(gòu)據(jù)結(jié)構(gòu)錄入前置庫3)元數(shù)據(jù)采集將數(shù)據(jù)結(jié)構(gòu)采集入數(shù)據(jù)治理平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第37頁共205頁4)標(biāo)準(zhǔn)化實施人員為采集來的元數(shù)據(jù)掛接數(shù)據(jù)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)化其元數(shù)據(jù)格式屬性、值域等5)落標(biāo)及數(shù)據(jù)橋接部門管理員根據(jù)標(biāo)準(zhǔn)化的字段屬性，將生產(chǎn)庫數(shù)據(jù)橋接到前置庫中心管理員對前置庫數(shù)據(jù)進行質(zhì)量檢查及整改7)數(shù)據(jù)集成中心管理員將質(zhì)檢后數(shù)據(jù)集成到治理庫8)邏輯質(zhì)檢中心管理員對治理庫的數(shù)據(jù)根據(jù)業(yè)務(wù)需求進行邏輯層質(zhì)量檢查9)資源掛載部門管理人員對已完成數(shù)據(jù)治理的治理庫數(shù)據(jù)進行資源掛載通過數(shù)據(jù)治理工作后，形成的數(shù)據(jù)治理成果物。技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第38頁共205頁整改《集成實施指導(dǎo)書(含增量)》、《數(shù)據(jù)集成數(shù)據(jù)例》異常數(shù)據(jù)整改邏輯質(zhì)檢數(shù)據(jù)的加工處理以及加工處理過程數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺可以提供數(shù)據(jù)輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出和貫穿數(shù)據(jù)處理各個過程的全流程、全生命周期的數(shù)據(jù)處理、數(shù)據(jù)治理和數(shù)據(jù)管控的一體化建設(shè)。數(shù)據(jù)治理平臺覆蓋了從標(biāo)準(zhǔn)、設(shè)計、采集、開發(fā)到使用，再到交付的全數(shù)據(jù)技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第39頁共205頁開發(fā)、數(shù)據(jù)運營多種應(yīng)用場景，并通過構(gòu)建數(shù)據(jù)工廠，實現(xiàn)數(shù)據(jù)治理的標(biāo)準(zhǔn)化、數(shù)據(jù)治理平臺數(shù)據(jù)治理平臺數(shù)城治理管理觀范標(biāo)準(zhǔn)(元數(shù)據(jù)、標(biāo)準(zhǔn)、質(zhì)量、資產(chǎn)。目錄)清洗數(shù)據(jù)生命結(jié)期管理排續(xù)廢饋荊州市政務(wù)大散據(jù)資考中心數(shù)據(jù)安全置控數(shù)據(jù)消費者事業(yè)單位陽機溝企業(yè)數(shù)據(jù)生產(chǎn)者縣次務(wù)數(shù)據(jù)物聯(lián)數(shù)軀互聯(lián)網(wǎng)數(shù)據(jù)建模批果集量共享教系升安入員教系升安入員行數(shù)聚分行所業(yè)務(wù)用戶教院料學(xué)家教系低理員教據(jù)操作員管理醫(yī)量級告管理元教整采集元教整性護服務(wù)審核服務(wù)監(jiān)控訂離審核元教置管理數(shù)察門戶(Webn)數(shù)據(jù)共享數(shù)國解務(wù)數(shù)據(jù)管理基礎(chǔ)平臺數(shù)據(jù)用管端數(shù)據(jù)子集說重中心建樓設(shè)計算主庫播件管端消患管理日老管理天數(shù)健省案管理大數(shù)題守修與計算學(xué)難織，用戶、角色，權(quán)激管建技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第40頁共205頁5-程序在線測試6-調(diào)度配置7-擺交審核井上線Python.jna.shel#1-數(shù)據(jù)探索源4-編銅模型應(yīng)用程序2-模型定文②都本開發(fā)支持類型A定義、獲取原則、管理要求等。包括設(shè)計基礎(chǔ)類和分析類數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)對數(shù)據(jù)標(biāo)準(zhǔn)的理解，指導(dǎo)信息化建設(shè)中對數(shù)據(jù)標(biāo)準(zhǔn)的參照。數(shù)據(jù)標(biāo)準(zhǔn)管理體系主要包含數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實施機制、及數(shù)據(jù)標(biāo)準(zhǔn)管理平臺通過對數(shù)據(jù)標(biāo)準(zhǔn)管理、落地實施機制、及數(shù)據(jù)標(biāo)準(zhǔn)管理平臺維護三部分責(zé)，以明確的組織、職責(zé)、流程設(shè)計。落地實施機制從規(guī)范推廣、技術(shù)平臺支撐④數(shù)據(jù)標(biāo)準(zhǔn)管理機制設(shè)計術(shù)部門和系統(tǒng)技術(shù)團隊共同參與數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計，建立企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)流程，制定第41頁共205頁設(shè)中對數(shù)據(jù)標(biāo)準(zhǔn)的參照。④數(shù)據(jù)標(biāo)準(zhǔn)分類規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)是對數(shù)據(jù)的名稱、含義、結(jié)構(gòu)、取值等信息的統(tǒng)一定義，達成對數(shù)據(jù)的業(yè)務(wù)理解、技術(shù)實現(xiàn)的一致性?；跀?shù)據(jù)模型理論將數(shù)據(jù)標(biāo)準(zhǔn)延伸至5個分類，涵蓋技術(shù)、業(yè)務(wù)多個視角。業(yè)務(wù)術(shù)語：從一致性、通用性等方面統(tǒng)一業(yè)務(wù)術(shù)語定義。數(shù)據(jù)項標(biāo)準(zhǔn)：用來描述實體的某種屬性，包含數(shù)據(jù)項的名稱、編號、別名、簡述、數(shù)據(jù)項的長度、類型、數(shù)據(jù)項的取值范圍。據(jù)可在不同系統(tǒng)中被使用而保持統(tǒng)一標(biāo)準(zhǔn)值。主數(shù)據(jù)標(biāo)準(zhǔn)：主數(shù)據(jù)編碼是應(yīng)用系統(tǒng)中的重要數(shù)據(jù)類型之一，通常用來描述業(yè)務(wù)操作的具體對象及其特征，注重唯一性，特征一致性，穩(wěn)定性及有效性。一的識別標(biāo)志(代碼，名稱，特征描述等),用以明確區(qū)分業(yè)務(wù)對象，業(yè)務(wù)范圍和業(yè)務(wù)的具體細節(jié)特征一致性：主數(shù)據(jù)在不同系統(tǒng)中，均按統(tǒng)一標(biāo)準(zhǔn)出現(xiàn)穩(wěn)定性：主數(shù)據(jù)相對穩(wěn)定，本身屬性不會隨交易過程而被修改據(jù)不會喪失有效性兼顧通用性和個性化，個性化方面支持各使用部門個性化定制④數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計規(guī)范以分析型應(yīng)用建設(shè)和操作型應(yīng)用集成為導(dǎo)向，兩設(shè)計體系理要求，自上而下追溯數(shù)據(jù)源，聚焦數(shù)據(jù)標(biāo)準(zhǔn)范圍。用共享的數(shù)據(jù)映射，刪除冗余、非重點數(shù)據(jù)，精簡數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)范圍。第42頁共205頁數(shù)據(jù)元管理數(shù)據(jù)元管理主要包括數(shù)據(jù)元新增、數(shù)據(jù)元導(dǎo)入、數(shù)據(jù)元發(fā)布、數(shù)據(jù)元修改、數(shù)據(jù)元刪除、數(shù)據(jù)元停用、數(shù)據(jù)元檢索等功能。同時支持?jǐn)?shù)據(jù)元版本管理及版本之間的差異核對功能以及支持基于基礎(chǔ)庫、主題庫的元數(shù)據(jù)快速創(chuàng)建標(biāo)準(zhǔn)數(shù)據(jù)元，并建立和相關(guān)元數(shù)據(jù)的關(guān)聯(lián)關(guān)系。標(biāo)準(zhǔn)代碼配置標(biāo)準(zhǔn)代碼配置支持代碼的分類、標(biāo)準(zhǔn)代碼項的新增、導(dǎo)入、導(dǎo)出功能，提供了標(biāo)準(zhǔn)代碼維護的能力；可關(guān)聯(lián)到國標(biāo)、地標(biāo)代碼字典，為數(shù)據(jù)的規(guī)范性提供了更加詳細的描述，為后續(xù)的數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)等工作提供支撐。標(biāo)準(zhǔn)數(shù)據(jù)元具有唯一的編碼(標(biāo)準(zhǔn)代碼),按照實際的業(yè)務(wù)領(lǐng)域進行分類之后，可以形成帶有業(yè)務(wù)領(lǐng)域特征的相關(guān)編碼，比如“FR00001”代表法人相關(guān)的數(shù)據(jù)元標(biāo)準(zhǔn)代碼。可關(guān)聯(lián)到國標(biāo)、地標(biāo)代碼字典常用規(guī)則配置數(shù)據(jù)元的值有部分需要滿足固定格式的標(biāo)準(zhǔn)，治理過程中需要通過固定的值組成規(guī)則來規(guī)范數(shù)據(jù)源值的格式，例如身份證、電話號碼、電子郵箱等格式。包括通用規(guī)則及各部門根據(jù)自身需求實際制定的規(guī)則，常用規(guī)則配置會針對公共數(shù)據(jù)的特性內(nèi)置部分常用的規(guī)則，同時提供了規(guī)則的配置修改能力。第43頁共205頁存儲過程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)據(jù)流程、各對象之間的關(guān)系，以及向外提供的各類數(shù)據(jù)服務(wù)的信息。元數(shù)據(jù)內(nèi)容涉及到整個大數(shù)據(jù)資源平臺的各個數(shù)據(jù)環(huán)節(jié)，包括數(shù)據(jù)采集、逐與各環(huán)節(jié)實現(xiàn)有效互動。按照元數(shù)據(jù)的定義分類，綜合價值分析系統(tǒng)元數(shù)據(jù)管理分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)三類。其中：(1)業(yè)務(wù)元數(shù)據(jù)使用者的業(yè)務(wù)術(shù)語所表達的數(shù)據(jù)模型、對象名和屬性名；a1系統(tǒng)所提供的分析方法及公式、報表信息；對業(yè)務(wù)元數(shù)據(jù)來源的管理和差異性對比；系統(tǒng)結(jié)構(gòu)的描述(各個主題的定義，星型模式或雪花型模式的描述定義等);整合數(shù)據(jù)層的機構(gòu)單位的數(shù)據(jù)模型描述(以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式);對數(shù)據(jù)稽核規(guī)則的定義、匯總數(shù)據(jù)層模型描述與裝載描述(包括維度、層次、度量以及相應(yīng)事實表、概要表的抽取規(guī)則);(3)管理元數(shù)據(jù)系統(tǒng)內(nèi)部用戶的數(shù)據(jù)處理操作規(guī)則，包括抽取、轉(zhuǎn)換、加載、匯總等各類操作的用戶權(quán)限、操作時間窗管理、異常處理規(guī)則等；外部訪問用戶(主要針對該系統(tǒng)對外提供的數(shù)據(jù)服務(wù))的操作規(guī)則和方式，包括所提供的數(shù)據(jù)服務(wù)接口、數(shù)據(jù)訪問方式、操作；技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案操作類型等相關(guān)信息。為了保障元數(shù)據(jù)管理目標(biāo)的順利達成，需要從組織架構(gòu)層面建立專業(yè)的元數(shù)據(jù)管控組織予以保障，確保元數(shù)據(jù)管控要求得以落實、制度得以執(zhí)行。求驗收等項目階段的元數(shù)據(jù)建立和校驗，最后實現(xiàn)元數(shù)據(jù)的發(fā)布和運維管理。在這些階段中，元數(shù)據(jù)管控組負責(zé)元數(shù)據(jù)信息的全生命周期流程的管理和監(jiān)控。數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、血緣關(guān)系等功能組成等。元數(shù)據(jù)屬性檢查描述合法性檢查數(shù)據(jù)質(zhì)量元數(shù)據(jù)手工錄入外部文件導(dǎo)入業(yè)務(wù)指標(biāo)維度數(shù)據(jù)數(shù)據(jù)源接口元數(shù)據(jù)數(shù)據(jù)封裝元數(shù)據(jù)數(shù)據(jù)管理要求數(shù)據(jù)操作日志元數(shù)據(jù)維護元敵據(jù)查詢指標(biāo)一致性分析實體關(guān)聯(lián)分析實體差異分析血緣分析影響分析數(shù)據(jù)地圖分析使用情況統(tǒng)計元數(shù)據(jù)統(tǒng)計管理元數(shù)據(jù)元數(shù)據(jù)手工獲取SQL腳本自動解析元數(shù)據(jù)白動獲取元數(shù)據(jù)質(zhì)量檢查業(yè)務(wù)元數(shù)據(jù)格式文件導(dǎo)出自動獲取管理實時AP1調(diào)用功能層存儲層獲取層訪問層對元數(shù)據(jù)獲取數(shù)據(jù)源以及這些數(shù)據(jù)源之間的關(guān)系進行集中登記管理，并形成自動獲取數(shù)據(jù)源的全局視圖，實現(xiàn)元數(shù)據(jù)自動獲取數(shù)據(jù)信息技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第45頁共205頁要實現(xiàn)元數(shù)據(jù)的自動獲取，需要在集成的元數(shù)據(jù)平臺中配置自動獲取策略和調(diào)度時間等，使元數(shù)據(jù)能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動獲取過程，滿足元數(shù)據(jù)自動獲取的時效性。00:00到01:00之間觸發(fā)數(shù)據(jù)資源平臺元數(shù)據(jù)的自動獲取過程，或者在數(shù)據(jù)處理程序更新后12小時內(nèi)觸發(fā)相應(yīng)的映射關(guān)系元數(shù)據(jù)自動獲取過程。數(shù)據(jù)對象信息、業(yè)務(wù)規(guī)則信息、加工邏輯等進行維護和管控。④元數(shù)據(jù)掃描支持以手動或定時的方式掃描指定的數(shù)據(jù)庫資源，并提取和解析相關(guān)的信息在比較掃描數(shù)據(jù)和原有數(shù)據(jù)的差異后自動將差異數(shù)據(jù)維護到指定的元數(shù)據(jù)目錄。在元數(shù)據(jù)管理首頁用戶通過輸入關(guān)鍵字后，系統(tǒng)采用全文檢索的方式迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，并將信息返回給用戶。用戶能夠通過展示的路徑信息快速定位到元數(shù)據(jù)組織樹上的節(jié)點。版本管理分為元數(shù)據(jù)對象版本管理與基線版本管理兩種類型。元數(shù)據(jù)對象版本：對元數(shù)據(jù)的每次提交形成版本(上一版本形成歷史版本),提供歷史版本間，歷史版本與當(dāng)前版本對比功能；數(shù)據(jù)集的版本比較④權(quán)限管理及查詢統(tǒng)一實現(xiàn)數(shù)據(jù)庫的訪問和操作管控，對用戶進行角色權(quán)限、對象權(quán)限、數(shù)據(jù)在系統(tǒng)層面實現(xiàn)元數(shù)據(jù)的導(dǎo)入/導(dǎo)出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對象能夠靈活的遷移，支持模型間的檢查和比對，以便于數(shù)據(jù)模型的維護和擴展。技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第46頁共205頁血緣分析的數(shù)據(jù)資產(chǎn)節(jié)點元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對象等血緣關(guān)系和以父子依賴關(guān)系展表n過程表n過程表1過程3表2以父子依賴關(guān)系展示對象的有向血緣關(guān)系表1表1過程1過程3表2過程4表5過段n表3表4表6以網(wǎng)狀模式展示對象的血緣關(guān)系技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第47頁共205頁數(shù)據(jù)質(zhì)量管理主要包含對數(shù)據(jù)完整性、準(zhǔn)確性、鮮活性、權(quán)威性的分析和管能夠提供規(guī)則配置、質(zhì)量監(jiān)控、問題處理等功能，及時發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量質(zhì)星模型質(zhì)星模型一套規(guī)則質(zhì)檢方案一質(zhì)檢方率二質(zhì)檢方案積底性實體裝鋁明基礎(chǔ)單元數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量審核的邏輯校驗標(biāo)準(zhǔn)，是數(shù)據(jù)質(zhì)了用戶投入的精力與時間，為用戶提供了一種靈活而全面的數(shù)據(jù)質(zhì)量分析方式?？罩禉z查用于檢查關(guān)鍵字段非空值域檢查值域檢查用于檢查關(guān)鍵字段的取值范圍，支持?jǐn)?shù)值型、字符型、日期型字段檢查技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第48頁共205頁規(guī)范檢查用于檢查指標(biāo)值的格式是否規(guī)范，支持身份證、手機號碼、郵箱、日期等多種數(shù)據(jù)類型的檢測，支持自定義正則表達式邏輯檢查用于檢查指標(biāo)之間是否滿足一定的邏輯關(guān)系重復(fù)數(shù)據(jù)檢查重復(fù)數(shù)據(jù)檢查用于檢查表內(nèi)是否有重復(fù)數(shù)據(jù)。及時性檢查，用于檢查數(shù)據(jù)的及時性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報是否及時。時間都是以下一期的第一天做為參照依據(jù)，再將上報時間與最佳上報時間做為比較，看是否在允許誤差最大天數(shù)范圍內(nèi)記錄缺失檢查用于判斷記錄是否完整，是否缺少數(shù)據(jù)行。根據(jù)比照表字段檢查目標(biāo)字段是否缺少數(shù)據(jù)，檢查實體表字段與比照字段的數(shù)據(jù)量、數(shù)值是否完全規(guī)則算法：對檢查表字段和比照字段進行g(shù)roupby并求count,根據(jù)兩個字段groupby的結(jié)果來outerjoin,count不相等或檢查字段值和比照字段值有一個為空時，此行結(jié)果都算錯引用完整性檢查用于判斷實體表中的數(shù)據(jù)是否完全存在于比照表中。實體表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中。比照字段為空，則檢查字段的值非來源于比照表，則該規(guī)則對應(yīng)結(jié)果為false依據(jù)質(zhì)量規(guī)則執(zhí)行的實際治理需求，通過圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，依據(jù)執(zhí)行規(guī)則管控平臺自動執(zhí)行質(zhì)量規(guī)則檢查。質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時間周期(如月、周、日)、事件觸發(fā)等執(zhí)行方式，并且在控制技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第49頁共205頁,心心,心心臺可以查看質(zhì)檢方案執(zhí)行歷史，對數(shù)據(jù)質(zhì)檢全流程進行管控。規(guī)則維度分類說明規(guī)測非變大員混度小微要核5OL示州豐空約束否存在況ct*hemAJsbletwtereSed1aul要食義不唱確學(xué)報金又不研確史體牌一性約果個春戶已景了兩九gouptyfeid!fisd2fsd?heingceurtiP)t長遭的菜臨決檢核對象的長建能否南足長度的束。ct主理字段*gm核字段)tromAtieelnheeangh10有政性業(yè)安的來ect*homAabletwherefediretin(t:O有效性代污像城的索siect*fremAbablelwherefiedIrotin(sWktccdetsm代S統(tǒng)型的來ect*femADetwtere5edl<0構(gòu)也半城大寫更文號，1-始力數(shù)字質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時間周期(如月、周、日)、事件觸發(fā)等行機制。業(yè)務(wù)系統(tǒng)實施上線規(guī)范制定規(guī)范審核規(guī)范發(fā)布規(guī)范定稿統(tǒng)一規(guī)劃業(yè)務(wù)規(guī)范置的規(guī)則提供問題詳情、比對及整改重檢的能力。結(jié)合實際可執(zhí)行和可實現(xiàn)的原則，分析系統(tǒng)存在的數(shù)據(jù)質(zhì)量問題：著重于在數(shù)據(jù)的定義基礎(chǔ)上，利用數(shù)據(jù)的邏輯和業(yè)務(wù)規(guī)則度數(shù)據(jù)質(zhì)量進行檢測和分析。著重與在數(shù)據(jù)的分析和檢測基礎(chǔ)上，利用起結(jié)果對數(shù)據(jù)，特別是源數(shù)據(jù)的數(shù)據(jù)管理提出整改意見，重建數(shù)據(jù)質(zhì)量的管理能力。具體系統(tǒng)方案如下：棉樣定義庫指樣蓋控指標(biāo)度案林存銷層檢核繼要ODS商稱系級澤系統(tǒng)源系統(tǒng)層表示層準(zhǔn)基于質(zhì)檢方案及質(zhì)檢結(jié)果，對每次質(zhì)檢的檢查數(shù)、問題數(shù)、整改數(shù)等進行統(tǒng)計，形成統(tǒng)計圖。支持按日、按月統(tǒng)計及柱狀圖、折線圖。技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第51頁共205頁柱狀圖折現(xiàn)圖4L打人者44清鋼摩人要低自進題件那入√平臺提供數(shù)據(jù)處理各項能力的開發(fā)功能，提供包括數(shù)據(jù)采集、處理、裝√平臺具備執(zhí)行標(biāo)準(zhǔn)的開源Hadoop接口調(diào)用能力，以及基于個性化Hadoop接口封裝能力；基于平臺擴展自主的數(shù)據(jù)處理功能√可視化程序開發(fā)可結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)化體系，整體數(shù)據(jù)開發(fā)流程與標(biāo)準(zhǔn)化管控切實對接。第52頁共205頁平臺支持對流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過程為數(shù)據(jù)實時采集-->數(shù)據(jù)實時計算->數(shù)據(jù)實時查詢服務(wù)。主要應(yīng)對海量數(shù)據(jù)進行高性能的實時數(shù)據(jù)采集處理，以實時、高效、低延遲為核心驅(qū)動點，具備毫秒級數(shù)據(jù)觸發(fā)能力，實現(xiàn)秒級單位時間窗口的數(shù)據(jù)統(tǒng)計分析能力。需要支持的數(shù)據(jù)源類型可以分為以下四類：關(guān)系型數(shù)據(jù)庫數(shù)據(jù)源，包括DB2,Teradata和標(biāo)準(zhǔn)化處理，以及滿足海量物聯(lián)網(wǎng)數(shù)據(jù)的入湖。時提取和分析來自各種分布式系統(tǒng)的信息，并分發(fā)到不同的應(yīng)用中進行處理。同時，系統(tǒng)必須高效、可靠、可管理、可監(jiān)控并且具有一定的對外開放能力。據(jù)計算提供支撐的功能的統(tǒng)一管理的功能開發(fā)提供對于場景需求較多的數(shù)據(jù)模型可開發(fā)公共模型的功能，公共模型可以供其他用戶調(diào)用，可重復(fù)使用的功能④流數(shù)據(jù)計算結(jié)果接口開發(fā)開發(fā)提供對流數(shù)據(jù)計算結(jié)果接口開發(fā)功能和計算結(jié)果數(shù)據(jù)可通過接口形式供可視化調(diào)用或其他應(yīng)用的功能技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第53頁共205頁開發(fā)提供流數(shù)據(jù)計算模型查詢功能，通過對流數(shù)據(jù)計算模型發(fā)布可以是其他用戶查看計算模型邏輯，進行模型再利用，減少其他用戶開發(fā)工作量的功能。數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡化開發(fā)過程。統(tǒng)一數(shù)視化編排的互相轉(zhuǎn)換，提升開發(fā)效率。④支持可視化開發(fā)控件設(shè)計交互事件響應(yīng)控件顯示控件設(shè)計源代碼生成工具MiniGUI源代碼支持原生態(tài)開發(fā)4liestriePrivteg(t;wt;)開發(fā)工具是用于配置中介流程、組件及適配器開發(fā)工具，它提供了完整的從設(shè)計、開發(fā)、配置到打包部署整個階段的GUI(GraphicalUserInterface,圖形用戶界面)工具，幫助用戶快速利用和充分發(fā)揮數(shù)據(jù)服務(wù)集成管理系統(tǒng)的服務(wù)平臺支持對數(shù)據(jù)開發(fā)與管理任務(wù)的統(tǒng)一調(diào)度，包括流程設(shè)計與管理、調(diào)度策略管控、任務(wù)調(diào)度控制、標(biāo)準(zhǔn)化控件等功能模塊，通過作業(yè)/任務(wù)管理、作業(yè)/任務(wù)調(diào)度、作業(yè)/任務(wù)執(zhí)行實現(xiàn)對采集、轉(zhuǎn)換、加載、調(diào)度、監(jiān)控，從而形成統(tǒng)一的調(diào)度與管理。作業(yè)/任務(wù)再度度監(jiān)控以一個業(yè)務(wù)量生產(chǎn)過程為例。傳統(tǒng)做法是通過接口通信表或時序依賴進行協(xié)同生產(chǎn)。在統(tǒng)一調(diào)度平臺中以數(shù)據(jù)流作為驅(qū)動，通過控制中心進行作業(yè)命令下發(fā)，狀態(tài)收集進行控制，達到各個異構(gòu)系統(tǒng)，多個子系統(tǒng)的協(xié)同調(diào)度。采集技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第55頁共205頁卷卷考數(shù)積生產(chǎn)曉一用陽乙數(shù)限生產(chǎn)遭55####555確教置監(jiān)控A+*化管控。主要包括數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)分類管理、數(shù)據(jù)資產(chǎn)查詢、數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)版本管理、數(shù)據(jù)資產(chǎn)變更管理、資產(chǎn)運行審計管理、資產(chǎn)統(tǒng)計分析，接口管理、數(shù)據(jù)質(zhì)量等功能。平臺提供數(shù)據(jù)源管理、數(shù)據(jù)資產(chǎn)注冊管理、數(shù)據(jù)資產(chǎn)注冊審核、生成數(shù)據(jù)庫平臺提供對數(shù)據(jù)源注冊管理的功能，主要是對數(shù)據(jù)提供者所在數(shù)據(jù)庫、數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫服務(wù)IP數(shù)據(jù)庫服務(wù)端口大數(shù)據(jù)能力平臺第56頁共205頁dt數(shù)據(jù)庫表空間2)Hadoop庫注冊管理，主要負責(zé)Hive庫基本信息、HDFS文件信息的注冊配置，包含但不限于以下內(nèi)容：④數(shù)據(jù)資產(chǎn)注冊管理平臺提供對數(shù)據(jù)資產(chǎn)注冊管理的功能，主要包括對表、視圖、序列、文件、1)業(yè)務(wù)系統(tǒng)信息收集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：業(yè)務(wù)系統(tǒng)服務(wù)端口2)數(shù)據(jù)庫信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：數(shù)據(jù)庫類型數(shù)據(jù)庫版本數(shù)據(jù)庫SID數(shù)據(jù)庫表空間3)表結(jié)構(gòu)信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：表中文名稱表結(jié)構(gòu)定義表數(shù)據(jù)處理邏輯第57頁共205頁4)視圖信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：視圖中文名稱業(yè)務(wù)信息描述視圖結(jié)構(gòu)定義5)字段信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：字段中文名稱字段詳細描述字段類型定義6)指標(biāo)信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：指標(biāo)中文名稱指標(biāo)統(tǒng)計周期7)報表信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：報表中文名稱報表業(yè)務(wù)描述報表統(tǒng)計周期8)hadoop平臺信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：Hadoop集群名稱Hadoop集群描述edfHadoop集群主節(jié)點IPHadoop集群從節(jié)點IP9)hadoophive庫表信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：Hive數(shù)據(jù)庫服務(wù)IPHive數(shù)據(jù)庫服務(wù)端口第58頁共205頁fHive表中文名稱GDHive表業(yè)務(wù)描述信息ETL作業(yè)名稱ETL作業(yè)業(yè)務(wù)描述信息接口文件業(yè)務(wù)描述信息接口文件路徑接口內(nèi)容與表字段映射關(guān)系12)OLAP信息采集與資產(chǎn)注冊；13)webservice接口信息采集與資產(chǎn)注冊，包含但不限于以下內(nèi)容：webservice接口負責(zé)人名規(guī)范，可實現(xiàn)對數(shù)據(jù)資產(chǎn)的自動審核，主要包括對表/視圖、文件等數(shù)據(jù)資產(chǎn)進行審核分析。當(dāng)數(shù)據(jù)資產(chǎn)命名不符合規(guī)范時，平臺會提示錯誤信息，并阻止資數(shù)據(jù)資產(chǎn)的完整和規(guī)范性。第59頁共205頁44DmeRX第度義豐班明NSERO第*考年參增*ma?etmewsimpie中A時的-文名科mTVE+68L814R1_D4E修*型*BCRTBCATMImit基度豐碎根度厘0m*0RP-AREANCOE,Pme4式神感比納繼W1RCATSHD#*平臺可基于數(shù)據(jù)資產(chǎn)(表),通過在平臺中指定生成表的數(shù)據(jù)庫及表空間等信息后自動生成相應(yīng)數(shù)據(jù)庫的建表腳本并在數(shù)據(jù)庫中生成數(shù)據(jù)表，如下圖所示：√B用實體定義SHGRPDWA_GRP_PROD_INFO_FEE_@yMM@DB2查詢從庫中讀取無好計高級設(shè)置MySQLDB2實體定義*X8&E7HiveOrade中文名稱字段說明可為空字段名缺省值主鍵集團標(biāo)識√GROUP_IDVARCHAR用戶標(biāo)識√USER_JDVARCHAR集團產(chǎn)品歸類標(biāo)識√GROUP_PROD_JTEMDBIGINT策劃標(biāo)識√OFFER_IDBIGINT策劃實例標(biāo)識√OFFER_INST_IDVARCHAR賬單費用項編碼√TEM_CODEBIGINT客戶經(jīng)理標(biāo)識√MANAGER_DBIGINTceatetableSHGRP.DWA_GRP_PROD_INFO_FEE_201512(GROUP_IDVARCHAR(50),USER_IDVARCHAR(20).GROUP_PROD_ITEM_IDBIGINT,OFFERLIDBIGINT.OFFER_INST_IDVARCHAR(20)MANAGER_IDBIGINT,MANAGER_NAMEVARCHAR(200).M_GRP_DISTLIDINTEGER,SALE_MANAGER_IDBIGINT,SALE_NAMEVARCHAR(200),SALE_TYPESMALLNT,△測試建表大數(shù)據(jù)能力平臺第60頁共205頁平臺提供對數(shù)據(jù)資產(chǎn)的分類管理功能，在數(shù)據(jù)資產(chǎn)注冊同時或注冊■資產(chǎn)類型：數(shù)據(jù)表、文件、接口、指標(biāo)、報表等■主題域：參與人、服務(wù)、資源、事件、市場監(jiān)管、企業(yè)管理、公共?！龃鎯χ芷冢喊茨辍醇径取丛?、按周、按日等部渠道，加工層指數(shù)據(jù)在大數(shù)據(jù)平臺內(nèi)進行加工處理的過程。史戶工具暫的2套4BxmTmeutmwesxWecert分類標(biāo)簽是分827011.20021.P:R#DDN0m它入分網(wǎng)usmw*xX*mTEX屬#AAE種人接分網(wǎng)新技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案心心平臺提供數(shù)據(jù)資產(chǎn)分類統(tǒng)計功能，可對各種標(biāo)簽屬性的數(shù)據(jù)資產(chǎn)進行分類統(tǒng)計，資產(chǎn)目錄是對平臺元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目行搜索、展現(xiàn)以及權(quán)限申請。平臺提供數(shù)據(jù)資產(chǎn)查詢功能，主要分為通用查詢和高級查詢兩種方式。元牌工具元牌工具盤1實體概制定毫10**入A不ScnPDaRcHPRCOWOJHroNUBH不AO入高H時度意雪射度通用查詢功能用2)高級查詢：根據(jù)指定數(shù)據(jù)資產(chǎn)屬性信息的具體值對數(shù)據(jù)資產(chǎn)進行精確查詢，包括數(shù)據(jù)資產(chǎn)名稱、資產(chǎn)編碼、資產(chǎn)分類標(biāo)簽等屬性。第62頁共205頁大數(shù)據(jù)能力平臺技術(shù)方案5《聯(lián)據(jù)機器人都樣》×w盤p實模時定火金統(tǒng)胞人海塊以擇智理(測來新高T24=吸雪射X0Yrhtohansn入mceslTwasse*AWece*1出產(chǎn)名任環(huán)帝加介月費8C0入C8H*道國重傷也人A費(不細涂后團內(nèi)信的難入滿觸問表置維南們在入月界屬產(chǎn)兩區(qū)題人問觀遷用為a*AA出的青碼付涂他面心決人用表成世不內(nèi)的感的理人離能問表屬臣金務(wù)值商化科除處人工能月系(044第等·20140m52014-0M名-30140m120144主題減NP5AA111*:518量外器：學(xué)701120011.戶構(gòu)建數(shù)據(jù)血緣與數(shù)據(jù)關(guān)聯(lián)度分析能力，支撐對所歸集的數(shù)據(jù)進行全面、多維、深平臺提供數(shù)據(jù)標(biāo)簽管理功能，可對已導(dǎo)入的數(shù)據(jù)資產(chǎn)標(biāo)簽進行增加、修改、刪除以及分類標(biāo)簽的導(dǎo)入導(dǎo)出功能，滿足數(shù)據(jù)資產(chǎn)業(yè)務(wù)屬性隨業(yè)務(wù)發(fā)生變化時數(shù)據(jù)資產(chǎn)標(biāo)簽?zāi)軌蜢`活變化。技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案第63頁共205頁-0×實所工具后w*xXm*盤常等更火實體模前聲克告金統(tǒng)胞人血共以基神管理測來萄saTmCO6夜型可電兩第財RNd權(quán)單和學(xué)*X77W之日tNRT人88%CE程辦E孔氧工r&狀本：518量0器：2701中平臺提供數(shù)據(jù)標(biāo)簽?zāi)０骞芾砉δ?，可通過下載功能將標(biāo)簽?zāi)０鍖?dǎo)出為Excel文件格式，對數(shù)據(jù)標(biāo)簽進行編輯整理后批量導(dǎo)入到平臺中，并提供對標(biāo)簽?zāi)０娴膶嵁惞ぞ邔嵁惞ぞ邥r校率重火garmC0S度校是分8:279年中及導(dǎo)入導(dǎo)出功能*