市級(jí)數(shù)字政府大數(shù)據(jù)管理中心大數(shù)據(jù)資源平臺(tái)建設(shè)和實(shí)施方案相關(guān)兩份資料

市級(jí)數(shù)字政府大數(shù)據(jù)管理中心大數(shù)據(jù)資源平臺(tái)建設(shè)和實(shí)施方案整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行2023年背景與需求分析總體架構(gòu)設(shè)計(jì)平臺(tái)功能設(shè)計(jì)平臺(tái)數(shù)據(jù)綜合應(yīng)用2134項(xiàng)目實(shí)施方案5整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行大數(shù)據(jù)管理中心發(fā)展背景為建設(shè)卓越全球城市，實(shí)現(xiàn)政府治理能力現(xiàn)代化目標(biāo)，由市大數(shù)據(jù)中心牽頭，在政務(wù)公共數(shù)據(jù)管理和互聯(lián)網(wǎng)政務(wù)服務(wù)方面采取了一系列的實(shí)踐工作。根據(jù)《市公共數(shù)據(jù)和一網(wǎng)通辦管理辦法》要求，前期已在“一網(wǎng)通辦”的政務(wù)服務(wù)領(lǐng)域進(jìn)行了信息化項(xiàng)目建設(shè)，在提升了政府治理能力和公共服務(wù)水平的同時(shí)，也產(chǎn)生了匯聚全市政務(wù)公共數(shù)據(jù)，探索政務(wù)服務(wù)領(lǐng)域應(yīng)用的需求。市大數(shù)據(jù)中心作為全市政務(wù)數(shù)據(jù)的主要管理單位，承擔(dān)著政策本地化落實(shí)、政務(wù)數(shù)據(jù)交換、大數(shù)據(jù)應(yīng)用研究、信息化建設(shè)運(yùn)維以及其他數(shù)據(jù)相關(guān)的工作職責(zé)，從中心成立之初便開始研究政務(wù)數(shù)據(jù)管理和應(yīng)用的方法，去年年底探索了以政務(wù)數(shù)據(jù)交換共享為核心的實(shí)踐，但隨著對(duì)中心職能的理解加深，我們認(rèn)為中心不僅作為全市政務(wù)數(shù)據(jù)的“樞紐中轉(zhuǎn)中心”，更應(yīng)該成為各政務(wù)服務(wù)條線領(lǐng)域的“歸集管理中心”，為本市的經(jīng)濟(jì)活動(dòng)、公共事業(yè)、社會(huì)關(guān)系、人員密度等各城市管理領(lǐng)域提供數(shù)據(jù)層面的最大支撐。規(guī)劃公共數(shù)據(jù)發(fā)展路線支撐城市服務(wù)能效提升精準(zhǔn)城市服務(wù)整體共享協(xié)同數(shù)據(jù)科學(xué)管理公共數(shù)據(jù)共享社會(huì)數(shù)據(jù)協(xié)同條線業(yè)務(wù)協(xié)同數(shù)據(jù)服務(wù)開放社會(huì)治理宏觀經(jīng)濟(jì)市場監(jiān)管生態(tài)保護(hù)城市高效運(yùn)行應(yīng)急事件響應(yīng)事件風(fēng)險(xiǎn)預(yù)防數(shù)據(jù)完整歸集數(shù)據(jù)實(shí)時(shí)同步資源目錄健全數(shù)據(jù)全面治理大數(shù)據(jù)共享交換平臺(tái)建設(shè)與使用情況大數(shù)據(jù)中心自去年開始，根據(jù)整體規(guī)劃啟動(dòng)了市數(shù)據(jù)共享交換平臺(tái)項(xiàng)目的建設(shè)，并于2019年1月開始正式進(jìn)行全市范圍的試運(yùn)行。平臺(tái)建設(shè)內(nèi)容包括：1、總集成及部分應(yīng)用開發(fā)：平臺(tái)集成門戶及整體平臺(tái)的基礎(chǔ)功能菜單級(jí)整合；2、數(shù)據(jù)治理子系統(tǒng)：包含數(shù)據(jù)交換模塊和服務(wù)管理模塊，實(shí)現(xiàn)數(shù)據(jù)資源目錄及三清單的管理，并提供市級(jí)數(shù)據(jù)庫的對(duì)外發(fā)布利用；3、數(shù)據(jù)共享交換子系統(tǒng)：實(shí)現(xiàn)數(shù)據(jù)交換引擎、統(tǒng)一調(diào)度引擎、任務(wù)管理、數(shù)據(jù)橋接等功能，以及數(shù)據(jù)湖數(shù)據(jù)的存儲(chǔ)管理、共享與交換；4、數(shù)據(jù)質(zhì)量監(jiān)管及支撐子系統(tǒng)：實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理功能，包括數(shù)據(jù)質(zhì)量規(guī)則制定、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)質(zhì)量問題閉環(huán)管理；5、大數(shù)據(jù)支撐管理子系統(tǒng)：包含市級(jí)數(shù)據(jù)湖和市級(jí)數(shù)據(jù)庫，匯聚“四大基礎(chǔ)庫”、“市級(jí)統(tǒng)建系統(tǒng)”、“各市級(jí)委辦系統(tǒng)”、“各行政區(qū)系統(tǒng)”的經(jīng)過初始治理的原始數(shù)據(jù)；并存放經(jīng)過一系列清洗、轉(zhuǎn)換、加載、治理步驟后的高質(zhì)量的政務(wù)數(shù)據(jù)資源，為城市管理、公共服務(wù)等提供數(shù)據(jù)來源；平臺(tái)接入52個(gè)委辦的公共數(shù)據(jù)，每月16億條以上，數(shù)據(jù)總?cè)萘吭?76.0TB，人口庫預(yù)計(jì)46.75TB，法人庫預(yù)計(jì)1.78TB，空間地理庫預(yù)計(jì)7.99TB，電子證照庫預(yù)計(jì)91.05TB。前期平臺(tái)建設(shè)問題分析在數(shù)據(jù)共享交換平臺(tái)項(xiàng)目試運(yùn)行期間，隨著數(shù)據(jù)存儲(chǔ)量的增長、數(shù)據(jù)交換共享需求量的增加，逐漸發(fā)現(xiàn)平臺(tái)存在一些問題。數(shù)據(jù)湖&數(shù)據(jù)庫缺乏統(tǒng)一規(guī)劃，數(shù)據(jù)標(biāo)準(zhǔn)需繼續(xù)制定完善現(xiàn)有平臺(tái)應(yīng)用支撐能力較為薄弱，容易形成數(shù)據(jù)沼澤源端數(shù)據(jù)標(biāo)準(zhǔn)各異，加工存在技術(shù)壁壘數(shù)據(jù)共享和數(shù)據(jù)開放能力不全面，開放門戶使用價(jià)值不高未規(guī)劃主題/專題領(lǐng)域的數(shù)據(jù)綜合應(yīng)用，應(yīng)用創(chuàng)新動(dòng)能不足，需進(jìn)行補(bǔ)充完善城市管理數(shù)據(jù)缺乏，精準(zhǔn)服務(wù)無法開展數(shù)據(jù)安全管控僅考慮部分安全應(yīng)用，數(shù)據(jù)全生命周期的安全管控存在短板，需整體提升安全防護(hù)能力整理制作郎豐利1519全生命周期安全管控能力有待提升前期平臺(tái)未規(guī)劃數(shù)據(jù)實(shí)時(shí)采集技術(shù)，無法支撐高效業(yè)務(wù)協(xié)同數(shù)據(jù)治理層面未考慮國家資源平臺(tái)建設(shè)要求，需重新設(shè)計(jì)系統(tǒng)功能實(shí)現(xiàn)數(shù)據(jù)共享時(shí)效性要求無法滿足業(yè)務(wù)需要本期平臺(tái)建設(shè)目標(biāo)分析源端數(shù)據(jù)標(biāo)準(zhǔn)各異，加工存在技術(shù)壁壘城市管理數(shù)據(jù)缺乏，精準(zhǔn)服務(wù)無法開展全生命周期安全管控能力有待提升缺乏實(shí)時(shí)歸集技術(shù)，數(shù)據(jù)共享協(xié)同低效聚：推進(jìn)人口、法人、空間地理庫數(shù)據(jù)源整合，促進(jìn)電子證照庫對(duì)接利用。逐步推進(jìn)社會(huì)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等采集匯聚管：構(gòu)建一站式數(shù)據(jù)資產(chǎn)可視化管理，通過對(duì)數(shù)據(jù)資產(chǎn)的血緣譜系和信息資源目錄的統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)的全過程管理，以及各環(huán)節(jié)安全監(jiān)管通：實(shí)現(xiàn)基于應(yīng)用場景的數(shù)據(jù)資源授權(quán)管理機(jī)制，推動(dòng)公共數(shù)據(jù)按需充分共享。實(shí)現(xiàn)數(shù)據(jù)分級(jí)分類開放管理，擴(kuò)展共享交換平臺(tái)功能用：開展主題數(shù)據(jù)庫建設(shè)，推動(dòng)數(shù)據(jù)資源整合及數(shù)據(jù)分析應(yīng)用。開展數(shù)據(jù)應(yīng)用模型及算法研究，探索數(shù)據(jù)服務(wù)模式創(chuàng)新安：打造整體安全管控體系，保證平臺(tái)上政務(wù)數(shù)據(jù)在數(shù)據(jù)匯聚、數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)開放等全生命周期中的安全防護(hù)能力建設(shè)目標(biāo)本期平臺(tái)建設(shè)內(nèi)容分析結(jié)合項(xiàng)目的建設(shè)分項(xiàng)目標(biāo)分析，認(rèn)為本次大數(shù)據(jù)資源平臺(tái)的建設(shè)內(nèi)容應(yīng)包括：數(shù)據(jù)管理子系統(tǒng)數(shù)據(jù)治理子系統(tǒng)平臺(tái)集成門戶聚管通用數(shù)據(jù)開放子系統(tǒng)市級(jí)數(shù)據(jù)庫大數(shù)據(jù)綜合應(yīng)用安數(shù)據(jù)安全管理子系統(tǒng)本期平臺(tái)建設(shè)內(nèi)容分析數(shù)據(jù)開放子系統(tǒng)（含開放門戶）大數(shù)據(jù)綜合應(yīng)用數(shù)據(jù)安全管理子系統(tǒng)通過宏觀經(jīng)濟(jì)、市場運(yùn)行、民生幸福、城市立方體等專題應(yīng)用的建設(shè)，構(gòu)建大數(shù)據(jù)綜合應(yīng)用示范輔助領(lǐng)導(dǎo)決策，構(gòu)建應(yīng)用管理中心支撐數(shù)據(jù)應(yīng)用，以為各部門提供優(yōu)質(zhì)的數(shù)據(jù)服務(wù)。主要實(shí)現(xiàn)數(shù)據(jù)應(yīng)用方管理、開放清單管理（含開放清單維護(hù)、開放目錄關(guān)聯(lián)、開放數(shù)據(jù)集維護(hù)）、數(shù)據(jù)開放管理等功能。主要實(shí)現(xiàn)首頁、數(shù)據(jù)目錄、數(shù)據(jù)應(yīng)用、數(shù)據(jù)圖譜、地圖數(shù)據(jù)、互動(dòng)交流、數(shù)據(jù)開發(fā)者、輔助事項(xiàng)、個(gè)人管理等各項(xiàng)門戶的建設(shè)。主要實(shí)現(xiàn)安全基礎(chǔ)功能管理、數(shù)據(jù)安全審計(jì)、風(fēng)險(xiǎn)識(shí)別管理、數(shù)據(jù)安全管理、敏感數(shù)據(jù)管理、安全監(jiān)管中心、數(shù)據(jù)安全采集等功能，以及對(duì)大數(shù)據(jù)資源平臺(tái)各功能模塊的安全嵌入。主要實(shí)現(xiàn)公共基礎(chǔ)庫建設(shè)（含人口庫、法人庫、空間地理庫）、支持公共主題庫建設(shè)（含經(jīng)濟(jì)活動(dòng)庫、公共事業(yè)庫、社會(huì)關(guān)系庫、人員密度庫）、支持公共專題庫建設(shè)（含經(jīng)濟(jì)運(yùn)行監(jiān)測、宏觀經(jīng)濟(jì)預(yù)測等19個(gè)專題庫）。市級(jí)數(shù)據(jù)庫數(shù)據(jù)治理子系統(tǒng)平臺(tái)集成門戶數(shù)據(jù)管理子系統(tǒng)主要實(shí)現(xiàn)數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)關(guān)系管理、數(shù)據(jù)分級(jí)分類管理、數(shù)據(jù)異常管理、數(shù)據(jù)分析管理、數(shù)據(jù)流程管理、流數(shù)據(jù)處理、知識(shí)圖譜、數(shù)據(jù)分層管理、數(shù)據(jù)運(yùn)維管理、數(shù)據(jù)資產(chǎn)管理功能。通過國家資源管理子系統(tǒng)實(shí)現(xiàn)資源申請(qǐng)、撤銷、審核、查詢、消息、配置、應(yīng)用及事項(xiàng)、使用單位對(duì)接、目錄對(duì)接、業(yè)務(wù)流程對(duì)接、通知、監(jiān)控模塊對(duì)接等功能。主要實(shí)現(xiàn)多租戶功能、運(yùn)營中心、開發(fā)中心、消息推送、數(shù)據(jù)推送、個(gè)人信息管理、系統(tǒng)管理功能。背景與需求分析總體架構(gòu)設(shè)計(jì)平臺(tái)功能設(shè)計(jì)平臺(tái)數(shù)據(jù)綜合應(yīng)用2134項(xiàng)目實(shí)施方案5總體架構(gòu)·大數(shù)據(jù)資源平臺(tái)功能架構(gòu)規(guī)劃市領(lǐng)導(dǎo)各委辦局分析人員區(qū)政府外部機(jī)構(gòu)公民開發(fā)者運(yùn)維管理者數(shù)據(jù)中心層對(duì)外開放區(qū)對(duì)外數(shù)據(jù)開放脫敏區(qū)數(shù)據(jù)沙箱數(shù)據(jù)沙箱數(shù)據(jù)沙箱私有數(shù)據(jù)處理分布式數(shù)據(jù)存儲(chǔ)消息隊(duì)列RDB存儲(chǔ)數(shù)據(jù)安全身份訪問控制流量數(shù)據(jù)采集日志采集及存儲(chǔ)告警監(jiān)控管理及處理安全審計(jì)數(shù)據(jù)脫敏服務(wù)安全風(fēng)險(xiǎn)識(shí)別統(tǒng)一運(yùn)維數(shù)據(jù)運(yùn)維平臺(tái)運(yùn)維門戶數(shù)據(jù)開放門戶平臺(tái)集成門戶存儲(chǔ)計(jì)算區(qū)批數(shù)據(jù)計(jì)算流數(shù)據(jù)計(jì)算數(shù)據(jù)采集政務(wù)數(shù)據(jù)（國家、市級(jí)、區(qū)）公共事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)（金融、電信）物聯(lián)網(wǎng)數(shù)據(jù)（氣象、攝像頭…）離線采集實(shí)時(shí)采集流媒體采集數(shù)據(jù)導(dǎo)入上報(bào)準(zhǔn)實(shí)時(shí)采集圖數(shù)據(jù)庫應(yīng)用層宏觀經(jīng)濟(jì)專題市場運(yùn)行專題城市綜合體專題民生幸福專題大數(shù)據(jù)綜合應(yīng)用采集數(shù)據(jù)源分布式文件存儲(chǔ)服務(wù)開放層數(shù)據(jù)共享服務(wù)服務(wù)列表下載數(shù)據(jù)分析和可視化服務(wù)數(shù)據(jù)可視化工具數(shù)據(jù)探索工具服務(wù)授權(quán)接口庫表數(shù)據(jù)開放管理服務(wù)數(shù)據(jù)地圖數(shù)據(jù)接口數(shù)據(jù)圖譜規(guī)則定義事件采集事件分發(fā)事件服務(wù)中心事件處理非結(jié)構(gòu)化數(shù)據(jù)區(qū)圖片數(shù)據(jù)離線數(shù)據(jù)區(qū)數(shù)據(jù)湖標(biāo)準(zhǔn)層（主題模型）共享層（標(biāo)簽、指標(biāo)）實(shí)時(shí)數(shù)據(jù)區(qū)應(yīng)用租戶應(yīng)用租戶應(yīng)用租戶實(shí)時(shí)模型實(shí)時(shí)指標(biāo)實(shí)時(shí)事件結(jié)構(gòu)化數(shù)據(jù)區(qū)文本數(shù)據(jù)數(shù)據(jù)處理層數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)資產(chǎn)資產(chǎn)總覽資產(chǎn)目錄資產(chǎn)地圖資產(chǎn)報(bào)告共享及運(yùn)營門戶建設(shè)國家資源平臺(tái)級(jí)聯(lián)數(shù)據(jù)架構(gòu)管理數(shù)據(jù)管理管理數(shù)據(jù)異常管理數(shù)據(jù)流程管理數(shù)據(jù)分層管理數(shù)據(jù)運(yùn)維管理待辦任務(wù)消息中心管理控制臺(tái)任務(wù)監(jiān)控通知公告資源申請(qǐng)模塊資源審核模塊消息管理模塊配置管理模塊通知管理模塊監(jiān)控對(duì)接模塊數(shù)字水印/簽名管理密鑰管理數(shù)據(jù)管理子系統(tǒng)數(shù)據(jù)治理子系統(tǒng)大數(shù)據(jù)綜合應(yīng)用數(shù)據(jù)開放門戶平臺(tái)集成門戶數(shù)據(jù)開放子系統(tǒng)數(shù)據(jù)開放子系統(tǒng)市級(jí)數(shù)據(jù)庫數(shù)據(jù)安全管理子系統(tǒng)124674435數(shù)據(jù)管理子系統(tǒng)1總體架構(gòu)·大數(shù)據(jù)資源平臺(tái)功能架構(gòu)設(shè)計(jì)市領(lǐng)導(dǎo)各委辦局分析人員區(qū)政府外部機(jī)構(gòu)公民開發(fā)者運(yùn)維管理者數(shù)據(jù)中心層對(duì)外開放區(qū)對(duì)外數(shù)據(jù)開放脫敏區(qū)數(shù)據(jù)沙箱數(shù)據(jù)沙箱數(shù)據(jù)沙箱私有數(shù)據(jù)處理分布式數(shù)據(jù)存儲(chǔ)消息隊(duì)列RDB存儲(chǔ)采集數(shù)據(jù)安全身份訪問控制流量數(shù)據(jù)采集數(shù)據(jù)脫敏數(shù)據(jù)加密/密鑰管理數(shù)字水印/簽名管理日志采集及存儲(chǔ)安全審計(jì)（安全風(fēng)險(xiǎn)接入識(shí)別）統(tǒng)一運(yùn)維數(shù)據(jù)運(yùn)維平臺(tái)運(yùn)維門戶數(shù)據(jù)開放門戶平臺(tái)集成門戶存儲(chǔ)計(jì)算區(qū)批數(shù)據(jù)計(jì)算流數(shù)據(jù)計(jì)算數(shù)據(jù)采集政務(wù)數(shù)據(jù)（國家、市級(jí)、區(qū)）公共事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)（金融、電信）物聯(lián)網(wǎng)數(shù)據(jù)（氣象、攝像頭…）離線采集實(shí)時(shí)采集流媒體采集數(shù)據(jù)導(dǎo)入上報(bào)準(zhǔn)實(shí)時(shí)采集圖數(shù)據(jù)庫應(yīng)用層宏觀經(jīng)濟(jì)專題市場運(yùn)行專題城市綜合體專題民生幸福專題大數(shù)據(jù)綜合應(yīng)用數(shù)據(jù)源分布式文件存儲(chǔ)服務(wù)開放層數(shù)據(jù)共享服務(wù)服務(wù)列表數(shù)據(jù)分析及可視化數(shù)據(jù)可視化工具數(shù)據(jù)探索工具服務(wù)授權(quán)統(tǒng)計(jì)分析服務(wù)監(jiān)控?cái)?shù)據(jù)開放管理數(shù)據(jù)地圖數(shù)據(jù)接口數(shù)據(jù)圖譜規(guī)則定義事件采集事件分發(fā)事件服務(wù)中心事件處理非結(jié)構(gòu)化數(shù)據(jù)區(qū)圖片數(shù)據(jù)離線數(shù)據(jù)區(qū)數(shù)據(jù)湖標(biāo)準(zhǔn)層（主題模型）共享層（標(biāo)簽、指標(biāo)）實(shí)時(shí)數(shù)據(jù)區(qū)應(yīng)用租戶應(yīng)用租戶應(yīng)用租戶實(shí)時(shí)模型實(shí)時(shí)指標(biāo)實(shí)時(shí)事件結(jié)構(gòu)化數(shù)據(jù)區(qū)文本數(shù)據(jù)數(shù)據(jù)處理層數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)資產(chǎn)資產(chǎn)總覽資產(chǎn)目錄資產(chǎn)地圖資產(chǎn)報(bào)告共享及運(yùn)營門戶建設(shè)國家資源平臺(tái)級(jí)聯(lián)數(shù)據(jù)架構(gòu)管理數(shù)據(jù)關(guān)系管理數(shù)據(jù)異常管理數(shù)據(jù)流程管理數(shù)據(jù)分層管理數(shù)據(jù)運(yùn)維管理待辦任務(wù)消息中心管理控制臺(tái)任務(wù)監(jiān)控通知公告資源申請(qǐng)模塊資源審核模塊消息管理模塊配置管理模塊通知管理模塊監(jiān)控對(duì)接模塊告警監(jiān)控管理及處理總體架構(gòu)——大數(shù)據(jù)資源平臺(tái)部署架構(gòu)本期項(xiàng)目設(shè)備部署如下圖所示，將在移動(dòng)云（怒江機(jī)房）新增申請(qǐng)150臺(tái)虛擬機(jī)設(shè)備、80臺(tái)實(shí)體服務(wù)器用于本期軟件部署?？傮w架構(gòu)·大數(shù)據(jù)資源平臺(tái)數(shù)據(jù)架構(gòu)大數(shù)據(jù)資源區(qū)：包括市級(jí)數(shù)據(jù)湖和市級(jí)數(shù)據(jù)庫兩大數(shù)據(jù)資源數(shù)據(jù)湖：主要存放市級(jí)政府部門業(yè)務(wù)數(shù)據(jù)庫、未經(jīng)加工的原始業(yè)務(wù)數(shù)據(jù)庫，支持存儲(chǔ)結(jié)構(gòu)化、非結(jié)構(gòu)化等多種類型的數(shù)據(jù)。市級(jí)數(shù)據(jù)庫：主要用于存放經(jīng)過一系列清洗、轉(zhuǎn)換、加載、治理步驟后的高質(zhì)量的政務(wù)數(shù)據(jù)資源。對(duì)內(nèi)共享交換區(qū)：主要用于存放全市各部門、各區(qū)政務(wù)數(shù)據(jù)資源匯集和共享交換過程中的數(shù)據(jù)，包括直接共享交換的數(shù)據(jù)和來自市級(jí)數(shù)據(jù)庫加工后的數(shù)據(jù)。對(duì)外開放區(qū)：主要用于存放對(duì)外開放的數(shù)據(jù)，通過單獨(dú)的對(duì)外開發(fā)區(qū)與大數(shù)據(jù)資源區(qū)隔離，可以提供更高級(jí)別的數(shù)據(jù)安全保護(hù)。大數(shù)據(jù)資源平臺(tái)支撐數(shù)據(jù)共享交換（生產(chǎn)職能）、數(shù)據(jù)分析、數(shù)據(jù)開放三大核心數(shù)據(jù)服務(wù)，包括大數(shù)據(jù)資源區(qū)、對(duì)內(nèi)共享交換區(qū)和對(duì)外開放區(qū)三大數(shù)據(jù)區(qū)。共享交換數(shù)據(jù)對(duì)內(nèi)共享交換區(qū)大數(shù)據(jù)資源區(qū)離線數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)結(jié)構(gòu)化數(shù)據(jù)市級(jí)數(shù)據(jù)湖市級(jí)數(shù)據(jù)庫非結(jié)構(gòu)化數(shù)據(jù)安全沙箱數(shù)據(jù)對(duì)外開放區(qū)對(duì)外開放脫敏數(shù)據(jù)中心租戶融合租戶基礎(chǔ)庫主題庫總體架構(gòu)·大數(shù)據(jù)資源平臺(tái)權(quán)限架構(gòu)單位用戶使用權(quán)權(quán)限管理員管理權(quán)管用權(quán)限審計(jì)員審計(jì)權(quán)審管用審管用審授權(quán)角色中心用戶角色角色授權(quán)委辦局下級(jí)單位三權(quán)分立：管用審角色分離分級(jí)授權(quán)：中心租戶統(tǒng)一為牽頭單位進(jìn)行管理權(quán)限的分配，單位權(quán)限設(shè)計(jì)由用戶支撐人機(jī)賬戶分離：人員賬號(hào)及機(jī)器賬號(hào)實(shí)現(xiàn)互斥分配分配角色權(quán)限綁定功能模塊人員賬號(hào)機(jī)器賬號(hào)管理員審計(jì)員用戶管用審背景與需求分析總體架構(gòu)設(shè)計(jì)平臺(tái)功能設(shè)計(jì)平臺(tái)數(shù)據(jù)綜合應(yīng)用2134項(xiàng)目實(shí)施方案5整體對(duì)應(yīng)關(guān)系平臺(tái)集成門戶共享及運(yùn)營門戶3大數(shù)據(jù)綜合應(yīng)用大數(shù)據(jù)綜合應(yīng)用7數(shù)據(jù)安全管理子系統(tǒng)身份訪問控制流量數(shù)據(jù)采集數(shù)據(jù)脫敏數(shù)據(jù)加密/密鑰管理數(shù)字水印/簽名管理日志采集及存儲(chǔ)安全審計(jì)（安全風(fēng)險(xiǎn)接入識(shí)別）告警監(jiān)控管理及處理5數(shù)據(jù)開放子系統(tǒng)數(shù)據(jù)開放管理數(shù)據(jù)開放門戶4數(shù)據(jù)沙箱市級(jí)數(shù)據(jù)庫主題數(shù)據(jù)庫運(yùn)營支撐6基礎(chǔ)數(shù)據(jù)庫數(shù)據(jù)管理子系統(tǒng)流數(shù)據(jù)接入數(shù)據(jù)支撐平臺(tái)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)分析及可視化批數(shù)據(jù)接入數(shù)據(jù)共享服務(wù)1數(shù)據(jù)治理子系統(tǒng)國家資源平臺(tái)級(jí)聯(lián)21、數(shù)據(jù)管理子系統(tǒng)·批數(shù)據(jù)接入批數(shù)據(jù)處理通過數(shù)據(jù)采集平臺(tái)任務(wù)調(diào)度的方式，根據(jù)時(shí)間戳定時(shí)探查委辦局前置庫數(shù)據(jù)以及結(jié)構(gòu)化文件的變動(dòng)，通過數(shù)據(jù)采集平臺(tái)的解析，抽取增量數(shù)據(jù)到數(shù)據(jù)湖。郎豐利整理制作。1、數(shù)據(jù)管理子系統(tǒng)·流數(shù)據(jù)接入流數(shù)據(jù)處理通過數(shù)據(jù)湖內(nèi)獨(dú)立部署kafka消息系統(tǒng)，采用委辦局推送或自動(dòng)拉取的方式，將流數(shù)據(jù)接入大數(shù)據(jù)支撐平臺(tái)。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)支撐平臺(tái)1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)支撐平臺(tái)批數(shù)據(jù)處理：

各類批數(shù)據(jù)通過數(shù)據(jù)采集功能進(jìn)入數(shù)據(jù)支撐平臺(tái)，經(jīng)過存儲(chǔ)、清洗、匯總和關(guān)聯(lián)匯總等，產(chǎn)生應(yīng)用數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)共享或開放。流數(shù)據(jù)處理：流數(shù)據(jù)通過數(shù)據(jù)采集功能進(jìn)入數(shù)據(jù)支撐平臺(tái)后，根據(jù)不同需求，可實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)計(jì)算后的開放，也可實(shí)現(xiàn)通過實(shí)時(shí)數(shù)據(jù)分析后匯總產(chǎn)生應(yīng)用數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)共享或開放。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)資產(chǎn)管理邏輯資源層（計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源）政務(wù)云管理存儲(chǔ)管理網(wǎng)絡(luò)管理資源調(diào)度系統(tǒng)管理應(yīng)用層資源管理模型管理元數(shù)據(jù)存儲(chǔ)庫業(yè)務(wù)庫主題數(shù)據(jù)庫元數(shù)據(jù)數(shù)據(jù)資源層基礎(chǔ)設(shè)施層用戶管理目錄管理標(biāo)準(zhǔn)管理專題數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)庫模型維護(hù)關(guān)系關(guān)聯(lián)代碼關(guān)聯(lián)對(duì)標(biāo)分析目錄維護(hù)資源編目目錄分類目錄標(biāo)簽標(biāo)準(zhǔn)維護(hù)標(biāo)準(zhǔn)導(dǎo)入標(biāo)準(zhǔn)瀏覽落地檢核數(shù)據(jù)源管理資源注冊(cè)前置節(jié)點(diǎn)庫表資源資源發(fā)布資源審核文件資源接口資源…版本管理模型物化目錄瀏覽目錄級(jí)聯(lián)代碼映射版本管理指標(biāo)…部門數(shù)據(jù)庫部門數(shù)據(jù)庫人口庫法人庫…互聯(lián)網(wǎng)+監(jiān)管健康衛(wèi)生…城市運(yùn)行經(jīng)濟(jì)運(yùn)行…1、根據(jù)提供方供數(shù)責(zé)任，對(duì)接入數(shù)據(jù)資源進(jìn)行編目，維護(hù)其業(yè)務(wù)屬性和管理屬性，使其初步具備共享?xiàng)l件。2、參照數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)數(shù)據(jù)模型結(jié)構(gòu)、業(yè)務(wù)代碼，通過建立變更管理和版本控制，實(shí)現(xiàn)數(shù)據(jù)模型管控。3、通過基礎(chǔ)元數(shù)據(jù)定義數(shù)據(jù)資產(chǎn)規(guī)格（如：庫表、文件、文件夾、接口等），并借助統(tǒng)一平臺(tái)實(shí)現(xiàn)資源接入。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)資產(chǎn)管理系統(tǒng)集成功能：與共享及運(yùn)營門戶對(duì)接：實(shí)現(xiàn)統(tǒng)一授權(quán)、統(tǒng)一登錄以及任務(wù)工單同步與數(shù)據(jù)開放門戶對(duì)接：實(shí)現(xiàn)開放清單的編制發(fā)布與大數(shù)據(jù)支撐平臺(tái)對(duì)接：實(shí)現(xiàn)流數(shù)據(jù)接入以及支撐數(shù)據(jù)資產(chǎn)的管理與數(shù)據(jù)開發(fā)調(diào)度管理對(duì)接：實(shí)現(xiàn)資源目錄的雙向同步維護(hù)更新與批數(shù)據(jù)接入對(duì)接：實(shí)現(xiàn)數(shù)據(jù)的歸集與共享下發(fā)共享門戶、運(yùn)營門戶數(shù)據(jù)資產(chǎn)管理模型管理目錄管理標(biāo)準(zhǔn)管理資源管理數(shù)據(jù)開放門戶數(shù)據(jù)開發(fā)調(diào)度平臺(tái)數(shù)據(jù)支撐平臺(tái)批數(shù)據(jù)接入…1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)開發(fā)調(diào)度管理能夠支撐多種混搭數(shù)據(jù)庫環(huán)境的開發(fā)調(diào)度功能，實(shí)現(xiàn)數(shù)據(jù)從“采集→加工→對(duì)外應(yīng)用服務(wù)”的全生命周期管理?；谠獢?shù)據(jù)以及日志數(shù)據(jù)提供端到端的全過程數(shù)據(jù)開發(fā)質(zhì)量管控能力。支撐數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)關(guān)系管理、數(shù)據(jù)異常管理、數(shù)據(jù)分析管理、數(shù)據(jù)流程管理、流數(shù)據(jù)處理、知識(shí)圖譜、數(shù)據(jù)分層管理、數(shù)據(jù)運(yùn)維管理、數(shù)據(jù)資產(chǎn)管理功能。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)開發(fā)調(diào)度管理1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)開發(fā)調(diào)度管理

邊界集成說明：與數(shù)據(jù)采集平臺(tái)集成：數(shù)據(jù)采集平臺(tái)的采集任務(wù)完成后，通知開發(fā)調(diào)度管理平臺(tái)的庫內(nèi)處理程序進(jìn)行調(diào)度任務(wù)的銜接與數(shù)據(jù)支撐平臺(tái)集成：數(shù)據(jù)支撐平臺(tái)提供JDBC接口，供開發(fā)調(diào)度管理平臺(tái)調(diào)用，實(shí)現(xiàn)數(shù)據(jù)庫操作的調(diào)度開發(fā)調(diào)度管理平臺(tái)對(duì)數(shù)據(jù)支撐平臺(tái)發(fā)布流數(shù)據(jù)處理任務(wù)與數(shù)據(jù)資產(chǎn)管理平臺(tái)集成：數(shù)據(jù)資產(chǎn)管理平臺(tái)提供元數(shù)據(jù)同步接口，把模型元數(shù)據(jù)同步給開發(fā)調(diào)度管理平臺(tái)做庫內(nèi)處理開發(fā)數(shù)據(jù)采集平臺(tái)調(diào)度對(duì)接開發(fā)調(diào)度管理平臺(tái)元數(shù)據(jù)同步數(shù)據(jù)資產(chǎn)管理平臺(tái)數(shù)據(jù)支撐平臺(tái)JDBC接口流數(shù)據(jù)處理1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)分析及可視化用戶對(duì)擁有權(quán)限的數(shù)據(jù)資源進(jìn)行數(shù)據(jù)探索及數(shù)據(jù)可視化分析。數(shù)據(jù)可視化工具：專題數(shù)據(jù)，主題數(shù)據(jù)加工完成后，用戶可利用可視化工具開發(fā)可視化報(bào)表，經(jīng)過測試發(fā)布上線后，對(duì)外提供可視化服務(wù)；數(shù)據(jù)探索工具：用戶通過數(shù)據(jù)探索工具對(duì)擁有權(quán)限的數(shù)據(jù)進(jìn)行在線自助數(shù)據(jù)查詢，工具記錄訪問日志。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)共享服務(wù)數(shù)據(jù)共享交換服務(wù)基于大數(shù)據(jù)區(qū)共享層的數(shù)據(jù)目錄，對(duì)各委辦局及其應(yīng)用系統(tǒng)間進(jìn)行數(shù)據(jù)共享、交換。數(shù)據(jù)運(yùn)營管理服務(wù)檔案|授權(quán)管理|運(yùn)行監(jiān)控|服務(wù)計(jì)量|平臺(tái)管理數(shù)據(jù)源數(shù)據(jù)安全安全策略|數(shù)據(jù)出口安全|請(qǐng)求控制|黑白名單管理|安全審計(jì)數(shù)據(jù)目錄（開放子集）資源定義資源展現(xiàn)…資源管理外部數(shù)據(jù)服務(wù)鑒權(quán)服務(wù)調(diào)用數(shù)據(jù)傳輸協(xié)議轉(zhuǎn)換數(shù)據(jù)目錄（全量）httphttpsftp推送用戶外部用戶應(yīng)用外部應(yīng)用服務(wù)管理數(shù)據(jù)服務(wù)目錄共享服務(wù)開發(fā)共享服務(wù)日志服務(wù)生命周期運(yùn)行服務(wù)2、數(shù)據(jù)治理子系統(tǒng)·國家資源平臺(tái)級(jí)聯(lián)國家數(shù)據(jù)資源共享交換平臺(tái)體系由國家共享平臺(tái)、省級(jí)共享平臺(tái)、地市共享平臺(tái)等多級(jí)平臺(tái)組成。各級(jí)共享平臺(tái)橫向連通所轄區(qū)域政務(wù)部門的政務(wù)信息資源，縱向多級(jí)平臺(tái)對(duì)接，形成橫向聯(lián)動(dòng)、縱向貫通的數(shù)據(jù)共享交換體系。其中國家資源管理子系統(tǒng)是國家與上海市兩級(jí)數(shù)據(jù)共享交換平臺(tái)的重要組成部分，通過國家資源管理子系統(tǒng)的上線運(yùn)行，可以更加高效的實(shí)現(xiàn)國家與上海市的資源交換，更加快速滿足政務(wù)部門業(yè)務(wù)辦理的需要。2、數(shù)據(jù)治理子系統(tǒng)·國家資源平臺(tái)級(jí)聯(lián)國家資源平臺(tái)數(shù)據(jù)治理子系統(tǒng)（擴(kuò)展功能）資源申請(qǐng)模塊資源撤銷模塊資源審核模塊查詢模塊消息管理模塊配置管理模塊應(yīng)用及事項(xiàng)管理模塊使用單位對(duì)接模塊目標(biāo)對(duì)接模塊資源對(duì)接模塊業(yè)務(wù)流程對(duì)接模塊通知管理對(duì)接監(jiān)控模塊資源申請(qǐng)功能資源申請(qǐng)管理資源撤銷功能資源撤銷管理資源審核功能資源申請(qǐng)的審核管理查詢已上線資源已發(fā)布的資源管理功能申請(qǐng)審核消息代辦消息預(yù)警消息配置庫表文件資源申請(qǐng)審核服務(wù)接口申請(qǐng)審核服務(wù)事項(xiàng)管理政務(wù)事項(xiàng)管理單位信息注冊(cè)與市數(shù)據(jù)交換共享目錄接口密鑰更新授權(quán)密鑰獲取注冊(cè)撤銷變更發(fā)布通知下發(fā)管理市數(shù)據(jù)共享交換平臺(tái)對(duì)接管理訂閱變更撤銷監(jiān)控目錄及資源對(duì)接3、平臺(tái)集成門戶·共享及運(yùn)營門戶共享及運(yùn)營門戶門戶集成數(shù)據(jù)治理子系統(tǒng)、數(shù)據(jù)管理子系統(tǒng)、事件中心、數(shù)據(jù)開發(fā)子系統(tǒng)等業(yè)務(wù)系統(tǒng)。提供統(tǒng)一的待辦工單流轉(zhuǎn)和個(gè)人消息提醒功能，通過門戶入口實(shí)現(xiàn)對(duì)業(yè)務(wù)的協(xié)同管理。門戶提供統(tǒng)一的權(quán)限管理并適配各管理子系統(tǒng)。提供角色互斥配置，實(shí)現(xiàn)權(quán)限的管、用、審分離。各用戶單位可自主管理用戶和授權(quán)。門戶實(shí)現(xiàn)CA認(rèn)證、統(tǒng)一身份認(rèn)證和單點(diǎn)登錄。門戶集成的各個(gè)系統(tǒng)界面風(fēng)格上實(shí)現(xiàn)統(tǒng)一，包括列表樣式、頁面布局頁面顏色搭配、字體大小、按鈕風(fēng)格等。3、平臺(tái)集成門戶·共享及運(yùn)營門戶平臺(tái)集成門戶數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)治理管理數(shù)據(jù)共享管理事件中心管理可視化分析系統(tǒng)管理色彩字體控件布局統(tǒng)一登錄認(rèn)證統(tǒng)一權(quán)限配置統(tǒng)一鑒權(quán)中心統(tǒng)一授權(quán)管理待辦任務(wù)通知公告消息推送數(shù)據(jù)推送統(tǒng)一風(fēng)格統(tǒng)一功能統(tǒng)一認(rèn)證統(tǒng)一推送4、數(shù)據(jù)開放子系統(tǒng)·數(shù)據(jù)開放管理數(shù)據(jù)開放門戶與數(shù)據(jù)開放管理關(guān)系示意圖數(shù)據(jù)開放管理架構(gòu)4、數(shù)據(jù)開放子系統(tǒng)·數(shù)據(jù)開放門戶開放門戶功能架構(gòu)4、數(shù)據(jù)開放子系統(tǒng)·數(shù)據(jù)沙箱數(shù)據(jù)開放主體可以把無條件開放數(shù)據(jù)或有條件開放的數(shù)據(jù)經(jīng)脫敏脫密處理后存放于安全沙箱中；數(shù)據(jù)利用主體基于允許開放的數(shù)據(jù)，在沙箱安全隔離的計(jì)算環(huán)境中執(zhí)行計(jì)算任務(wù)，生成計(jì)算結(jié)果；用戶全生命周期使用日志可供監(jiān)管方審查。對(duì)于已經(jīng)通過數(shù)據(jù)開放主體審核的結(jié)果，數(shù)據(jù)利用主體可以按照約定的方式進(jìn)行使用。5、數(shù)據(jù)安全管理子系統(tǒng)·全生命周期安全管理設(shè)計(jì)安全服務(wù)體系平臺(tái)基礎(chǔ)設(shè)備信息源身份認(rèn)證信息數(shù)據(jù)授權(quán)信息安全服務(wù)信息數(shù)據(jù)流量信息大數(shù)據(jù)平臺(tái)數(shù)據(jù)流數(shù)據(jù)流安全運(yùn)營中心安全服務(wù)信息導(dǎo)入安全運(yùn)營中心服務(wù)流程平臺(tái)事前：身份訪問控制數(shù)據(jù)授權(quán)管理事中：流量數(shù)據(jù)采集數(shù)據(jù)脫敏數(shù)據(jù)加密/密鑰管理數(shù)字水印/簽名管理事后：日志采集及存儲(chǔ)安全審計(jì)（安全風(fēng)險(xiǎn)接入識(shí)別）告警監(jiān)控管理及處理整體：數(shù)據(jù)安全合規(guī)審查5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)據(jù)抽取流程安全設(shè)計(jì)平臺(tái)端，服務(wù)商執(zhí)行信息維護(hù)的權(quán)限，通過“鑒權(quán)中心”，“身份認(rèn)證管理”和“數(shù)據(jù)授權(quán)管理”進(jìn)行策略設(shè)置及下發(fā)，確保訪問控制安全性和有效性；在采集數(shù)據(jù)入庫存儲(chǔ)時(shí)，進(jìn)行數(shù)據(jù)加密處理，保障數(shù)據(jù)存儲(chǔ)安全；通過“數(shù)據(jù)流量采集”技術(shù)產(chǎn)品，采集主要數(shù)據(jù)節(jié)點(diǎn)的流量信息，解析流量中的有效信息，分析安全威脅，惡意活動(dòng)等行為，為安全運(yùn)營監(jiān)控中心提供數(shù)據(jù)來源在數(shù)據(jù)抽取的業(yè)務(wù)流程中5、數(shù)據(jù)安全管理子系統(tǒng)·共享交換流程安全設(shè)計(jì)平臺(tái)端，通過“鑒權(quán)中心”，“身份認(rèn)證管理”和“數(shù)據(jù)授權(quán)管理”進(jìn)行策略設(shè)置及下發(fā)，控制委辦局申請(qǐng)共享和交換數(shù)據(jù)的權(quán)限，確保訪問控制安全性和有效性；委辦局端，根據(jù)身份認(rèn)證管理和數(shù)據(jù)授權(quán)管理制定的策略，申請(qǐng)數(shù)據(jù)共享交換需求；在采集數(shù)據(jù)入庫存儲(chǔ)時(shí)，進(jìn)行數(shù)據(jù)加密處理，保障數(shù)據(jù)存儲(chǔ)安全；封裝數(shù)據(jù)，發(fā)布至共享交換平臺(tái)時(shí)，進(jìn)行數(shù)字簽名/水印和脫敏，確保數(shù)據(jù)共享安全在數(shù)據(jù)共享交換的業(yè)務(wù)流程中5、數(shù)據(jù)安全管理子系統(tǒng)·主題庫建設(shè)流程安全設(shè)計(jì)委辦局端，根據(jù)身份認(rèn)證管理和數(shù)據(jù)授權(quán)管理制定的策略，申請(qǐng)主題庫建設(shè)申請(qǐng)；平臺(tái)端，通過“鑒權(quán)中心”，“身份認(rèn)證管理”和“數(shù)據(jù)授權(quán)管理”進(jìn)行策略設(shè)置及下發(fā)，控制委辦局申請(qǐng)主題庫建設(shè)的權(quán)限，確保訪問控制安全性和有效性；在主題庫建設(shè)的業(yè)務(wù)流程中5、數(shù)據(jù)安全管理子系統(tǒng)·身份認(rèn)證控制（事前）身份管理服務(wù)統(tǒng)一認(rèn)證服務(wù)集中授權(quán)服務(wù)集中鑒權(quán)服務(wù)審計(jì)服務(wù)場景：注冊(cè)、登錄場景：安全追溯場景：業(yè)務(wù)使用身份認(rèn)證鑒權(quán)中心用戶管理認(rèn)證管理認(rèn)證方式認(rèn)證策略授權(quán)管理集中授權(quán)鑒權(quán)管理審計(jì)管理用戶審計(jì)認(rèn)證審計(jì)鑒權(quán)審計(jì)授權(quán)審計(jì)日志審計(jì)……分級(jí)管理金庫管理單點(diǎn)登錄信任傳遞身份管理組織機(jī)構(gòu)大數(shù)據(jù)中心管用審委辦局管用審區(qū)各單位管用審共享&運(yùn)營門戶數(shù)據(jù)治理/共享/開發(fā)/…安全管理子系統(tǒng)…大數(shù)據(jù)中心、委辦局、區(qū)等各單位使用大數(shù)據(jù)資源平臺(tái)相關(guān)子系統(tǒng)時(shí)，根據(jù)總體數(shù)據(jù)權(quán)限管理方針，實(shí)現(xiàn)管、用、審三類角色權(quán)限分離，同時(shí)在遵循管、用、審分離原則情況下，各單位管理員可自行定義角色，并授予本單位其他用戶。身份認(rèn)證鑒權(quán)中心，提供用戶管理、認(rèn)證管理、授權(quán)管理及審計(jì)管理功能，實(shí)現(xiàn)統(tǒng)一身份管理。5、數(shù)據(jù)安全管理子系統(tǒng)·流量數(shù)據(jù)采集（事中）大數(shù)據(jù)安全分析系統(tǒng)通過采集全網(wǎng)流量及日志數(shù)據(jù)，結(jié)合機(jī)器學(xué)習(xí)、數(shù)據(jù)建模、行為識(shí)別、關(guān)聯(lián)分析、人工智能等方法，對(duì)海量異構(gòu)的安全數(shù)據(jù)進(jìn)行分析，以資產(chǎn)、威脅、脆弱性等維度進(jìn)行安全態(tài)勢分析，并生成全方位的安全全景視圖，實(shí)現(xiàn)數(shù)據(jù)的長時(shí)間窗口存儲(chǔ)、全文檢索分析、異常行為檢測和安全合規(guī)要求，支撐安全決策和應(yīng)急響應(yīng)，幫助用戶建立安全預(yù)警機(jī)制，增強(qiáng)整體安全防護(hù)能力。核心功能:流量探測流量分析流量解析匯總及外發(fā)數(shù)據(jù)流量過濾預(yù)測告警

5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)據(jù)脫敏（事中）數(shù)據(jù)脫敏系統(tǒng)提供靜態(tài)脫敏、動(dòng)態(tài)脫敏業(yè)務(wù)能力，可以對(duì)大數(shù)據(jù)平臺(tái)各種存儲(chǔ)環(huán)境中的數(shù)據(jù)進(jìn)行靜態(tài)脫敏，將數(shù)據(jù)脫敏到結(jié)構(gòu)化、非結(jié)構(gòu)化文件或數(shù)據(jù)庫，對(duì)數(shù)據(jù)進(jìn)行基于場景的動(dòng)態(tài)脫敏，保護(hù)敏感信息確保數(shù)據(jù)在使用過程中的安全性。

5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)據(jù)加密/密鑰管理（事中）由密鑰管理系統(tǒng)（簡稱SecKMS）和國密算法SDK（簡稱：SecAPP）兩部分組成，兩部分既相互獨(dú)立又相互依存，前者為后者提供密鑰來源，后者為前者密碼運(yùn)算能力。SecAPP提供應(yīng)用層加密功能，業(yè)務(wù)系統(tǒng)通過調(diào)用SecAPP接口對(duì)存入的敏感數(shù)據(jù)進(jìn)行加密保護(hù)，確保數(shù)據(jù)的安全存儲(chǔ)。SecAPP支持客戶端的本地加密（進(jìn)程中）和密鑰服務(wù)器的集中加密。對(duì)本地加密，通過密鑰緩存模塊可提供安全的內(nèi)存密鑰緩存和持久密鑰緩存管理。通過完善的密鑰到期時(shí)間和密鑰保護(hù)策略機(jī)制，確保密鑰的安全性和易用性，有效保障業(yè)務(wù)系統(tǒng)敏感數(shù)據(jù)安全。5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)字水印/簽名管理（事中）數(shù)字簽名/水印通過在大數(shù)據(jù)平臺(tái)中使用數(shù)字水印技術(shù)，在一定程度上成功的達(dá)到數(shù)據(jù)文件來源可跟蹤，確認(rèn)內(nèi)容創(chuàng)建者、使用者、傳送隱秘信息或者判斷大數(shù)據(jù)平臺(tái)門戶頁面是否被篡改等目的。在網(wǎng)頁頁面上，打上用戶標(biāo)識(shí)、訪問時(shí)間、應(yīng)用功能號(hào)、訪問IP、訪問機(jī)器的MAC地址。網(wǎng)頁數(shù)字水印在導(dǎo)出的excel、txt文件上，打上用戶標(biāo)識(shí)、訪問時(shí)間、應(yīng)用功能號(hào)、訪問IP、訪問機(jī)器的MAC地址。文件數(shù)字水印在導(dǎo)出的word、pdf文件上，打上用戶標(biāo)識(shí)、訪問時(shí)間、應(yīng)用功能號(hào)、訪問IP、訪問機(jī)器的MAC地址。其他數(shù)字水印5、數(shù)據(jù)安全管理子系統(tǒng)·日志采集（事后）日志采集采集日志加載清洗過濾標(biāo)準(zhǔn)化關(guān)聯(lián)補(bǔ)齊數(shù)據(jù)標(biāo)簽化日志存儲(chǔ)統(tǒng)一存儲(chǔ)

5、數(shù)據(jù)安全管理子系統(tǒng)·安全審計(jì)（事后）數(shù)據(jù)安全審計(jì)數(shù)據(jù)安全審計(jì)：實(shí)現(xiàn)對(duì)數(shù)據(jù)高危操作、敏感操作等審計(jì)。數(shù)據(jù)庫審計(jì)應(yīng)用授權(quán)審計(jì)數(shù)據(jù)訪問權(quán)限審計(jì)綜合日志審計(jì)：實(shí)現(xiàn)對(duì)數(shù)據(jù)來源、系統(tǒng)日志進(jìn)行審計(jì)，并對(duì)審計(jì)結(jié)果加以分析。安全風(fēng)險(xiǎn)識(shí)別：基于日志數(shù)據(jù)+流量數(shù)據(jù)的聚合、關(guān)聯(lián)分析，識(shí)別安全風(fēng)險(xiǎn)。5、數(shù)據(jù)安全管理子系統(tǒng)·告警管理（事后）告警管理告警觸發(fā)：通過對(duì)日志的審計(jì)分析獲取數(shù)據(jù)安全異常告警信息告警觸達(dá)：根據(jù)告警規(guī)則配置的觸發(fā)人員+告警內(nèi)容下發(fā)至運(yùn)營中心告警管理模塊，由告警管理模塊統(tǒng)一下發(fā)至責(zé)任人、對(duì)應(yīng)工單，形成閉環(huán)處理機(jī)制5、數(shù)據(jù)安全管理子系統(tǒng)·安全合規(guī)性審查（整體）安全測評(píng)

合規(guī)代碼審計(jì)安全基線編制和漏掃系統(tǒng)漏掃和滲透測試風(fēng)險(xiǎn)分析報(bào)告等級(jí)保護(hù)三級(jí)數(shù)據(jù)安全能力成熟度三級(jí)安全保障能力EAL三級(jí)合規(guī)性審查背景與需求分析總體架構(gòu)設(shè)計(jì)平臺(tái)功能設(shè)計(jì)平臺(tái)數(shù)據(jù)綜合應(yīng)用2134項(xiàng)目實(shí)施方案5構(gòu)建市級(jí)數(shù)據(jù)庫建立基礎(chǔ)庫和主題庫運(yùn)營支撐體系主題庫/專題庫責(zé)任委辦局負(fù)責(zé)：主題庫需求、建設(shè)方案（業(yè)務(wù)方案）、開發(fā)和主題應(yīng)用。大數(shù)據(jù)中心主要負(fù)責(zé)：制定標(biāo)準(zhǔn)（技術(shù)方案）、提供平臺(tái)、數(shù)據(jù)和工具，并負(fù)責(zé)建成后的服務(wù)開放和運(yùn)行維護(hù)。委辦局市大數(shù)據(jù)中心共享數(shù)據(jù)委辦局提出主題庫建設(shè)申請(qǐng)開始編制建設(shè)方案提出需求清單明確建庫需求核實(shí)建設(shè)申請(qǐng)確認(rèn)建設(shè)方案三清單管理確認(rèn)責(zé)任清單和負(fù)面清單資源目錄編制分配資源并建庫共享數(shù)據(jù)推送提供建模工具和建庫資源建設(shè)主題庫設(shè)置主題庫管理規(guī)則提供數(shù)據(jù)服務(wù)開展主題應(yīng)用提供主題庫監(jiān)測等管理服務(wù)結(jié)束市級(jí)數(shù)據(jù)湖市級(jí)數(shù)據(jù)庫基礎(chǔ)庫主題庫專題庫指標(biāo)庫ODS數(shù)據(jù)倉庫數(shù)據(jù)集市委辦貼源數(shù)據(jù)人口庫法人庫經(jīng)濟(jì)活動(dòng)公共事業(yè)社會(huì)關(guān)系人員密度數(shù)據(jù)建模數(shù)據(jù)抽取入數(shù)據(jù)庫市級(jí)數(shù)據(jù)庫·公共基礎(chǔ)庫市級(jí)數(shù)據(jù)庫·基礎(chǔ)庫運(yùn)營支撐人口概況、人口查詢、人口統(tǒng)計(jì)、人口畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標(biāo)簽管理、標(biāo)簽映射和關(guān)系、圖形化分析……業(yè)務(wù)信息數(shù)據(jù)公安口人口出生、死亡及戶籍登記基本信息地理實(shí)體數(shù)據(jù)影像數(shù)據(jù)高程數(shù)據(jù)電子地圖數(shù)據(jù)地名地址數(shù)據(jù)三維數(shù)據(jù)人口庫建模元數(shù)據(jù)管理法人庫建模元數(shù)據(jù)管理空間地理庫建模元數(shù)據(jù)管理數(shù)據(jù)抽取/數(shù)據(jù)交換基礎(chǔ)數(shù)據(jù)庫基礎(chǔ)庫管理應(yīng)用人口應(yīng)用法人概況、法人查詢、法人統(tǒng)計(jì)、法人畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標(biāo)簽管理、標(biāo)簽映射和關(guān)系、圖形化分析……法人應(yīng)用地圖服務(wù)、影像服務(wù)、地名地址服務(wù)、三維服務(wù)與坐標(biāo)轉(zhuǎn)換等功能服務(wù)……空間地理應(yīng)用人口數(shù)據(jù)法人數(shù)據(jù)空間地理數(shù)據(jù)民政口婚姻關(guān)系雙方人口信息人社口社會(huì)五險(xiǎn)參保等人口信息衛(wèi)計(jì)口孕產(chǎn)婦及家屬信息工商口稅務(wù)口質(zhì)監(jiān)口民政口市級(jí)數(shù)據(jù)庫·主題庫運(yùn)營支撐以民生幸福專題為應(yīng)用場景，舉例主題數(shù)據(jù)庫的運(yùn)營支撐：大數(shù)據(jù)資源平臺(tái)數(shù)據(jù)采集接入數(shù)據(jù)抽取運(yùn)維數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)作業(yè)調(diào)度運(yùn)維數(shù)據(jù)質(zhì)量檢查及異常處置經(jīng)濟(jì)活動(dòng)主題庫公共事業(yè)主題庫社會(huì)關(guān)系主題庫人員密度主題庫算力資源人口遷徙老齡化及養(yǎng)老流動(dòng)人口公共安全食品安全政務(wù)服務(wù)委辦局?jǐn)?shù)據(jù)模型專題應(yīng)用更新迭代人口數(shù)據(jù)政務(wù)辦事數(shù)據(jù)交通安全數(shù)據(jù)食品衛(wèi)生數(shù)據(jù)社會(huì)保障數(shù)據(jù)運(yùn)營支撐數(shù)據(jù)運(yùn)營服務(wù)大數(shù)據(jù)綜合應(yīng)用·示例通話攝像頭監(jiān)控傳感器110電話接受側(cè)翻事件傳感器采集液化氣有泄露情況掃描事件管理調(diào)用事故安全事件場景消息分發(fā)處理中心派發(fā)事件至各部委平臺(tái)事件處理流（可自定義順序）服務(wù)能力事件觸點(diǎn)事件中心衛(wèi)生局平臺(tái)1、通知環(huán)境檢測

2、提供相應(yīng)信息衛(wèi)生局警務(wù)平臺(tái)1、通知警隊(duì)，派遣警察

2、提供地點(diǎn)，當(dāng)時(shí)情況等信息警務(wù)處理刑警隊(duì)火警平臺(tái)1、通知消防隊(duì)，派遣消防車

2、提供地點(diǎn)，當(dāng)時(shí)情況等信息警務(wù)處理消防隊(duì)醫(yī)療平臺(tái)1、通知救護(hù)車

2、提供相應(yīng)信息救護(hù)處理醫(yī)療隊(duì)善后告知親人結(jié)案1234事件數(shù)據(jù)采集（kafka，流處理）事件觸點(diǎn)規(guī)則匹配委辦平臺(tái)對(duì)接油罐車發(fā)生側(cè)翻，造成人員傷亡以及液化氣泄露事件背景與需求分析總體架構(gòu)設(shè)計(jì)平臺(tái)功能設(shè)計(jì)平臺(tái)數(shù)據(jù)綜合應(yīng)用2134項(xiàng)目實(shí)施方案5項(xiàng)目實(shí)施組織架構(gòu)大數(shù)據(jù)資源平臺(tái)項(xiàng)目PMO管理小組項(xiàng)目經(jīng)理（1名）系統(tǒng)架構(gòu)師（1名）項(xiàng)目經(jīng)理助理（3名）需求分析師（2名）實(shí)施工程師（4名+）功能建設(shè)團(tuán)隊(duì)安全建設(shè)團(tuán)隊(duì)數(shù)據(jù)運(yùn)營團(tuán)隊(duì)商務(wù)團(tuán)隊(duì)質(zhì)量保證（2名）安全項(xiàng)目經(jīng)理（1名）安全架構(gòu)師（1名）配置管理（1名）技術(shù)支持（1名）……安全專員（1名）集成商項(xiàng)目組廠商A廠商E廠商B廠商F廠商C廠商H廠商D……廠商1廠商2廠商3……咨詢團(tuán)隊(duì)大數(shù)據(jù)中心領(lǐng)導(dǎo)測評(píng)團(tuán)隊(duì)監(jiān)理團(tuán)隊(duì)謝謝聆聽數(shù)據(jù)治理大數(shù)據(jù)平臺(tái)設(shè)計(jì)??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)1

數(shù)據(jù)治理背景大數(shù)據(jù)時(shí)代凸現(xiàn)數(shù)據(jù)重要性數(shù)據(jù)治理是大數(shù)據(jù)的基礎(chǔ)2信息孤島現(xiàn)象嚴(yán)重?cái)?shù)據(jù)質(zhì)量問題嚴(yán)重

345數(shù)據(jù)應(yīng)用未得到有效管理6數(shù)據(jù)安全問題日益嚴(yán)峻數(shù)據(jù)治理意識(shí)到了問題的嚴(yán)重1數(shù)據(jù)治理現(xiàn)狀2

“維持”代替“管理”3

歷史“包袱”沉重4

相關(guān)方利益交織，協(xié)調(diào)困難5

方案規(guī)劃容易，落地困難6

過度依賴技術(shù)工具7

對(duì)于數(shù)據(jù)沒有明確區(qū)分??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)組織Organization流程、活動(dòng)與機(jī)制Process&Activities&Mechanism計(jì)劃、制度與標(biāo)準(zhǔn)規(guī)范Plan&Rule&Standards技術(shù)平臺(tái)與工具Platform&Tools數(shù)據(jù)治理要素?cái)?shù)據(jù)治理策略獲得支持引入外援找到“痛點(diǎn)”確定“起點(diǎn)”責(zé)任到人持之以恒績效評(píng)估實(shí)事求是確定方法做好績效標(biāo)準(zhǔn)先行使用工具獎(jiǎng)懲機(jī)制經(jīng)驗(yàn)總結(jié)

數(shù)據(jù)

治理實(shí)施建議

*數(shù)據(jù)質(zhì)量提升是目標(biāo)*主數(shù)據(jù)管理是關(guān)鍵*元數(shù)據(jù)管理是基礎(chǔ)??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)什么是元數(shù)據(jù)?

元數(shù)據(jù)的定義–

技術(shù)元數(shù)據(jù)–

業(yè)務(wù)元數(shù)據(jù)–

操作元數(shù)據(jù)為什么要進(jìn)行元數(shù)據(jù)管理Why?123456數(shù)據(jù)的參考框架解決數(shù)據(jù)模糊性可視化數(shù)據(jù)流動(dòng)影響和血緣分析推進(jìn)標(biāo)準(zhǔn)化建設(shè)規(guī)范化數(shù)據(jù)審計(jì)

1.2.3.4.5.6.經(jīng)驗(yàn)分享

標(biāo)準(zhǔn)先行

全局治理

盡快見效

高層支持

業(yè)務(wù)參與

獎(jiǎng)懲機(jī)制數(shù)據(jù)定義標(biāo)準(zhǔn)化數(shù)量月銷售量月銷售量＋＋標(biāo)準(zhǔn)單詞對(duì)象詞素詞素詞素詞素分析原屬性名(標(biāo)準(zhǔn)化對(duì)象)

標(biāo)準(zhǔn)域數(shù)量類型：

數(shù)字型長度：

19，0

分類詞＋

標(biāo)準(zhǔn)用語月度銷售數(shù)量類型：

數(shù)字型長度：

19，0

修飾詞標(biāo)準(zhǔn)單詞

月度標(biāo)準(zhǔn)單詞

銷售標(biāo)準(zhǔn)單詞

數(shù)量標(biāo)準(zhǔn)單詞

月度

銷售

數(shù)量

分類詞(域)標(biāo)準(zhǔn)體系數(shù)據(jù)定義標(biāo)準(zhǔn)體系

標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)域標(biāo)準(zhǔn)用語數(shù)據(jù)模型標(biāo)準(zhǔn)化結(jié)構(gòu)

實(shí)體、屬性、關(guān)系、主鍵，范式化等

命名規(guī)則、用語詞典、標(biāo)準(zhǔn)域等管理

數(shù)據(jù)管理政策、方針等

配置管理、版本管理等質(zhì)量

準(zhǔn)確性

、完整性、實(shí)時(shí)性、一致性應(yīng)用

查詢結(jié)果的準(zhǔn)確性、使用便利性、查詢結(jié)果的迅速性模型設(shè)計(jì)

標(biāo)準(zhǔn)實(shí)施路線模型優(yōu)化模型診斷設(shè)計(jì)規(guī)范設(shè)計(jì)指南按照模型設(shè)計(jì)規(guī)范和指南統(tǒng)一設(shè)計(jì)企業(yè)數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)可使用可管理可控制模型要素關(guān)系定義規(guī)則應(yīng)用系統(tǒng)注冊(cè)元數(shù)據(jù)庫腳本同步指導(dǎo)數(shù)據(jù)庫設(shè)計(jì)審核、評(píng)估、發(fā)布提交反饋元數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)化體系（數(shù)據(jù)定義&模型設(shè)計(jì)）

制定

完善引用???????

元數(shù)據(jù)管理工具的選擇元模型易于擴(kuò)展界面友好安全和系統(tǒng)管理配置管理發(fā)布、查詢、報(bào)表功能平臺(tái)開放提前試用??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺(tái)設(shè)計(jì)什么是主數(shù)據(jù)?

企業(yè)主數(shù)據(jù)分散存儲(chǔ)在企業(yè)各系統(tǒng)內(nèi)，對(duì)企業(yè)至關(guān)重要的核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，比如客戶、合作伙