城市大數(shù)據(jù)資源平臺概要設(shè)計方案相關(guān)兩份資料

城市大數(shù)據(jù)管理中心

大數(shù)據(jù)資源平臺概要設(shè)計方案背景與需求分析總體架構(gòu)設(shè)計平臺功能設(shè)計平臺數(shù)據(jù)綜合應(yīng)用2134項目實施方案5大數(shù)據(jù)管理中心發(fā)展背景為建設(shè)卓越全球城市，實現(xiàn)政府治理能力現(xiàn)代化目標(biāo)，由市大數(shù)據(jù)中心牽頭，在政務(wù)公共數(shù)據(jù)管理和互聯(lián)網(wǎng)政務(wù)服務(wù)方面采取了一系列的實踐工作。根據(jù)《市公共數(shù)據(jù)和一網(wǎng)通辦管理辦法》要求，前期已在“一網(wǎng)通辦”的政務(wù)服務(wù)領(lǐng)域進(jìn)行了信息化項目建設(shè)，在提升了政府治理能力和公共服務(wù)水平的同時，也產(chǎn)生了匯聚全市政務(wù)公共數(shù)據(jù)，探索政務(wù)服務(wù)領(lǐng)域應(yīng)用的需求。市大數(shù)據(jù)中心作為全市政務(wù)數(shù)據(jù)的主要管理單位，承擔(dān)著政策本地化落實、政務(wù)數(shù)據(jù)交換、大數(shù)據(jù)應(yīng)用研究、信息化建設(shè)運維以及其他數(shù)據(jù)相關(guān)的工作職責(zé)，從中心成立之初便開始研究政務(wù)數(shù)據(jù)管理和應(yīng)用的方法，去年年底探索了以政務(wù)數(shù)據(jù)交換共享為核心的實踐，但隨著對中心職能的理解加深，我們認(rèn)為中心不僅作為全市政務(wù)數(shù)據(jù)的“樞紐中轉(zhuǎn)中心”，更應(yīng)該成為各政務(wù)服務(wù)條線領(lǐng)域的“歸集管理中心”，為本市的經(jīng)濟(jì)活動、公共事業(yè)、社會關(guān)系、人員密度等各城市管理領(lǐng)域提供數(shù)據(jù)層面的最大支撐。規(guī)劃公共數(shù)據(jù)發(fā)展路線支撐城市服務(wù)能效提升精準(zhǔn)城市服務(wù)整體共享協(xié)同數(shù)據(jù)科學(xué)管理公共數(shù)據(jù)共享社會數(shù)據(jù)協(xié)同條線業(yè)務(wù)協(xié)同數(shù)據(jù)服務(wù)開放社會治理宏觀經(jīng)濟(jì)市場監(jiān)管生態(tài)保護(hù)城市高效運行應(yīng)急事件響應(yīng)事件風(fēng)險預(yù)防數(shù)據(jù)完整歸集數(shù)據(jù)實時同步資源目錄健全數(shù)據(jù)全面治理大數(shù)據(jù)共享交換平臺建設(shè)與使用情況大數(shù)據(jù)中心自去年開始，根據(jù)整體規(guī)劃啟動了市數(shù)據(jù)共享交換平臺項目的建設(shè)，并于2019年1月開始正式進(jìn)行全市范圍的試運行。平臺建設(shè)內(nèi)容包括：1、總集成及部分應(yīng)用開發(fā)：平臺集成門戶及整體平臺的基礎(chǔ)功能菜單級整合；2、數(shù)據(jù)治理子系統(tǒng)：包含數(shù)據(jù)交換模塊和服務(wù)管理模塊，實現(xiàn)數(shù)據(jù)資源目錄及三清單的管理，并提供市級數(shù)據(jù)庫的對外發(fā)布利用；3、數(shù)據(jù)共享交換子系統(tǒng)：實現(xiàn)數(shù)據(jù)交換引擎、統(tǒng)一調(diào)度引擎、任務(wù)管理、數(shù)據(jù)橋接等功能，以及數(shù)據(jù)湖數(shù)據(jù)的存儲管理、共享與交換；4、數(shù)據(jù)質(zhì)量監(jiān)管及支撐子系統(tǒng)：實現(xiàn)數(shù)據(jù)質(zhì)量管理功能，包括數(shù)據(jù)質(zhì)量規(guī)則制定、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)質(zhì)量問題閉環(huán)管理；5、大數(shù)據(jù)支撐管理子系統(tǒng)：包含市級數(shù)據(jù)湖和市級數(shù)據(jù)庫，匯聚“四大基礎(chǔ)庫”、“市級統(tǒng)建系統(tǒng)”、“各市級委辦系統(tǒng)”、“各行政區(qū)系統(tǒng)”的經(jīng)過初始治理的原始數(shù)據(jù)；并存放經(jīng)過一系列清洗、轉(zhuǎn)換、加載、治理步驟后的高質(zhì)量的政務(wù)數(shù)據(jù)資源，為城市管理、公共服務(wù)等提供數(shù)據(jù)來源；平臺接入52個委辦的公共數(shù)據(jù)，每月16億條以上，數(shù)據(jù)總?cè)萘吭?76.0TB，人口庫預(yù)計46.75TB，法人庫預(yù)計1.78TB，空間地理庫預(yù)計7.99TB，電子證照庫預(yù)計91.05TB。前期平臺建設(shè)問題分析在數(shù)據(jù)共享交換平臺項目試運行期間，隨著數(shù)據(jù)存儲量的增長、數(shù)據(jù)交換共享需求量的增加，逐漸發(fā)現(xiàn)平臺存在一些問題。數(shù)據(jù)湖&數(shù)據(jù)庫缺乏統(tǒng)一規(guī)劃，數(shù)據(jù)標(biāo)準(zhǔn)需繼續(xù)制定完善現(xiàn)有平臺應(yīng)用支撐能力較為薄弱，容易形成數(shù)據(jù)沼澤源端數(shù)據(jù)標(biāo)準(zhǔn)各異，加工存在技術(shù)壁壘數(shù)據(jù)共享和數(shù)據(jù)開放能力不全面，開放門戶使用價值不高未規(guī)劃主題/專題領(lǐng)域的數(shù)據(jù)綜合應(yīng)用，應(yīng)用創(chuàng)新動能不足，需進(jìn)行補(bǔ)充完善城市管理數(shù)據(jù)缺乏，精準(zhǔn)服務(wù)無法開展數(shù)據(jù)安全管控僅考慮部分安全應(yīng)用，數(shù)據(jù)全生命周期的安全管控存在短板，需整體提升安全防護(hù)能力全生命周期安全管控能力有待提升前期平臺未規(guī)劃數(shù)據(jù)實時采集技術(shù)，無法支撐高效業(yè)務(wù)協(xié)同數(shù)據(jù)治理層面未考慮國家資源平臺建設(shè)要求，需重新設(shè)計系統(tǒng)功能實現(xiàn)數(shù)據(jù)共享時效性要求無法滿足業(yè)務(wù)需要本期平臺建設(shè)目標(biāo)分析源端數(shù)據(jù)標(biāo)準(zhǔn)各異，加工存在技術(shù)壁壘城市管理數(shù)據(jù)缺乏，精準(zhǔn)服務(wù)無法開展全生命周期安全管控能力有待提升缺乏實時歸集技術(shù)，數(shù)據(jù)共享協(xié)同低效聚：推進(jìn)人口、法人、空間地理庫數(shù)據(jù)源整合，促進(jìn)電子證照庫對接利用。逐步推進(jìn)社會數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等采集匯聚管：構(gòu)建一站式數(shù)據(jù)資產(chǎn)可視化管理，通過對數(shù)據(jù)資產(chǎn)的血緣譜系和信息資源目錄的統(tǒng)一管理，實現(xiàn)數(shù)據(jù)的全過程管理，以及各環(huán)節(jié)安全監(jiān)管通：實現(xiàn)基于應(yīng)用場景的數(shù)據(jù)資源授權(quán)管理機(jī)制，推動公共數(shù)據(jù)按需充分共享。實現(xiàn)數(shù)據(jù)分級分類開放管理，擴(kuò)展共享交換平臺功能用：開展主題數(shù)據(jù)庫建設(shè)，推動數(shù)據(jù)資源整合及數(shù)據(jù)分析應(yīng)用。開展數(shù)據(jù)應(yīng)用模型及算法研究，探索數(shù)據(jù)服務(wù)模式創(chuàng)新安：打造整體安全管控體系，保證平臺上政務(wù)數(shù)據(jù)在數(shù)據(jù)匯聚、數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)開放等全生命周期中的安全防護(hù)能力建設(shè)目標(biāo)本期平臺建設(shè)內(nèi)容分析結(jié)合項目的建設(shè)分項目標(biāo)分析，認(rèn)為本次大數(shù)據(jù)資源平臺的建設(shè)內(nèi)容應(yīng)包括：數(shù)據(jù)管理子系統(tǒng)數(shù)據(jù)治理子系統(tǒng)平臺集成門戶聚管通用數(shù)據(jù)開放子系統(tǒng)市級數(shù)據(jù)庫大數(shù)據(jù)綜合應(yīng)用安數(shù)據(jù)安全管理子系統(tǒng)本期平臺建設(shè)內(nèi)容分析數(shù)據(jù)開放子系統(tǒng)（含開放門戶）大數(shù)據(jù)綜合應(yīng)用數(shù)據(jù)安全管理子系統(tǒng)通過宏觀經(jīng)濟(jì)、市場運行、民生幸福、城市立方體等專題應(yīng)用的建設(shè)，構(gòu)建大數(shù)據(jù)綜合應(yīng)用示范輔助領(lǐng)導(dǎo)決策，構(gòu)建應(yīng)用管理中心支撐數(shù)據(jù)應(yīng)用，以為各部門提供優(yōu)質(zhì)的數(shù)據(jù)服務(wù)。主要實現(xiàn)數(shù)據(jù)應(yīng)用方管理、開放清單管理（含開放清單維護(hù)、開放目錄關(guān)聯(lián)、開放數(shù)據(jù)集維護(hù)）、數(shù)據(jù)開放管理等功能。主要實現(xiàn)首頁、數(shù)據(jù)目錄、數(shù)據(jù)應(yīng)用、數(shù)據(jù)圖譜、地圖數(shù)據(jù)、互動交流、數(shù)據(jù)開發(fā)者、輔助事項、個人管理等各項門戶的建設(shè)。主要實現(xiàn)安全基礎(chǔ)功能管理、數(shù)據(jù)安全審計、風(fēng)險識別管理、數(shù)據(jù)安全管理、敏感數(shù)據(jù)管理、安全監(jiān)管中心、數(shù)據(jù)安全采集等功能，以及對大數(shù)據(jù)資源平臺各功能模塊的安全嵌入。主要實現(xiàn)公共基礎(chǔ)庫建設(shè)（含人口庫、法人庫、空間地理庫）、支持公共主題庫建設(shè)（含經(jīng)濟(jì)活動庫、公共事業(yè)庫、社會關(guān)系庫、人員密度庫）、支持公共專題庫建設(shè)（含經(jīng)濟(jì)運行監(jiān)測、宏觀經(jīng)濟(jì)預(yù)測等19個專題庫）。市級數(shù)據(jù)庫數(shù)據(jù)治理子系統(tǒng)平臺集成門戶數(shù)據(jù)管理子系統(tǒng)主要實現(xiàn)數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)關(guān)系管理、數(shù)據(jù)分級分類管理、數(shù)據(jù)異常管理、數(shù)據(jù)分析管理、數(shù)據(jù)流程管理、流數(shù)據(jù)處理、知識圖譜、數(shù)據(jù)分層管理、數(shù)據(jù)運維管理、數(shù)據(jù)資產(chǎn)管理功能。通過國家資源管理子系統(tǒng)實現(xiàn)資源申請、撤銷、審核、查詢、消息、配置、應(yīng)用及事項、使用單位對接、目錄對接、業(yè)務(wù)流程對接、通知、監(jiān)控模塊對接等功能。主要實現(xiàn)多租戶功能、運營中心、開發(fā)中心、消息推送、數(shù)據(jù)推送、個人信息管理、系統(tǒng)管理功能。背景與需求分析總體架構(gòu)設(shè)計平臺功能設(shè)計平臺數(shù)據(jù)綜合應(yīng)用2134項目實施方案5總體架構(gòu)·大數(shù)據(jù)資源平臺功能架構(gòu)規(guī)劃市領(lǐng)導(dǎo)各委辦局分析人員區(qū)政府外部機(jī)構(gòu)公民開發(fā)者運維管理者數(shù)據(jù)中心層對外開放區(qū)對外數(shù)據(jù)開放脫敏區(qū)數(shù)據(jù)沙箱數(shù)據(jù)沙箱數(shù)據(jù)沙箱私有數(shù)據(jù)處理分布式數(shù)據(jù)存儲消息隊列RDB存儲數(shù)據(jù)安全身份訪問控制流量數(shù)據(jù)采集日志采集及存儲告警監(jiān)控管理及處理安全審計數(shù)據(jù)脫敏服務(wù)安全風(fēng)險識別統(tǒng)一運維數(shù)據(jù)運維平臺運維門戶數(shù)據(jù)開放門戶平臺集成門戶存儲計算區(qū)批數(shù)據(jù)計算流數(shù)據(jù)計算數(shù)據(jù)采集政務(wù)數(shù)據(jù)（國家、市級、區(qū)）公共事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)（金融、電信）物聯(lián)網(wǎng)數(shù)據(jù)（氣象、攝像頭…）離線采集實時采集流媒體采集數(shù)據(jù)導(dǎo)入上報準(zhǔn)實時采集圖數(shù)據(jù)庫應(yīng)用層宏觀經(jīng)濟(jì)專題市場運行專題城市綜合體專題民生幸福專題大數(shù)據(jù)綜合應(yīng)用采集數(shù)據(jù)源分布式文件存儲服務(wù)開放層數(shù)據(jù)共享服務(wù)服務(wù)列表下載數(shù)據(jù)分析和可視化服務(wù)數(shù)據(jù)可視化工具數(shù)據(jù)探索工具服務(wù)授權(quán)接口庫表數(shù)據(jù)開放管理服務(wù)數(shù)據(jù)地圖數(shù)據(jù)接口數(shù)據(jù)圖譜規(guī)則定義事件采集事件分發(fā)事件服務(wù)中心事件處理非結(jié)構(gòu)化數(shù)據(jù)區(qū)圖片數(shù)據(jù)離線數(shù)據(jù)區(qū)數(shù)據(jù)湖標(biāo)準(zhǔn)層（主題模型）共享層（標(biāo)簽、指標(biāo)）實時數(shù)據(jù)區(qū)應(yīng)用租戶應(yīng)用租戶應(yīng)用租戶實時模型實時指標(biāo)實時事件結(jié)構(gòu)化數(shù)據(jù)區(qū)文本數(shù)據(jù)數(shù)據(jù)處理層數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)資產(chǎn)資產(chǎn)總覽資產(chǎn)目錄資產(chǎn)地圖資產(chǎn)報告共享及運營門戶建設(shè)國家資源平臺級聯(lián)數(shù)據(jù)架構(gòu)管理數(shù)據(jù)管理管理數(shù)據(jù)異常管理數(shù)據(jù)流程管理數(shù)據(jù)分層管理數(shù)據(jù)運維管理待辦任務(wù)消息中心管理控制臺任務(wù)監(jiān)控通知公告資源申請模塊資源審核模塊消息管理模塊配置管理模塊通知管理模塊監(jiān)控對接模塊數(shù)字水印/簽名管理密鑰管理數(shù)據(jù)管理子系統(tǒng)數(shù)據(jù)治理子系統(tǒng)大數(shù)據(jù)綜合應(yīng)用數(shù)據(jù)開放門戶平臺集成門戶數(shù)據(jù)開放子系統(tǒng)數(shù)據(jù)開放子系統(tǒng)市級數(shù)據(jù)庫數(shù)據(jù)安全管理子系統(tǒng)124674435數(shù)據(jù)管理子系統(tǒng)1總體架構(gòu)·大數(shù)據(jù)資源平臺功能架構(gòu)設(shè)計市領(lǐng)導(dǎo)各委辦局分析人員區(qū)政府外部機(jī)構(gòu)公民開發(fā)者運維管理者數(shù)據(jù)中心層對外開放區(qū)對外數(shù)據(jù)開放脫敏區(qū)數(shù)據(jù)沙箱數(shù)據(jù)沙箱數(shù)據(jù)沙箱私有數(shù)據(jù)處理分布式數(shù)據(jù)存儲消息隊列RDB存儲采集數(shù)據(jù)安全身份訪問控制流量數(shù)據(jù)采集數(shù)據(jù)脫敏數(shù)據(jù)加密/密鑰管理數(shù)字水印/簽名管理日志采集及存儲安全審計（安全風(fēng)險接入識別）統(tǒng)一運維數(shù)據(jù)運維平臺運維門戶數(shù)據(jù)開放門戶平臺集成門戶存儲計算區(qū)批數(shù)據(jù)計算流數(shù)據(jù)計算數(shù)據(jù)采集政務(wù)數(shù)據(jù)（國家、市級、區(qū)）公共事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)（金融、電信）物聯(lián)網(wǎng)數(shù)據(jù)（氣象、攝像頭…）離線采集實時采集流媒體采集數(shù)據(jù)導(dǎo)入上報準(zhǔn)實時采集圖數(shù)據(jù)庫應(yīng)用層宏觀經(jīng)濟(jì)專題市場運行專題城市綜合體專題民生幸福專題大數(shù)據(jù)綜合應(yīng)用數(shù)據(jù)源分布式文件存儲服務(wù)開放層數(shù)據(jù)共享服務(wù)服務(wù)列表數(shù)據(jù)分析及可視化數(shù)據(jù)可視化工具數(shù)據(jù)探索工具服務(wù)授權(quán)統(tǒng)計分析服務(wù)監(jiān)控數(shù)據(jù)開放管理數(shù)據(jù)地圖數(shù)據(jù)接口數(shù)據(jù)圖譜規(guī)則定義事件采集事件分發(fā)事件服務(wù)中心事件處理非結(jié)構(gòu)化數(shù)據(jù)區(qū)圖片數(shù)據(jù)離線數(shù)據(jù)區(qū)數(shù)據(jù)湖標(biāo)準(zhǔn)層（主題模型）共享層（標(biāo)簽、指標(biāo)）實時數(shù)據(jù)區(qū)應(yīng)用租戶應(yīng)用租戶應(yīng)用租戶實時模型實時指標(biāo)實時事件結(jié)構(gòu)化數(shù)據(jù)區(qū)文本數(shù)據(jù)數(shù)據(jù)處理層數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)資產(chǎn)資產(chǎn)總覽資產(chǎn)目錄資產(chǎn)地圖資產(chǎn)報告共享及運營門戶建設(shè)國家資源平臺級聯(lián)數(shù)據(jù)架構(gòu)管理數(shù)據(jù)關(guān)系管理數(shù)據(jù)異常管理數(shù)據(jù)流程管理數(shù)據(jù)分層管理數(shù)據(jù)運維管理待辦任務(wù)消息中心管理控制臺任務(wù)監(jiān)控通知公告資源申請模塊資源審核模塊消息管理模塊配置管理模塊通知管理模塊監(jiān)控對接模塊告警監(jiān)控管理及處理總體架構(gòu)——大數(shù)據(jù)資源平臺部署架構(gòu)本期項目設(shè)備部署如下圖所示，將在移動云（怒江機(jī)房）新增申請150臺虛擬機(jī)設(shè)備、80臺實體服務(wù)器用于本期軟件部署?？傮w架構(gòu)·大數(shù)據(jù)資源平臺數(shù)據(jù)架構(gòu)大數(shù)據(jù)資源區(qū)：包括市級數(shù)據(jù)湖和市級數(shù)據(jù)庫兩大數(shù)據(jù)資源數(shù)據(jù)湖：主要存放市級政府部門業(yè)務(wù)數(shù)據(jù)庫、未經(jīng)加工的原始業(yè)務(wù)數(shù)據(jù)庫，支持存儲結(jié)構(gòu)化、非結(jié)構(gòu)化等多種類型的數(shù)據(jù)。市級數(shù)據(jù)庫：主要用于存放經(jīng)過一系列清洗、轉(zhuǎn)換、加載、治理步驟后的高質(zhì)量的政務(wù)數(shù)據(jù)資源。對內(nèi)共享交換區(qū)：主要用于存放全市各部門、各區(qū)政務(wù)數(shù)據(jù)資源匯集和共享交換過程中的數(shù)據(jù)，包括直接共享交換的數(shù)據(jù)和來自市級數(shù)據(jù)庫加工后的數(shù)據(jù)。對外開放區(qū)：主要用于存放對外開放的數(shù)據(jù)，通過單獨的對外開發(fā)區(qū)與大數(shù)據(jù)資源區(qū)隔離，可以提供更高級別的數(shù)據(jù)安全保護(hù)。大數(shù)據(jù)資源平臺支撐數(shù)據(jù)共享交換（生產(chǎn)職能）、數(shù)據(jù)分析、數(shù)據(jù)開放三大核心數(shù)據(jù)服務(wù)，包括大數(shù)據(jù)資源區(qū)、對內(nèi)共享交換區(qū)和對外開放區(qū)三大數(shù)據(jù)區(qū)。共享交換數(shù)據(jù)對內(nèi)共享交換區(qū)大數(shù)據(jù)資源區(qū)離線數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)結(jié)構(gòu)化數(shù)據(jù)市級數(shù)據(jù)湖市級數(shù)據(jù)庫非結(jié)構(gòu)化數(shù)據(jù)安全沙箱數(shù)據(jù)對外開放區(qū)對外開放脫敏數(shù)據(jù)中心租戶融合租戶基礎(chǔ)庫主題庫總體架構(gòu)·大數(shù)據(jù)資源平臺權(quán)限架構(gòu)單位用戶使用權(quán)權(quán)限管理員管理權(quán)管用權(quán)限審計員審計權(quán)審管用審管用審授權(quán)角色中心用戶角色角色授權(quán)委辦局下級單位三權(quán)分立：管用審角色分離分級授權(quán)：中心租戶統(tǒng)一為牽頭單位進(jìn)行管理權(quán)限的分配，單位權(quán)限設(shè)計由用戶支撐人機(jī)賬戶分離：人員賬號及機(jī)器賬號實現(xiàn)互斥分配分配角色權(quán)限綁定功能模塊人員賬號機(jī)器賬號管理員審計員用戶管用審背景與需求分析總體架構(gòu)設(shè)計平臺功能設(shè)計平臺數(shù)據(jù)綜合應(yīng)用2134項目實施方案5整體對應(yīng)關(guān)系平臺集成門戶共享及運營門戶3大數(shù)據(jù)綜合應(yīng)用大數(shù)據(jù)綜合應(yīng)用7數(shù)據(jù)安全管理子系統(tǒng)身份訪問控制流量數(shù)據(jù)采集數(shù)據(jù)脫敏數(shù)據(jù)加密/密鑰管理數(shù)字水印/簽名管理日志采集及存儲安全審計（安全風(fēng)險接入識別）告警監(jiān)控管理及處理5數(shù)據(jù)開放子系統(tǒng)數(shù)據(jù)開放管理數(shù)據(jù)開放門戶4數(shù)據(jù)沙箱市級數(shù)據(jù)庫主題數(shù)據(jù)庫運營支撐6基礎(chǔ)數(shù)據(jù)庫數(shù)據(jù)管理子系統(tǒng)流數(shù)據(jù)接入數(shù)據(jù)支撐平臺數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)分析及可視化批數(shù)據(jù)接入數(shù)據(jù)共享服務(wù)1數(shù)據(jù)治理子系統(tǒng)國家資源平臺級聯(lián)21、數(shù)據(jù)管理子系統(tǒng)·批數(shù)據(jù)接入批數(shù)據(jù)處理通過數(shù)據(jù)采集平臺任務(wù)調(diào)度的方式，根據(jù)時間戳定時探查委辦局前置庫數(shù)據(jù)以及結(jié)構(gòu)化文件的變動，通過數(shù)據(jù)采集平臺的解析，抽取增量數(shù)據(jù)到數(shù)據(jù)湖。1、數(shù)據(jù)管理子系統(tǒng)·流數(shù)據(jù)接入流數(shù)據(jù)處理通過數(shù)據(jù)湖內(nèi)獨立部署kafka消息系統(tǒng)，采用委辦局推送或自動拉取的方式，將流數(shù)據(jù)接入大數(shù)據(jù)支撐平臺。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)支撐平臺1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)支撐平臺批數(shù)據(jù)處理：

各類批數(shù)據(jù)通過數(shù)據(jù)采集功能進(jìn)入數(shù)據(jù)支撐平臺，經(jīng)過存儲、清洗、匯總和關(guān)聯(lián)匯總等，產(chǎn)生應(yīng)用數(shù)據(jù)，并實現(xiàn)數(shù)據(jù)共享或開放。流數(shù)據(jù)處理：流數(shù)據(jù)通過數(shù)據(jù)采集功能進(jìn)入數(shù)據(jù)支撐平臺后，根據(jù)不同需求，可實現(xiàn)實時數(shù)據(jù)計算后的開放，也可實現(xiàn)通過實時數(shù)據(jù)分析后匯總產(chǎn)生應(yīng)用數(shù)據(jù)，進(jìn)而實現(xiàn)數(shù)據(jù)共享或開放。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)資產(chǎn)管理邏輯資源層（計算、存儲、網(wǎng)絡(luò)資源）政務(wù)云管理存儲管理網(wǎng)絡(luò)管理資源調(diào)度系統(tǒng)管理應(yīng)用層資源管理模型管理元數(shù)據(jù)存儲庫業(yè)務(wù)庫主題數(shù)據(jù)庫元數(shù)據(jù)數(shù)據(jù)資源層基礎(chǔ)設(shè)施層用戶管理目錄管理標(biāo)準(zhǔn)管理專題數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)庫模型維護(hù)關(guān)系關(guān)聯(lián)代碼關(guān)聯(lián)對標(biāo)分析目錄維護(hù)資源編目目錄分類目錄標(biāo)簽標(biāo)準(zhǔn)維護(hù)標(biāo)準(zhǔn)導(dǎo)入標(biāo)準(zhǔn)瀏覽落地檢核數(shù)據(jù)源管理資源注冊前置節(jié)點庫表資源資源發(fā)布資源審核文件資源接口資源…版本管理模型物化目錄瀏覽目錄級聯(lián)代碼映射版本管理指標(biāo)…部門數(shù)據(jù)庫部門數(shù)據(jù)庫人口庫法人庫…互聯(lián)網(wǎng)+監(jiān)管健康衛(wèi)生…城市運行經(jīng)濟(jì)運行…1、根據(jù)提供方供數(shù)責(zé)任，對接入數(shù)據(jù)資源進(jìn)行編目，維護(hù)其業(yè)務(wù)屬性和管理屬性，使其初步具備共享條件。2、參照數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計數(shù)據(jù)模型結(jié)構(gòu)、業(yè)務(wù)代碼，通過建立變更管理和版本控制，實現(xiàn)數(shù)據(jù)模型管控。3、通過基礎(chǔ)元數(shù)據(jù)定義數(shù)據(jù)資產(chǎn)規(guī)格（如：庫表、文件、文件夾、接口等），并借助統(tǒng)一平臺實現(xiàn)資源接入。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)資產(chǎn)管理系統(tǒng)集成功能：與共享及運營門戶對接：實現(xiàn)統(tǒng)一授權(quán)、統(tǒng)一登錄以及任務(wù)工單同步與數(shù)據(jù)開放門戶對接：實現(xiàn)開放清單的編制發(fā)布與大數(shù)據(jù)支撐平臺對接：實現(xiàn)流數(shù)據(jù)接入以及支撐數(shù)據(jù)資產(chǎn)的管理與數(shù)據(jù)開發(fā)調(diào)度管理對接：實現(xiàn)資源目錄的雙向同步維護(hù)更新與批數(shù)據(jù)接入對接：實現(xiàn)數(shù)據(jù)的歸集與共享下發(fā)共享門戶、運營門戶數(shù)據(jù)資產(chǎn)管理模型管理目錄管理標(biāo)準(zhǔn)管理資源管理數(shù)據(jù)開放門戶數(shù)據(jù)開發(fā)調(diào)度平臺數(shù)據(jù)支撐平臺批數(shù)據(jù)接入…1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)開發(fā)調(diào)度管理數(shù)據(jù)開發(fā)調(diào)度管理能夠支撐多種混搭數(shù)據(jù)庫環(huán)境的開發(fā)調(diào)度功能，實現(xiàn)數(shù)據(jù)從“采集→加工→對外應(yīng)用服務(wù)”的全生命周期管理?；谠獢?shù)據(jù)以及日志數(shù)據(jù)提供端到端的全過程數(shù)據(jù)開發(fā)質(zhì)量管控能力。支撐數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)關(guān)系管理、數(shù)據(jù)異常管理、數(shù)據(jù)分析管理、數(shù)據(jù)流程管理、流數(shù)據(jù)處理、知識圖譜、數(shù)據(jù)分層管理、數(shù)據(jù)運維管理、數(shù)據(jù)資產(chǎn)管理功能。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)開發(fā)調(diào)度管理1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)開發(fā)調(diào)度管理

邊界集成說明：與數(shù)據(jù)采集平臺集成：數(shù)據(jù)采集平臺的采集任務(wù)完成后，通知開發(fā)調(diào)度管理平臺的庫內(nèi)處理程序進(jìn)行調(diào)度任務(wù)的銜接與數(shù)據(jù)支撐平臺集成：數(shù)據(jù)支撐平臺提供JDBC接口，供開發(fā)調(diào)度管理平臺調(diào)用，實現(xiàn)數(shù)據(jù)庫操作的調(diào)度開發(fā)調(diào)度管理平臺對數(shù)據(jù)支撐平臺發(fā)布流數(shù)據(jù)處理任務(wù)與數(shù)據(jù)資產(chǎn)管理平臺集成：數(shù)據(jù)資產(chǎn)管理平臺提供元數(shù)據(jù)同步接口，把模型元數(shù)據(jù)同步給開發(fā)調(diào)度管理平臺做庫內(nèi)處理開發(fā)數(shù)據(jù)采集平臺調(diào)度對接開發(fā)調(diào)度管理平臺元數(shù)據(jù)同步數(shù)據(jù)資產(chǎn)管理平臺數(shù)據(jù)支撐平臺JDBC接口流數(shù)據(jù)處理1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)分析及可視化用戶對擁有權(quán)限的數(shù)據(jù)資源進(jìn)行數(shù)據(jù)探索及數(shù)據(jù)可視化分析。數(shù)據(jù)可視化工具：專題數(shù)據(jù)，主題數(shù)據(jù)加工完成后，用戶可利用可視化工具開發(fā)可視化報表，經(jīng)過測試發(fā)布上線后，對外提供可視化服務(wù)；數(shù)據(jù)探索工具：用戶通過數(shù)據(jù)探索工具對擁有權(quán)限的數(shù)據(jù)進(jìn)行在線自助數(shù)據(jù)查詢，工具記錄訪問日志。1、數(shù)據(jù)管理子系統(tǒng)·數(shù)據(jù)共享服務(wù)數(shù)據(jù)共享交換服務(wù)基于大數(shù)據(jù)區(qū)共享層的數(shù)據(jù)目錄，對各委辦局及其應(yīng)用系統(tǒng)間進(jìn)行數(shù)據(jù)共享、交換。數(shù)據(jù)運營管理服務(wù)檔案|授權(quán)管理|運行監(jiān)控|服務(wù)計量|平臺管理數(shù)據(jù)源數(shù)據(jù)安全安全策略|數(shù)據(jù)出口安全|請求控制|黑白名單管理|安全審計數(shù)據(jù)目錄（開放子集）資源定義資源展現(xiàn)…資源管理外部數(shù)據(jù)服務(wù)鑒權(quán)服務(wù)調(diào)用數(shù)據(jù)傳輸協(xié)議轉(zhuǎn)換數(shù)據(jù)目錄（全量）httphttpsftp推送用戶外部用戶應(yīng)用外部應(yīng)用服務(wù)管理數(shù)據(jù)服務(wù)目錄共享服務(wù)開發(fā)共享服務(wù)日志服務(wù)生命周期運行服務(wù)2、數(shù)據(jù)治理子系統(tǒng)·國家資源平臺級聯(lián)國家數(shù)據(jù)資源共享交換平臺體系由國家共享平臺、省級共享平臺、地市共享平臺等多級平臺組成。各級共享平臺橫向連通所轄區(qū)域政務(wù)部門的政務(wù)信息資源，縱向多級平臺對接，形成橫向聯(lián)動、縱向貫通的數(shù)據(jù)共享交換體系。其中國家資源管理子系統(tǒng)是國家與上海市兩級數(shù)據(jù)共享交換平臺的重要組成部分，通過國家資源管理子系統(tǒng)的上線運行，可以更加高效的實現(xiàn)國家與上海市的資源交換，更加快速滿足政務(wù)部門業(yè)務(wù)辦理的需要。2、數(shù)據(jù)治理子系統(tǒng)·國家資源平臺級聯(lián)國家資源平臺數(shù)據(jù)治理子系統(tǒng)（擴(kuò)展功能）資源申請模塊資源撤銷模塊資源審核模塊查詢模塊消息管理模塊配置管理模塊應(yīng)用及事項管理模塊使用單位對接模塊目標(biāo)對接模塊資源對接模塊業(yè)務(wù)流程對接模塊通知管理對接監(jiān)控模塊資源申請功能資源申請管理資源撤銷功能資源撤銷管理資源審核功能資源申請的審核管理查詢已上線資源已發(fā)布的資源管理功能申請審核消息代辦消息預(yù)警消息配置庫表文件資源申請審核服務(wù)接口申請審核服務(wù)事項管理政務(wù)事項管理單位信息注冊與市數(shù)據(jù)交換共享目錄接口密鑰更新授權(quán)密鑰獲取注冊撤銷變更發(fā)布通知下發(fā)管理市數(shù)據(jù)共享交換平臺對接管理訂閱變更撤銷監(jiān)控目錄及資源對接3、平臺集成門戶·共享及運營門戶共享及運營門戶門戶集成數(shù)據(jù)治理子系統(tǒng)、數(shù)據(jù)管理子系統(tǒng)、事件中心、數(shù)據(jù)開發(fā)子系統(tǒng)等業(yè)務(wù)系統(tǒng)。提供統(tǒng)一的待辦工單流轉(zhuǎn)和個人消息提醒功能，通過門戶入口實現(xiàn)對業(yè)務(wù)的協(xié)同管理。門戶提供統(tǒng)一的權(quán)限管理并適配各管理子系統(tǒng)。提供角色互斥配置，實現(xiàn)權(quán)限的管、用、審分離。各用戶單位可自主管理用戶和授權(quán)。門戶實現(xiàn)CA認(rèn)證、統(tǒng)一身份認(rèn)證和單點登錄。門戶集成的各個系統(tǒng)界面風(fēng)格上實現(xiàn)統(tǒng)一，包括列表樣式、頁面布局頁面顏色搭配、字體大小、按鈕風(fēng)格等。3、平臺集成門戶·共享及運營門戶平臺集成門戶數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)治理管理數(shù)據(jù)共享管理事件中心管理可視化分析系統(tǒng)管理色彩字體控件布局統(tǒng)一登錄認(rèn)證統(tǒng)一權(quán)限配置統(tǒng)一鑒權(quán)中心統(tǒng)一授權(quán)管理待辦任務(wù)通知公告消息推送數(shù)據(jù)推送統(tǒng)一風(fēng)格統(tǒng)一功能統(tǒng)一認(rèn)證統(tǒng)一推送4、數(shù)據(jù)開放子系統(tǒng)·數(shù)據(jù)開放管理數(shù)據(jù)開放門戶與數(shù)據(jù)開放管理關(guān)系示意圖數(shù)據(jù)開放管理架構(gòu)4、數(shù)據(jù)開放子系統(tǒng)·數(shù)據(jù)開放門戶開放門戶功能架構(gòu)4、數(shù)據(jù)開放子系統(tǒng)·數(shù)據(jù)沙箱數(shù)據(jù)開放主體可以把無條件開放數(shù)據(jù)或有條件開放的數(shù)據(jù)經(jīng)脫敏脫密處理后存放于安全沙箱中；數(shù)據(jù)利用主體基于允許開放的數(shù)據(jù)，在沙箱安全隔離的計算環(huán)境中執(zhí)行計算任務(wù)，生成計算結(jié)果；用戶全生命周期使用日志可供監(jiān)管方審查。對于已經(jīng)通過數(shù)據(jù)開放主體審核的結(jié)果，數(shù)據(jù)利用主體可以按照約定的方式進(jìn)行使用。5、數(shù)據(jù)安全管理子系統(tǒng)·全生命周期安全管理設(shè)計安全服務(wù)體系平臺基礎(chǔ)設(shè)備信息源身份認(rèn)證信息數(shù)據(jù)授權(quán)信息安全服務(wù)信息數(shù)據(jù)流量信息大數(shù)據(jù)平臺數(shù)據(jù)流數(shù)據(jù)流安全運營中心安全服務(wù)信息導(dǎo)入安全運營中心服務(wù)流程平臺事前：身份訪問控制數(shù)據(jù)授權(quán)管理事中：流量數(shù)據(jù)采集數(shù)據(jù)脫敏數(shù)據(jù)加密/密鑰管理數(shù)字水印/簽名管理事后：日志采集及存儲安全審計（安全風(fēng)險接入識別）告警監(jiān)控管理及處理整體：數(shù)據(jù)安全合規(guī)審查5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)據(jù)抽取流程安全設(shè)計平臺端，服務(wù)商執(zhí)行信息維護(hù)的權(quán)限，通過“鑒權(quán)中心”，“身份認(rèn)證管理”和“數(shù)據(jù)授權(quán)管理”進(jìn)行策略設(shè)置及下發(fā)，確保訪問控制安全性和有效性；在采集數(shù)據(jù)入庫存儲時，進(jìn)行數(shù)據(jù)加密處理，保障數(shù)據(jù)存儲安全；通過“數(shù)據(jù)流量采集”技術(shù)產(chǎn)品，采集主要數(shù)據(jù)節(jié)點的流量信息，解析流量中的有效信息，分析安全威脅，惡意活動等行為，為安全運營監(jiān)控中心提供數(shù)據(jù)來源在數(shù)據(jù)抽取的業(yè)務(wù)流程中5、數(shù)據(jù)安全管理子系統(tǒng)·共享交換流程安全設(shè)計平臺端，通過“鑒權(quán)中心”，“身份認(rèn)證管理”和“數(shù)據(jù)授權(quán)管理”進(jìn)行策略設(shè)置及下發(fā)，控制委辦局申請共享和交換數(shù)據(jù)的權(quán)限，確保訪問控制安全性和有效性；委辦局端，根據(jù)身份認(rèn)證管理和數(shù)據(jù)授權(quán)管理制定的策略，申請數(shù)據(jù)共享交換需求；在采集數(shù)據(jù)入庫存儲時，進(jìn)行數(shù)據(jù)加密處理，保障數(shù)據(jù)存儲安全；封裝數(shù)據(jù)，發(fā)布至共享交換平臺時，進(jìn)行數(shù)字簽名/水印和脫敏，確保數(shù)據(jù)共享安全在數(shù)據(jù)共享交換的業(yè)務(wù)流程中5、數(shù)據(jù)安全管理子系統(tǒng)·主題庫建設(shè)流程安全設(shè)計委辦局端，根據(jù)身份認(rèn)證管理和數(shù)據(jù)授權(quán)管理制定的策略，申請主題庫建設(shè)申請；平臺端，通過“鑒權(quán)中心”，“身份認(rèn)證管理”和“數(shù)據(jù)授權(quán)管理”進(jìn)行策略設(shè)置及下發(fā)，控制委辦局申請主題庫建設(shè)的權(quán)限，確保訪問控制安全性和有效性；在主題庫建設(shè)的業(yè)務(wù)流程中5、數(shù)據(jù)安全管理子系統(tǒng)·身份認(rèn)證控制（事前）身份管理服務(wù)統(tǒng)一認(rèn)證服務(wù)集中授權(quán)服務(wù)集中鑒權(quán)服務(wù)審計服務(wù)場景：注冊、登錄場景：安全追溯場景：業(yè)務(wù)使用身份認(rèn)證鑒權(quán)中心用戶管理認(rèn)證管理認(rèn)證方式認(rèn)證策略授權(quán)管理集中授權(quán)鑒權(quán)管理審計管理用戶審計認(rèn)證審計鑒權(quán)審計授權(quán)審計日志審計……分級管理金庫管理單點登錄信任傳遞身份管理組織機(jī)構(gòu)大數(shù)據(jù)中心管用審委辦局管用審區(qū)各單位管用審共享&運營門戶數(shù)據(jù)治理/共享/開發(fā)/…安全管理子系統(tǒng)…大數(shù)據(jù)中心、委辦局、區(qū)等各單位使用大數(shù)據(jù)資源平臺相關(guān)子系統(tǒng)時，根據(jù)總體數(shù)據(jù)權(quán)限管理方針，實現(xiàn)管、用、審三類角色權(quán)限分離，同時在遵循管、用、審分離原則情況下，各單位管理員可自行定義角色，并授予本單位其他用戶。身份認(rèn)證鑒權(quán)中心，提供用戶管理、認(rèn)證管理、授權(quán)管理及審計管理功能，實現(xiàn)統(tǒng)一身份管理。5、數(shù)據(jù)安全管理子系統(tǒng)·流量數(shù)據(jù)采集（事中）大數(shù)據(jù)安全分析系統(tǒng)通過采集全網(wǎng)流量及日志數(shù)據(jù)，結(jié)合機(jī)器學(xué)習(xí)、數(shù)據(jù)建模、行為識別、關(guān)聯(lián)分析、人工智能等方法，對海量異構(gòu)的安全數(shù)據(jù)進(jìn)行分析，以資產(chǎn)、威脅、脆弱性等維度進(jìn)行安全態(tài)勢分析，并生成全方位的安全全景視圖，實現(xiàn)數(shù)據(jù)的長時間窗口存儲、全文檢索分析、異常行為檢測和安全合規(guī)要求，支撐安全決策和應(yīng)急響應(yīng)，幫助用戶建立安全預(yù)警機(jī)制，增強(qiáng)整體安全防護(hù)能力。核心功能:流量探測流量分析流量解析匯總及外發(fā)數(shù)據(jù)流量過濾預(yù)測告警

5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)據(jù)脫敏（事中）數(shù)據(jù)脫敏系統(tǒng)提供靜態(tài)脫敏、動態(tài)脫敏業(yè)務(wù)能力，可以對大數(shù)據(jù)平臺各種存儲環(huán)境中的數(shù)據(jù)進(jìn)行靜態(tài)脫敏，將數(shù)據(jù)脫敏到結(jié)構(gòu)化、非結(jié)構(gòu)化文件或數(shù)據(jù)庫，對數(shù)據(jù)進(jìn)行基于場景的動態(tài)脫敏，保護(hù)敏感信息確保數(shù)據(jù)在使用過程中的安全性。

5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)據(jù)加密/密鑰管理（事中）由密鑰管理系統(tǒng)（簡稱SecKMS）和國密算法SDK（簡稱：SecAPP）兩部分組成，兩部分既相互獨立又相互依存，前者為后者提供密鑰來源，后者為前者密碼運算能力。SecAPP提供應(yīng)用層加密功能，業(yè)務(wù)系統(tǒng)通過調(diào)用SecAPP接口對存入的敏感數(shù)據(jù)進(jìn)行加密保護(hù)，確保數(shù)據(jù)的安全存儲。SecAPP支持客戶端的本地加密（進(jìn)程中）和密鑰服務(wù)器的集中加密。對本地加密，通過密鑰緩存模塊可提供安全的內(nèi)存密鑰緩存和持久密鑰緩存管理。通過完善的密鑰到期時間和密鑰保護(hù)策略機(jī)制，確保密鑰的安全性和易用性，有效保障業(yè)務(wù)系統(tǒng)敏感數(shù)據(jù)安全。5、數(shù)據(jù)安全管理子系統(tǒng)·數(shù)字水印/簽名管理（事中）數(shù)字簽名/水印通過在大數(shù)據(jù)平臺中使用數(shù)字水印技術(shù)，在一定程度上成功的達(dá)到數(shù)據(jù)文件來源可跟蹤，確認(rèn)內(nèi)容創(chuàng)建者、使用者、傳送隱秘信息或者判斷大數(shù)據(jù)平臺門戶頁面是否被篡改等目的。在網(wǎng)頁頁面上，打上用戶標(biāo)識、訪問時間、應(yīng)用功能號、訪問IP、訪問機(jī)器的MAC地址。網(wǎng)頁數(shù)字水印在導(dǎo)出的excel、txt文件上，打上用戶標(biāo)識、訪問時間、應(yīng)用功能號、訪問IP、訪問機(jī)器的MAC地址。文件數(shù)字水印在導(dǎo)出的word、pdf文件上，打上用戶標(biāo)識、訪問時間、應(yīng)用功能號、訪問IP、訪問機(jī)器的MAC地址。其他數(shù)字水印5、數(shù)據(jù)安全管理子系統(tǒng)·日志采集（事后）日志采集采集日志加載清洗過濾標(biāo)準(zhǔn)化關(guān)聯(lián)補(bǔ)齊數(shù)據(jù)標(biāo)簽化日志存儲統(tǒng)一存儲

5、數(shù)據(jù)安全管理子系統(tǒng)·安全審計（事后）數(shù)據(jù)安全審計數(shù)據(jù)安全審計：實現(xiàn)對數(shù)據(jù)高危操作、敏感操作等審計。數(shù)據(jù)庫審計應(yīng)用授權(quán)審計數(shù)據(jù)訪問權(quán)限審計綜合日志審計：實現(xiàn)對數(shù)據(jù)來源、系統(tǒng)日志進(jìn)行審計，并對審計結(jié)果加以分析。安全風(fēng)險識別：基于日志數(shù)據(jù)+流量數(shù)據(jù)的聚合、關(guān)聯(lián)分析，識別安全風(fēng)險。5、數(shù)據(jù)安全管理子系統(tǒng)·告警管理（事后）告警管理告警觸發(fā)：通過對日志的審計分析獲取數(shù)據(jù)安全異常告警信息告警觸達(dá)：根據(jù)告警規(guī)則配置的觸發(fā)人員+告警內(nèi)容下發(fā)至運營中心告警管理模塊，由告警管理模塊統(tǒng)一下發(fā)至責(zé)任人、對應(yīng)工單，形成閉環(huán)處理機(jī)制5、數(shù)據(jù)安全管理子系統(tǒng)·安全合規(guī)性審查（整體）安全測評

合規(guī)代碼審計安全基線編制和漏掃系統(tǒng)漏掃和滲透測試風(fēng)險分析報告等級保護(hù)三級數(shù)據(jù)安全能力成熟度三級安全保障能力EAL三級合規(guī)性審查背景與需求分析總體架構(gòu)設(shè)計平臺功能設(shè)計平臺數(shù)據(jù)綜合應(yīng)用2134項目實施方案5構(gòu)建市級數(shù)據(jù)庫建立基礎(chǔ)庫和主題庫運營支撐體系主題庫/專題庫責(zé)任委辦局負(fù)責(zé)：主題庫需求、建設(shè)方案（業(yè)務(wù)方案）、開發(fā)和主題應(yīng)用。大數(shù)據(jù)中心主要負(fù)責(zé)：制定標(biāo)準(zhǔn)（技術(shù)方案）、提供平臺、數(shù)據(jù)和工具，并負(fù)責(zé)建成后的服務(wù)開放和運行維護(hù)。委辦局市大數(shù)據(jù)中心共享數(shù)據(jù)委辦局提出主題庫建設(shè)申請開始編制建設(shè)方案提出需求清單明確建庫需求核實建設(shè)申請確認(rèn)建設(shè)方案三清單管理確認(rèn)責(zé)任清單和負(fù)面清單資源目錄編制分配資源并建庫共享數(shù)據(jù)推送提供建模工具和建庫資源建設(shè)主題庫設(shè)置主題庫管理規(guī)則提供數(shù)據(jù)服務(wù)開展主題應(yīng)用提供主題庫監(jiān)測等管理服務(wù)結(jié)束市級數(shù)據(jù)湖市級數(shù)據(jù)庫基礎(chǔ)庫主題庫專題庫指標(biāo)庫ODS數(shù)據(jù)倉庫數(shù)據(jù)集市委辦貼源數(shù)據(jù)人口庫法人庫經(jīng)濟(jì)活動公共事業(yè)社會關(guān)系人員密度數(shù)據(jù)建模數(shù)據(jù)抽取入數(shù)據(jù)庫市級數(shù)據(jù)庫·公共基礎(chǔ)庫市級數(shù)據(jù)庫·基礎(chǔ)庫運營支撐人口概況、人口查詢、人口統(tǒng)計、人口畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標(biāo)簽管理、標(biāo)簽映射和關(guān)系、圖形化分析……業(yè)務(wù)信息數(shù)據(jù)公安口人口出生、死亡及戶籍登記基本信息地理實體數(shù)據(jù)影像數(shù)據(jù)高程數(shù)據(jù)電子地圖數(shù)據(jù)地名地址數(shù)據(jù)三維數(shù)據(jù)人口庫建模元數(shù)據(jù)管理法人庫建模元數(shù)據(jù)管理空間地理庫建模元數(shù)據(jù)管理數(shù)據(jù)抽取/數(shù)據(jù)交換基礎(chǔ)數(shù)據(jù)庫基礎(chǔ)庫管理應(yīng)用人口應(yīng)用法人概況、法人查詢、法人統(tǒng)計、法人畫像、周期管理、模板管理、字段映射、執(zhí)行策略、入庫管理、異常告警、標(biāo)簽管理、標(biāo)簽映射和關(guān)系、圖形化分析……法人應(yīng)用地圖服務(wù)、影像服務(wù)、地名地址服務(wù)、三維服務(wù)與坐標(biāo)轉(zhuǎn)換等功能服務(wù)……空間地理應(yīng)用人口數(shù)據(jù)法人數(shù)據(jù)空間地理數(shù)據(jù)民政口婚姻關(guān)系雙方人口信息人社口社會五險參保等人口信息衛(wèi)計口孕產(chǎn)婦及家屬信息工商口稅務(wù)口質(zhì)監(jiān)口民政口市級數(shù)據(jù)庫·主題庫運營支撐以民生幸福專題為應(yīng)用場景，舉例主題數(shù)據(jù)庫的運營支撐：大數(shù)據(jù)資源平臺數(shù)據(jù)采集接入數(shù)據(jù)抽取運維數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)作業(yè)調(diào)度運維數(shù)據(jù)質(zhì)量檢查及異常處置經(jīng)濟(jì)活動主題庫公共事業(yè)主題庫社會關(guān)系主題庫人員密度主題庫算力資源人口遷徙老齡化及養(yǎng)老流動人口公共安全食品安全政務(wù)服務(wù)委辦局?jǐn)?shù)據(jù)模型專題應(yīng)用更新迭代人口數(shù)據(jù)政務(wù)辦事數(shù)據(jù)交通安全數(shù)據(jù)食品衛(wèi)生數(shù)據(jù)社會保障數(shù)據(jù)運營支撐數(shù)據(jù)運營服務(wù)大數(shù)據(jù)綜合應(yīng)用·示例通話攝像頭監(jiān)控傳感器110電話接受側(cè)翻事件傳感器采集液化氣有泄露情況掃描事件管理調(diào)用事故安全事件場景消息分發(fā)處理中心派發(fā)事件至各部委平臺事件處理流（可自定義順序）服務(wù)能力事件觸點事件中心衛(wèi)生局平臺1、通知環(huán)境檢測

2、提供相應(yīng)信息衛(wèi)生局警務(wù)平臺1、通知警隊，派遣警察

2、提供地點，當(dāng)時情況等信息警務(wù)處理刑警隊火警平臺1、通知消防隊，派遣消防車

2、提供地點，當(dāng)時情況等信息警務(wù)處理消防隊醫(yī)療平臺1、通知救護(hù)車

2、提供相應(yīng)信息救護(hù)處理醫(yī)療隊善后告知親人結(jié)案1234事件數(shù)據(jù)采集（kafka，流處理）事件觸點規(guī)則匹配委辦平臺對接油罐車發(fā)生側(cè)翻，造成人員傷亡以及液化氣泄露事件背景與需求分析總體架構(gòu)設(shè)計平臺功能設(shè)計平臺數(shù)據(jù)綜合應(yīng)用2134項目實施方案5項目實施組織架構(gòu)大數(shù)據(jù)資源平臺項目PMO管理小組項目經(jīng)理（1名）系統(tǒng)架構(gòu)師（1名）項目經(jīng)理助理（3名）需求分析師（2名）實施工程師（4名+）功能建設(shè)團(tuán)隊安全建設(shè)團(tuán)隊數(shù)據(jù)運營團(tuán)隊商務(wù)團(tuán)隊質(zhì)量保證（2名）安全項目經(jīng)理（1名）安全架構(gòu)師（1名）配置管理（1名）技術(shù)支持（1名）……安全專員（1名）集成商項目組廠商A廠商E廠商B廠商F廠商C廠商H廠商D……廠商1廠商2廠商3……咨詢團(tuán)隊大數(shù)據(jù)中心領(lǐng)導(dǎo)測評團(tuán)隊監(jiān)理團(tuán)隊THANKS大數(shù)據(jù)管理關(guān)鍵技術(shù)

頂層架構(gòu)設(shè)計思路

背景說明

數(shù)據(jù)管理方法論

場景化大數(shù)據(jù)管理

落地實踐目

錄

》

01

背景說明隨著消費互聯(lián)網(wǎng)的反戰(zhàn)，商業(yè)互聯(lián)網(wǎng)沉

淀出了包括電商、支付、信用、溝通協(xié)同、定位等等眾多的全新數(shù)字架構(gòu)和能

力。同時數(shù)字政務(wù)、

智慧城市、

智慧產(chǎn)業(yè)已

經(jīng)陸續(xù)進(jìn)入高速發(fā)展的進(jìn)程。一方面，s商業(yè)互聯(lián)網(wǎng)的數(shù)字架構(gòu)和能力，會輸出給政府、城市和產(chǎn)業(yè)，為它們所擁有；另一方面，政府、城市和產(chǎn)業(yè)也將生長出自己全新的智慧商業(yè)架構(gòu)和能力。今天這四大領(lǐng)域都在發(fā)生著全新的變革，他們共同組成了一個新型數(shù)字化社會。連接消費互聯(lián)網(wǎng) 數(shù)字革命，新的工業(yè)化革命v政務(wù)服務(wù)智慧政府v城市大數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)數(shù)據(jù)在線智能數(shù)字政務(wù)智慧商業(yè)智慧產(chǎn)業(yè)智慧城市智慧交通城市大腦精準(zhǔn)營銷智能制造行業(yè)大腦智慧能源政務(wù)治理政務(wù)智能行業(yè)云……大數(shù)據(jù)中心數(shù)據(jù)中心成為數(shù)字化應(yīng)用的重要基礎(chǔ)設(shè)施創(chuàng)造數(shù)據(jù)價值數(shù)據(jù)攻擊目標(biāo)新能源充電充電樁智能電表集成式充換電站特高壓斷路器直流交電電站監(jiān)控高壓組合遠(yuǎn)程醫(yī)療

在線課堂終端射頻車聯(lián)網(wǎng)機(jī)車供電機(jī)車車體

工程機(jī)械軌道控制終端監(jiān)控智能制造

互聯(lián)平臺機(jī)器學(xué)習(xí)人臉識別自動駕駛工業(yè)互聯(lián)網(wǎng)城際高鐵人工智能5G基建數(shù)據(jù)計算

數(shù)據(jù)挖掘數(shù)據(jù)匯聚

數(shù)據(jù)存儲數(shù)據(jù)分析數(shù)據(jù)處理云計算海量數(shù)據(jù)交換數(shù)據(jù)跨安全域使用共享開放數(shù)據(jù)匯聚后集中存儲數(shù)據(jù)提供方和使用方往往不是同一方數(shù)據(jù)流程長，接觸人員多有限的數(shù)據(jù)流動數(shù)據(jù)在安全域內(nèi)使用數(shù)據(jù)孤島式存儲使用數(shù)據(jù)責(zé)任單一數(shù)據(jù)流程短，接觸人員少 數(shù)字化轉(zhuǎn)型帶來數(shù)據(jù)場景的顛覆性變化)系統(tǒng)/部門

（流轉(zhuǎn)）民眾/跨系統(tǒng)/部門中華人民共和國數(shù)據(jù)安全法6月10日，國家主席習(xí)近平簽署了第八十四號主席令，自2021年9月1日起施行數(shù)據(jù)安全法是總體國家安全觀框架下，國家安全法律體系的重要組成部分。該法律在網(wǎng)絡(luò)安全法的基礎(chǔ)上，進(jìn)一步明確了數(shù)據(jù)安全相關(guān)者的保護(hù)義務(wù)與職責(zé)，并與國家互聯(lián)網(wǎng)信息辦公室發(fā)布的《數(shù)據(jù)安全管理辦法（征求意見稿）》相互照應(yīng)。

《數(shù)據(jù)安全法》的誕生，標(biāo)志著數(shù)據(jù)安全上升到國家安全層面，意義重大?！稊?shù)據(jù)安全法》共七章五十五條。

《數(shù)據(jù)安全法》總覽Name2011201220132014201520162017201820192020SubtotalKafka2253820Hbase11144112Hive1253361526HDFS1113502417Spark2148117538Elasticsearcookeeper1113411627Splunk426945655147Map

Reduce11Yarn1112233215Storm231123277129Impala23229Hadoop413348122138Pig11Ranger147334123Ambari164321421Subtotal6111125374451736050368每年新增大數(shù)據(jù)平臺CVE漏洞數(shù)807060201002013根據(jù)多家調(diào)研機(jī)構(gòu)的對大數(shù)據(jù)安全的研究，大數(shù)據(jù)平臺自身的漏洞和不正確的配置成為平臺上數(shù)據(jù)安全風(fēng)險的最容易忽略的地方； 大數(shù)據(jù)平臺漏洞和不當(dāng)配置引入安全隱患信息來源：

CVE官網(wǎng)1111201120122014201520162017201820192020402544605030375051736服務(wù)器暴露與配置問題成為數(shù)據(jù)泄漏主要原因11%6%互聯(lián)網(wǎng)暴露與配置問題存在漏洞管理問題未知原因來源：2019

網(wǎng)絡(luò)安全觀察報告50%33%1、非法收集：外部：漏洞攻擊、木馬注入、弱配置、

APT：越權(quán)盜竊、離職2、數(shù)據(jù)濫用：誘導(dǎo)、販賣、敲詐3、數(shù)據(jù)泄露訪問：認(rèn)證、權(quán)限共享：業(yè)務(wù)（門戶、調(diào)用測試）、人員交互外發(fā)：跨區(qū)、第三方（網(wǎng)絡(luò)、郵件）外帶：出差、回家數(shù)據(jù)安全風(fēng)險因素風(fēng)險

元素通過

什么

減輕被什么危害保護(hù)

什么這就是防護(hù)措施脆弱性利

用導(dǎo)

致暴露風(fēng)險威脅資產(chǎn)自主檢查制定制度規(guī)范

制定技術(shù)標(biāo)準(zhǔn)

檢查工具選型運行維護(hù)管理

安全事件管理

安全風(fēng)險管理網(wǎng)絡(luò)安全法、等保、關(guān)基、數(shù)據(jù)安全法兒童個人信息網(wǎng)

絡(luò)保護(hù)規(guī)定 數(shù)據(jù)安全監(jiān)管過程控制框架提升數(shù)據(jù)安全保障能力事

件

等

級

劃分事

件

響

應(yīng)

處置監(jiān)督檢查要求管理制度要求

個人信息

一般數(shù)據(jù)

重要數(shù)據(jù)

核心數(shù)據(jù)

數(shù)據(jù)安全主管單位、第三方檢查評估機(jī)構(gòu)目

標(biāo)

任

務(wù)

劃分安全檢查

要求數(shù)據(jù)安全保護(hù)策略與建設(shè)指南

檢查支撐整改建議安全要求數(shù)據(jù)安全檢查指南數(shù)據(jù)安全能力成熟度評估評估結(jié)果及整改建議差距分析攻防演練人才建設(shè)運營監(jiān)測數(shù)據(jù)安全

管理辦法風(fēng)險評估要求WEBAPP公眾號

客戶端

服務(wù)器

數(shù)倉數(shù)據(jù)安全能力

成熟度模型復(fù)核性抽查數(shù)據(jù)

安全

監(jiān)督

管理

平臺其他安全規(guī)

范網(wǎng)絡(luò)安全等

級保護(hù)制度風(fēng)

險

評

估

矩陣出境安全

評估辦法個人信息

安全規(guī)范自主上報02數(shù)據(jù)管理方法論

知

制定數(shù)據(jù)規(guī)范、定義敏感數(shù)據(jù)數(shù)據(jù)分類分級、數(shù)據(jù)風(fēng)險評估

制定安全策略、控制敏感數(shù)據(jù)

數(shù)據(jù)安全監(jiān)察、行為追蹤溯源

行

數(shù)據(jù)安

全防護(hù) 數(shù)據(jù)管理方法論一個中心，四個領(lǐng)域，五個階段

識

控

察

數(shù)據(jù)安全事件處置、持續(xù)運營

數(shù)據(jù)安全管理與技術(shù)體系建設(shè)框架違規(guī)行為監(jiān)控.

態(tài)勢感知.

通報預(yù)警.

應(yīng)急響應(yīng)明確數(shù)據(jù)安全管理職責(zé)數(shù)據(jù)安全風(fēng)險管理數(shù)據(jù)分類別、級別保護(hù)數(shù)據(jù)安全事件管理落實數(shù)據(jù)安全檢查分類分級要求下發(fā)數(shù)據(jù)掃描部門自定級定級結(jié)果評審特征識別級別匹配安全管控權(quán)責(zé)劃分安全要求實施細(xì)則組織架構(gòu)崗位職責(zé)懲獎措施決策層（數(shù)據(jù)安全決策委員會）3.定期數(shù)據(jù)安全保

護(hù)現(xiàn)狀檢查2.數(shù)據(jù)使用行為監(jiān)控1.數(shù)據(jù)使用行為備案4.數(shù)據(jù)安全技術(shù)管控措施使用目的使用方法使用期限保護(hù)措施2.數(shù)據(jù)資源目錄梳理1.數(shù)據(jù)分類分級管理要求分析6.數(shù)據(jù)分級管理狀態(tài)監(jiān)控5.落實數(shù)據(jù)分級管理要求3.數(shù)據(jù)分類分級1.安全事件產(chǎn)生途徑分析1.數(shù)據(jù)流轉(zhuǎn)場景分析2.數(shù)據(jù)安全風(fēng)險分析3.構(gòu)建數(shù)據(jù)安全管控平臺2.安全事件監(jiān)控機(jī)制設(shè)計3.數(shù)據(jù)安全需求導(dǎo)出4.數(shù)據(jù)安全事件應(yīng)急預(yù)案5.數(shù)據(jù)安全事件應(yīng)急演練信息安全管理職責(zé)各部門數(shù)據(jù)

保護(hù)職責(zé)管理層（數(shù)據(jù)安全管理小組）執(zhí)行層（數(shù)據(jù)安全執(zhí)行團(tuán)隊）全生命周期管理要求監(jiān)督層（風(fēng)險管理與

審計）數(shù)據(jù)安全管理目標(biāo)匯報

決策、授權(quán)數(shù)據(jù)安全風(fēng)險數(shù)據(jù)測繪數(shù)據(jù)行為數(shù)據(jù)流現(xiàn)有控制措施匯報

指導(dǎo)、監(jiān)督風(fēng)險要素風(fēng)險要素角色

.

資產(chǎn)識別.

風(fēng)險評估.

策略調(diào)優(yōu).

合規(guī)監(jiān)管.

實時監(jiān)測.

安全評估采集傳輸存儲處理交換銷毀5級4級3級2級1級威脅類型威脅來源威脅對象行為分析威脅資產(chǎn)監(jiān)控處理阻斷脆弱性數(shù)據(jù)防泄漏權(quán)限管控日志審計行為管控脫敏加密管

理依

據(jù)配合審計審計配合資產(chǎn)安全監(jiān)控數(shù)據(jù)行為風(fēng)險運營反饋數(shù)據(jù)安全組織制度建設(shè)

跨業(yè)務(wù)與IT部門，數(shù)據(jù)全覆蓋的組織架構(gòu)檢查，明確職責(zé)。信息安全管理團(tuán)隊數(shù)據(jù)業(yè)務(wù)管理團(tuán)隊信息安全執(zhí)行團(tuán)隊（信息中心安全經(jīng)理）規(guī)劃建設(shè)工作組應(yīng)急響應(yīng)

工作組方針戰(zhàn)略管理制度管理辦法操作流程、規(guī)范、作業(yè)指導(dǎo)書、模板文件信息安全決策委員會（CISO、CTO、CSO）監(jiān)督審計內(nèi)控管理-自檢自查計劃、表格、報告、運行/檢查

記錄、日志文件

數(shù)據(jù)安全制度流程體系檢查，確立制度。運營運維工作組一級文件二級文件三級文件四級文件 管理體系-組織架構(gòu)&管控策略體系建設(shè)監(jiān)督層審計人員執(zhí)行層數(shù)據(jù)安全運營、技術(shù)團(tuán)隊決策層高管、數(shù)據(jù)安全官管理層數(shù)據(jù)安全管理團(tuán)隊配合層員工、合作伙伴安全審計權(quán)限細(xì)分行為監(jiān)控靜態(tài)脫敏運維管控動態(tài)脫敏行為監(jiān)控數(shù)字水印行為審計安全審計責(zé)任稽核行為畫像風(fēng)險阻斷數(shù)據(jù)安全組織架構(gòu)圖數(shù)據(jù)業(yè)務(wù)審批員數(shù)據(jù)分析人員數(shù)據(jù)運維人員開發(fā)測試人員數(shù)據(jù)分發(fā)員管

理業(yè)務(wù)人員安全員管理員……計劃、表格、報告、運行/檢查記錄、日志文件操作流程、規(guī)范、作業(yè)指導(dǎo)書、

模板文件 管理體系-數(shù)據(jù)安全管理制度建設(shè)管理制度

管理辦法方針戰(zhàn)略

一級文件二級文件三級文件四級文件 管理體系-數(shù)據(jù)分類分級管理制度注：分類分級管理部分規(guī)范關(guān)注構(gòu)建數(shù)據(jù)分類分級機(jī)制，安全管理要求在全生命周期管理規(guī)范中體現(xiàn)。3級制度：數(shù)據(jù)分類分級安全管理實施細(xì)則2級制度：數(shù)據(jù)分類分級安全管理辦法

二級制度三級制度（數(shù)據(jù)使用管理辦法） 管理體系-全生命周期安全管理制度采集

傳輸

存儲

處理

交換

銷毀

數(shù)據(jù)安全主管單位、第三方檢查評估機(jī)構(gòu)單位自主檢查WEBAPP公眾號客戶端服務(wù)器數(shù)倉管理制度要求數(shù)據(jù)安全檢查指南個人信息保護(hù)法、數(shù)據(jù)安全法、網(wǎng)絡(luò)安全法、等保、關(guān)基重要數(shù)據(jù)數(shù)據(jù)大數(shù)據(jù)服務(wù)安全能力要求提升數(shù)據(jù)安全保障能力技術(shù)體系-數(shù)據(jù)安全監(jiān)管框架攻防演練人才建設(shè)運營監(jiān)測檢查支撐安全要求制定制度規(guī)范

制定技術(shù)標(biāo)準(zhǔn)

檢查工具選型運行維護(hù)管理

安全事件管理

安全風(fēng)險管理差距

分析整改

建議數(shù)據(jù)安全保護(hù)策略與建設(shè)指南數(shù)據(jù)安全能力

成熟度模型數(shù)據(jù)

安全

能力

成熟

度

評估大數(shù)據(jù)安全

管理指南網(wǎng)絡(luò)安全等

級保護(hù)制度安全檢查要求評估結(jié)果

及整改

建議數(shù)據(jù)

安全監(jiān)督管理平臺數(shù)據(jù)安全

管理辦法個人信息

安全規(guī)范目標(biāo)任務(wù)劃分風(fēng)險評估要求監(jiān)督檢查要求其他安全規(guī)范單位自主上報風(fēng)險評估矩陣事件

響應(yīng)

處置事件

等級劃分復(fù)核性抽查個人信息經(jīng)營數(shù)據(jù)數(shù)據(jù)交換服務(wù)方數(shù)據(jù)使用方

3

遠(yuǎn)程安全評估RSAS

4安全策略核查BVS前置庫A結(jié)構(gòu)化數(shù)據(jù)備份庫N結(jié)構(gòu)化數(shù)據(jù)API/消息非結(jié)構(gòu)化數(shù)據(jù)主題庫數(shù)據(jù)交換階段安全認(rèn)證網(wǎng)關(guān)SAG

7

數(shù)據(jù)庫審計DAS

數(shù)據(jù)水印DMS

數(shù)據(jù)加密DLP數(shù)據(jù)處理階段數(shù)據(jù)庫審計DAS數(shù)據(jù)水印DMS保壘機(jī)OSMS開發(fā)、測試場景堡壘機(jī)運維場景公辦場景275869PL/SQL6789IM 技術(shù)體系-政務(wù)交換共享場景國家交換平臺

地市交換平臺

數(shù)據(jù)開放平臺數(shù)據(jù)分析平臺

智慧城市平臺中心庫ETL數(shù)

據(jù)

開

放數(shù)

據(jù)

同

步歸集庫歸集庫數(shù)據(jù)準(zhǔn)備階段

1

數(shù)據(jù)分類分級IDR2

數(shù)據(jù)加密DLP8

數(shù)據(jù)庫防護(hù)DAS-FW

數(shù)據(jù)脫敏DMS9

防泄露DLP5

數(shù)據(jù)脫敏DMS6統(tǒng)一身份認(rèn)證UIP+水利局基礎(chǔ)庫公安局財務(wù)局服務(wù)網(wǎng)公安局社保局稅務(wù)局社?；?/p>

系統(tǒng)市民熱線民政局稅務(wù)自助

申報系統(tǒng)統(tǒng)

一

數(shù)

據(jù)

授

權(quán)API網(wǎng)關(guān)統(tǒng)

一

訪

問

入

口數(shù)據(jù)提供方

1

6

7測試主題庫專題庫庫4299238666555777BI平臺

思愛普？

5MARTB……據(jù)業(yè)務(wù)驗證可視化

Dashboard數(shù)據(jù)開發(fā)/測試區(qū)J

D

B

C大數(shù)據(jù)中心ADS層數(shù)據(jù)集市中臺區(qū)數(shù)據(jù)訪問審計1、通過交換機(jī)鏡像監(jiān)聽訪問流量2、Agent部署到湖區(qū)大數(shù)據(jù)平臺數(shù)據(jù)庫防火墻對數(shù)據(jù)庫訪問進(jìn)行過濾分析運維堡壘機(jī)獨立運維場景下，隔離運維人員對數(shù)據(jù)源直接訪問數(shù)據(jù)脫敏系統(tǒng)獨立運維場景，細(xì)分運維權(quán)限，應(yīng)用脫敏策略對高敏感數(shù)據(jù)的低權(quán)限訪問執(zhí)行數(shù)據(jù)脫敏和返回數(shù)據(jù)量限制數(shù)據(jù)防泄漏對辦公區(qū)的敏感數(shù)據(jù)進(jìn)行安全防護(hù)及違規(guī)外發(fā)的管控，如通過郵件、網(wǎng)盤、

U盤等途徑造成數(shù)據(jù)泄露。對敏感文件進(jìn)行加密保護(hù)智慧交通

智慧水利

智慧物流

智慧民生

智慧醫(yī)療應(yīng)用區(qū)

主題庫4

……?

關(guān)系型數(shù)據(jù)存

儲集群……源數(shù)據(jù)區(qū)?

文件服務(wù)器國家-省-市三

級數(shù)據(jù)中心企業(yè)單位市區(qū)委辦局?jǐn)?shù)據(jù)共享分發(fā)技術(shù)體系-數(shù)據(jù)中心整體防護(hù)策略數(shù)據(jù)安全運營平臺接入BI平臺操作日志，對數(shù)據(jù)開發(fā)操作、訪問等情況進(jìn)行監(jiān)測分析對接數(shù)據(jù)權(quán)限管理和訪問控制策略，

進(jìn)行人員畫像和基線化建模敏感數(shù)據(jù)分類分級，安全評估對數(shù)據(jù)掃描盤點并分類分級后指導(dǎo)安全策略制定，對大數(shù)據(jù)平臺及源數(shù)據(jù)區(qū)的數(shù)據(jù)存儲設(shè)施做安全評估數(shù)據(jù)安全運營平臺通過應(yīng)用訪問數(shù)據(jù)集市的數(shù)據(jù)流量（API）采集，進(jìn)行API安全監(jiān)控和應(yīng)用行為分析

數(shù)據(jù)倉庫

辦公區(qū)數(shù)據(jù)運維區(qū)D

WA層D

W

D

層D

W

S

層數(shù)據(jù)權(quán)限管理數(shù)據(jù)訪問控制操作日志數(shù)據(jù)源接入業(yè)務(wù)模型數(shù)據(jù)發(fā)布TOPICDEV模式控制DAS(FW)DMS數(shù)據(jù)安全運營平臺數(shù)據(jù)安全運營平臺ODS層

主題庫1

主題庫3

數(shù)據(jù)副本入湖kafka結(jié)構(gòu)化轉(zhuǎn)換主題庫2終端DLP網(wǎng)絡(luò)DLPC

S

V數(shù)OSMS……IDR包含所屬部門、業(yè)包含業(yè)務(wù)數(shù)據(jù)名包含數(shù)據(jù)庫用戶名調(diào)研核心業(yè)務(wù)系統(tǒng)務(wù)應(yīng)用名稱、業(yè)務(wù)稱、數(shù)據(jù)使用者、稱、所屬業(yè)務(wù)應(yīng)從數(shù)據(jù)的采集、傳描述、正式環(huán)境數(shù)據(jù)管理者、訪問用、特權(quán)/普通用輸、存儲、使用、IP、甲方責(zé)任人、權(quán)限、涉及業(yè)務(wù)應(yīng)戶、涉及數(shù)據(jù)及訪共享、銷毀等數(shù)據(jù)聯(lián)系方式等內(nèi)容用等內(nèi)容問權(quán)限等內(nèi)容流轉(zhuǎn)內(nèi)容業(yè)務(wù)系統(tǒng)業(yè)務(wù)數(shù)據(jù)用戶權(quán)限業(yè)務(wù)流程技術(shù)體系-現(xiàn)狀調(diào)研應(yīng)用系統(tǒng)數(shù)據(jù)庫敏感數(shù)據(jù)數(shù)據(jù)交換共享平臺人口庫5893法人庫4248空間地理3135公共服務(wù)3942健康保障1942社會保障3688信用服務(wù)4889身份證姓名性別家庭地址?

DMZ區(qū) 技術(shù)體系-數(shù)據(jù)資產(chǎn)測繪數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)敏感數(shù)據(jù)發(fā)現(xiàn)?

生產(chǎn)區(qū)

?辦公區(qū)

?測試區(qū)數(shù)據(jù)資產(chǎn)臺賬數(shù)據(jù)中心OracleDB2SqlserverMysql多種數(shù)據(jù)業(yè)務(wù)

…受侵害的客體受侵害客體的影響范圍對客體的侵害程度規(guī)則特征級別標(biāo)識國家國家利益嚴(yán)重?fù)p害數(shù)據(jù)用于關(guān)鍵業(yè)務(wù)使用，針對特定人員公開，且僅為必須知悉的對象訪問或使用4國家國家利益損害4國家機(jī)關(guān)多個市直機(jī)關(guān)利益嚴(yán)重?fù)p害4國家機(jī)關(guān)多個市直機(jī)關(guān)利益損害4國家機(jī)關(guān)單個市直機(jī)關(guān)利益嚴(yán)重?fù)p害4法人或其他組織多個企業(yè)組織利益嚴(yán)重?fù)p害4公民10萬人以上或涉及特定群體信息嚴(yán)重?fù)p害4公民1萬人以上，10萬人以下或涉及公民敏感信息嚴(yán)重?fù)p害4國家國家利益不利影響數(shù)據(jù)用于重要業(yè)務(wù)使用，針對特定人員公開，且僅為必須知悉的對象訪問或使用。3國家機(jī)關(guān)多個市直機(jī)關(guān)利益、經(jīng)濟(jì)不利影響3國家機(jī)關(guān)單個市直機(jī)關(guān)利益、經(jīng)濟(jì)損害3法人或其他組織多個企業(yè)組織利益、經(jīng)濟(jì)損害3法人或其他組織單個企業(yè)組織利益、經(jīng)濟(jì)嚴(yán)重?fù)p害3法人或其他組織單個企業(yè)組織利益、經(jīng)濟(jì)損害3公民10萬人以上或涉及特定群體信息不利影響3公民1萬人以上，10萬人以下或涉及公民敏感信息損害3公民1萬人以下或涉及公民一般信息嚴(yán)重?fù)p害3國家機(jī)關(guān)單個市直機(jī)關(guān)利益、經(jīng)濟(jì)不利影響數(shù)據(jù)用于一般業(yè)務(wù)使用，針對受限對象公開；一般指管理不宜廣泛公開的數(shù)據(jù)。2法人或其他組織多個企業(yè)組織利益、經(jīng)濟(jì)不利影響2法人或其他組織單個企業(yè)組織利益、經(jīng)濟(jì)不利影響2公民1萬人以上，10萬人以下或涉及公民敏感信息不利影響2公民1萬人以下或涉及公民一般信息不利影響2國家國家利益無損害數(shù)據(jù)可被公開或可被公眾獲知、使用。1國家機(jī)關(guān)多個市直機(jī)關(guān)利益、經(jīng)濟(jì)無損害1國家機(jī)關(guān)單個市直機(jī)關(guān)利益、經(jīng)濟(jì)無損害1法人或其他組織多個企業(yè)組織利益、經(jīng)濟(jì)無損害1法人或其他組織單個企業(yè)組織利益、經(jīng)濟(jì)無損害1公民1萬人以下或涉及公民一般信息無損害1公民1萬人以上，10萬人以下或涉及公民敏感信息無損害1公民10萬人以上或涉及特定群體信息無損害1結(jié)構(gòu)化/半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)掃描屬性包括：>

表名稱/文件名稱>

IP地址>

數(shù)據(jù)庫及實例位置/存儲路徑>

敏感字段類型>

記錄行數(shù)>

文本大小>

數(shù)據(jù)表/文件業(yè)務(wù)類型標(biāo)簽>

數(shù)據(jù)表/文件數(shù)據(jù)分類標(biāo)簽>

數(shù)據(jù)表/文件數(shù)據(jù)分級標(biāo)簽>

數(shù)據(jù)表/文件數(shù)據(jù)分布標(biāo)簽>

數(shù)據(jù)表/文件屬主賬號>

數(shù)據(jù)表/文件屬組賬號>

數(shù)據(jù)表讀寫權(quán)限/文件讀寫執(zhí)行權(quán)限（9元組）>

掃描時間 技術(shù)體系-數(shù)據(jù)分類分級1

制定分類分級標(biāo)準(zhǔn)>數(shù)據(jù)等級為分4級：1-4級。掃描數(shù)據(jù)庫和文件存儲系統(tǒng)，自動化數(shù)據(jù)測繪準(zhǔn)備數(shù)據(jù)樣本，建立敏感數(shù)據(jù)規(guī)則庫分級要素：客體、影響范圍、影響程度等標(biāo)準(zhǔn)數(shù)據(jù)分類分級標(biāo)準(zhǔn)國家相關(guān)標(biāo)準(zhǔn)企業(yè)相關(guān)

標(biāo)準(zhǔn)23行業(yè)相關(guān)傳輸存儲銷毀審計

某市數(shù)據(jù)安全管理制度使用交換采集 技術(shù)體系-數(shù)據(jù)安全風(fēng)險評估基于工信部《關(guān)于開展App違法違規(guī)

收集使用個人信息專項治理的公告》以及相關(guān)配套要求，結(jié)合APP安全測

試，全面開展APP數(shù)據(jù)安全評估。確?？蛻鬉PP合法合規(guī)收集使用個人

信息，并且用戶在APP使用過程中不

因APP安全問題導(dǎo)致個人信息收到侵通過識別發(fā)現(xiàn)企業(yè)業(yè)務(wù)流程中的個人

信息處理行為，針對行為中可能產(chǎn)生

的對個人信息主體隱私的影響進(jìn)行風(fēng)

險評估

。

可根據(jù)行業(yè)監(jiān)管要求制定評

估內(nèi)容，例如《GB/T35273-2020信

息安全技個人信息安全規(guī)范》

。應(yīng)對行業(yè)監(jiān)管合規(guī)要求進(jìn)行的符合性

評估。

評估內(nèi)容根據(jù)行業(yè)監(jiān)管部門要

求制定，如《數(shù)據(jù)安全能力成熟度模

型》（GB/T37988-2019）

。

可幫助

客戶通過符合性評估確保企業(yè)滿足數(shù)

據(jù)安全合規(guī)要求。03

APP數(shù)據(jù)安全評估02

個人信息影響評估

01符合性評估害。1.《中華人民共和國國家安全法》2.《中華人民共和國網(wǎng)絡(luò)安全法》3.《中華人民共和國民法總則》4.《最高人民法院、最高人民檢察院關(guān)于辦理侵犯公民個人信息刑事案件適用法律若干問題的解釋》5.GB/T35273-2020《信息安全技術(shù)

個人信息安全規(guī)范》6.GB/T39335-2020《信息安全技術(shù)

個人信息安全影響評估指南》7.《信息安全技術(shù)

數(shù)據(jù)出境安全評估指南》8.GB/T20984-2007《信息安全技術(shù)

信息安全風(fēng)險評估規(guī)范》9.GB/T37988-2019《信息安全技術(shù)

數(shù)據(jù)安全能力成熟度模型》10.GB/T37964-2019《信息安全技術(shù)

個人信息去標(biāo)識化指南》11.《ISO/IEC29134

InformationTechnology-

Security

techniques-Guidelinesforprivacy

impactassessment》評估原理示意圖 技術(shù)體系-數(shù)據(jù)/個人信息安全風(fēng)險評估個人信息安全影響評估分析模型個人信息安全影響評估框架評估情況匯總合規(guī)程度分析

出具評估報告

評審

交付物提交

風(fēng)險處置跟蹤參考法規(guī)及標(biāo)準(zhǔn)II.實施階段I.準(zhǔn)備階段III.報告階段必要信息采

集前期準(zhǔn)備工

作風(fēng)險綜合

分析出具評估

報告數(shù)據(jù)流轉(zhuǎn)

梳理風(fēng)險處

置跟蹤業(yè)務(wù)特點和規(guī)模及安全態(tài)勢個人名譽(yù)受損或遭

受精神壓力評估標(biāo)準(zhǔn)適合度分析優(yōu)化完善評估標(biāo)準(zhǔn)初步提出影

響評估標(biāo)準(zhǔn)確定評估對象和范圍制定評估計劃確定風(fēng)險判定準(zhǔn)則數(shù)據(jù)映射清單

數(shù)據(jù)映射圖

處理活動場景個人信息處理流程網(wǎng)絡(luò)環(huán)境和技術(shù)措施參與人員與第三方限制個人自主決定權(quán)人身財產(chǎn)受損引發(fā)差別性待遇初步訪

談溝通個人信

息處理安全事件可能性分析個人權(quán)益影響分析系統(tǒng)

信息商業(yè)

流程客戶文

檔查閱數(shù)據(jù)映射分析 XXX省數(shù)據(jù)安全風(fēng)險評估內(nèi)容>

利用網(wǎng)絡(luò)DLP探針，掃描所有離開組

織的數(shù)據(jù)，查看是否含有敏感信息。>

在敏感數(shù)據(jù)治理與運維人員終端上安裝agent，監(jiān)控相關(guān)人員敏感數(shù)據(jù)持有和流轉(zhuǎn)情況>

統(tǒng)一管控OSMS堡壘機(jī)，下發(fā)高危操作多重審核策略，并統(tǒng)一分析堡壘機(jī)

日志有效監(jiān)控高危運維操作>

統(tǒng)一采集敏感數(shù)據(jù)平臺日志，針對敏感數(shù)據(jù)操作行為進(jìn)行有效審計和風(fēng)險

建模，針對高危風(fēng)險及時告警 技術(shù)體系-數(shù)據(jù)流轉(zhuǎn)監(jiān)控OA

ERP

E-MAIL數(shù)據(jù)庫NASPLM國國

涉密網(wǎng)用戶InternetMail辦公終端

辦公終端

會議

U盤外帶

回家辦公

手機(jī)

外協(xié)設(shè)計敏感數(shù)據(jù)域外發(fā)泄露敏感數(shù)據(jù)流轉(zhuǎn)監(jiān)控關(guān)鍵點合作單位企業(yè)環(huán)境應(yīng)用系統(tǒng)層上級單位虛擬化云桌面辦公網(wǎng)用戶辦公終端辦公終端AgentAgent

Agent

Agent

Agent

SQLServer

MYSQL

Oracle

HBase

Hive 技術(shù)體系-開發(fā)測試&運維業(yè)務(wù)數(shù)據(jù)安全使用門戶網(wǎng)站

1原始數(shù)據(jù)138113492141353958432513665584991脫敏后數(shù)據(jù)137365478901364376988013910118760脫敏后數(shù)據(jù)138****9214135****4325136****4991數(shù)據(jù)脫敏系統(tǒng)各種業(yè)務(wù)系統(tǒng)業(yè)務(wù)開發(fā)測試各種數(shù)據(jù)庫動態(tài)脫敏靜態(tài)脫敏2技術(shù)體系-關(guān)鍵數(shù)據(jù)加密使用防護(hù)透明加密打印合法程序另存為剪切板禁止

打印截屏密文密文密文密文明文密文明文明文網(wǎng)盤數(shù)

泄途技術(shù)體系-外發(fā)數(shù)據(jù)防護(hù)（網(wǎng)絡(luò)+外

設(shè)）論壇web郵件QQ等IM消息傳遞USB等移動存儲網(wǎng)絡(luò)共享OUTLOOK等

郵件發(fā)送打印機(jī)打印CD/DVD刻錄移動存儲防護(hù)聊天外發(fā)防護(hù)打印刻錄防護(hù)上網(wǎng)行為監(jiān)管網(wǎng)絡(luò)外發(fā)監(jiān)督郵件外發(fā)防護(hù)據(jù)

露徑?敏感數(shù)據(jù)資產(chǎn)梳理?數(shù)據(jù)資產(chǎn)分類分級?數(shù)據(jù)平臺漏洞管理?數(shù)據(jù)資產(chǎn)合規(guī)稽核?數(shù)據(jù)安全風(fēng)險監(jiān)控?敏感數(shù)據(jù)流轉(zhuǎn)建模?風(fēng)險事件閉環(huán)處理?數(shù)據(jù)安全運營報告 運營體系-數(shù)據(jù)安全態(tài)勢感知數(shù)據(jù)安全運營平臺非結(jié)構(gòu)數(shù)據(jù)流轉(zhuǎn)圖像識別數(shù)據(jù)資產(chǎn)信息敏感數(shù)據(jù)流動靜態(tài)數(shù)據(jù)資產(chǎn)結(jié)構(gòu)化數(shù)據(jù)流轉(zhuǎn)流量鏡像威脅情報全流量數(shù)據(jù)數(shù)據(jù)特征IDR數(shù)據(jù)安全運營展現(xiàn)場景化大數(shù)據(jù)管理03第三方調(diào)用基礎(chǔ)支撐業(yè)務(wù)中臺數(shù)據(jù)回流數(shù)據(jù)服務(wù)門戶ETL開放庫

共享庫主題庫前置庫數(shù)據(jù)倉 XX數(shù)據(jù)安全治理技術(shù)落地框架運維環(huán)境數(shù)據(jù)局辦公用戶公網(wǎng)政企訪問用戶各委辦廳局?jǐn)?shù)據(jù)安全運營平臺數(shù)據(jù)局應(yīng)用

（待建）訪

問

控

制數(shù)據(jù)共享門戶網(wǎng)絡(luò)防泄漏文件/網(wǎng)頁水印傳輸各地市政務(wù)數(shù)據(jù)接口綜合

服務(wù)平臺CA/VPN

廳局?jǐn)?shù)據(jù)API審計傳輸/交換地市數(shù)據(jù)交換區(qū)域省數(shù)據(jù)交換區(qū)域

頻儲庫水印/分類分級網(wǎng)絡(luò)防泄漏分類分級

數(shù)據(jù)歸

集分類分級專題庫基礎(chǔ)庫ETL

存儲數(shù)據(jù)開放門戶使用/交換接口機(jī)AP

I審計數(shù)據(jù)庫防火墻網(wǎng)絡(luò)防泄漏分類分級靜態(tài)脫敏傳輸/使用交換前置

節(jié)點數(shù)據(jù)治理日志審計運維堡壘機(jī)數(shù)據(jù)庫審計數(shù)據(jù)服務(wù)目錄系統(tǒng)…數(shù)據(jù)庫加密/動態(tài)脫敏贛服通流

轉(zhuǎn)監(jiān)測流轉(zhuǎn)監(jiān)測流

轉(zhuǎn)監(jiān)測數(shù)據(jù)庫加密/動態(tài)脫敏分類分級加密/脫敏分類分級分類分級分類分級終端防泄漏終端防泄漏測試/開發(fā)環(huán)境終端防泄漏共享交換平臺數(shù)據(jù)共享交換平臺門戶統(tǒng)一安全

網(wǎng)關(guān)能力開放

平臺交換使用業(yè)務(wù)協(xié)同可視化針對數(shù)據(jù)共享、開放場景：?

數(shù)據(jù)開放、共享現(xiàn)有的安全能力包括：政企、委辦廳局的訪問權(quán)限控制，并針對數(shù)據(jù)共享交換平臺通過安全組件完成開放庫、共享庫的動態(tài)脫敏及數(shù)據(jù)加密；?需補(bǔ)充的能力：1.

開放、共享數(shù)據(jù)的水印溯源：通過網(wǎng)頁水印、文件水印技術(shù)對于公開的政務(wù)數(shù)據(jù)（根據(jù)分類分級策略）進(jìn)行使用范圍、時效性說明，約束數(shù)據(jù)亂用行為；2.

數(shù)據(jù)訪問審計：針對辦公、委辦局、政企客戶訪問數(shù)據(jù)的行為進(jìn)行監(jiān)測、審計，通過網(wǎng)絡(luò)防泄漏實現(xiàn)出口流轉(zhuǎn)的審計、通過數(shù)據(jù)庫審計、API日志解析等實現(xiàn)系統(tǒng)內(nèi)的數(shù)據(jù)流轉(zhuǎn)監(jiān)測，并通過平臺統(tǒng)一展示；3.

數(shù)據(jù)訪問安全補(bǔ)充：針對前端應(yīng)用數(shù)據(jù)（根據(jù)分類分級策略）進(jìn)行數(shù)據(jù)有效保護(hù)，如動態(tài)脫敏、加密；4.

針對數(shù)據(jù)局辦公用戶，部分存在數(shù)據(jù)導(dǎo)入導(dǎo)出的場景，針對該場景完善數(shù)據(jù)防泄漏保護(hù)；敏感數(shù)據(jù)流轉(zhuǎn)分析數(shù)據(jù)局辦公用戶數(shù)據(jù)服務(wù)門戶各委辦廳局公網(wǎng)政企訪問用戶訪

問

控

制網(wǎng)絡(luò)防泄漏

數(shù)據(jù)共享、開放安全開放庫共享庫數(shù)據(jù)庫加密/動態(tài)脫敏數(shù)據(jù)開放門戶數(shù)據(jù)共享門戶文件/網(wǎng)頁水印終端防泄漏數(shù)據(jù)服務(wù)/API加密/脫敏DAS數(shù)據(jù)回流場景：省數(shù)據(jù)局將治理過后的高頻庫數(shù)據(jù)按照各省的需求，經(jīng)過省數(shù)據(jù)交換區(qū)域同步到市數(shù)據(jù)交換區(qū)域，用于各地市的政務(wù)數(shù)據(jù)的分析，在此場景下考慮的主要數(shù)據(jù)安全如下：1、回流靜態(tài)數(shù)據(jù)的分類分級評估：省數(shù)據(jù)局主要對高頻庫、前置節(jié)點進(jìn)行分類分級；地市數(shù)據(jù)局負(fù)責(zé)對市數(shù)據(jù)交換區(qū)域的前置節(jié)點進(jìn)行分類分級；形成回流數(shù)據(jù)的分類分級展示；2、回流數(shù)據(jù)的流轉(zhuǎn)監(jiān)測：通過省數(shù)據(jù)交換區(qū)域出口的網(wǎng)絡(luò)防泄漏進(jìn)行流量分析，結(jié)合高頻庫到省數(shù)據(jù)交換區(qū)域的數(shù)據(jù)擺渡日志，進(jìn)行數(shù)據(jù)流轉(zhuǎn)的綜合監(jiān)測；3、回流數(shù)據(jù)申請復(fù)核：針對重要、敏感數(shù)據(jù)的流轉(zhuǎn)，建議補(bǔ)充數(shù)據(jù)回流審批流程，并結(jié)合回流數(shù)據(jù)的流轉(zhuǎn)監(jiān)測進(jìn)行回流數(shù)據(jù)的復(fù)核；敏感數(shù)據(jù)流轉(zhuǎn)分析高頻庫

數(shù)據(jù)回流安全數(shù)據(jù)回流審批流程申請審批復(fù)核前置節(jié)點省數(shù)據(jù)交換區(qū)域分類分級前置節(jié)點市數(shù)據(jù)交換區(qū)域分類分級

網(wǎng)絡(luò)防泄漏

數(shù)據(jù)擺渡分類分級 數(shù)據(jù)開發(fā)/測試/運維/辦公安全針對開發(fā)/測試/運維/辦公主要安全防護(hù)關(guān)鍵點如下：?數(shù)據(jù)防泄漏：包含終端非結(jié)構(gòu)化數(shù)據(jù)防泄漏（外發(fā)管控、防拷貝、外設(shè)管控），以及對外網(wǎng)絡(luò)的防泄漏；?

開發(fā)/測試關(guān)鍵數(shù)據(jù)脫敏處理：開發(fā)/測試環(huán)境的數(shù)據(jù)源經(jīng)過靜態(tài)脫敏處理，去掉關(guān)鍵信息；?運維操作安全可控：運維行為管控審計、數(shù)據(jù)庫行為審計、數(shù)據(jù)庫訪問管控；?終端操作環(huán)境安全：針對開發(fā)/測試/運維/辦公終端環(huán)境進(jìn)行安全監(jiān)測，識別終端入侵風(fēng)險；靜態(tài)脫敏測試/開發(fā)環(huán)境管理交換機(jī)堡壘機(jī)審計終端防泄漏運維區(qū)域辦公接入交換機(jī)辦公區(qū)域測試/開發(fā)庫共享交換平臺Internet終端防泄漏終端防泄漏

網(wǎng)絡(luò)防泄漏

數(shù)據(jù)庫

防火墻數(shù)據(jù)庫

數(shù)據(jù)流轉(zhuǎn)監(jiān)測數(shù)據(jù)共享交換平臺數(shù)據(jù)流轉(zhuǎn)主要分為：?

數(shù)據(jù)流轉(zhuǎn)：系統(tǒng)內(nèi)API交互、系統(tǒng)內(nèi)數(shù)據(jù)訪問、系統(tǒng)內(nèi)數(shù)據(jù)抽取/同步、系統(tǒng)間API交互?外部數(shù)據(jù)交互：外部API調(diào)用、外部數(shù)據(jù)訪問（數(shù)據(jù)同步、下載）數(shù)據(jù)流轉(zhuǎn)監(jiān)測可采用以下兩種場景進(jìn)行覆蓋：①

系統(tǒng)內(nèi)基于云主機(jī)之間的端口流量分析：②系統(tǒng)間、外部系統(tǒng)，基于接口服務(wù)綜合平臺/API/應(yīng)用日志云平臺Web服務(wù)器Agent

https應(yīng)用服務(wù)器Agent敏感數(shù)據(jù)流轉(zhuǎn)分析接