智慧城市政務(wù)大數(shù)據(jù)治理產(chǎn)品體系項(xiàng)目可行性研究報(bào)告

1 1 1 1 1 1 3 4 5 5 7 10 12 16 16 16 17 18 19 194.6.1.政務(wù)大數(shù)據(jù)共享交換平臺 20 204.6.3.政務(wù)大數(shù)據(jù)知識服務(wù)平臺 21 224.7.1.互聯(lián)網(wǎng)政府主題數(shù)據(jù)采集工具 22 22 22 23 234.8.1.基于知識圖譜的政策公文智能服務(wù)平臺 24 24 25 27 275.1.1.政務(wù)大數(shù)據(jù)治理體系核心概念 275.1.2.政務(wù)大數(shù)據(jù)治理數(shù)據(jù)體系 285.1.3.政務(wù)大數(shù)據(jù)治理安全體系 295.1.4.政務(wù)大數(shù)據(jù)治理法律法規(guī)體系 295.1.5.政務(wù)大數(shù)據(jù)治理標(biāo)準(zhǔn)體系 30 32 322 33 37 41 42 43 43 44 45 46 47 48 48 49 52 53 58 60 60 61 63 65 67 685.6.1.政務(wù)大數(shù)據(jù)共享交換平臺 68 745.6.3.政務(wù)大數(shù)據(jù)知識服務(wù)平臺 79 845.7.1.互聯(lián)網(wǎng)政府主題數(shù)據(jù)采集工具 84 88 91 94 98 98 99 11.項(xiàng)目概況2全國大數(shù)據(jù)標(biāo)準(zhǔn)化工作會議暨全國信標(biāo)委大數(shù)據(jù)標(biāo)準(zhǔn)工作組第六次3《國務(wù)院辦公廳關(guān)于印發(fā)政務(wù)信息系統(tǒng)整合共享實(shí)施方案的通4號52.可行性分析6（ITSS）體系中的“服務(wù)管控”領(lǐng)域標(biāo)準(zhǔn)，屬于《信息技術(shù)服務(wù)治7程中所使用的技術(shù)棧都經(jīng)過互聯(lián)網(wǎng)和大數(shù)據(jù)發(fā)展浪潮的打磨而逐漸（1）多源異構(gòu)數(shù)據(jù)接入技術(shù)89（3）脫敏脫密等數(shù)據(jù)安全技術(shù)（4）跨媒體多模態(tài)政務(wù)數(shù)據(jù)融合技術(shù)政務(wù)大數(shù)據(jù)治理產(chǎn)品體系下的政務(wù)大數(shù)據(jù)融合平臺和政務(wù)數(shù)據(jù)鍵技術(shù)研究項(xiàng)目中對政務(wù)文本語義理解和跨媒體政務(wù)知識庫構(gòu)建技知名的國家信息共享交換模型是美國的國家信息交換模型（NIEM對推動(dòng)中國國家信息共享交換模型理論研究與工程實(shí)踐具有重要的標(biāo)準(zhǔn)規(guī)范體系接口標(biāo)準(zhǔn)規(guī)范體系接口安全保障體系應(yīng)用層 據(jù) 數(shù)據(jù)源數(shù)據(jù)源圖1四方偉業(yè)數(shù)據(jù)治理平臺產(chǎn)品功能架構(gòu)四方偉業(yè)數(shù)據(jù)治理平臺以元數(shù)據(jù)為核心展開數(shù)據(jù)治理的相關(guān)功圖2華傲數(shù)據(jù)治理平臺產(chǎn)品功能架構(gòu)表1競品功能比較無☆無☆無☆☆無☆☆☆☆3.建設(shè)目標(biāo)政務(wù)大數(shù)據(jù)治理產(chǎn)品體系項(xiàng)目建設(shè)目標(biāo)是針對政務(wù)場景的打造數(shù)據(jù)體系安全體系標(biāo)準(zhǔn)規(guī)范法律法規(guī)技術(shù)平臺數(shù)據(jù)融合平臺數(shù)據(jù)資源管理平臺數(shù)據(jù)采集平臺數(shù)據(jù)接入平臺數(shù)據(jù)開放平臺數(shù)據(jù)共享平臺數(shù)據(jù)知識服務(wù)平臺基礎(chǔ)應(yīng)用服務(wù)數(shù)據(jù)體系安全體系標(biāo)準(zhǔn)規(guī)范法律法規(guī)技術(shù)平臺數(shù)據(jù)融合平臺數(shù)據(jù)資源管理平臺數(shù)據(jù)采集平臺數(shù)據(jù)接入平臺數(shù)據(jù)開放平臺數(shù)據(jù)共享平臺數(shù)據(jù)知識服務(wù)平臺基礎(chǔ)應(yīng)用服務(wù)頂層設(shè)計(jì)核心概念核心概念應(yīng)用示范知文智用知文智用智慧督查督辦智慧督查督辦一網(wǎng)通辦一網(wǎng)通辦工具集工具集圖3政務(wù)大數(shù)據(jù)治理產(chǎn)品體系總體架構(gòu)融合庫（主題庫、行業(yè)庫、業(yè)務(wù)庫等政務(wù)大數(shù)據(jù)資源管理平臺對景案互聯(lián)網(wǎng)數(shù)據(jù)行業(yè)數(shù)據(jù)政務(wù)數(shù)據(jù)政務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化應(yīng)用場解決方政務(wù)數(shù)據(jù)政務(wù)數(shù)據(jù)挖掘分析政務(wù)數(shù)據(jù)采集融合&景案互聯(lián)網(wǎng)數(shù)據(jù)行業(yè)數(shù)據(jù)政務(wù)數(shù)據(jù)政務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化應(yīng)用場解決方政務(wù)數(shù)據(jù)政務(wù)數(shù)據(jù)挖掘分析政務(wù)數(shù)據(jù)采集融合&政務(wù)大數(shù)據(jù)治理產(chǎn)品體系可共享數(shù)據(jù)資源可開放數(shù)據(jù)資源數(shù)據(jù)可視化服務(wù)數(shù)據(jù)知識服務(wù)可開放數(shù)據(jù)資源數(shù)據(jù)可視化服務(wù)數(shù)據(jù)應(yīng)用超市數(shù)據(jù)知識服務(wù)數(shù)據(jù)可視化服務(wù)算法模型服務(wù)政務(wù)大數(shù)據(jù)共享交換平臺政務(wù)大數(shù)據(jù)知識服務(wù)平臺知識服務(wù)政務(wù)大數(shù)據(jù)政務(wù)大數(shù)據(jù)共享交換平臺政務(wù)大數(shù)據(jù)知識服務(wù)平臺知識服務(wù)政務(wù)大數(shù)據(jù)基礎(chǔ)應(yīng)用數(shù)據(jù)目錄數(shù)據(jù)資源政務(wù)大數(shù)據(jù)資源管理平臺共享庫數(shù)據(jù)索引融合庫數(shù)據(jù)索引 政務(wù)大數(shù)據(jù)接入平臺數(shù)據(jù)索引政務(wù)大數(shù)據(jù)采集平臺政務(wù)大數(shù)據(jù)融合平臺政務(wù)大數(shù)據(jù)資源管理平臺共享庫數(shù)據(jù)索引融合庫數(shù)據(jù)索引 政務(wù)大數(shù)據(jù)接入平臺數(shù)據(jù)索引政務(wù)大數(shù)據(jù)采集平臺政務(wù)大數(shù)據(jù)融合平臺數(shù)據(jù)資源原始庫數(shù)據(jù)資源原始庫數(shù)據(jù)索引技術(shù)外部數(shù)據(jù)源外部數(shù)據(jù)源圖4政務(wù)大數(shù)據(jù)治理產(chǎn)品體系技術(shù)視圖4.建設(shè)內(nèi)容1）元數(shù)據(jù)管理：完成用戶所關(guān)注的各類元數(shù)據(jù)的獲取，提供元4）數(shù)據(jù)資源運(yùn)維：具體包括數(shù)據(jù)資源生命周期管理、數(shù)據(jù)資源政務(wù)大數(shù)據(jù)開放平臺旨在通過門戶網(wǎng)站實(shí)現(xiàn)政府公共數(shù)據(jù)的開4.7.1.互聯(lián)網(wǎng)政府主題數(shù)據(jù)采按照國家政務(wù)信息資源目錄編制要求和貴州省政務(wù)數(shù)據(jù)資源目但不允許帶走本地?cái)?shù)據(jù))，要求在滿足數(shù)據(jù)保密的同時(shí)又能提供一定政務(wù)大數(shù)據(jù)治理產(chǎn)品體系在整個(gè)政務(wù)大數(shù)據(jù)場景中處于中后臺因此政務(wù)大數(shù)據(jù)治理產(chǎn)品體系的落地是隨著各類應(yīng)用的落地而體現(xiàn)4.8.1.基于知識圖譜的政策公文智化電子政務(wù)應(yīng)用,著力解決信息碎片化、應(yīng)用條塊化、服務(wù)割裂化等5.建設(shè)方案5.1.1.2.定義表2國內(nèi)外權(quán)威機(jī)構(gòu)對數(shù)據(jù)治理的定義數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)行使權(quán)力和控制的活動(dòng)集數(shù)據(jù)治理是包含信息相關(guān)過程的決策權(quán)及責(zé)任制數(shù)據(jù)治理是組織管理其信息知識并回答問題的能圖5政務(wù)大數(shù)據(jù)治理數(shù)據(jù)體系安全監(jiān)管安全運(yùn)行保障體系數(shù)據(jù)發(fā)布安全數(shù)據(jù)存儲安全數(shù)據(jù)共享安全實(shí)體接入安全數(shù)據(jù)傳輸安全數(shù)據(jù)內(nèi)容安全運(yùn)維安全技術(shù)平臺安全安全技術(shù)保障體系安全數(shù)據(jù)治理開發(fā)測試安全基礎(chǔ)安全安全監(jiān)管安全運(yùn)行保障體系數(shù)據(jù)發(fā)布安全數(shù)據(jù)存儲安全數(shù)據(jù)共享安全實(shí)體接入安全數(shù)據(jù)傳輸安全數(shù)據(jù)內(nèi)容安全運(yùn)維安全技術(shù)平臺安全安全技術(shù)保障體系安全數(shù)據(jù)治理開發(fā)測試安全基礎(chǔ)安全安全標(biāo)準(zhǔn) 規(guī)范標(biāo)準(zhǔn)引入規(guī)范標(biāo)準(zhǔn)設(shè)計(jì)圖6政務(wù)大數(shù)據(jù)治理安全體系表3政務(wù)大數(shù)據(jù)治理法律法規(guī)體系國務(wù)院頒布《政務(wù)信息資源共享管理暫行辦法》（國發(fā)數(shù)據(jù)接口類標(biāo)準(zhǔn)元數(shù)據(jù)標(biāo)準(zhǔn)政務(wù)大數(shù)據(jù)治理體系標(biāo)準(zhǔn)體系信息安全規(guī)范數(shù)據(jù)接口類標(biāo)準(zhǔn)元數(shù)據(jù)標(biāo)準(zhǔn)政務(wù)大數(shù)據(jù)治理體系標(biāo)準(zhǔn)體系信息安全規(guī)范圖7政務(wù)大數(shù)據(jù)治理標(biāo)準(zhǔn)體系5.2.1.總體架構(gòu)圖8政務(wù)大數(shù)據(jù)采集平臺總體架構(gòu)5.2.2.功能架構(gòu)可視化ETL系統(tǒng)配置參數(shù)持久化服務(wù)層配置參數(shù)持久化配置參數(shù)獲取數(shù)據(jù)源配置數(shù)據(jù)導(dǎo)出配置數(shù)據(jù)庫表信息配置表字段信息配置轉(zhuǎn)換規(guī)則配置清洗規(guī)則配置表備注說明信息存儲數(shù)據(jù)源配置數(shù)據(jù)導(dǎo)出配置數(shù)據(jù)庫表信息配置表字段信息配置轉(zhuǎn)換規(guī)則配置清洗規(guī)則配置表備注說明信息存儲字段備注說明連接狀態(tài)測試數(shù)據(jù)樣例展示圖9政務(wù)大數(shù)據(jù)采集平臺可視化ETL系統(tǒng)功能架構(gòu)可視化網(wǎng)頁數(shù)據(jù)采集系統(tǒng)配置參數(shù)獲取服務(wù)層配置參數(shù)獲取分布式網(wǎng)頁數(shù)據(jù)采集腳本生成新建腳本項(xiàng)目刪除/編輯腳本腳本參數(shù)配置新建腳本項(xiàng)目刪除/編輯腳本腳本參數(shù)配置數(shù)據(jù)持久化配置用戶標(biāo)注數(shù)據(jù)樣例展示腳本上傳圖10政務(wù)大數(shù)據(jù)采集平臺可視化網(wǎng)頁數(shù)據(jù)采集系統(tǒng)功能架構(gòu)集提供可視化編輯器，生成網(wǎng)頁數(shù)據(jù)采集腳本，主要包含以下功能：用戶標(biāo)注：為創(chuàng)建工程提供可視化的編輯器，用戶可在界面使用數(shù)據(jù)持久化配置指對腳本采集的數(shù)據(jù)進(jìn)行本地存儲而進(jìn)行的參采集調(diào)度系統(tǒng)服務(wù)層ETL數(shù)據(jù)ETL日志網(wǎng)頁采集數(shù)據(jù)數(shù)據(jù)監(jiān)控展示ETL數(shù)據(jù)ETL日志網(wǎng)頁采集數(shù)據(jù)網(wǎng)頁采集腳本日志周期調(diào)度數(shù)據(jù)清洗數(shù)據(jù)加載ETL調(diào)度周期調(diào)度數(shù)據(jù)清洗數(shù)據(jù)加載單次調(diào)度數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換單次調(diào)度分布式部署數(shù)據(jù)爬取網(wǎng)頁數(shù)據(jù)采集調(diào)度單次調(diào)度分布式部署數(shù)據(jù)爬取周期調(diào)度網(wǎng)頁解析數(shù)據(jù)存儲周期調(diào)度數(shù)據(jù)監(jiān)控展示單次調(diào)度數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)存儲交互層周期調(diào)度數(shù)據(jù)監(jiān)控展示單次調(diào)度數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)存儲日志監(jiān)控展示爬蟲分布式部署圖11政務(wù)大數(shù)據(jù)采集平臺采集調(diào)度系統(tǒng)功能架構(gòu)5.2.3.技術(shù)架構(gòu)圖12政務(wù)大數(shù)據(jù)采集平臺可視化ETL系統(tǒng)技術(shù)架構(gòu)圖13政務(wù)大數(shù)據(jù)采集平臺可視化網(wǎng)頁數(shù)據(jù)采集系統(tǒng)技術(shù)架構(gòu)該模塊基于Scrapy實(shí)現(xiàn)了可視化網(wǎng)頁數(shù)據(jù)采集腳本的生成,獲圖14政務(wù)大數(shù)據(jù)采集平臺采集調(diào)度系統(tǒng)技術(shù)架構(gòu)采集調(diào)度系統(tǒng)集成了ETL工具Kettle與網(wǎng)頁數(shù)據(jù)采集框架MVVM前端架構(gòu)設(shè)計(jì)界面UI設(shè)計(jì)路由組件數(shù)據(jù)流組件配置組件無頭瀏覽器前端交互組件ETL后端架構(gòu)制定ETL后端框架選型網(wǎng)頁數(shù)據(jù)采集后端框架選型ETL配置項(xiàng)解析模塊微服務(wù)架構(gòu)設(shè)計(jì)數(shù)據(jù)庫ORM模塊網(wǎng)頁數(shù)據(jù)采集腳本生成模塊微服務(wù)架構(gòu)設(shè)計(jì)分布式架構(gòu)設(shè)計(jì)任務(wù)調(diào)度模型設(shè)計(jì)分布式任務(wù)調(diào)度模塊分布式網(wǎng)頁數(shù)據(jù)采集模塊調(diào)度信息可視化采集數(shù)據(jù)可視化MVVM前端架構(gòu)設(shè)計(jì)界面UI設(shè)計(jì)路由組件數(shù)據(jù)流組件配置組件無頭瀏覽器前端交互組件ETL后端架構(gòu)制定ETL后端框架選型網(wǎng)頁數(shù)據(jù)采集后端框架選型ETL配置項(xiàng)解析模塊微服務(wù)架構(gòu)設(shè)計(jì)數(shù)據(jù)庫ORM模塊網(wǎng)頁數(shù)據(jù)采集腳本生成模塊微服務(wù)架構(gòu)設(shè)計(jì)分布式架構(gòu)設(shè)計(jì)任務(wù)調(diào)度模型設(shè)計(jì)分布式任務(wù)調(diào)度模塊分布式網(wǎng)頁數(shù)據(jù)采集模塊調(diào)度信息可視化采集數(shù)據(jù)可視化5.2.5.技術(shù)路線MVVM前端框架選型基礎(chǔ)界面搭建拖拽式ETL組件網(wǎng)頁數(shù)據(jù)采集后端框架制定ETL任務(wù)生成模塊網(wǎng)頁數(shù)據(jù)采集腳本配置項(xiàng)解析模塊網(wǎng)頁數(shù)據(jù)采集腳本部署模型設(shè)計(jì)調(diào)度任務(wù)參數(shù)配置模塊采集數(shù)據(jù)監(jiān)控圖15政務(wù)大數(shù)據(jù)采集平臺技術(shù)路線安全保障體系標(biāo)準(zhǔn)規(guī)范體系安全保障體系標(biāo)準(zhǔn)規(guī)范體系5.3.1.總體架構(gòu)…圖16政務(wù)大數(shù)據(jù)接入平臺總體架構(gòu)5.3.2.功能架構(gòu)應(yīng)用層接入適配層應(yīng)用層接入適配層通道層存儲適配層政務(wù)大數(shù)據(jù)接入平臺接口接口放接口通用業(yè)務(wù)接API…WebservicAPIAdapterAdapterAdapterAdapterOSS存儲AdapterAdapter消息MQ存儲Adapter…AdapterSTREAM存儲Adapter圖17政務(wù)大數(shù)據(jù)接入平臺功能架構(gòu)5.3.3.技術(shù)架構(gòu)交互層服務(wù)層平臺層具數(shù)據(jù)層圖18政務(wù)大數(shù)據(jù)接入平臺技術(shù)架構(gòu)基于ETL的數(shù)據(jù)抽取和轉(zhuǎn)換工具支撐平臺的所有數(shù)據(jù)和數(shù)據(jù)集操作（1）數(shù)據(jù)獲取性能的靈活擴(kuò)展技術(shù)5.3.5.技術(shù)路線 圖19政務(wù)大數(shù)據(jù)接入平臺技術(shù)路線5.4.1.總體架構(gòu)數(shù)據(jù)資源管理平臺基礎(chǔ)庫主題庫基礎(chǔ)庫主題庫業(yè)務(wù)庫業(yè)務(wù)庫融合數(shù)據(jù)庫數(shù)據(jù)模型數(shù)據(jù)模型融合算法融合算法政務(wù)大數(shù)據(jù)融合平臺政務(wù)大數(shù)據(jù)融合平臺數(shù)據(jù)采集接入平臺圖20政務(wù)大數(shù)據(jù)融合平臺總體架構(gòu)負(fù)矩陣分解和基于深度學(xué)習(xí)的跨媒體關(guān)聯(lián)等方法實(shí)現(xiàn)非結(jié)構(gòu)化的關(guān)5.4.2.功能架構(gòu)數(shù)據(jù)資產(chǎn)管理平臺通用域數(shù)據(jù)模型公共域數(shù)據(jù)模型模型結(jié)構(gòu)域通用域數(shù)據(jù)模型公共域數(shù)據(jù)模型模型結(jié)構(gòu)域數(shù)據(jù)模型領(lǐng)域數(shù)據(jù)模型業(yè)務(wù)庫主題庫業(yè)務(wù)庫主題庫基礎(chǔ)庫基礎(chǔ)庫融合數(shù)據(jù)庫融合數(shù)據(jù)庫邏輯模糊算法貝葉斯估計(jì)算法場景識別卡爾曼事件抽取卡爾曼加權(quán)平均邏輯模糊算法貝葉斯估計(jì)算法場景識別卡爾曼事件抽取卡爾曼加權(quán)平均實(shí)體抽取D-S證據(jù)識別關(guān)系抽取關(guān)系抽取算法算法政務(wù)大數(shù)據(jù)融合平臺政務(wù)大數(shù)據(jù)融合平臺數(shù)據(jù)采集接入平臺數(shù)據(jù)采集接入平臺圖21政務(wù)大數(shù)據(jù)融合平臺功能架構(gòu)典型相關(guān)分析法（CCA）是跨媒體數(shù)據(jù)關(guān)聯(lián)分析的典型方法，它5.4.3.技術(shù)架構(gòu)數(shù)據(jù)模型：利用數(shù)據(jù)采集接入平臺獲取的數(shù)據(jù)，通過圖22政務(wù)大數(shù)據(jù)融合平臺技術(shù)架構(gòu)（1）政務(wù)數(shù)據(jù)模型構(gòu)建技術(shù)面向政務(wù)大數(shù)據(jù)應(yīng)用中存在的跨領(lǐng)域之間的數(shù)據(jù)模型不統(tǒng)一問數(shù)據(jù)描述包括分類分類體系主題數(shù)據(jù)描述包括分類分類體系主題 數(shù)據(jù)共享查詢點(diǎn)和交換數(shù)據(jù)語境數(shù)據(jù)語境數(shù)據(jù)和數(shù)據(jù)資產(chǎn)圖23數(shù)據(jù)模型描述基本框架所有者所有者管理信息資源信息資源參與相關(guān)參與關(guān)系圖24數(shù)據(jù)語境的抽象模型返回?cái)?shù)據(jù)交換包數(shù)據(jù)提供者傳播查詢 數(shù)據(jù)接收者產(chǎn)生返回?cái)?shù)據(jù)交換包數(shù)據(jù)提供者傳播查詢 數(shù)據(jù)接收者產(chǎn)生 實(shí)體參與相關(guān) 關(guān)系數(shù)據(jù)類型定義包含非結(jié)構(gòu)化信息資源是一種是一種信息資源數(shù)據(jù)類型屬性半結(jié)構(gòu)化信息資源結(jié)構(gòu)化信息資源被約束是一種包含包含引用圖25數(shù)據(jù)描述的抽象模型（例如查詢一個(gè)數(shù)據(jù)集而共享是指兩個(gè)部分之間固定的、不斷發(fā)數(shù)據(jù)訪問接口圖26數(shù)據(jù)共享的抽象模型文物、遺址等。核心數(shù)據(jù)模型和業(yè)務(wù)領(lǐng)域數(shù)據(jù)模型關(guān)系如下圖所示。圖27政務(wù)大數(shù)據(jù)應(yīng)用的數(shù)據(jù)模型組成當(dāng)前政務(wù)數(shù)據(jù)形式多元化、不同的媒體數(shù)據(jù)存在的“異構(gòu)鴻溝”1）多元統(tǒng)計(jì)方法：是一種基于雙線性特征學(xué)習(xí)模型，分別學(xué)習(xí)深度學(xué)習(xí)方法對于處理跨媒體數(shù)據(jù)大多采用的是各媒體數(shù)據(jù)單獨(dú)學(xué)圖28基于深度學(xué)習(xí)的跨媒體數(shù)據(jù)融合算法基于深度學(xué)習(xí)的跨媒體數(shù)據(jù)融合算法包括兩個(gè)階段:單媒體增強(qiáng)5.4.5.技術(shù)路線段:政務(wù)數(shù)據(jù)模型構(gòu)建、政務(wù)數(shù)據(jù)融合算法研究與政務(wù)大數(shù)據(jù)融合平政務(wù)數(shù)據(jù)融合算法研究階段針對結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合分政務(wù)大數(shù)據(jù)融合平臺集成階段重點(diǎn)實(shí)現(xiàn)融合數(shù)據(jù)存儲管理與平政務(wù)大數(shù)據(jù)融合平臺技術(shù)路線研究任務(wù)分解政務(wù)數(shù)據(jù)模型構(gòu)建政務(wù)數(shù)據(jù)融合算法研究政務(wù)大數(shù)據(jù)融合平臺集成通用域數(shù)據(jù)模型結(jié)構(gòu)域數(shù)據(jù)模型公共域數(shù)據(jù)模型領(lǐng)域數(shù)據(jù)模型第一階段第一階段邏輯模糊算法...跨媒體數(shù)據(jù)關(guān)聯(lián)邏輯模糊算法...跨媒體數(shù)據(jù)關(guān)聯(lián)卡爾曼濾波算法第二階段第二階段半結(jié)構(gòu)化存儲非結(jié)構(gòu)化存儲半結(jié)構(gòu)化存儲非結(jié)構(gòu)化存儲融合數(shù)據(jù)庫結(jié)構(gòu)化存儲融合數(shù)據(jù) 第三階段 第三階段圖29政務(wù)大數(shù)據(jù)融合平臺技術(shù)路線安全保障體系標(biāo)準(zhǔn)規(guī)范體系安全保障體系標(biāo)準(zhǔn)規(guī)范體系5.5.1.總體架構(gòu)圖30政務(wù)大數(shù)據(jù)資源管理平臺總體架構(gòu)5.5.2.功能架構(gòu)政務(wù)大數(shù)據(jù)資源管理平臺數(shù)據(jù)資源運(yùn)維數(shù)據(jù)資數(shù)據(jù)資源運(yùn)維數(shù)據(jù)資源治理數(shù)據(jù)資源分析元數(shù)據(jù)管理資源生命周期資源發(fā)布資源全鏈管理資源下線資源安全管理安全策略管理數(shù)據(jù)脫敏資源安全審計(jì)資源評估應(yīng)用資源使用評估資源價(jià)值評估敏感數(shù)據(jù)評估數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)架構(gòu)管理數(shù)據(jù)標(biāo)準(zhǔn)化指標(biāo)標(biāo)準(zhǔn)化數(shù)據(jù)建模管理基線管理模型評審模型稽查數(shù)據(jù)質(zhì)量管理質(zhì)量規(guī)則管理資源質(zhì)量核查資源質(zhì)量監(jiān)控資源標(biāo)簽分類資源類目管理全局資源成本評估資源標(biāo)簽分類資源類目管理全局資源成本評估標(biāo)簽分類管理資源地圖元數(shù)據(jù)分類元數(shù)據(jù)稽查影響域分析元數(shù)據(jù)服務(wù)元數(shù)據(jù)分類元數(shù)據(jù)稽查影響域分析元數(shù)據(jù)服務(wù)元數(shù)據(jù)采集血緣分析圖31政務(wù)大數(shù)據(jù)資源管理平臺功能架構(gòu)5.5.3.技術(shù)架構(gòu)交互層交互層數(shù)據(jù)可視化數(shù)據(jù)可視化Echarts前端框架前端框架React服務(wù)層服務(wù)層請求消息隊(duì)列ActiveMQAPI網(wǎng)關(guān)統(tǒng)一服務(wù)Zuul后臺服務(wù)微服務(wù)集群管理工具（SpringCloud）數(shù)據(jù)質(zhì)量管理工具（griffin）統(tǒng)一登錄認(rèn)證數(shù)據(jù)審計(jì)策略（ApacheAtlas）算法服務(wù)數(shù)據(jù)抽取加載工具（Kettle）數(shù)據(jù)加密搜索引擎（elasticsearch）數(shù)據(jù)脫敏（AWSEncryptionSDK）授權(quán)證書服務(wù)容器化工具流數(shù)據(jù)處理sql注入監(jiān)測（sqlmap）數(shù)據(jù)持Hibernate數(shù)據(jù)持Hibernate數(shù)據(jù)存儲層數(shù)據(jù)庫（MySQL、Oracle、HDFS、Redis、NoSQL）圖32政務(wù)大數(shù)據(jù)資源管理平臺技術(shù)架構(gòu)實(shí)用的存取方案。對于量大且性能要求高的批量元數(shù)據(jù)存取，由于大數(shù)據(jù)時(shí)代各類數(shù)據(jù)的存儲方式從傳統(tǒng)的紙質(zhì)存儲變?yōu)樾畔⑾稻刻岢龌谏疃葘W(xué)習(xí)技術(shù)的數(shù)據(jù)資源價(jià)值分析模型(DataResource政務(wù)大數(shù)據(jù)資源管理規(guī)劃需求數(shù)據(jù)資源治理數(shù)據(jù)資源運(yùn)維數(shù)據(jù)生命周期數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)建模管理元數(shù)據(jù)分類元數(shù)據(jù)分類數(shù)據(jù)評估應(yīng)用數(shù)據(jù)質(zhì)量管理資源地圖元數(shù)據(jù)稽查............ValueAnalysisModel，DRVAM政務(wù)大數(shù)據(jù)資源管理規(guī)劃需求數(shù)據(jù)資源治理數(shù)據(jù)資源運(yùn)維數(shù)據(jù)生命周期數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)建模管理元數(shù)據(jù)分類元數(shù)據(jù)分類數(shù)據(jù)評估應(yīng)用數(shù)據(jù)質(zhì)量管理資源地圖元數(shù)據(jù)稽查............理平臺現(xiàn)狀調(diào)研國內(nèi)外現(xiàn)有數(shù)據(jù)資源管理機(jī)理研究政務(wù)大數(shù)據(jù)資源管理平臺總體設(shè)計(jì)數(shù)據(jù)資源分析資源標(biāo)簽分類政務(wù)大數(shù)據(jù)資源管理平臺試制圖33政務(wù)大數(shù)據(jù)資源管理平臺技術(shù)路線5.6.1.1.總體架構(gòu)圖34政務(wù)大數(shù)據(jù)共享交換平臺總體架構(gòu)政務(wù)大數(shù)據(jù)共享交換平臺遵循面向服務(wù)體系結(jié)構(gòu)（SOA）進(jìn)行框5.6.1.2.功能架構(gòu)圖35政務(wù)大數(shù)據(jù)共享交換平臺功能架構(gòu)向用戶提供數(shù)據(jù)共享交換API服務(wù)與相關(guān)數(shù)據(jù)可視化統(tǒng)計(jì)服務(wù)的網(wǎng)5.6.1.3.技術(shù)架構(gòu)圖36政務(wù)大數(shù)據(jù)共享交換平臺技術(shù)架構(gòu)（6）監(jiān)控管理層：針對數(shù)據(jù)共享交換技術(shù)流程體系，進(jìn)行統(tǒng)一5.6.1.5.技術(shù)路線圖37數(shù)據(jù)共享交換平臺技術(shù)路線5.6.2.1.總體架構(gòu)圖38數(shù)據(jù)開放平臺總體架構(gòu)政務(wù)大數(shù)據(jù)開放平臺的搭建是為了能夠?qū)⒄?wù)數(shù)據(jù)經(jīng)過脫敏脫5.6.2.2.功能架構(gòu)圖39數(shù)據(jù)開放平臺功能架構(gòu)政務(wù)大數(shù)據(jù)開放平臺主要依據(jù)互聯(lián)網(wǎng)架構(gòu)體系與政府?dāng)?shù)據(jù)開放（4）數(shù)據(jù)信息開放應(yīng)用階段：該階段主要利用下層提供的技術(shù)用戶可以在該門戶平臺通過調(diào)用API等方式，靈活利用公開政務(wù)數(shù)5.6.2.3.技術(shù)架構(gòu)圖40數(shù)據(jù)開放平臺技術(shù)架構(gòu)大數(shù)據(jù)時(shí)代各類數(shù)據(jù)的存儲方式從傳統(tǒng)的紙質(zhì)存儲變?yōu)樾畔⑾?）結(jié)合人工智能和語義分析等方法，實(shí)現(xiàn)政務(wù)文本5.6.2.5.技術(shù)路線圖41數(shù)據(jù)開放平臺技術(shù)路線安全與運(yùn)維保障體系標(biāo)準(zhǔn)規(guī)范與管理體系安全與運(yùn)維保障體系標(biāo)準(zhǔn)規(guī)范與管理體系5.6.3.1.總體架構(gòu)知識抽取知識表示與建模知識庫構(gòu)建知識抽取知識表示與建模通用知識庫領(lǐng)域知識庫知識計(jì)算知識計(jì)算知識演化與推理知識存儲政務(wù)知識服務(wù)總線圖42政務(wù)大數(shù)據(jù)知識服務(wù)平臺總體架構(gòu)5.6.3.2.功能架構(gòu)智能問答、智能決策支持以及政策公文的語義檢索等知識問答演化分析語義檢索政務(wù)應(yīng)用知識問答演化分析語義檢索知識決策支持個(gè)性化推薦關(guān)系分析預(yù)測政務(wù)知識服務(wù)總線知識抽取知識表示與建模知識庫構(gòu)建知識抽取知識表示與建模知識庫通用知識庫領(lǐng)域知識庫知識計(jì)算知識計(jì)算知識演化與推理知識存儲政務(wù)大數(shù)據(jù)采集平臺圖43政務(wù)大數(shù)據(jù)知識服務(wù)平臺功能架構(gòu)5.6.3.3.技術(shù)架構(gòu)應(yīng)用示范支撐政務(wù)數(shù)據(jù)知識服務(wù)平臺知識庫構(gòu)建知識庫領(lǐng)域知識庫知識庫領(lǐng)域知識庫通用知識庫知識存儲(Neo4j/知識存儲(Neo4j/GraphDB)知識演化與推理（RDFox/SparkSRE）知識鏈接知識抽取（DeepDive/OLLIE）知識表示與建模nerKE)政務(wù)服務(wù)支撐技術(shù)平臺圖44政務(wù)大數(shù)據(jù)知識服務(wù)平臺技術(shù)架構(gòu)圖針對政務(wù)知識的服務(wù)能力薄弱和面向公眾的個(gè)性化與精準(zhǔn)化服政務(wù)文本數(shù)據(jù)語義理解研究主要面對文本語義理解中存在的語第三階段第二階段第一階段第三階段第二階段第一階段政務(wù)服務(wù)知識庫構(gòu)建政務(wù)服務(wù)知識庫構(gòu)建政務(wù)示范應(yīng)用研究與實(shí)現(xiàn)政務(wù)數(shù)據(jù)知識服務(wù)平臺搭建集成政務(wù)多源異構(gòu)數(shù)據(jù)各功能模塊集成測試知識抽取API設(shè)計(jì)其他相關(guān)功能設(shè)計(jì)政務(wù)數(shù)據(jù)知識服務(wù)平臺知識演化與推理關(guān)系分析預(yù)測個(gè)性化推薦智能問答政務(wù)數(shù)據(jù)知識庫政務(wù)知識服務(wù)總線知識表示與建模知識存儲與計(jì)算平臺搭建任務(wù)分解圖45政務(wù)大數(shù)據(jù)知識服務(wù)平臺技術(shù)路線互聯(lián)網(wǎng)政務(wù)主題數(shù)據(jù)采集工具是對分散在互聯(lián)網(wǎng)中的政務(wù)主題結(jié)構(gòu)化存儲非結(jié)構(gòu)化存儲分布式存儲任務(wù)監(jiān)控腳本管理調(diào)度可視化Web數(shù)據(jù)采集ETL工具集數(shù)據(jù)實(shí)時(shí)同步行業(yè)數(shù)據(jù)政府?dāng)?shù)據(jù)行業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)圖46互聯(lián)網(wǎng)政府主題數(shù)據(jù)采集工具功能架構(gòu)應(yīng)用層數(shù)據(jù)層客戶層控制層業(yè)務(wù)層基礎(chǔ)服務(wù)層數(shù)據(jù)訪問層數(shù)據(jù)存儲層CSSJavaScriptAjaxSpringBootRestful服務(wù)Spring技術(shù)SpringBootKafka應(yīng)用層數(shù)據(jù)層客戶層控制層業(yè)務(wù)層基礎(chǔ)服務(wù)層數(shù)據(jù)訪問層數(shù)據(jù)存儲層CSSJavaScriptAjaxSpringBootRestful服務(wù)Spring技術(shù)SpringBootKafkaSpringBootLombokMybatisMybatisPlusDynamicDataSourceDB2MySQLOracleMongoDBHBase客戶端執(zhí)行架構(gòu)PC端/Windows系統(tǒng)數(shù)據(jù)庫執(zhí)行架構(gòu)數(shù)據(jù)庫服務(wù)器/Linux系統(tǒng)系統(tǒng)架構(gòu)實(shí)現(xiàn)方式緩存服務(wù)隊(duì)列服務(wù)參數(shù)解析分布式SessionMySQL讀寫分離數(shù)據(jù)訪問驅(qū)動(dòng)控制MongoDB緩存服務(wù)隊(duì)列服務(wù)參數(shù)解析分布式SessionMySQL讀寫分離數(shù)據(jù)訪問驅(qū)動(dòng)控制MongoDB數(shù)據(jù)服務(wù)HBase通用工具集Web數(shù)據(jù)采集ETL工具集任務(wù)調(diào)度數(shù)據(jù)實(shí)時(shí)同步應(yīng)用層執(zhí)行架構(gòu)SpringBoot/MVC模式/Linux系統(tǒng)圖47互聯(lián)網(wǎng)政府主題數(shù)據(jù)采集工具技術(shù)架構(gòu)Web數(shù)據(jù)采集:提供定制化互聯(lián)網(wǎng)政務(wù)主題的網(wǎng)頁數(shù)據(jù)采集、下5.7.1.2.技術(shù)路線互聯(lián)網(wǎng)政府政務(wù)主題數(shù)據(jù)采集工具采用軟件工程瀑布模型進(jìn)行研究任務(wù)分解互聯(lián)網(wǎng)政務(wù)主題數(shù)據(jù)采集智能網(wǎng)頁采集腳本生成技術(shù)分布式采集任務(wù)調(diào)度技術(shù)第一階段第一階段研究數(shù)據(jù)采集架構(gòu)數(shù)據(jù)存儲Scrapy技術(shù)基于示例的第二階段第二階段定時(shí)調(diào)度分布式任務(wù)第三階段雙Master第三階段圖48互聯(lián)網(wǎng)政府主題數(shù)據(jù)采集工具技術(shù)路線庫編寫定時(shí)調(diào)度組件，實(shí)現(xiàn)主從架構(gòu)分布式任務(wù)調(diào)度，并使用雙5.7.2.1.技術(shù)架構(gòu)政務(wù)數(shù)據(jù)分類分級工具對已收集得到的政府?dāng)?shù)據(jù)集進(jìn)行語義層專家案例庫基礎(chǔ)能力政務(wù)知識圖譜政策法規(guī)庫政務(wù)數(shù)據(jù)分類分級工具專家案例庫基礎(chǔ)能力政務(wù)知識圖譜政策法規(guī)庫用戶操作結(jié)果展示結(jié)果展示接口調(diào)用接口調(diào)用Jena推理算法模型Jena推理算法模型機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)圖譜構(gòu)建MySQLNeo4j數(shù)據(jù)存儲MySQLNeo4j數(shù)據(jù)存儲互聯(lián)網(wǎng)數(shù)據(jù)采集權(quán)責(zé)清單政府組織機(jī)構(gòu)職能互聯(lián)網(wǎng)數(shù)據(jù)權(quán)責(zé)清單政府組織機(jī)構(gòu)職能互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)源貴陽市全量貴陽市全量數(shù)據(jù)目錄圖49政務(wù)數(shù)據(jù)分類分級工具功能架構(gòu)應(yīng)用層數(shù)據(jù)層客戶層控制層業(yè)務(wù)層基礎(chǔ)服務(wù)層數(shù)據(jù)訪問層數(shù)據(jù)存儲層HtmlCSSJavaScriptAjaxSpringBootRestful服務(wù)ServletSpring技術(shù)SpringBootKafka應(yīng)用層數(shù)據(jù)層客戶層控制層業(yè)務(wù)層基礎(chǔ)服務(wù)層數(shù)據(jù)訪問層數(shù)據(jù)存儲層HtmlCSSJavaScriptAjaxSpringBootRestful服務(wù)ServletSpring技術(shù)SpringBootKafkaETL工具SpringBootLombokMybatisMybatisPlusDynamicDataSourceDB2MySQLOracleSQLServerMongoDBHBase客戶端執(zhí)行架構(gòu)PC端/Windows系統(tǒng)數(shù)據(jù)庫執(zhí)行架構(gòu)數(shù)據(jù)庫服務(wù)器/Linux系統(tǒng)系統(tǒng)架構(gòu)實(shí)現(xiàn)方式緩存服務(wù)Servlet參數(shù)解析分布式SessionMySQL讀寫分離數(shù)據(jù)訪問驅(qū)動(dòng)控制隊(duì)列服務(wù)MongoDB數(shù)據(jù)服務(wù)日志服務(wù)Neo4j用戶...通用工具集緩存服務(wù)Servlet參數(shù)解析分布式SessionMySQL讀寫分離數(shù)據(jù)訪問驅(qū)動(dòng)控制隊(duì)列服務(wù)MongoDB數(shù)據(jù)服務(wù)日志服務(wù)Neo4j用戶...通用工具集專家案例庫政策法規(guī)庫知識圖譜算法模型...智能推理應(yīng)用層執(zhí)行架構(gòu)SpringBoot/MVC模式/Linux系統(tǒng)圖50政務(wù)數(shù)據(jù)分類分級工具技術(shù)架構(gòu)5.7.2.2.技術(shù)路線政務(wù)數(shù)據(jù)分類分級工具及方法研究研究任務(wù)分解政務(wù)數(shù)據(jù)分類分級工具基礎(chǔ)能力政務(wù)數(shù)據(jù)分類分級算法政策法規(guī)庫知識圖譜專家案例庫政策法規(guī)庫知識圖譜專家案例庫已有的高質(zhì)量政務(wù)分類分級數(shù)據(jù)不同的篩選需求和知識圖譜技術(shù)第一階段第一階段機(jī)器學(xué)習(xí)第二階段機(jī)器學(xué)習(xí)第二階段算法模型選擇Jena推理引擎分類分級圖51政務(wù)數(shù)據(jù)分類分級工具技術(shù)路線政務(wù)數(shù)據(jù)開放沙箱工具著力解決政府部門之間數(shù)據(jù)共享開放和3、分發(fā)解密密鑰3、分發(fā)解密密鑰P5、上傳模型，解密使用數(shù)據(jù)訓(xùn)練模型1、數(shù)據(jù)目錄放入沙箱3、分發(fā)加密密鑰4、上傳加密數(shù)據(jù)自2、簽訂合約6、取回模型P訪問控制策略沙箱7、銷毀安全策略圖52政務(wù)數(shù)據(jù)開放沙箱工具邏輯流程5.7.3.2.技術(shù)路線政務(wù)數(shù)據(jù)開放沙箱工具及方法研究研究任務(wù)分解政務(wù)數(shù)據(jù)開放沙箱工具的環(huán)境搭建政務(wù)數(shù)據(jù)開放沙箱工具的應(yīng)用搭建第一階段操作記錄賬號管控權(quán)限管理第二階段操作記錄賬號管控權(quán)限管理第二階段審計(jì)錄像圖53政務(wù)數(shù)據(jù)開放沙箱工具技術(shù)路線存、磁盤、GPU、網(wǎng)絡(luò)等基礎(chǔ)的組件構(gòu)成，為沙箱的運(yùn)行提供一個(gè)云5.7.4.1.技術(shù)架構(gòu)結(jié)果查詢可視化展示數(shù)據(jù)統(tǒng)計(jì)考核評估智能推送問題反饋動(dòng)態(tài)建?；A(chǔ)保障數(shù)據(jù)共享數(shù)據(jù)開放數(shù)據(jù)應(yīng)用組織管理考核材料審核考核材料記錄考核材料管理共享開放平臺考核部門上傳數(shù)據(jù)考核機(jī)構(gòu)抽查數(shù)據(jù)圖54政務(wù)數(shù)