大數(shù)據(jù)平臺方案設(shè)計.doc

1、項目技術(shù)方案大數(shù)據(jù)平臺方案設(shè)計1.1 需求分析1.1.1 采購范圍與基本要求建設(shè)XX高新區(qū)開發(fā)區(qū)智慧園區(qū)的人口庫 （12萬居民）、法人庫（1200家企業(yè)）、地理信息庫（已 建設(shè)區(qū)域35平方公里的3維電子地圖、未建設(shè)區(qū)域 80平方公里的航拍電子地圖）、視頻庫（1000 個攝像點）、大數(shù)據(jù)處理平臺、數(shù)據(jù)管理服務(wù)平臺。1.1.2 建設(shè)內(nèi)容要求1.1.2.1 人口庫人口庫的基本信息以公安部門戶籍和暫住人口信息為基礎(chǔ)，整合人社、計生、民政、教育等多個部門信息資源，建設(shè)統(tǒng)一規(guī)范的人口庫和人口信息服務(wù)平臺。（1）人口庫的內(nèi)容目錄序號信息目錄（一級）信息目錄（二級）可能的信息源單位1人口基本信息人員信息（常駐

2、）公安局2人員信息（暫?。?戶籍成員信息4死亡信息5人員車輛信息駕駛?cè)藛T信息公安局（交警系統(tǒng)）6機(jī)動車信息7電動車信息8社居民區(qū)服務(wù)信息房主信息房管局、村（居）委會9房屋變動信息10社區(qū)黨建信息黨員信息組織人社局、村（居）委會11培養(yǎng)黨員信息12黨員流入信息13黨員流出信息14社居民區(qū)服務(wù)信息準(zhǔn)生證信息社會發(fā)展局15婚前檢查信息16孕前檢查信息17婚育證信息18節(jié)育手術(shù)信息19計生處罰信息20衛(wèi)生信息社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)信息社會發(fā)展局21醫(yī)療機(jī)構(gòu)信息序號信息目錄（一級）信息目錄（二級）可能的信息源單位22醫(yī)療資源信息23衛(wèi)生許可信息24民政信息社會組織信息社會發(fā)展局25區(qū)域地名信息26最低保障收入

3、人員信息27精準(zhǔn)扶貧對象信息村居管理委員會28社保基本信息單位信息組織人社局29參保人員信息30養(yǎng)老保險信息退休待遇信息31轉(zhuǎn)移人員信息32失業(yè)信息失業(yè)登記和失業(yè)保險信息33醫(yī)療信息城鎮(zhèn)職工基本醫(yī)療保險賬戶信 息34門慢信息35定點醫(yī)療機(jī)構(gòu)和定點零售藥店 信息36工傷信息傷殘認(rèn)定信息37勞動能力鑒定信息38工傷待遇信息（2）人口信息服務(wù)平臺功能需求數(shù)據(jù)庫層：能夠安全存儲人口庫的內(nèi)容目錄中列出的信息內(nèi)容，對居民、企業(yè)、政府提供安全 的人口信息服務(wù)，為人口大數(shù)據(jù)分析提供基本數(shù)據(jù)源。應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫維護(hù)、報表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供應(yīng)用支 撐。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖

4、掘工具、通用算法，利用大數(shù)據(jù)平臺的計算能力進(jìn)行分析， 對人口庫數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價值的分析結(jié)果。應(yīng)用層：包括人口信息服務(wù)、人口專題分析、公共服務(wù)等。1.1.2.2 法人庫法人庫以工商部門的企業(yè)信息為基礎(chǔ)， 整合各參建部門系統(tǒng)中的法人信息， 如機(jī)構(gòu)代碼、機(jī)構(gòu) 名稱、機(jī)構(gòu)類型、經(jīng)濟(jì)行業(yè)、業(yè)務(wù)經(jīng)營范圍、機(jī)構(gòu)地址、法定代表人等字段信息，建成標(biāo)識統(tǒng)一、 結(jié)構(gòu)科學(xué)、查詢快捷、動態(tài)管理的法人信息庫。制定與交換平臺對應(yīng)的相關(guān)標(biāo)準(zhǔn)、制度和規(guī)范管理 體系，實現(xiàn)工商局、地稅局、國稅局、質(zhì)量技術(shù)監(jiān)督局等法人數(shù)據(jù)相關(guān)業(yè)務(wù)部門之間的網(wǎng)絡(luò)互聯(lián)和 業(yè)務(wù)數(shù)據(jù)的實時交換與應(yīng)用。（1）法人庫的內(nèi)容目錄序號信息目錄（一級

5、）信息目錄（二級）可能的信息源單位1企業(yè)基本信息股東（投資者）信息工商質(zhì)監(jiān)局，企業(yè)2法人信息3地址與聯(lián)系信息4工商注冊信息工商登記信息工商質(zhì)監(jiān)局5工商變更信息6工商注銷信息7工商吊銷信息8稅務(wù)信息稅務(wù)登記信息稅務(wù)局9稅務(wù)注銷信息10稅務(wù)登記驗換證信息11企業(yè)發(fā)票信息12企業(yè)經(jīng)營信息組織架構(gòu)企業(yè)13發(fā)展戰(zhàn)略14品牌15產(chǎn)品與服務(wù)信息16人力資源信息17高端技術(shù)和設(shè)備18財務(wù)報表19資質(zhì)信息20信用信息21榮譽(yù)信息22文化23違規(guī)處罰等不良信息(2)法人信息服務(wù)平臺功能需求數(shù)據(jù)庫層：能夠安全存儲法人庫的內(nèi)容目錄中列出的信息內(nèi)容，對居民、企業(yè)、政府提供安全 的法人信息服務(wù)，為法人大數(shù)據(jù)分析提供基本數(shù)

6、據(jù)源。應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫維護(hù)、統(tǒng)計與報表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供 應(yīng)用支撐。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺的計算能力進(jìn)行 分析，對法人庫數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價值的分析結(jié)果。應(yīng)用層：包括法人信息服務(wù)、法人專題分析、公共服務(wù)等。1.1.2.3 地理信息庫以國土資源部空間地理數(shù)據(jù)框架作為基礎(chǔ)，采用分布式存儲并行計算的技術(shù)思路統(tǒng)一搭建地理 信息庫，再與智慧園區(qū)建設(shè)涉及的各類專題圖層進(jìn)行融合、關(guān)聯(lián)，實現(xiàn)統(tǒng)一共享，逐漸形成XX高新區(qū)權(quán)威、豐富的地理信息數(shù)據(jù)庫。要求根據(jù)不同信息資源類別，提供數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計。地理信息庫維護(hù)文件主要提供地圖基本

7、操作、地圖測量、圖層控制、空間分析等信息服務(wù)功能。地理信息庫配置一套高性能 GIS工具軟件，基于高性能云GIS平臺搭建，實現(xiàn)空間數(shù)據(jù)的統(tǒng)一 管理，完成空間數(shù)據(jù)檢查、轉(zhuǎn)換、入庫、管理、制圖顯示、服務(wù)發(fā)布等一系列空間數(shù)據(jù)分析處理功(1)地理信息庫的內(nèi)容目錄序號言息口錄（一級）言息口錄（二級）RJ能日勺信息源單位1電子地圖數(shù)據(jù)三維電子地圖：已建設(shè)區(qū)域30平萬公里國土資源部、中標(biāo)單位測量航汨電子地圖：禾建設(shè)區(qū)域60平萬公里2地理實體數(shù)據(jù)建筑、道路、水系、綠地、農(nóng)田等國土資源部、中標(biāo)單位測量3三維模型數(shù)據(jù)已建設(shè)區(qū)域30平方公里，分等級實現(xiàn)重點城區(qū) 精細(xì)三維模型數(shù)據(jù)和其它地區(qū)簡易模型數(shù)據(jù)中標(biāo)單位測量、建設(shè)

8、4城市部件數(shù)據(jù)路燈、交通燈、屏顯、導(dǎo)示牌、標(biāo)志性行道樹、線纜、地下管網(wǎng)等城管等部門5規(guī)劃數(shù)據(jù)規(guī)劃用地數(shù)據(jù)規(guī)劃局6POI數(shù)據(jù)企業(yè)（項目）數(shù)據(jù)規(guī)劃局、辦公室等（2）地理信息庫管理平臺功能需求數(shù)據(jù)處理：格式轉(zhuǎn)換、坐標(biāo)轉(zhuǎn)換、屬性編輯、數(shù)據(jù)裁切。數(shù)據(jù)質(zhì)檢：矢量數(shù)據(jù)檢查、柵格數(shù)據(jù)檢查、三維模型數(shù)據(jù)檢查、元數(shù)據(jù)檢查。入庫更新：矢量數(shù)據(jù)入庫、影像數(shù)據(jù)入庫、三維模型數(shù)據(jù)入庫、元數(shù)據(jù)入庫。數(shù)據(jù)輸出：矢量數(shù)據(jù)提取、柵格數(shù)據(jù)提取。查詢?yōu)g覽：地圖瀏覽、數(shù)據(jù)加載、SQL查詢、空間查詢、數(shù)據(jù)對比瀏覽、元數(shù)據(jù)查詢歷史數(shù)據(jù)管理：歷史版本數(shù)據(jù)比較、版本數(shù)據(jù)提取。系統(tǒng)管理：權(quán)限管理、日志管理、備份恢復(fù)。1.1.2.4 視頻庫（1）

9、視頻庫的內(nèi)容目錄序號信息目錄（一級）信息目錄（二級）可能的信息源單位1視頻視頻目錄視頻監(jiān)控系統(tǒng)數(shù)字?jǐn)z像裝置視頻文件2視頻特征視頻特征文件（2）視頻庫管理平臺功能需求與視頻監(jiān)控系統(tǒng)的接口、視頻入庫、視頻目錄管理、視頻文件管理、視頻特征文件生成、視頻 檢索、視頻異常發(fā)現(xiàn)等。1.1.2.5 大數(shù)據(jù)處理平臺（1）大數(shù)據(jù)基礎(chǔ)平臺提供基礎(chǔ)管控、基礎(chǔ)服務(wù)的大數(shù)據(jù)基礎(chǔ)支撐功能。大數(shù)據(jù)基礎(chǔ)平臺要充分利用目前先進(jìn)的大數(shù) 據(jù)處理技術(shù)，保證系統(tǒng)技術(shù)的前瞻性和先進(jìn)性。大數(shù)據(jù)基礎(chǔ)平臺要求提供海量數(shù)據(jù)的采集、存儲、 計算、接口服務(wù)能力；需要滿足海量、異構(gòu)的大數(shù)據(jù)的存儲、共享、開放及分析挖掘方面的要求； 需要采用主流的大數(shù)據(jù)

10、的技術(shù)架構(gòu)，全面滿足結(jié)構(gòu)化數(shù)據(jù)、半構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的存儲、 處 理及計算要求；提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集；提供接口服務(wù)，供二次開發(fā)應(yīng)用等。大數(shù)據(jù)基礎(chǔ)平臺要求能夠管理大數(shù)據(jù)中心集群的物理服務(wù)器資源，控制分布式程序運行，隱藏下層故障恢復(fù)和數(shù)據(jù)冗余等細(xì)節(jié)，為大數(shù)據(jù)處理平臺提供統(tǒng)一的管理、監(jiān)控、 維護(hù)等日常管理功能。主要包括：資源管理、安全管理、運維管理、集群部署及監(jiān)控、任務(wù)調(diào)度等功能，同時配備友好的管理界面。數(shù)據(jù)采集要求大數(shù)據(jù)處理平臺數(shù)據(jù)主要來自數(shù)據(jù)資源中心，包括基礎(chǔ)庫（ 人口庫、法人庫、地理信息庫、視頻庫 ） 數(shù)據(jù)、主題庫（ 業(yè)務(wù)數(shù)據(jù)庫） 數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，同時也支持其他外部

11、系統(tǒng)數(shù)據(jù)來源。數(shù)據(jù)采集系統(tǒng)要求提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集。對于結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及網(wǎng)絡(luò)數(shù)據(jù)采用不同的采集工具進(jìn)行數(shù)據(jù)導(dǎo)入。支持多種數(shù)據(jù)采集方式，比如ETL FTR文件導(dǎo)入導(dǎo)出、關(guān)系數(shù)據(jù)庫數(shù)據(jù)等。分布式存儲要求平臺能夠根據(jù)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)的不同特點，分別提供數(shù)據(jù)倉庫和分布式列式數(shù)據(jù)庫存儲服務(wù)， 底層支撐技術(shù)支持分布式文件系統(tǒng)，所有的數(shù)據(jù)可以形成多份副本均勻分布存儲在各個服務(wù)節(jié)點的存儲上，保證數(shù)據(jù)可靠性和提高讀寫效率。大數(shù)據(jù)計算引擎要求離線計算引擎（Mapreduce） ：離線分布式計算作為一個海量結(jié)構(gòu)化數(shù)據(jù)離線處理與分析服務(wù)，著力于實時性要求不高的海量數(shù)據(jù)（TB/P

12、B級別）離線處理。支持并行化、容錯、數(shù)據(jù)分布、負(fù)載 均衡。離線計算引擎需要具有 PB級的存儲處理能力和計算吞吐能力，支持多應(yīng)用多實例并發(fā)同時 計算并隔離應(yīng)用數(shù)據(jù)和程序的能力。支持Mapreduce等批量數(shù)據(jù)分布式計算框架。支持分布式內(nèi)存計算框架。支持作業(yè)查詢預(yù)處理調(diào)度算法，可根據(jù)業(yè)務(wù)屬性對指定的多個隊列按照優(yōu)先級的配置進(jìn)行任務(wù)的提交。具備高可靠性，支持主控節(jié)點雙機(jī)，避免單點故障不可恢復(fù)。具備高度可擴(kuò)展，可動態(tài)增加/削減計算節(jié)點，真正實現(xiàn)彈性計算。支持離線計算組件界面配置化，可以對配置進(jìn)行查看和修改，并立刻生效。支持離線計算組件性能指標(biāo)界面可視化，通過界面實時監(jiān)控組件性能指標(biāo)。支持多租戶權(quán)限管理

13、能力，支持不同用戶之間的資源隔離。支持多應(yīng)用多實例并發(fā)同時計算并隔離應(yīng)用數(shù)據(jù)和程序的能力。內(nèi)存計算引擎（ Spark） ： 基于內(nèi)存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。 由于中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫分布式文件系統(tǒng)，能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的算法。支持作業(yè)查詢預(yù)處理調(diào)度算法，可以根據(jù)業(yè)務(wù)屬性對指定的多個隊列按照優(yōu)先級的配置進(jìn)行任務(wù)的提交。支持審計日志可查詢，在管理運維的界面中可以進(jìn)行內(nèi)存計算引擎日志的查詢。支持相關(guān)存儲目錄規(guī)整，對內(nèi)存計算引擎的數(shù)據(jù)目錄進(jìn)行規(guī)整，修改默認(rèn)配置，并提供界面上的修改配置的地方。支持配置界面化，能夠在管理運維

14、界面上對內(nèi)存計算引擎的配置進(jìn)行查看和修改，并能夠同步到前臺立刻生效。支持通過界面展示性能指標(biāo)，能夠在界面上查看內(nèi)存計算引擎的性能指標(biāo)數(shù)據(jù)。支持 on Yarn 等方式，在管理運維界面上安裝服務(wù)，可以在安裝的時候，選擇On Yarn 等的方式安裝。支持內(nèi)存計算引擎的 Master的HA等，可以對內(nèi)存計算引擎的 master角色進(jìn)行HA等部署，以 保證該節(jié)點的高可用性。實時計算引擎（例如spark streaming 、 Storm） ：實時分布式計算需要提供大吞吐量的實時流式數(shù)據(jù)處理。要求保證高可靠性的前提下讓數(shù)據(jù)處理更加實時，具備低延時、容錯和分布計算特性。采用分布式計算框架提供實時計算服務(wù)，

15、可按需擴(kuò)容。支持高并發(fā)低延時的數(shù)據(jù)處理。計算引擎：支持SPARISTREAMING實時計算框架、STORI#布式流式計算框架兩種計算框架功能。支持對流數(shù)據(jù)的處理，數(shù)據(jù)可以建立關(guān)聯(lián)處理。高效處理數(shù)據(jù)：支持消息的分流、合流、聚合的消息處理。數(shù)據(jù)按業(yè)務(wù)分析，可支持不同的應(yīng)用接入，并對應(yīng)不同的應(yīng)用輸出計算結(jié)果。事件監(jiān)測：對數(shù)據(jù)處理低延時，滿足事件監(jiān)控等實時性要求很高的場景。具備高可靠性，支持主控節(jié)點雙機(jī)，具備自動容錯能力，避免單點故障不可恢復(fù)。支持實時計算組件界面配置化，可以對配置進(jìn)行查看和修改，配置修改立刻生效。支持實時計算組件性能指標(biāo)界面可視化，通過界面實時監(jiān)控實時計算組件性能指標(biāo)。全文搜索引擎（

16、例如solr ）提供豐富的查詢語言，同時實現(xiàn)可配置、可擴(kuò)展并對查詢性能進(jìn)行優(yōu)化，提供一個完善的功能管理界面。可以實現(xiàn)集中式的配置信息、自動容錯、查詢時自動負(fù)載均衡、自動分發(fā)的索引和索引分片和事務(wù)日志等多種特色功能。可以對搜索引擎集合進(jìn)行快照，可以周期、定時創(chuàng)建集合快照，對索引數(shù)據(jù)進(jìn)行備份。提供搜索引擎數(shù)據(jù)切換自動化工具，一鍵式操作實現(xiàn)搜索引擎數(shù)據(jù)從一個集群切換到另外一個集群，安全可靠。提供搜索引擎節(jié)點擴(kuò)容數(shù)據(jù)重分布自動化工具，搜索引擎節(jié)點擴(kuò)容后數(shù)據(jù)均勻的重分布到新增節(jié)點上，負(fù)載均勻的分擔(dān)到各節(jié)點上。支持搜索引擎服務(wù)自動拉起功能，提高可靠性。除管理平臺界面手工停止服務(wù)之外的異常服務(wù)停止后都會自動

17、拉起，保證服務(wù)連續(xù)可用。資源管理（例如yarn）資源管理要求能夠?qū)崿F(xiàn)調(diào)度和分配集群的內(nèi)存和計算等資源給上層應(yīng)用和服務(wù)，能夠管理運行在集群節(jié)點上的任務(wù)的生命周期和資源使用，提供靜態(tài)資源池和動態(tài)資源池功能。在多用戶運行環(huán)境中，能夠支持計算額度和訪問控制，作業(yè)優(yōu)先級和資源搶占，達(dá)到在保障公平的前提下，有效地共享集群資源。支持 VIP 隊列管理，支持根據(jù)業(yè)務(wù)需要指定作業(yè)在指定的計算節(jié)點上運行，隔離重點任務(wù)和普通任務(wù)，保障重點任務(wù)的物理資源。要求給出詳細(xì)的設(shè)計方案。資源管理能夠面向海量數(shù)據(jù)處理和大規(guī)模計算類型的復(fù)雜應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。提供通用的并行計算框架，要求兼容批量分布式計算、內(nèi)存分布式計

18、算、流式計算等多種編程模式。具備高可擴(kuò)展性，支持作業(yè)定點調(diào)度，支持優(yōu)先級高的作業(yè)優(yōu)先分配到資源。能夠自動檢測故障和系統(tǒng)熱點，重試失敗任務(wù)，保證作業(yè)穩(wěn)定可靠運行完成。支持作業(yè)定點調(diào)度，指定作業(yè)在哪些主機(jī)上運行，隔離重點任務(wù)和普通任務(wù)。支持隊列增加優(yōu)先級屬性，優(yōu)先級高的作業(yè)優(yōu)先分配到資源。支持白名單功能，限制客戶端向集群的resourcemanager 提交作業(yè)。支持提交權(quán)限，限制無權(quán)用戶提交作業(yè)并運行。支持隊列屬性修改圖形化，在圖形化界面中配置新增、修改、刪除隊列屬性。支持隊列屬性增加“最大作業(yè)提交數(shù)”屬性， 在圖形化界面中新增“最大作業(yè)提交數(shù)”屬性可配置分布式協(xié)作服務(wù)（例如Zookeeper）

19、分布式協(xié)作服務(wù)提供分布式、高可用的協(xié)作服務(wù)，可以用來構(gòu)建分布式應(yīng)用。它能為分布式文件系統(tǒng)、分布式列式數(shù)據(jù)庫、離線計算、資源管理與調(diào)度、數(shù)據(jù)倉庫等大數(shù)據(jù)組件提供重要的功能支撐。在分布式應(yīng)用中，通常需要分布式協(xié)作服務(wù)來提供可靠的、可擴(kuò)展的、分布式的、可配置的協(xié)調(diào)機(jī)制來統(tǒng)一各系統(tǒng)的狀態(tài)。幫助系統(tǒng)避免單點故障，建立可靠的應(yīng)用程序。提供分布式協(xié)作服務(wù)和維護(hù)配置信息。安全管理安全管理能夠提供以用戶為單位的身份認(rèn)證和授權(quán)，能夠?qū)簲?shù)據(jù)資源和服務(wù)進(jìn)行訪問控制，包括系統(tǒng)用戶、應(yīng)用用戶的身份和權(quán)限管理，日志管理等。運維管理主機(jī)管理：可以對已經(jīng)添加的主機(jī)及其運行狀態(tài)進(jìn)行查詢，可以對單臺主機(jī)進(jìn)行全面監(jiān)控。通過在已添

20、加主機(jī)安裝代理，支持通過代理訪問計算集群提供相關(guān)組件服務(wù)和操作。要求給出詳細(xì)的設(shè)計方案。服務(wù)管理：對大數(shù)據(jù)平臺包含的各個組件服務(wù)提供的管理界面，可對各組件運行狀態(tài)進(jìn)行監(jiān)控，可執(zhí)行啟、停操作；除手動停止服務(wù)外，系統(tǒng)監(jiān)測到服務(wù)異常終止時可以自動拉起服務(wù)，并可以根據(jù)需要打開或關(guān)閉自動拉起開關(guān)。可對具體角色實例進(jìn)行管理。為避免應(yīng)用之間在申請組件服務(wù)時相互干擾，提升應(yīng)用的健壯性和可靠性，應(yīng)支持相同組件的服務(wù)既共享物理資源，又相互獨立。要求給出詳細(xì)的設(shè)計方案。告警管理：告警管理功能包括告警查看、閥值設(shè)置。監(jiān)控系統(tǒng)各類異常，在管理界面上實時呈現(xiàn)。支持集群內(nèi)不同節(jié)點差異化告警閾值設(shè)置。系統(tǒng)管理：包括系統(tǒng)配置、

21、巡檢、備份。其中，系統(tǒng)配置包含版本設(shè)置和SNM殷置。巡檢功能需要支持自動巡檢和手動巡檢兩種方式。提供備份功能，包含快照和集群間備份。支持服務(wù)日志級別動態(tài)調(diào)整，支持組件配置項快速查找功能，并且用戶可以根據(jù)需要新增自定義組件配置項。展現(xiàn)界面設(shè)計詳細(xì)展示大數(shù)據(jù)平臺的運行情況。界面展示內(nèi)容包括主頁界面、集群界面、主機(jī)管理界面、告警管理界面、安裝界面、系統(tǒng)管理界面、日志界面、安全界面等。主頁界面：可以整體查看集群的整體運行狀況，包括主機(jī)、服務(wù)等資源的數(shù)量、在線情況；運行負(fù)載情況；以及告警信息。集群界面：包含服務(wù)管理、靜態(tài)資源池、動態(tài)資源池等；其中，服務(wù)管理界面提供對大數(shù)據(jù)平臺各組件運行狀態(tài)進(jìn)行監(jiān)控，可執(zhí)

22、行啟、停操作； 靜態(tài)資源池界面和動態(tài)資源池界面可對根據(jù)服務(wù)狀態(tài)對資源進(jìn)行靜態(tài)和動態(tài)調(diào)整。主機(jī)界面：可以查詢已添加的主機(jī)及其運行狀態(tài)，也可對單臺主機(jī)進(jìn)行全面監(jiān)控。告警界面：主要包含告警查看和閥值設(shè)置。安裝界面：包括安裝集群、安裝主機(jī)、安裝服務(wù)、機(jī)架管理、升級服務(wù)、升級主機(jī)。系統(tǒng)管理界面：包含巡檢報告、開關(guān)設(shè)置、版本設(shè)置等內(nèi)容。日志界面：分為操作日志、系統(tǒng)日志、安全日志?？梢园凑詹樵儣l件對日志進(jìn)行查詢操作，并 可對日志可以進(jìn)行分類、刪除、過濾、導(dǎo)出安全界面：包含部門管理、用戶管理、角色管理等。集群部署及監(jiān)控集群部署與監(jiān)控能夠提供整個云操作系統(tǒng)以及上層應(yīng)用服務(wù)的部署、配置管理以及服務(wù)的自檢和自舉。集

23、群部署：支持自動化的安裝部署，使用工具進(jìn)行自動安裝，簡單快捷。主要功能包括：集群 安裝、主機(jī)安裝、服務(wù)安裝、服務(wù)升級、主機(jī)升級、機(jī)架管理。運行監(jiān)控：可以整體查看大數(shù)據(jù)集群的整體運行狀況。包括主機(jī)、服務(wù)等資源的數(shù)量、在線情況；運行負(fù)載情況；以及告警信息。同時監(jiān)控大數(shù)據(jù)平臺各組件運行狀態(tài)、硬件資源占用情況(硬 盤、CPU內(nèi)存等)等，如果被監(jiān)控對象出現(xiàn)異常情況，監(jiān)控系統(tǒng)就會在相關(guān)管理告警頁面發(fā)出告 警通知。(2) 大數(shù)據(jù)多維分析查詢系統(tǒng)總體要求大數(shù)據(jù)多維查詢系統(tǒng)要求提供超大數(shù)據(jù)規(guī)模數(shù)據(jù)查詢，支持PB級數(shù)據(jù)量。針對海量數(shù)據(jù)可以進(jìn)行任意維度的密集計算與檢索,支持建立OLAP Cube提供MOLA能力。支

24、持高并發(fā)、低延時的 在線數(shù)據(jù)應(yīng)用系統(tǒng)，能夠提供高并發(fā)的實時計算查詢服務(wù), 對于百億行級別的數(shù)據(jù)可在亞秒級時間返回查詢結(jié)果。大數(shù)據(jù)多維查詢系統(tǒng)主要面向傳統(tǒng)架構(gòu)中OLAP(聯(lián)機(jī)分析處理)數(shù)據(jù)訪問場景，利用多維分析技術(shù)，針對特定分析主題，設(shè)計多種可能的觀察方式，設(shè)計相應(yīng)的分析主題結(jié)構(gòu)，使用戶在多維模型基礎(chǔ)上進(jìn)行快速、穩(wěn)定、交互式訪問，以達(dá)到復(fù)雜分析和數(shù)據(jù)預(yù)測的作用，實現(xiàn)實時聯(lián)機(jī)分析處理的效果，面向高并發(fā)、海量、低延時的業(yè)務(wù)場景。創(chuàng)建數(shù)據(jù)模型系統(tǒng)能夠根據(jù)維度和指標(biāo)的要求，從現(xiàn)有的數(shù)據(jù)表中選擇可對應(yīng)維度或指標(biāo)的字段，將這些字段的信息分別保存在維度表和度量表中。支持層級維度、聯(lián)合維度、可推導(dǎo)維度等維度降維

25、優(yōu)化技術(shù)。 根據(jù)業(yè)務(wù)的聚合需求，支持定義度量的聚合形式，包括SUM、 MIN、 MAX、 COUN、 TCOUNT_DISTINCT等。可定義分區(qū)類型、分區(qū)列和開始日期等，以支持采用增量構(gòu)建方式對Cube進(jìn)行構(gòu)建。分析查詢處理系統(tǒng)能夠根據(jù)維度指標(biāo)定義及關(guān)聯(lián)關(guān)系，提供多維數(shù)據(jù)的分析查詢處理，在查詢過程中能夠分別根據(jù)上鉆、下鉆、切片、切塊、旋轉(zhuǎn)、TOPNS作進(jìn)行相應(yīng)的處理。支持web頁面向?qū)侥Ｐ蜆?gòu)建及任務(wù)監(jiān)控。支持 ANSI SQL查詢標(biāo)準(zhǔn)，對外提供標(biāo)準(zhǔn)的 ODBC JDBC3區(qū)動及 REST API接口。(3) 大數(shù)據(jù)智能分析系統(tǒng)總體要求大數(shù)據(jù)智能分析系統(tǒng)提供各類數(shù)據(jù)的融合與共享服務(wù)，要求集成

26、豐富的數(shù)據(jù)挖掘算法，能夠?qū)Ａ繑?shù)據(jù)提供高效的分析和計算。數(shù)據(jù)分析挖掘引擎支持并行化統(tǒng)計算法和機(jī)器學(xué)習(xí)基礎(chǔ)算法庫，支持的并行化基礎(chǔ)算法，能夠處理大數(shù)據(jù)集。算法庫大數(shù)據(jù)智能分析平臺，需集成豐富的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘算法，包括但不限于分類、預(yù)測與回歸、聚類、降維、推薦/ 協(xié)同過濾、相似度等算法，支持對海量數(shù)據(jù)進(jìn)行高效的分析和計算，支持圖計算和圖挖掘，支持用戶擴(kuò)展算法庫。聚類分析：集成常用的聚類分析算法對數(shù)據(jù)進(jìn)行抽象的分組分類。分類分析：在設(shè)定好的分類之中，對數(shù)據(jù)進(jìn)行歸類。關(guān)聯(lián)分析：集成常用關(guān)聯(lián)分析算法，對數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行分析，得出不同數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系?；貧w分析：集成常用回歸分析算法。特征分析：

27、集成常用特征分析算法，挖掘數(shù)據(jù)潛在的特征。圖挖掘：基于圖和圖并行計算框架提供圖挖掘工具，主要包含：連通圖、最短路徑、三角關(guān)系計數(shù)、社區(qū)關(guān)系。智能分析系統(tǒng)數(shù)據(jù)準(zhǔn)備：通過對業(yè)務(wù)需求分析，搜索所有與業(yè)務(wù)對象有關(guān)的內(nèi)部和外部數(shù)據(jù)信息，從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理可以加快分析過程，提高分析結(jié)果的精度，針對不同的數(shù)據(jù)類型缺失值的處理各不相同，需要結(jié)合業(yè)務(wù)場景。數(shù)據(jù)探索：通過統(tǒng)計分析和關(guān)聯(lián)分析等手段，能夠深入挖掘多源多維數(shù)據(jù)之間的關(guān)聯(lián)性，從不同的維度分析數(shù)據(jù)，加深對數(shù)據(jù)的理解，提取可能對業(yè)務(wù)結(jié)果相關(guān)的影響因子，探索發(fā)掘數(shù)據(jù)的內(nèi)在規(guī)律特征，為分析模型對業(yè)務(wù)進(jìn)行定量與定性的結(jié)

28、合分析。數(shù)據(jù)構(gòu)建：根據(jù)數(shù)據(jù)源類型、業(yè)務(wù)要求建立對應(yīng)的數(shù)據(jù)模型。通過分類、聚類、關(guān)聯(lián)、回歸、特征分析等機(jī)器學(xué)習(xí)算法和分析方法，對海量多樣化數(shù)據(jù)進(jìn)行進(jìn)行模型構(gòu)建和數(shù)據(jù)分析挖掘。數(shù)據(jù)模型的設(shè)計包括設(shè)計和準(zhǔn)備數(shù)據(jù)源，數(shù)據(jù)的處理，選取和設(shè)計數(shù)據(jù)算法。數(shù)據(jù)模型的建立是一個預(yù)定義、評估、優(yōu)化的過程。模型評估：利用評估算法對模型進(jìn)行評估，評估數(shù)據(jù)分析結(jié)果的合理性、合法性，評價模型的優(yōu)劣。 根據(jù)分析結(jié)果及時調(diào)整和優(yōu)化數(shù)據(jù)模型，如果結(jié)果不符合預(yù)期，需要調(diào)整參數(shù)進(jìn)行機(jī)器學(xué)習(xí)，重新估算?？梢暬悄芊治龉ぞ撸阂筇峁┛梢暬悄芊治龉ぞ撸铀贁?shù)據(jù)分析模型設(shè)計?？梢暬悄芊治鎏准閿?shù)據(jù)分析提供直觀的圖形化用戶界面，用于設(shè)計

29、分析流程。實現(xiàn)完整的建模步驟，從數(shù)據(jù)加載、匯集、到轉(zhuǎn)化和準(zhǔn)備階段，再到數(shù)據(jù)分析和產(chǎn)生預(yù)測階段。1.1.2.6 數(shù)據(jù)管理服務(wù)平臺數(shù)據(jù)管理服務(wù)平臺是一個管理、展現(xiàn)平臺，主要包括：數(shù)據(jù)治理與監(jiān)控系統(tǒng)、數(shù)據(jù)服務(wù)集成管理系統(tǒng)和大數(shù)據(jù)展現(xiàn)門戶等。（1） 數(shù)據(jù)治理與監(jiān)控系統(tǒng)數(shù)據(jù)治理與監(jiān)控系統(tǒng)是一個數(shù)據(jù)治理和數(shù)據(jù)監(jiān)控的綜合管理系統(tǒng)，對數(shù)據(jù)資源中心和大數(shù)據(jù)處理平臺兩大部分?jǐn)?shù)據(jù)進(jìn)行治理和管控。數(shù)據(jù)治理按照數(shù)據(jù)全生命周期來管理，要求包含：數(shù)據(jù)源管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)地圖管理、數(shù)據(jù)血緣管理、數(shù)據(jù)安全管理和元數(shù)據(jù)管理等；數(shù)據(jù)監(jiān)控與數(shù)據(jù)治理相輔相成，實現(xiàn)對數(shù)據(jù)資源的全程監(jiān)控，包括：全局?jǐn)?shù)據(jù)監(jiān)控、部門數(shù)據(jù)監(jiān)控、數(shù)據(jù)存儲使

30、用監(jiān)控和數(shù)據(jù)異常監(jiān)控等內(nèi)容。數(shù)據(jù)標(biāo)準(zhǔn)管理術(shù)語標(biāo)準(zhǔn)管理：包括限定詞、同義詞、術(shù)語等信息庫的管理。元數(shù)據(jù)管理：元數(shù)據(jù)記錄了數(shù)據(jù)源的結(jié)構(gòu)信息，有了元數(shù)據(jù)才能對數(shù)據(jù)源進(jìn)行各種操作，元數(shù)據(jù)管理需要提供對各數(shù)據(jù)源的元數(shù)據(jù)進(jìn)行注冊，加載，查看等功能。數(shù)據(jù)源管理：數(shù)據(jù)源管理包括：基礎(chǔ)環(huán)境的管理、標(biāo)準(zhǔn)編碼管理等?；A(chǔ)環(huán)境管理：基礎(chǔ)環(huán)境配置管理用于進(jìn)行一些基礎(chǔ)信息的配置，包括：源、目標(biāo)數(shù)據(jù)源的配置、標(biāo)準(zhǔn)數(shù)據(jù)庫表結(jié)構(gòu)配置及其編碼表的配置等。標(biāo)準(zhǔn)編碼表管理用于對數(shù)據(jù)中心數(shù)據(jù)涉及的編碼表及其編碼項進(jìn)行定義。數(shù)據(jù)處理管理提供完善的數(shù)據(jù)處理功能，如數(shù)據(jù)清洗、數(shù)據(jù)比對、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)共享等功能。數(shù)據(jù)規(guī)則與質(zhì)量管理數(shù)

31、據(jù)質(zhì)量監(jiān)控是根據(jù)預(yù)設(shè)的規(guī)則來檢測數(shù)據(jù)中的質(zhì)量問題，檢測規(guī)則可自主配置，也可以自主編寫規(guī)則表達(dá)式。數(shù)據(jù)質(zhì)量監(jiān)控與系統(tǒng)調(diào)度關(guān)聯(lián)使用，發(fā)現(xiàn)臟數(shù)據(jù)，避免錯誤的數(shù)據(jù)流入下游應(yīng)用。數(shù)據(jù)地圖數(shù)據(jù)全局視圖：展示從外部源到內(nèi)部庫，到輸出數(shù)據(jù)庫的數(shù)據(jù)整體流向，展示類別數(shù)目、庫數(shù)目、表數(shù)目、分別統(tǒng)計庫、表、字段、作業(yè)、任務(wù)等數(shù)量。從表數(shù)目和數(shù)據(jù)存儲量的角度展示數(shù)據(jù)庫中按月度變化的動態(tài)信息，以直觀的圖形化進(jìn)行動態(tài)展示。并且可以區(qū)分不同部門進(jìn)行統(tǒng)計。數(shù)據(jù)動態(tài)分布：從表數(shù)目和數(shù)據(jù)存儲量的角度展示數(shù)據(jù)倉庫中按月度變化的動態(tài)信息，以直觀的圖形化進(jìn)行動態(tài)展示。并且可以區(qū)分不同部門或者租戶進(jìn)行統(tǒng)計。數(shù)據(jù)血緣：數(shù)據(jù)血緣以歷史事實的

32、方式記錄每項數(shù)據(jù)的來源，處理過程，應(yīng)用對接情況等，記錄了數(shù)據(jù)表在治理過程中的全鏈血緣關(guān)系。數(shù)據(jù)血緣就是通過對數(shù)據(jù)處理的全過程追蹤，找到以某個數(shù)據(jù)對象為起點的所有與該對象相關(guān)的元數(shù)據(jù)和它們之間關(guān)系的一種技術(shù)手段。（2） 數(shù)據(jù)服務(wù)集成管理系統(tǒng)搭建基于企業(yè)服務(wù)總線（ESB的服務(wù)集成管理系統(tǒng)，構(gòu)建數(shù)據(jù)服務(wù)的統(tǒng)一通信通道，即使在協(xié)議不同、格式不同、標(biāo)準(zhǔn)不同的情況下，服務(wù)與對接服務(wù)之間都可以實現(xiàn)交互通信，傳遞消息，以便實現(xiàn)服務(wù)集成管理目標(biāo)，從而實現(xiàn)各類數(shù)據(jù)服務(wù)的統(tǒng)一管理，面向政府用于、企業(yè)、公眾、開發(fā)者，提供便捷的數(shù)據(jù)服務(wù)。具體包括：服務(wù)注冊與發(fā)布提供服務(wù)定義、注冊、審核和發(fā)布功能，發(fā)布前可以對服務(wù)的配置

33、參數(shù)進(jìn)行審核與修改，配置通道，發(fā)布后，自動生成/更新對應(yīng)服務(wù)的配置文件（如 WSDL.連同服務(wù)參數(shù)配置，更新至服務(wù) 目錄中；提供對注冊/ 發(fā)布服務(wù)的連通性測試；服務(wù)生命周期管理提供服務(wù)的注冊、變更、下線的申請、審核、復(fù)核功能，檢查和確認(rèn)服務(wù)狀態(tài)以執(zhí)行變更、下線； 根據(jù)服務(wù)優(yōu)化管理中的服務(wù)拓?fù)浞治觯{(diào)整服務(wù)層級分類或整合服務(wù)，以實現(xiàn)優(yōu)化；提供服務(wù)版本的管理；流程管理支持服務(wù)申請、服務(wù)變更、服務(wù)下線等服務(wù)生命周期管理中相關(guān)流程的管理功能；服務(wù)目錄管理提供服務(wù)目錄的瀏覽和檢索；提供服務(wù)目錄/ 服務(wù)定義 / 服務(wù)狀態(tài)的查詢和管理，包括權(quán)限的過濾和管理；接入系統(tǒng)管理設(shè)置和管理服務(wù)請求方和接入請求系統(tǒng)的映

34、射關(guān)系；設(shè)置和管理服務(wù)提供方和接入服務(wù)系統(tǒng)的映射關(guān)系；設(shè)置和管理服務(wù)請求方、服務(wù)提供方在服務(wù)治理系統(tǒng)的用戶映射關(guān)系；接口數(shù)據(jù)管理提供數(shù)據(jù)字典的定義和管理，提供服務(wù)方法接口和數(shù)據(jù)字典字段的映射關(guān)系設(shè)置。（3） 大數(shù)據(jù)展現(xiàn)門戶大數(shù)據(jù)展現(xiàn)門戶是智慧園區(qū)大數(shù)據(jù)中心對外服務(wù)窗口，門戶包括兩個方面：政務(wù)數(shù)據(jù)資源門戶（內(nèi)部數(shù)據(jù)門戶）和公眾數(shù)據(jù)門戶（外部數(shù)據(jù)門戶）。政務(wù)數(shù)據(jù)資源門戶作為大數(shù)據(jù)管理部門信息發(fā)布和資源服務(wù)的總管理入口，為各級政府部門提供信息資源展示、在線信息服務(wù)、信息檢索、系統(tǒng)集成訪問等功能。另外，針對系統(tǒng)管理員、各級領(lǐng)導(dǎo)、政務(wù)用戶的不同應(yīng)用需求，提供個性化工作臺。公眾數(shù)據(jù)門戶提供政務(wù)部門可公開各

35、類數(shù)據(jù)的下載與服務(wù)，為企業(yè)和個人開展政務(wù)信息資源的社會化開發(fā)利用提供數(shù)據(jù)支撐，推動信息資源增值服務(wù)業(yè)的發(fā)展以及相關(guān)數(shù)據(jù)分析與研究工作的開展。政務(wù)數(shù)據(jù)資源門戶門戶基本管理：政務(wù)數(shù)據(jù)資源門戶主要是提供政務(wù)大數(shù)據(jù)中心數(shù)據(jù)成果的展示和應(yīng)用訪問入口的應(yīng)用集成。提供單點登錄、訪問權(quán)限管理，后臺內(nèi)容管理等功能。在線查詢服務(wù): 針對政務(wù)數(shù)據(jù)中心，開發(fā)高效率的在線查詢服務(wù)。人口信息、法人信息、宏觀經(jīng)濟(jì)、信用信息等面向政府部門提供信息服務(wù)，空間地理信息服務(wù)包括地圖基本操作、地圖測量、圖層控制、空間分析以及相關(guān)數(shù)據(jù)融合等信息服務(wù)功能。信息資源綜合展示：能通過可視化的方式展示區(qū)域內(nèi)信息資源的全景，即： 部門信息資源的

36、分布情況，需求情況、使用情況，需要按照不同視角進(jìn)行呈現(xiàn)，要求包含但不限于：資產(chǎn)總體視圖、組織機(jī)構(gòu)視角、服務(wù)對象視角、信息資源視角、協(xié)同主題視角。用戶交流模塊：為用戶提供交流的手段，每個授權(quán)用戶都可以在交流板塊上提出問題、見解或者是進(jìn)行討論，針對交流的問題可以選擇是否公開。用戶幫助模塊：為用戶提供平臺功能及其操作方法的介紹和幫助說明，使各級用戶盡快掌握使用方法。公眾數(shù)據(jù)門戶為了實現(xiàn)政務(wù)數(shù)據(jù)對社會的開放，帶動大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，利用政務(wù)大數(shù)據(jù)促進(jìn)信息產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新， 建設(shè)數(shù)據(jù)對外開放的門戶，實現(xiàn)政務(wù)大數(shù)據(jù)的對外開放。針對公眾數(shù)據(jù)門戶將要充分利用政府門戶網(wǎng)站，在現(xiàn)有的門戶網(wǎng)站上開辟一個政務(wù)數(shù)據(jù)開放的入口，

37、點擊后即可進(jìn)入公眾數(shù)據(jù)門戶。公眾數(shù)據(jù)門戶的主要功能有：資源目錄、數(shù)據(jù)開放接口、APP應(yīng)用、互動交流等。資源目錄：社會公眾可以通過資源目錄查找到需要的數(shù)據(jù)，找到相應(yīng)數(shù)據(jù)的獲取方式，數(shù)據(jù)可以是通過下載方式獲取也可以通過數(shù)據(jù)接口的方式獲取，無論哪種方式都需要用戶注冊認(rèn)證后才可以獲取。用戶可以通過數(shù)據(jù)資源主題的方式查找，也可以用戶數(shù)據(jù)來源各部門的方式查找。數(shù)據(jù)開放接口：用戶可以通過此功能查找到可以調(diào)用的數(shù)據(jù)接口，并可以查找到數(shù)據(jù)接口的調(diào)用方式、 說明文檔、代碼示例等相關(guān)內(nèi)容，通過功能應(yīng)用開發(fā)人員可以方便的通過數(shù)據(jù)接口獲取所需要的數(shù)據(jù)?；咏涣鳎夯咏涣鞴δ苁蔷W(wǎng)站用戶與網(wǎng)站管理人員進(jìn)行互動交流的模塊，在

38、這里網(wǎng)站管理人員可以將網(wǎng)站的使用說明和一些常遇到的問題及解決方法公布出來，網(wǎng)站管理人員也可以在此公布調(diào)查問卷，征求普通用戶的意見。同時，普通用戶也可以在這里提出自己的疑問，讓管理人員進(jìn)行解答。1.2 設(shè)計方案1.2.1 總體平臺設(shè)計1.2.1.1 總體架構(gòu)智慧園區(qū)大數(shù)據(jù)平臺的核心是建立面向宏觀經(jīng)濟(jì)發(fā)展、社會公共服務(wù)的數(shù)據(jù)庫和數(shù)據(jù)服務(wù)?？傮w架構(gòu)由支撐體系（標(biāo)準(zhǔn)規(guī)范支撐體系、管理運行維護(hù)支撐體系、安全支撐體系）、網(wǎng)絡(luò)系統(tǒng)、信息共享平臺軟硬件系統(tǒng)環(huán)境、數(shù)據(jù)庫體系（中心交換庫、基礎(chǔ)數(shù)據(jù)庫、主題庫、發(fā)布庫、宏觀經(jīng)濟(jì)數(shù)據(jù)庫管理系統(tǒng)、元數(shù)據(jù)庫系統(tǒng)）、應(yīng)用系統(tǒng)（數(shù)據(jù)交換處理系統(tǒng)、應(yīng)用支撐系統(tǒng)、數(shù)據(jù)綜合分析系統(tǒng)

39、）組成。圖 大數(shù)據(jù)平臺總體架構(gòu)圖信息共享平臺通過網(wǎng)絡(luò)收集統(tǒng)計系統(tǒng)和各共建部門的信息資源，并有效地將這些信息資源進(jìn)行分類整理，實現(xiàn)跨部門、跨行業(yè)的宏觀經(jīng)濟(jì)管理信息共享，并向用戶提供數(shù)據(jù)服務(wù)；數(shù)據(jù)庫體系：由元數(shù)據(jù)控制，實現(xiàn)數(shù)據(jù)的交換、存儲和發(fā)布，整合共建單位現(xiàn)有信息資源，構(gòu)建主題庫和發(fā)布庫，為數(shù)據(jù)服務(wù)提供支持。1.2.1.2 體系結(jié)構(gòu)圖智慧園區(qū)公共基礎(chǔ)數(shù)據(jù)庫信息共享平臺劃分為工作（生產(chǎn)）區(qū)、發(fā)布（共享）區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)。在工作（生產(chǎn)）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的采集、整合、處理和存儲系統(tǒng)；在發(fā)布（共享）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的發(fā)布與共享、存儲與備份和專網(wǎng)門戶系統(tǒng)等環(huán)境支撐系統(tǒng)；在互聯(lián)網(wǎng)信息發(fā)布區(qū)構(gòu)建互聯(lián)網(wǎng)

40、門戶系統(tǒng)，為社會公眾提供宏觀經(jīng)濟(jì)信息服務(wù)。如下圖表所示：圖 園區(qū)大數(shù)據(jù)平臺體系結(jié)構(gòu)圖1.2.1.3 總體流程圖智慧園區(qū)大數(shù)據(jù)平臺采用在線填報、數(shù)據(jù)庫對接和基于消息的數(shù)據(jù)交換三種采集方式，集中采集、 整合、 存儲各共建部門指標(biāo)數(shù)據(jù)。中心交換數(shù)據(jù)庫存儲各共建部門交換來的原貌數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)庫是對原貌數(shù)據(jù)進(jìn)行審核轉(zhuǎn)換和加工而成，是主題數(shù)據(jù)庫和發(fā)布庫構(gòu)成的基礎(chǔ)。元數(shù)據(jù)庫對數(shù)據(jù)的采集交換、整合、存儲、分析和發(fā)布全過程進(jìn)行定義和約束。專網(wǎng)和互聯(lián)網(wǎng)的用戶可通過門戶系統(tǒng)，分別對發(fā)布（共享）區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)的數(shù)據(jù)進(jìn)行訪問。智慧園區(qū)大數(shù)據(jù)平臺總體流程圖如下：圖園區(qū)大數(shù)據(jù)平臺總體流程圖1.2.2 人口基礎(chǔ)數(shù)據(jù)庫設(shè)

41、計在沒有數(shù)據(jù)標(biāo)準(zhǔn)的情況下，人口基礎(chǔ)數(shù)據(jù)庫數(shù)據(jù)中心對同一個數(shù)據(jù)字段可以從多個數(shù)據(jù)來源采 集數(shù)據(jù)。如：婚姻狀態(tài)字段可以從計生部門和公安部門采集。 對于同一個數(shù)據(jù)字段，中心對于該數(shù) 據(jù)字段保存多個來源的版本。人口基礎(chǔ)數(shù)據(jù)管理系統(tǒng)提供工具、 服務(wù)來展現(xiàn)數(shù)據(jù)的不一致性，數(shù)據(jù) 管理員根據(jù)工作制度，對數(shù)據(jù)字段進(jìn)行電話等多種手段核實字段的真實數(shù)值。中心通過數(shù)據(jù)交換系統(tǒng)以數(shù)據(jù)服務(wù)的方式從各業(yè)務(wù)部門采集數(shù)據(jù)， 保存到公共數(shù)據(jù)緩存庫，使用人口基礎(chǔ)數(shù)據(jù)管理維護(hù) 系統(tǒng)進(jìn)行數(shù)據(jù)比對、沖突檢查、數(shù)據(jù)審核、數(shù)據(jù)轉(zhuǎn)換。當(dāng)數(shù)據(jù)達(dá)到一致性、完整性要求時，數(shù)據(jù)將 由公共數(shù)據(jù)緩存庫轉(zhuǎn)存到人口基礎(chǔ)數(shù)據(jù)發(fā)布庫中，并通過數(shù)據(jù)交換系統(tǒng)以訂閱/

42、發(fā)布的方式提供給各業(yè)務(wù)部門使用。人口基礎(chǔ)數(shù)據(jù)管理系統(tǒng)維護(hù)一個面向?qū)ο蟮墓矓?shù)據(jù)模型， 公共數(shù)據(jù)模型是公共數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范 的實現(xiàn)。公共數(shù)據(jù)維護(hù)系統(tǒng)控制著公共數(shù)據(jù)的輸入和輸出，為數(shù)據(jù)質(zhì)量把關(guān)。人口基礎(chǔ)信息綜合查 詢系統(tǒng)采用B/S結(jié)構(gòu)，客戶端采用瀏覽器，用戶界面是實現(xiàn)不同功能的網(wǎng)頁。綜合查詢系統(tǒng)的操作頁面要求易于使用，使用戶能夠方便快捷的對網(wǎng)頁提供的各項功能進(jìn)行操 作。采用菜單樹的方式展開系統(tǒng)的功能。人口基礎(chǔ)信息綜合查詢系統(tǒng)可以有針對性地，按照用戶授權(quán)的不同，為不同用戶提供不同層次 的人口資源公共查詢服務(wù)。人口基礎(chǔ)信息功能如下圖所示。人口基礎(chǔ)數(shù)據(jù)庫管理應(yīng)用系統(tǒng)功能模塊列表:編號一級模塊二級模塊三模塊1

43、系統(tǒng)管理用戶角色管理系統(tǒng)帳戶管理2角色信息管理3部門帳戶管理公安帳戶管理4社保帳戶管理5衛(wèi)生帳戶管理6計生帳戶管理7民政帳戶管理8系統(tǒng)監(jiān)控管理系統(tǒng)日志管理9系統(tǒng)網(wǎng)絡(luò)布局10部門交換頻率編號一級模塊二級模塊三模塊11接收處理接收數(shù)據(jù)查看接收公安數(shù)據(jù)12接收社保數(shù)據(jù)13接收衛(wèi)生數(shù)據(jù)14接收計生數(shù)據(jù)15接收民政信息16清洗比對管理清洗規(guī)則管理17比對規(guī)則管理18清洗比對結(jié)果清洗結(jié)果查看19比對結(jié)果查看20手工比對歷史21手工比對管理手工比對信息22手工比對歷史23反饋信息查看反饋信息列表24授權(quán)管理數(shù)據(jù)授權(quán)管理申請查看授權(quán)25查看授權(quán)申請26數(shù)據(jù)交換申請數(shù)據(jù)交換申請27交換申請列表28交換審批列表2

44、9信息服務(wù)人口信息服務(wù)人口信息查詢30人口碼表信息人口碼表信息31人口共享指標(biāo)可共享指標(biāo)32統(tǒng)計分析基礎(chǔ)信息統(tǒng)計人口性別統(tǒng)計33人口年齡統(tǒng)計34人口文化程度35人口民族統(tǒng)計36地區(qū)分布統(tǒng)計地區(qū)人口統(tǒng)計37人員參保分析社保人員情況38參合人員情況39計劃生育分析地區(qū)育齡分布編號一級模塊二級模塊三模塊40育齡婦女比例1.2.2.1 數(shù)據(jù)接收服務(wù)接收數(shù)據(jù)的查詢是針對各部門交換匯總的信息，進(jìn)行以部門為單位的信息查詢。通過查詢工作， 可以了解各部門實際提交的信息情況， 并實現(xiàn)信息詳查和統(tǒng)計工作。系統(tǒng)提供了按部門查詢的查詢 方式。1.2.2.2 中心數(shù)據(jù)查詢?nèi)丝谥行臄?shù)據(jù)，就是經(jīng)過數(shù)據(jù)比對梳理完成的人口基礎(chǔ)

45、信息。 針對人口信息量大，涵蓋范圍廣、 內(nèi)容繁雜的特點，在人口基礎(chǔ)信息中心數(shù)據(jù)庫設(shè)計中， 采用信息擴(kuò)展和關(guān)聯(lián)的方法，逐級分領(lǐng)域和 部門展示人口基礎(chǔ)信息和擴(kuò)展信息。如下圖所示。圖 人口基礎(chǔ)信息關(guān)聯(lián)設(shè)計系統(tǒng)根據(jù)部門需求進(jìn)行查詢分類，各部門根據(jù)本部門業(yè)務(wù)相關(guān)信息進(jìn)行檢索。 如公安部門可根 據(jù)身份證號、姓名、性別、民族為檢索條件，進(jìn)行基本信息的查詢；可根據(jù)姓名、暫住證號、身份 證號為檢索條件，進(jìn)行暫住人口信息的查詢操作。其他部門檢索與查詢操作類似。1.2.2.3 決策支持子系統(tǒng)決策支持子系統(tǒng)是根據(jù)業(yè)務(wù)需要， 基于人口基礎(chǔ)信息，進(jìn)行數(shù)據(jù)挖掘，實現(xiàn)統(tǒng)計報表操作，為領(lǐng)導(dǎo)決策提供快速的報表支持。查詢列表如下圖

46、所示。圖決策支持子系統(tǒng)查詢列表1.2.2.4 授權(quán)管理授權(quán)管理，就是提供信息需求部門申請查詢授權(quán)，信息提供部門審批授權(quán)的功能。申請部門選擇對應(yīng)的信息表，向信源部門提出申請；信源部門根據(jù)業(yè)務(wù)規(guī)則，對申請部門提供 授權(quán)或不授權(quán)，止匕外，授權(quán)功能提供時限控制和授權(quán)使用次數(shù)控制。1.2.2.5 數(shù)據(jù)清洗比對管理數(shù)據(jù)比對系統(tǒng)通過數(shù)據(jù)比對引擎，實現(xiàn)對人口基礎(chǔ)信息的比對工作。依據(jù)的業(yè)務(wù)需要，數(shù)據(jù)比對包括比對操作，各部門數(shù)據(jù)的過濾查詢，各部門信息比對入庫結(jié)果 查詢。人口基礎(chǔ)信息的比對，依據(jù)其特點，采用自動比對和人工參與比對結(jié)合的方式，實現(xiàn)基礎(chǔ)信 息的比對功能。數(shù)據(jù)過濾查詢是針對部門提交的數(shù)據(jù),進(jìn)行梳理過濾與清

47、洗，得出的清洗出的問題數(shù)據(jù)進(jìn)行查詢操作。與數(shù)據(jù)過濾查詢類似，數(shù)據(jù)入庫查詢是將部門信息與人口基礎(chǔ)信息總表信息進(jìn)行比對，并經(jīng)過相關(guān)部門審批確認(rèn)，比對出現(xiàn)差異錯誤信息的查詢。1.2.2.6 信息核驗結(jié)合比對系統(tǒng)人工比對功能，提供部門提出比對結(jié)果意見功能。當(dāng)部門業(yè)務(wù)信息進(jìn)入比對系統(tǒng) 后，如出現(xiàn)基礎(chǔ)信息庫和業(yè)務(wù)應(yīng)用源頭部門信息不匹配，需要業(yè)務(wù)人員參與的情況下，提供業(yè)務(wù)部門信息核驗功能。1.2.2.7 系統(tǒng)管理系統(tǒng)管理功能是實現(xiàn)對使用人口基礎(chǔ)信息查詢系統(tǒng)的用戶進(jìn)行管理。人口基礎(chǔ)信息綜合查詢系統(tǒng)提供用戶、角色、權(quán)限的設(shè)定。即每個申請的用戶，根據(jù)其角色，享有角色指定的權(quán)限。系統(tǒng)管理員可以根據(jù)用戶情況，賦予固定

48、角色。系統(tǒng)管理員可制定新增用戶指定角色以及分配權(quán)限。系統(tǒng)管理分為用戶管理和角色管理。(1)用戶管理：管理系統(tǒng)用戶，以及給系統(tǒng)用戶分配角色和權(quán)限。(2)角色管理：角色管理是對每個角色進(jìn)行查詢，并分配相應(yīng)權(quán)限，系統(tǒng)管理員可以根據(jù)角 色權(quán)限，以及每個用戶的允許查詢權(quán)限為用戶授權(quán)。1.2.3 法人基礎(chǔ)數(shù)據(jù)庫設(shè)計法人基礎(chǔ)數(shù)據(jù)庫系統(tǒng)實現(xiàn)法人基礎(chǔ)數(shù)據(jù)查詢、統(tǒng)計和管理等功能的應(yīng)用系統(tǒng)。系統(tǒng)主要功能包 括:法人基礎(chǔ)信息管理應(yīng)用系統(tǒng)功能模塊列表:編號一級模塊二級模塊三級模塊1系統(tǒng)管理用戶角色管理系統(tǒng)帳戶管理2角色信息管理3部門帳戶管理市場監(jiān)管帳戶管理4民政帳戶管理5地稅帳戶管理6國稅帳戶管理7系統(tǒng)監(jiān)控管理系統(tǒng)日志

49、管理8系統(tǒng)網(wǎng)絡(luò)布局9部門交換頻率10接收處理接收數(shù)據(jù)查看接收工商數(shù)據(jù)編號一級模塊二級模塊三級模塊11接收質(zhì)監(jiān)數(shù)據(jù)12接收民政數(shù)據(jù)13接收地稅數(shù)據(jù)14接收國稅信息15清洗比對管理清洗規(guī)則管理16比對規(guī)則管理17清洗比對結(jié)果清洗結(jié)果查看18比對結(jié)果查看19手工比對歷史20手工比對管理手工比對信息21手工比對歷史22部門數(shù)據(jù)比對工商有質(zhì)監(jiān)無23授權(quán)管理數(shù)據(jù)授權(quán)管理申請查看授權(quán)24查看授權(quán)申請25數(shù)據(jù)交換申請數(shù)據(jù)交換申請26交換申請列表27交換審批列表28共享信息管理信息公開管理29信息管理日志30信息服務(wù)法人信息服務(wù)法人信息查詢31部門信息統(tǒng)計部門信息總數(shù)32法人碼表信息法人碼表信息33統(tǒng)計分析基礎(chǔ)

50、信息統(tǒng)計企業(yè)增長趨勢34行業(yè)類型統(tǒng)計行業(yè)類型統(tǒng)計35企業(yè)類型統(tǒng)計企業(yè)類型統(tǒng)計36部門數(shù)據(jù)差異部門數(shù)據(jù)差異1.2.3.1 系統(tǒng)管理管理系統(tǒng)用戶，以及給系統(tǒng)用戶分配權(quán)限，其中包括用戶角色管理、角色信息管理、部門賬戶管理、系統(tǒng)日志管理、系統(tǒng)網(wǎng)絡(luò)布局查看以及部門交換頻率查看。如下圖所示：1.2.3.2 授權(quán)服務(wù)法人基礎(chǔ)數(shù)據(jù)庫系統(tǒng)設(shè)計原則遵循“誰提供誰維護(hù)”的原則，在中心形成的法人基礎(chǔ)數(shù)據(jù)庫中 的法人信息，對于公開開放的數(shù)據(jù)，不需要經(jīng)過部門授權(quán)就可以查看，但對于部門未開放或者指定 對象開放的數(shù)據(jù)，其他部門需要查詢該部門的數(shù)據(jù)需要向數(shù)據(jù)提供部門提出申請，在申請通過后，才可在授權(quán)允許的范圍內(nèi)進(jìn)行查詢。授權(quán)服

51、務(wù)主要功能包括：（ 1）數(shù)據(jù)授權(quán)管理：通過申請查看授權(quán)向數(shù)據(jù)提供部門提出查詢申請，信息所屬部門可以對其他部門對本部門信息提請的查看申請進(jìn)行審批授權(quán)?？梢栽O(shè)置授權(quán)的查看次數(shù)和有效期限，也可以永久授權(quán)。（ 2）數(shù)據(jù)交換申請：如果部門希望其他部門數(shù)據(jù)交換到本部門，通過數(shù)據(jù)交換申請向數(shù)據(jù)所屬部門發(fā)送申請，申請得到授權(quán)后，通過自主交換的方式將數(shù)據(jù)交換到本部門的指定數(shù)據(jù)庫內(nèi)。（ 3）共享信息管理：部門設(shè)置信息共享的級別，包括：授權(quán)開放、公眾開放、部門開放等。同時通過信息管理日志查看用戶的操作記錄，以確保信息的安全。1.2.3.3 接收服務(wù)提供中心接收到各部門原始數(shù)據(jù)的查詢功能，以及數(shù)據(jù)的清洗比對功能，具體

52、功能包括：接收數(shù)據(jù)查看：查詢中心接收到各部門發(fā)送的原始數(shù)據(jù)。清洗比對管理：管理和維護(hù)各個部門提供的原始數(shù)據(jù)的清洗和比對規(guī)則?？梢栽黾?、刪除及保存規(guī)則。在系統(tǒng)后臺會根據(jù)制定的規(guī)則來對接收的數(shù)據(jù)進(jìn)行清洗和比對處理。清洗比對結(jié)果：可以根據(jù)清洗和比對批次、時間段等條件查詢清洗和比對結(jié)果，如比對成功和不成功的數(shù)據(jù)量及所占比例，以及未匹配數(shù)據(jù)的詳細(xì)數(shù)據(jù)和未匹配成功的原因（如企業(yè)注冊號相同，企業(yè)名稱不同等）。手工比對管理：對于通過比對規(guī)則比對不一致的數(shù)據(jù)，通過手工比對管理進(jìn)行手工比對，比對一致的，通過手工操作更新中心法人信息庫，比對仍不一致的，反饋到未匹配數(shù)據(jù)表，通過交換平臺反饋相關(guān)部門進(jìn)行核查。手動比對管

53、理主要解決數(shù)據(jù)比較特殊，無法制定通用比對規(guī)則的數(shù)據(jù)之間的比對。部門數(shù)據(jù)比對：進(jìn)行部門間的數(shù)據(jù)比對，如工商有質(zhì)監(jiān)無的數(shù)據(jù)、工商有國稅無、工商有地稅無、質(zhì)監(jiān)有國稅無、質(zhì)監(jiān)有社保無、國稅有社保無等。1.2.3.4 信息服務(wù)根據(jù)查詢條件或者組合條件查詢法人信息，返回的結(jié)果為清洗比對后的準(zhǔn)確數(shù)據(jù)，對于需要授權(quán)的數(shù)據(jù)，需要先通過授權(quán)服務(wù)進(jìn)行授權(quán)申請。具體功能包括：（ 1）法人信息服務(wù)：查詢法人信息，用戶也可按條件查詢。（ 2）部門信息統(tǒng)計：查看各部門法人信息的數(shù)據(jù)總量。（ 3）法人碼表信息：對于有國家標(biāo)準(zhǔn)的代碼表，均會轉(zhuǎn)換成國家標(biāo)準(zhǔn)的代碼存入法人基礎(chǔ)信息庫，如行業(yè)類別、法定代表人性別等，對于部門專有的代碼表，通過法人碼表信息列出，供其他部門下載和使用。1.2.3.5 統(tǒng)計分析提供報表統(tǒng)計功能，結(jié)合各類基礎(chǔ)信息，形成各類報表，提供多種統(tǒng)計功能，輔助領(lǐng)導(dǎo)決策。 提供列表、折線圖和柱狀圖等多種展示方式，統(tǒng)計內(nèi)容主要包括：基礎(chǔ)信息統(tǒng)計、行業(yè)類型統(tǒng)計、 企業(yè)類型統(tǒng)計、部門數(shù)據(jù)差異統(tǒng)計等。1.2.4 地理信息基礎(chǔ)數(shù)據(jù)庫設(shè)計1.2.4.1 基礎(chǔ)數(shù)據(jù)