大數(shù)據(jù)分析系統(tǒng)項(xiàng)目方案

33/33大數(shù)據(jù)分析系統(tǒng)項(xiàng)目方案大數(shù)據(jù)分析系統(tǒng)

方案

目錄

第1章項(xiàng)目概述(5)

1.1項(xiàng)目背景(5)

1.2項(xiàng)目必要性(5)

1.3建設(shè)目標(biāo)(6)

第2章需求分析(8)

2.1功能及性能需求(8)

2.2系統(tǒng)集成需求(9)

2.3運(yùn)行環(huán)境(10)

2.4安全需求(10)

第3章總體設(shè)計(jì)(12)

3.1總體設(shè)計(jì)原則(12)

3.2總體目標(biāo)(13)

3.3系統(tǒng)總體結(jié)構(gòu)(13)

3.4系統(tǒng)邏輯結(jié)構(gòu)(15)

第4章詳細(xì)設(shè)計(jì)方案(16)

4.1信息資源規(guī)劃和數(shù)據(jù)庫(kù)設(shè)計(jì)(16)

4.1.1數(shù)據(jù)模型概述(16)

4.1.2數(shù)據(jù)建模方法論(17)

4.1.3數(shù)據(jù)建?；驹瓌t(18)

4.1.4數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)(19)

4.2數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計(jì)(21)

4.2.1大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)(21)

4.2.2云平臺(tái)數(shù)據(jù)共享功能(26)

4.3數(shù)據(jù)服務(wù)層計(jì)(33)

4.3.1模型的應(yīng)用(33)

4.3.2平臺(tái)基礎(chǔ)應(yīng)用(33)

4.4數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)設(shè)計(jì)(34)

4.4.1大數(shù)據(jù)處理核心技術(shù)(35)

4.4.2數(shù)據(jù)存儲(chǔ)采用MPP與hadoop融合架構(gòu)(35)

4.5網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)(35)

4.6安全系統(tǒng)設(shè)計(jì)(36)

4.6.1系統(tǒng)安全滿(mǎn)足情況(36)

4.6.2系統(tǒng)安全配置管理功能(37)

4.6.3系統(tǒng)無(wú)安全漏洞保障(40)

4.6.4軟件自身安全(43)

4.6.5性能和可靠性(44)

4.7運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì)(46)

4.7.2網(wǎng)絡(luò)設(shè)備管理(46)

4.7.3進(jìn)程管理(46)

4.7.4服務(wù)管理(46)

4.7.5數(shù)據(jù)庫(kù)管理(46)

4.7.6中間管理(46)

4.7.7集群管理(47)

4.7.8故障管理(47)

4.7.9性能管理(47)

4.7.10配置文件管理(47)

4.7.11SYSLOG管理(47)

4.8其他系統(tǒng)設(shè)計(jì)(47)

4.9系統(tǒng)配置及軟硬件選型原則(48)

4.9.1軟硬件部署(48)

4.9.2數(shù)據(jù)要求(48)

4.9.3技術(shù)要求(49)

4.10系統(tǒng)軟硬件物理部署方案(49)

第5章項(xiàng)目建設(shè)與運(yùn)行管理(51)

5.1項(xiàng)目領(lǐng)導(dǎo)機(jī)構(gòu)(51)

5.2項(xiàng)目管理機(jī)構(gòu)(51)

5.3項(xiàng)目承建機(jī)構(gòu)(53)

5.4運(yùn)行維護(hù)機(jī)構(gòu)(53)

5.5相關(guān)管理制度(54)

5.6項(xiàng)目測(cè)試(55)

5.6.1單元測(cè)試(55)

5.6.2集成測(cè)試(55)

5.6.3系統(tǒng)測(cè)試(56)

5.6.4性能測(cè)試(56)

5.6.5驗(yàn)收測(cè)試(57)

5.6.6安裝測(cè)試(57)

5.7安全性測(cè)試(58)

5.7.1功能驗(yàn)證(58)

5.7.2漏洞掃描(58)

5.7.3模擬攻擊實(shí)驗(yàn)(58)

5.8項(xiàng)目驗(yàn)收(60)

5.8.1項(xiàng)目驗(yàn)收要求(60)

5.8.2項(xiàng)目驗(yàn)收的目的和原則(61)

5.8.3項(xiàng)目驗(yàn)收的組織和實(shí)施(61)

5.8.4項(xiàng)目驗(yàn)收的步驟和程序(61)

5.8.5項(xiàng)目驗(yàn)收的測(cè)試方案(61)

5.8.6項(xiàng)目驗(yàn)收的文檔清單(61)

第6章項(xiàng)目培訓(xùn)計(jì)劃(62)

6.1培訓(xùn)對(duì)象和培訓(xùn)目標(biāo)(62)

第1章項(xiàng)目概述

1.1項(xiàng)目背景

目前，隨著JW改革的不斷推進(jìn)，XX網(wǎng)絡(luò)系統(tǒng)、信息中心、信息安全系統(tǒng)的規(guī)模不斷擴(kuò)大，各類(lèi)信息應(yīng)用系統(tǒng)日趨復(fù)雜，迫切需要借助云計(jì)算平臺(tái)，實(shí)現(xiàn)靈活、高效的軟硬件資源分配和管理，從而有效整合XX的各類(lèi)信息資源，提升XX信息系統(tǒng)的安全性、穩(wěn)定性、可擴(kuò)展性。另一方面，隨著社會(huì)公共安全管理的日趨復(fù)雜，XX行業(yè)通過(guò)大數(shù)據(jù)應(yīng)用，把大量的關(guān)聯(lián)信息進(jìn)行匯總處理，可以重新認(rèn)知和感知我們的外部環(huán)境。不但能快速鎖定疑犯，而且還可以預(yù)防和打擊犯罪。XX云計(jì)算+大數(shù)據(jù)系統(tǒng)，將成為面向各J種的管理和分析利器，通過(guò)高效的云計(jì)算平臺(tái)提供強(qiáng)大的大數(shù)據(jù)應(yīng)用承載能力，面向各J種提供集中資源、集中管理、集中監(jiān)控、配套實(shí)施的統(tǒng)一大數(shù)據(jù)應(yīng)用環(huán)境，為各J實(shí)戰(zhàn)應(yīng)用提供強(qiáng)大支撐、服務(wù)、保障作用。云計(jì)算和大數(shù)據(jù)是改變未來(lái)XX工作發(fā)展的新趨勢(shì)，并且已經(jīng)實(shí)實(shí)在給XX科技管理與創(chuàng)新來(lái)了深刻的變革，有力地推動(dòng)了XX各J種的工作優(yōu)化和提升。

1.2項(xiàng)目必要性

第一，構(gòu)建“智慧XX”是未來(lái)JW形態(tài)演進(jìn)的必然趨勢(shì)。

近年來(lái)，隨著XX信息化建設(shè)的持續(xù)推進(jìn)，我國(guó)XX機(jī)關(guān)的JW改革已開(kāi)始邁進(jìn)智能化發(fā)展的快車(chē)道，JW與人之間的相互感知和聯(lián)系越來(lái)越緊密，“XX大數(shù)據(jù)分析系統(tǒng)”建設(shè)已成為當(dāng)代JW發(fā)展的新趨勢(shì)。

第二，構(gòu)建“智慧XX”是新一輪信息技術(shù)變革下的時(shí)代潮流。

當(dāng)前，全球正進(jìn)行物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等新一輪信息技術(shù)變革。新技術(shù)往往孕育著新的重大突破，信息資源成為重要的XX戰(zhàn)斗力要素，信息化不僅成為推動(dòng)XXJW方式變革的重要引擎，也給整個(gè)社會(huì)管理創(chuàng)新帶來(lái)深刻變化?！癤X大數(shù)據(jù)分析系統(tǒng)”建設(shè)將極大地創(chuàng)新XX管理方式，促進(jìn)“管制型XX”向“服務(wù)型XX”轉(zhuǎn)變。應(yīng)當(dāng)說(shuō)，經(jīng)過(guò)最近十年的發(fā)展，以網(wǎng)絡(luò)化、數(shù)字化為載體的信息化JW特征日益顯現(xiàn)，JW活動(dòng)中人、事、物之間的互動(dòng)能力顯著增強(qiáng)，JW工作傳載的功能不斷增多，

智能化程度逐步提高，“XX大數(shù)據(jù)分析系統(tǒng)”建設(shè)已成為現(xiàn)代信息技術(shù)變革下的時(shí)代潮流。

第三，構(gòu)建“智慧XX”是推動(dòng)XX戰(zhàn)斗力生成模式轉(zhuǎn)變的重要途徑。

XX信息化的“智慧XX”建設(shè)是一場(chǎng)新的JW革命，對(duì)于整合JW情報(bào)資源、改造J情處理流程、創(chuàng)新J情研判模式、降低JW成本、實(shí)現(xiàn)JW效能的最優(yōu)化具有推動(dòng)作用。這場(chǎng)新JW革命的實(shí)質(zhì)是推動(dòng)XX建設(shè)和JW工作由數(shù)量規(guī)模型向質(zhì)量效能型、由人力密集型向科技密集型轉(zhuǎn)變。它要求把傳統(tǒng)的XX戰(zhàn)斗力生成模式轉(zhuǎn)變到依靠科學(xué)技術(shù)特別是以信息技術(shù)為核心的高新技術(shù)上來(lái)。在這一轉(zhuǎn)變過(guò)程中，大數(shù)據(jù)將成為XX戰(zhàn)斗力生成的核心要素。擁有對(duì)海量數(shù)據(jù)占有、控制、分析、處理的主導(dǎo)權(quán)，將大數(shù)據(jù)優(yōu)勢(shì)轉(zhuǎn)化為XX決策優(yōu)勢(shì)，繼而轉(zhuǎn)化為治安優(yōu)勢(shì)，將成為“XX大數(shù)據(jù)分析系統(tǒng)”的制勝關(guān)鍵。

第四，構(gòu)建“智慧XX”有利于拓展現(xiàn)代JW功能、促進(jìn)JW機(jī)制改革和提升JW管理精細(xì)化水平。

一方面，“智慧XX”的建設(shè)和實(shí)施將促進(jìn)XX機(jī)關(guān)由傳統(tǒng)的一元化管理職能向管理與服務(wù)功能并重、融合轉(zhuǎn)化。另一方面，“智慧XX”的建設(shè)和應(yīng)用將改變傳統(tǒng)的“金字塔”型XX管理體制，實(shí)現(xiàn)JW領(lǐng)導(dǎo)與指揮機(jī)制的扁平化，從而減少中間管理層，加快信息流動(dòng)，達(dá)到精減機(jī)構(gòu)、快速反應(yīng)、即時(shí)聯(lián)動(dòng)的目的。同時(shí)，構(gòu)建“智慧XX”還有助于提高XX機(jī)關(guān)JW管理的精細(xì)化和科學(xué)化水平，提升XX機(jī)關(guān)的執(zhí)法水平和服務(wù)水平。

1.3建設(shè)目標(biāo)

XX部推行的“扁平化指揮模式”，就是最大限度地壓縮指揮層級(jí)。減少中間環(huán)節(jié)，優(yōu)化現(xiàn)有的情報(bào)信息管理，建立情報(bào)信息主打JW的相關(guān)機(jī)制，著力拉近指揮與實(shí)戰(zhàn)，機(jī)關(guān)與一線(xiàn)的時(shí)空距離，縮短響應(yīng)時(shí)間，提高快速反應(yīng)能力。

基于數(shù)據(jù)中心融合空間采集、電信運(yùn)營(yíng)商、交管部門(mén)、XX部門(mén)、社會(huì)公眾的移動(dòng)位置等數(shù)據(jù)形成大數(shù)據(jù)環(huán)境，建立大數(shù)據(jù)分析平臺(tái)，支持J情處理、宏觀決策、情報(bào)分析等大數(shù)據(jù)專(zhuān)題應(yīng)用。

智慧XX大數(shù)據(jù)分析系統(tǒng)項(xiàng)目一期建設(shè)主要目標(biāo)為：●建立智慧、高效的情報(bào)研判體系；

●建立扁平、快速的指揮調(diào)度體系

●建立打防一體化JW管理體系

●建立集約化的信息技術(shù)支撐體系。

●建立專(zhuān)業(yè)化的JW指揮作戰(zhàn)隊(duì)伍。

第2章需求分析

2.1功能及性能需求

1.功能需求

作為XX信息化發(fā)展到高級(jí)階段的一種JW形態(tài)，“智慧XX”主要采用大數(shù)據(jù)、云計(jì)算、等新一代信息技術(shù)，將XX工作IT基礎(chǔ)設(shè)施與物理設(shè)施、人際環(huán)境等高度融合，以提供智能化XX決策與服務(wù)。其建設(shè)目標(biāo)是充分利用科技創(chuàng)新，以“智慧”引領(lǐng)JW改革與發(fā)展，打造XX行政高效、JW指揮扁平、治安管控聯(lián)動(dòng)、XX服務(wù)便捷的良性XX工作機(jī)制?！爸腔踃X”建設(shè)是一項(xiàng)涉及XX機(jī)關(guān)內(nèi)外各領(lǐng)域、各部門(mén)的復(fù)雜系統(tǒng)工程，需要從整體上進(jìn)行統(tǒng)一規(guī)劃協(xié)調(diào)，做好頂層設(shè)計(jì)。

2.性能需求

●軟件系統(tǒng)必須保證質(zhì)量，并在實(shí)施前經(jīng)過(guò)完全測(cè)試；

●系統(tǒng)應(yīng)具備自動(dòng)報(bào)J功能，以提醒系統(tǒng)管理員避免出現(xiàn)系統(tǒng)崩潰等嚴(yán)重事件；

●主服務(wù)器宕機(jī)時(shí)，可實(shí)時(shí)地切換到備用服務(wù)器上，用戶(hù)的應(yīng)用應(yīng)該不受影響；

●主備切換時(shí)，業(yè)務(wù)不感知，任務(wù)不失敗，業(yè)務(wù)不會(huì)中斷；

●主備切換時(shí)間小于1秒；

●故障節(jié)點(diǎn)重啟時(shí)間小于2分鐘；

●系統(tǒng)不得出現(xiàn)數(shù)據(jù)丟失、切換失敗等，影響正常業(yè)務(wù)運(yùn)行的故障；

●服務(wù)器端系統(tǒng)應(yīng)可長(zhǎng)期穩(wěn)定運(yùn)行，必須支持負(fù)載均衡能力，確保無(wú)單點(diǎn)故障；

●不會(huì)因長(zhǎng)期使用或負(fù)載過(guò)高導(dǎo)致系統(tǒng)故障。

系統(tǒng)應(yīng)具有良好的并行處理機(jī)制，對(duì)存取沖突的競(jìng)爭(zhēng)具有有效的仲裁和加鎖機(jī)制，充分保證事務(wù)處理的完整性，并降低系統(tǒng)I/O開(kāi)銷(xiāo)，提高并發(fā)用戶(hù)查詢(xún)和存取的性能。

平臺(tái)提供自底層硬件到上層處理流程的全面監(jiān)控體系，幫助運(yùn)維人員快速定位問(wèn)題解決問(wèn)題，使系統(tǒng)持續(xù)健康穩(wěn)定的運(yùn)行。

2.2系統(tǒng)集成需求

軟件平臺(tái)具備集成內(nèi)外各種運(yùn)行系統(tǒng)的基本能力。軟件平臺(tái)集成性包括以下幾個(gè)方面：

?軟件平臺(tái)具備對(duì)不同廠家提供的各類(lèi)軟件產(chǎn)品接入、運(yùn)營(yíng)、監(jiān)控能力；

?軟件平臺(tái)提供獨(dú)立的集成平臺(tái)來(lái)提供各種集成手段實(shí)現(xiàn)和移動(dòng)現(xiàn)有業(yè)務(wù)支撐系統(tǒng)和能力系統(tǒng)的集成，以及對(duì)于今后有可能存在的各類(lèi)業(yè)務(wù)平臺(tái)進(jìn)行業(yè)務(wù)引

入的接口能力等。集成手段包括實(shí)時(shí)調(diào)用、批量數(shù)據(jù)交換等方式，集成接口兼

容WEBSERVICE、FTP、XML等方式，可以提供服務(wù)的封裝能力。集成平臺(tái)能力

包括以下方面：

●數(shù)據(jù)路由：能夠?qū)?jīng)由應(yīng)用集成平臺(tái)的數(shù)據(jù)進(jìn)行檢查和過(guò)濾，根據(jù)預(yù)定義的規(guī)

則實(shí)現(xiàn)基于主題或數(shù)據(jù)內(nèi)容的動(dòng)態(tài)路由機(jī)制，應(yīng)支持點(diǎn)對(duì)點(diǎn)、廣播以及發(fā)布/

訂閱方式；

●協(xié)議轉(zhuǎn)換：具有系統(tǒng)間傳輸/調(diào)用協(xié)議轉(zhuǎn)換的能力，這些協(xié)議包括但不限于JMS、

FTP、CORBA、Socket、HTTP等；

●格式轉(zhuǎn)換：具有不同數(shù)據(jù)格式轉(zhuǎn)換的能力，能夠?qū)?lái)自不同應(yīng)用系統(tǒng)的數(shù)據(jù)進(jìn)

行識(shí)別和解析，能夠以圖形化方式定制不同的數(shù)據(jù)轉(zhuǎn)換邏輯，實(shí)現(xiàn)數(shù)據(jù)格式的

轉(zhuǎn)換和數(shù)據(jù)內(nèi)容的整理；

●消息映射：將來(lái)自于源系統(tǒng)的消息結(jié)構(gòu)或業(yè)務(wù)數(shù)據(jù)對(duì)象映射為目標(biāo)系統(tǒng)的消息

結(jié)構(gòu)或業(yè)務(wù)數(shù)據(jù)對(duì)象；

●事件處理：支持事件驅(qū)動(dòng)的架構(gòu)技術(shù)，支持對(duì)系統(tǒng)之間信息交換事件的獲取、

處理和監(jiān)控；

●集成監(jiān)控：提供對(duì)接入訪(fǎng)問(wèn)、數(shù)據(jù)傳輸和集成服務(wù)等各種集成處理能力的監(jiān)控

功能，可根據(jù)各種日志查詢(xún)并監(jiān)控應(yīng)用集成組件的運(yùn)行情況。

●數(shù)據(jù)傳輸：實(shí)現(xiàn)各種應(yīng)用之間的數(shù)據(jù)交換，數(shù)據(jù)交換支持基于消息隊(duì)列和文件

傳輸?shù)饶Ｊ健＜善脚_(tái)要能保證應(yīng)用時(shí)間數(shù)據(jù)傳輸?shù)目煽啃裕С纸灰椎耐暾?/p>

性，支持?jǐn)?shù)據(jù)傳輸?shù)牟⑿刑幚恚⑶抑С止芾砣藛T對(duì)數(shù)據(jù)傳輸?shù)倪^(guò)程進(jìn)行監(jiān)控

和干預(yù)。

數(shù)據(jù)訪(fǎng)問(wèn)：支持但不限于JDBC、ODBC等多種數(shù)據(jù)庫(kù)接入模式。

2.3運(yùn)行環(huán)境

智慧XX大數(shù)據(jù)分析系統(tǒng)服務(wù)平臺(tái)需要接收來(lái)自XX系統(tǒng)各部門(mén)的數(shù)據(jù)資源，各權(quán)屬單位向系統(tǒng)共享、交換業(yè)務(wù)數(shù)據(jù)，系統(tǒng)需要提供相應(yīng)的匯交、接收工具，以及導(dǎo)入、導(dǎo)出工具，業(yè)務(wù)數(shù)據(jù)的查詢(xún)、統(tǒng)計(jì)等功能，并可以對(duì)外發(fā)布。

2.4安全需求

1.物理安全要求

物理安全要求包括但不限于：物理位置的選擇、物理訪(fǎng)問(wèn)控制、供電安全保障、防火防潮等。

2.網(wǎng)絡(luò)及設(shè)備安全要求

網(wǎng)絡(luò)安全要求包括但不限于：系統(tǒng)部署所在的網(wǎng)絡(luò)結(jié)構(gòu)安全、設(shè)備入侵防范、設(shè)備防護(hù)、安全審計(jì)等。

3.數(shù)據(jù)安全性要求

包括數(shù)據(jù)存儲(chǔ)的安全性、數(shù)據(jù)傳輸?shù)陌踩?、?shù)據(jù)傳輸?shù)耐暾?、?shù)據(jù)傳輸?shù)恼_性、數(shù)據(jù)傳輸?shù)募皶r(shí)性、數(shù)據(jù)備份及恢復(fù)機(jī)制、異常處理機(jī)制等。

4.系統(tǒng)安全要求

包括數(shù)據(jù)資源及應(yīng)用模塊的等級(jí)訪(fǎng)問(wèn)控制、身份鑒別（不限于數(shù)字證書(shū)應(yīng)用）及不可抵賴(lài)性、安全審計(jì)、系統(tǒng)的容錯(cuò)性等。

5.應(yīng)用安全要求

（1）以CA認(rèn)證系統(tǒng)為基礎(chǔ)，實(shí)現(xiàn)用戶(hù)與服務(wù)資源的雙向認(rèn)證機(jī)制；（2）以基于角色的授權(quán)原則，建立與政務(wù)信息資源共享平臺(tái)業(yè)務(wù)、平臺(tái)管理人員、部門(mén)管理

人員崗位職責(zé)相對(duì)應(yīng)的權(quán)限管理機(jī)制及統(tǒng)一的安全登陸機(jī)制；（3）以密碼技術(shù)為基礎(chǔ)的數(shù)據(jù)完整與保密機(jī)制；（4）對(duì)安全事件進(jìn)行審計(jì)機(jī)制以及根據(jù)政務(wù)信息資源共享平臺(tái)不同的業(yè)務(wù)、數(shù)據(jù)應(yīng)用需求而采用標(biāo)準(zhǔn)的安全協(xié)議；（5）對(duì)應(yīng)用進(jìn)行嚴(yán)格的監(jiān)控，實(shí)時(shí)掌握個(gè)應(yīng)用系統(tǒng)資源的消耗、運(yùn)行的狀況，保障服務(wù)的連續(xù)性和可用性。

6.制度安全

7.包括項(xiàng)目管理制度、系統(tǒng)巡檢及維護(hù)制度、數(shù)據(jù)備份制度、各類(lèi)緊急應(yīng)急措施；明確該項(xiàng)目基于該制度下的職責(zé)分工。

8.具有豐富安全特性的交換機(jī)構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)的第一重保護(hù)；

9.具有高性能檢測(cè)引擎的IPS對(duì)網(wǎng)絡(luò)報(bào)文深度檢測(cè)，構(gòu)成數(shù)據(jù)中心網(wǎng)絡(luò)第二重保護(hù)；

10.憑借高性能硬件防火墻構(gòu)成的數(shù)據(jù)中心網(wǎng)絡(luò)邊界，對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)做第三重保護(hù)。

第3章總體設(shè)計(jì)

3.1總體設(shè)計(jì)原則

遵循相應(yīng)標(biāo)準(zhǔn)：系統(tǒng)的設(shè)計(jì)應(yīng)符合國(guó)家、省及有關(guān)信息化建設(shè)的政策法規(guī)、規(guī)范和標(biāo)準(zhǔn)，并考慮與正在制定或即將出臺(tái)的相關(guān)政策法規(guī)、規(guī)范和標(biāo)準(zhǔn)的銜接。

技術(shù)先進(jìn)性：平臺(tái)作為一個(gè)大投資、復(fù)雜度高、周期長(zhǎng)的網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用系統(tǒng)，必須在開(kāi)發(fā)初期考慮到技術(shù)的延展性。作為應(yīng)用系統(tǒng)建設(shè)的首要要求，就是應(yīng)當(dāng)保證系統(tǒng)在未來(lái)的幾年中在軟件基礎(chǔ)結(jié)構(gòu)和應(yīng)用形態(tài)方面的技術(shù)先進(jìn)性。

安全性和可靠性：運(yùn)用先進(jìn)的訪(fǎng)問(wèn)控制、身份認(rèn)證等技術(shù)防止非法用戶(hù)入侵；保證系統(tǒng)在異常情況下的正確可靠運(yùn)行。

數(shù)據(jù)的完整性和一致性：數(shù)據(jù)在全網(wǎng)各個(gè)應(yīng)用系統(tǒng)中的采集、存儲(chǔ)、傳輸和處理應(yīng)當(dāng)保持完整和一致。

易擴(kuò)展性：所有的產(chǎn)品均考慮到應(yīng)用及系統(tǒng)不斷擴(kuò)展的要求，以形成一個(gè)易于管理、可持續(xù)發(fā)展的體系結(jié)構(gòu)。未來(lái)業(yè)務(wù)的擴(kuò)展只須在現(xiàn)有機(jī)制、標(biāo)準(zhǔn)的基礎(chǔ)上，增加新的應(yīng)用與服務(wù)模塊。

易用性：用戶(hù)界面規(guī)范統(tǒng)一直觀，易于用戶(hù)掌握；提供方便的軟件配置、管理和分發(fā)手段，門(mén)戶(hù)網(wǎng)站系統(tǒng)作為信息系統(tǒng)統(tǒng)一架構(gòu)體系，要求具備保持基本功能統(tǒng)一的前提下，能靈活開(kāi)發(fā)擴(kuò)展功能，采用統(tǒng)一的接口技術(shù)和接口規(guī)范。

互操作能力：在不同層次的各個(gè)應(yīng)用系統(tǒng)之間的數(shù)據(jù)應(yīng)能充分共享，并通過(guò)技術(shù)手段實(shí)現(xiàn)應(yīng)用程序之間的互操作。

規(guī)范性：規(guī)范性包括業(yè)務(wù)規(guī)范、開(kāi)發(fā)規(guī)范、術(shù)語(yǔ)規(guī)范和數(shù)據(jù)規(guī)范等方面。

可維護(hù)性及可擴(kuò)展性：應(yīng)用系統(tǒng)要便于維護(hù)，并可實(shí)現(xiàn)跨平臺(tái)運(yùn)行，同時(shí)應(yīng)留有與未來(lái)工程的軟件接口，確保系統(tǒng)能夠擴(kuò)展、升級(jí)。

實(shí)用性：提供方便的軟件工具，便于系統(tǒng)的配置、管理和維護(hù)，門(mén)戶(hù)網(wǎng)站系統(tǒng)將針對(duì)不同類(lèi)型的信息訪(fǎng)問(wèn)者提供不同的信息展現(xiàn)內(nèi)容，使用戶(hù)根據(jù)自身對(duì)信息的訪(fǎng)問(wèn)

要求，迅速獲取相關(guān)的信息內(nèi)容，從而充分發(fā)揮門(mén)戶(hù)系統(tǒng)的渠道、橋梁作用。

信息兼容性強(qiáng)：系統(tǒng)的建設(shè)支持對(duì)現(xiàn)有數(shù)據(jù)庫(kù)數(shù)據(jù)的實(shí)時(shí)抽取，自動(dòng)轉(zhuǎn)化成統(tǒng)一的XML格式并且集成后的數(shù)據(jù)由本平臺(tái)統(tǒng)一管理、聯(lián)合查詢(xún)、綜合分析。另外，對(duì)于查詢(xún)基礎(chǔ)業(yè)務(wù)系統(tǒng)內(nèi)數(shù)據(jù)的請(qǐng)求，要能夠?qū)崟r(shí)的對(duì)多個(gè)不同的數(shù)據(jù)庫(kù)進(jìn)行聯(lián)合查詢(xún)，還包括了對(duì)文檔，影音文件等內(nèi)容，因此要求本系統(tǒng)的建設(shè)必須能夠?qū)Ψ墙Y(jié)構(gòu)化的數(shù)據(jù)統(tǒng)一管理、聯(lián)合查詢(xún)。

3.2總體目標(biāo)

基于先進(jìn)的云服務(wù)體系，建立統(tǒng)一的JW大數(shù)據(jù)平臺(tái)和數(shù)據(jù)中心，利用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過(guò)整合JW指揮體系及電信運(yùn)營(yíng)商、交通部門(mén)、大數(shù)據(jù)中心信息挖掘，實(shí)現(xiàn)信息最大共享的基礎(chǔ)上，構(gòu)建JW指揮核心智慧應(yīng)用方案。

3.3系統(tǒng)總體結(jié)構(gòu)

本項(xiàng)目系統(tǒng)總體架構(gòu)，是在統(tǒng)一的基礎(chǔ)設(shè)施支撐下，依據(jù)智慧XX大數(shù)據(jù)中心建設(shè)目標(biāo)，建立統(tǒng)一的大數(shù)據(jù)資源中心，構(gòu)建自主可控的統(tǒng)一信息安全保障體系。在統(tǒng)一的技術(shù)標(biāo)準(zhǔn)和業(yè)務(wù)規(guī)范支撐下，建立數(shù)據(jù)采集、數(shù)據(jù)清洗、質(zhì)量管理、信息安全服務(wù)和資源統(tǒng)一調(diào)度等系統(tǒng)，并通過(guò)內(nèi)、外網(wǎng)服務(wù)支撐其他智慧應(yīng)用，建設(shè)覆蓋全區(qū)的公共數(shù)據(jù)綜合服務(wù)體系。平臺(tái)架構(gòu)如下圖所示：

圖4-1智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體架構(gòu)示意圖

IaaS層：利用虛擬化技術(shù)將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)硬件資源，以邏輯方式形成基礎(chǔ)資源池層，再將資源池提供的虛擬機(jī)、虛擬存儲(chǔ)或虛擬端口組等經(jīng)過(guò)二次封裝與組合、調(diào)度使用，形成一個(gè)個(gè)面向組織用戶(hù)的虛擬服務(wù)器、虛擬桌面或者云存儲(chǔ)系統(tǒng)，通過(guò)這樣的形式為系統(tǒng)的各業(yè)務(wù)單位提供資源服務(wù)；同時(shí)提供物理資源和虛擬資源的統(tǒng)一。

PaaS層：在IaaS層基礎(chǔ)上，提供開(kāi)放式XX基礎(chǔ)大數(shù)據(jù)處理平臺(tái)整合XX內(nèi)部數(shù)據(jù)和運(yùn)營(yíng)商數(shù)據(jù)，提供分布式數(shù)據(jù)庫(kù)來(lái)解決海量結(jié)構(gòu)化數(shù)據(jù)的管理和數(shù)據(jù)交互，提供標(biāo)準(zhǔn)SQL接口、JDBC技術(shù)，能夠與前臺(tái)應(yīng)用進(jìn)行無(wú)縫對(duì)接；同時(shí)提供海量流式計(jì)算處理cstorm，能夠?qū)崟r(shí)處理大規(guī)模并發(fā)任務(wù)的負(fù)載均衡和任務(wù)分發(fā)，做到所有任務(wù)實(shí)時(shí)分發(fā)處理，不堆積，做到高度可靠性，任何任務(wù)處理過(guò)程中不會(huì)丟失，保障所有任務(wù)都能夠處理完。

SaaS層：平臺(tái)能夠支撐所有電信運(yùn)營(yíng)商、XXJW系統(tǒng)數(shù)據(jù)運(yùn)行，所有業(yè)務(wù)數(shù)據(jù)統(tǒng)一管理，根據(jù)權(quán)限做到絕對(duì)安全訪(fǎng)問(wèn)，基于數(shù)據(jù)中心利用大數(shù)據(jù)、空間數(shù)據(jù)采集等技術(shù)，通過(guò)整合XX部門(mén)、電信運(yùn)營(yíng)商等多部門(mén)采集的移動(dòng)位置、輿情信息等，建立宏觀決策、J情分析、JW調(diào)度管理等分析模型，為JW及公共安全管理提供大數(shù)據(jù)專(zhuān)題分析及應(yīng)用。

3.4系統(tǒng)邏輯結(jié)構(gòu)

圖4-2XX大數(shù)據(jù)庫(kù)邏輯架構(gòu)圖

MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群，重點(diǎn)面向行業(yè)大數(shù)據(jù)，采用SharedNothing架構(gòu)，通過(guò)列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計(jì)算模式，完成對(duì)分析類(lèi)應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本PCServer，具有高性能和高擴(kuò)展性的特點(diǎn)，在企業(yè)分析類(lèi)應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。

第4章詳細(xì)設(shè)計(jì)方案

4.1信息資源規(guī)劃和數(shù)據(jù)庫(kù)設(shè)計(jì)

4.1.1數(shù)據(jù)模型概述

XX大數(shù)據(jù)模型是采用一種與技術(shù)實(shí)現(xiàn)無(wú)關(guān)的方式，對(duì)系統(tǒng)內(nèi)的業(yè)務(wù)信息，以及各類(lèi)信息之間關(guān)聯(lián)關(guān)系的數(shù)據(jù)描述。數(shù)據(jù)模型是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的基礎(chǔ)，是建設(shè)數(shù)據(jù)倉(cāng)庫(kù)必不可少的一個(gè)環(huán)節(jié)。一個(gè)統(tǒng)一、完整、靈活、穩(wěn)定的數(shù)據(jù)模型對(duì)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的成功起著重要作用，并且至少滿(mǎn)足以下幾點(diǎn)：

●統(tǒng)一溝通口徑

數(shù)據(jù)模型形成對(duì)業(yè)務(wù)定義和術(shù)語(yǔ)的統(tǒng)一認(rèn)識(shí)，是各部門(mén)之間溝通的橋梁，使不同部門(mén)、單位的業(yè)務(wù)人員、應(yīng)用開(kāi)發(fā)人員和系統(tǒng)管理人員對(duì)系統(tǒng)的理解達(dá)成一致；

●數(shù)據(jù)整合與管控

數(shù)據(jù)模型是整合多種數(shù)據(jù)源的重要手段。數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)實(shí)施提供規(guī)范和基礎(chǔ)結(jié)構(gòu)，建立起各個(gè)業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)之間的映射關(guān)系，實(shí)現(xiàn)源數(shù)據(jù)的有效整合和集中管控；

●增強(qiáng)分析能力

通過(guò)數(shù)據(jù)建模，可以更全面抽象數(shù)據(jù)的維度和指標(biāo)關(guān)聯(lián)信息，全面反映數(shù)據(jù)本質(zhì)，使數(shù)據(jù)反映的業(yè)務(wù)更加清晰，最大化數(shù)據(jù)價(jià)值；

●促進(jìn)數(shù)據(jù)標(biāo)準(zhǔn)化

通過(guò)數(shù)據(jù)模型的建立，排除數(shù)據(jù)描述的不一致性。如：同名異義、同物異名等等，更有利于從完整性、及時(shí)性、一致性等方面對(duì)數(shù)據(jù)質(zhì)量進(jìn)行管控。

●提升擴(kuò)展性

系統(tǒng)設(shè)計(jì)應(yīng)該考慮到系統(tǒng)后續(xù)的應(yīng)用擴(kuò)展，系統(tǒng)整合，增加接口系統(tǒng)等擴(kuò)展性，數(shù)據(jù)建?？梢詾楹罄m(xù)系統(tǒng)在接口層面和應(yīng)用層面的擴(kuò)展提供基礎(chǔ)；

因此，通過(guò)構(gòu)建性能管理系統(tǒng)的統(tǒng)一數(shù)據(jù)模型，能統(tǒng)一和標(biāo)準(zhǔn)化系統(tǒng)的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一致性，最大化數(shù)據(jù)價(jià)值，輔助提升數(shù)據(jù)質(zhì)量，增強(qiáng)系統(tǒng)數(shù)據(jù)應(yīng)用能力和系統(tǒng)擴(kuò)展性。

4.1.2數(shù)據(jù)建模方法論

XX數(shù)據(jù)倉(cāng)庫(kù)建模方法從方向和驅(qū)動(dòng)力來(lái)分，可以分為“自頂向下、逐步求精”以及“自底向上、綜合集成”兩種。

圖5-1數(shù)據(jù)倉(cāng)庫(kù)建模方法

自頂而下的建模方法根據(jù)業(yè)務(wù)需求和業(yè)務(wù)問(wèn)題來(lái)明確系統(tǒng)邊界，劃分主題域，

再進(jìn)行逐步細(xì)化，建立反映企業(yè)業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實(shí)體和實(shí)體關(guān)系。在業(yè)務(wù)需

求明確的時(shí)候，該方法可以提高分析效率；

自底向上的建模方法需要整合各業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)，先抽象業(yè)務(wù)規(guī)則，劃分主

題域，再進(jìn)行逐步細(xì)化，建立反映企業(yè)業(yè)務(wù)規(guī)則和業(yè)務(wù)關(guān)系的實(shí)體和實(shí)體關(guān)系。這

種方法更關(guān)注搭建企業(yè)數(shù)據(jù)框架，建立完整的企業(yè)信息視圖；

在實(shí)際系統(tǒng)數(shù)據(jù)建模過(guò)程中通常采用這兩種方法相結(jié)合，綜合運(yùn)用。

4.1.3數(shù)據(jù)建模基本原則

●標(biāo)準(zhǔn)化、規(guī)范化原則

數(shù)據(jù)模型應(yīng)遵從統(tǒng)一的主題域劃分和實(shí)體命名規(guī)則，保證模型的標(biāo)準(zhǔn)化和規(guī)范化；

●先進(jìn)性原則

要求邏輯模型在設(shè)計(jì)上吸收業(yè)界、國(guó)內(nèi)外優(yōu)秀的建模經(jīng)驗(yàn)與方法，確保模型的

先進(jìn)性；

●一致性原則

數(shù)據(jù)模型的設(shè)計(jì)要能夠確保數(shù)據(jù)的一致性，消除各數(shù)據(jù)源的數(shù)據(jù)不一致性，以

保證數(shù)據(jù)模型內(nèi)的信息是關(guān)于整個(gè)企業(yè)一致的全局信息；

●擴(kuò)展性原則

要求數(shù)據(jù)模型具備良好的可擴(kuò)展性，支持對(duì)模型的迭代性演進(jìn)。當(dāng)業(yè)務(wù)需求提

出新問(wèn)題或有新的數(shù)據(jù)加入模型時(shí)，要求數(shù)據(jù)模型能夠確保現(xiàn)有的數(shù)據(jù)和應(yīng)用都不

發(fā)生改變，更不得導(dǎo)致系統(tǒng)崩潰；

●自上而下的設(shè)計(jì)與自下而上的驗(yàn)證原則

數(shù)據(jù)模型是為業(yè)務(wù)分析服務(wù)的，所以在創(chuàng)建模型時(shí)，應(yīng)以業(yè)務(wù)需求為驅(qū)動(dòng)。根

據(jù)業(yè)務(wù)需求采用自上而下的方法設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)模型，并且采取迭代演進(jìn)的模式，

逐步豐富數(shù)據(jù)模型，逐步求精。同時(shí)，為了驗(yàn)證設(shè)計(jì)與實(shí)現(xiàn)的合理性與正確性，要

求以實(shí)際數(shù)據(jù)對(duì)模型進(jìn)行自下而上的驗(yàn)證；

●簡(jiǎn)單可識(shí)別原則

實(shí)體命名等要遵循簡(jiǎn)潔、能直接識(shí)別出業(yè)務(wù)意義的原則。

4.1.4數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)

本工程采用主流成熟的開(kāi)發(fā)框架和產(chǎn)品組件進(jìn)行開(kāi)發(fā)，采用多層體系結(jié)構(gòu)來(lái)構(gòu)建符合標(biāo)準(zhǔn)與管理規(guī)范體系、安全與運(yùn)行保障體系的高可用性系統(tǒng)。綜上，本項(xiàng)目開(kāi)發(fā)的整體技術(shù)架構(gòu)如下：

圖5-2智慧XXJW大數(shù)據(jù)分析系統(tǒng)總體技術(shù)架構(gòu)示意圖

1)數(shù)據(jù)采集層，負(fù)責(zé)從XX系統(tǒng)內(nèi)外部系統(tǒng)獲取基礎(chǔ)數(shù)據(jù)，包括XX系統(tǒng)內(nèi)部數(shù)據(jù)、

運(yùn)營(yíng)商數(shù)據(jù)、行業(yè)信息數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)及手工導(dǎo)入數(shù)據(jù)，以及移動(dòng)通信網(wǎng)絡(luò)

的信息數(shù)據(jù)。外部系統(tǒng)在向本系統(tǒng)輸出基礎(chǔ)數(shù)據(jù)之前，需要開(kāi)發(fā)一套程序完成

原始的格式轉(zhuǎn)換和數(shù)據(jù)處理。首先要屏蔽用戶(hù)隱私信息，即用戶(hù)號(hào)碼信息全部

剔除，輸出時(shí)采用經(jīng)過(guò)加密的用戶(hù)數(shù)據(jù)。其次需要篩選出關(guān)鍵字段，每條記錄

都是原始數(shù)據(jù)的幾十個(gè)字段抽取出幾個(gè)關(guān)鍵字段，這樣能大大減少數(shù)據(jù)存儲(chǔ)量。

2)數(shù)據(jù)管控層，通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)等級(jí)、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量等標(biāo)準(zhǔn)化的規(guī)則

管理和調(diào)度控制，建立各類(lèi)數(shù)據(jù)稽核手段、數(shù)據(jù)質(zhì)量分析體系，確保平臺(tái)數(shù)據(jù)

一致性、完整性、合規(guī)性，實(shí)現(xiàn)信息共享和數(shù)據(jù)的高效流轉(zhuǎn)。

3)數(shù)據(jù)存儲(chǔ)層，負(fù)責(zé)對(duì)獲取的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，并準(zhǔn)確匹配到上

層定義好的各類(lèi)計(jì)算模型。數(shù)據(jù)管控層采用了基于開(kāi)源的Hadoop分布式架構(gòu)，

將傳統(tǒng)ETL的數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)校驗(yàn)工作承載在智慧XX

大數(shù)據(jù)云計(jì)算平臺(tái)上，大大降低了大數(shù)據(jù)的處理成本，提升海量數(shù)據(jù)處理的及

時(shí)性。

4)數(shù)據(jù)挖掘?qū)?，主要?duì)數(shù)據(jù)進(jìn)行建模和分析，模型的主要類(lèi)型有：

●關(guān)聯(lián)分析：是在關(guān)系數(shù)據(jù)中，發(fā)現(xiàn)存在于項(xiàng)目集或?qū)ο蠹g的關(guān)聯(lián)規(guī)則，

包括關(guān)聯(lián)、相關(guān)性、因果結(jié)構(gòu)或頻繁出現(xiàn)的模式。常用的關(guān)聯(lián)分析算法有

Apriori算法及它的各種改進(jìn)或擴(kuò)展算法。

●分類(lèi)分析：分類(lèi)是實(shí)現(xiàn)定義好類(lèi)別，屬于有指導(dǎo)學(xué)習(xí)范疇。分類(lèi)分析是根

據(jù)數(shù)據(jù)的特征為每個(gè)類(lèi)建立一個(gè)模型，根據(jù)數(shù)據(jù)的屬性將數(shù)據(jù)分配到不同

的組中。常用分類(lèi)算法有決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類(lèi)等。

●聚類(lèi)分析：是按照某種相近程度度量方法將數(shù)據(jù)分成互不相同的一些分組，

實(shí)現(xiàn)每一聚類(lèi)內(nèi)部的相似性很高、各聚類(lèi)之間的相似性很低。常用的聚類(lèi)

算法有K均值、最近鄰、神經(jīng)網(wǎng)絡(luò)等。

●預(yù)測(cè)模型分析：是從數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中已知的數(shù)據(jù)推測(cè)位置的數(shù)據(jù)或?qū)?/p>

象集中某些屬性的值分布。建立預(yù)測(cè)模型的常用方法包括回歸分析、線(xiàn)型

模型、支持矢量集、決策樹(shù)預(yù)測(cè)、遺傳算法、隨機(jī)森林算法等。

文本挖掘：文本是無(wú)結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)，文本挖掘是從文本數(shù)據(jù)中推導(dǎo)出模式，其過(guò)程是通過(guò)文本分析、特征提取、模式分析的過(guò)程來(lái)實(shí)現(xiàn)。主要技術(shù)包括文本結(jié)構(gòu)分析、文本特征提取、文本檢索、文本自動(dòng)分類(lèi)/聚類(lèi)、文檔自動(dòng)

4.2數(shù)據(jù)應(yīng)用支撐系統(tǒng)設(shè)計(jì)

4.2.1大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)

（1）云平臺(tái)流式計(jì)算技術(shù)

Storm為分布式實(shí)時(shí)計(jì)算提供了一組通用原語(yǔ)，可被用于“流處理”之中，實(shí)時(shí)處理消息并更新數(shù)據(jù)庫(kù)。這是管理隊(duì)列及工集群的另一種方式。Storm也可被用于“連續(xù)計(jì)算”（continuouscomputation），對(duì)數(shù)據(jù)流做連續(xù)查詢(xún)，在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶(hù)。它還可被用于“分布式RPC”，以并行的方式運(yùn)行昂貴的運(yùn)算。

Storm可以方便地在一個(gè)計(jì)算機(jī)集群中編寫(xiě)與擴(kuò)展復(fù)雜的實(shí)時(shí)計(jì)算，Storm用于實(shí)時(shí)處理，就好比Hadoop用于批處理。Storm保證每個(gè)消息都會(huì)得到處理，而且它很快——在一個(gè)小集群中，每秒可以處理數(shù)以百萬(wàn)計(jì)的消息。更棒的是你可以使用任意編程語(yǔ)言來(lái)做開(kāi)發(fā)。

Storm有許多應(yīng)用領(lǐng)域，包括實(shí)時(shí)分析、在線(xiàn)機(jī)器學(xué)習(xí)、信息流處理（例如，可以使用Storm處理新的數(shù)據(jù)和快速更新數(shù)據(jù)庫(kù)）、連續(xù)性的計(jì)算（例如，使用Storm連續(xù)查詢(xún)，然后將結(jié)果返回給客戶(hù)端，如將微博上的熱門(mén)話(huà)題轉(zhuǎn)發(fā)給用戶(hù)）、分布式RPC（遠(yuǎn)過(guò)程調(diào)用協(xié)議，通過(guò)網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù)）、ETL（ExtractionTransformationLoading，數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等。

cstorm集群由一個(gè)主節(jié)點(diǎn)和多個(gè)工作節(jié)點(diǎn)組成。主節(jié)點(diǎn)運(yùn)行了一個(gè)名為“cnimbus”的守護(hù)進(jìn)程，用于故障檢測(cè)。每個(gè)工作節(jié)點(diǎn)都運(yùn)行了一個(gè)名為“csupervisor”的守護(hù)進(jìn)程，用于監(jiān)聽(tīng)工作，開(kāi)始、并終止工作進(jìn)程。同時(shí)，csupervisor監(jiān)聽(tīng)分配給它的機(jī)器，根據(jù)cnimbus的委派，在必要時(shí)啟動(dòng)和關(guān)閉工作進(jìn)程。每個(gè)工作進(jìn)程執(zhí)行topology的一個(gè)子集。一個(gè)運(yùn)行中的topology由很多運(yùn)行在很多機(jī)器上的工作進(jìn)程組成。cnimbus和csupervisor都能快速失敗，而且是無(wú)狀態(tài)的，這樣一來(lái)它們就變得十分健壯，兩者的協(xié)調(diào)工作是由ApacheZooKeeper來(lái)完成的。

圖5-3部署方式

cstorm可保證一個(gè)Spout發(fā)射出的每個(gè)元組都會(huì)處理；如果它在超時(shí)時(shí)間內(nèi)沒(méi)有處理，cstorm會(huì)從該Spout重放該元組。

消息流是cstorm里面的最關(guān)鍵的抽象對(duì)象。一個(gè)消息流是一個(gè)沒(méi)有邊界的tuple（元組）序列，而這些tuples會(huì)被以一種分布式的方式并行地創(chuàng)建和處理。對(duì)消息流的定義主要是對(duì)消息流里面的tuple的定義，我們會(huì)給tuple里的每個(gè)字段一個(gè)名字。并且不同tuple的對(duì)應(yīng)字段的類(lèi)型必須一樣。也就是說(shuō)：兩個(gè)tuple的第一個(gè)字段的類(lèi)型必須一樣，第二個(gè)字段的類(lèi)型必須一樣，但是第一個(gè)字段和第二個(gè)字段可以有不同的類(lèi)型。

每個(gè)類(lèi)型的流都可以按照實(shí)際需要定義一個(gè)流名，也叫流的唯一ID，以標(biāo)記他的特殊性，如果開(kāi)發(fā)者不定義流名，系統(tǒng)會(huì)默認(rèn)一個(gè)流名為“#STEAM#”。

考慮到系統(tǒng)之間傳遞結(jié)構(gòu)，需要發(fā)送和接受端都對(duì)相應(yīng)的字段進(jìn)行網(wǎng)絡(luò)字節(jié)序的轉(zhuǎn)化，并且需要額外傳遞結(jié)構(gòu)中每個(gè)字段的長(zhǎng)度標(biāo)記信息，這些額外的標(biāo)記信息在傳遞的結(jié)構(gòu)字段很多的情況會(huì)給網(wǎng)絡(luò)帶寬帶來(lái)很大壓力，并增加傳遞的字節(jié)數(shù)，所以這里考慮使用JSON串來(lái)傳遞tuple。這樣，一個(gè)tuple對(duì)應(yīng)著一個(gè)完整的json串。

在Worker中，并行運(yùn)行著一個(gè)或多個(gè)Executor，Executor中運(yùn)行著用戶(hù)邏輯線(xiàn)程，而且每個(gè)Executor運(yùn)行的用戶(hù)邏輯可能是不同的（在并行執(zhí)行不同的任務(wù)），用

戶(hù)邏輯都是應(yīng)用開(kāi)發(fā)人員自行開(kāi)發(fā)的，應(yīng)用開(kāi)發(fā)人員主要關(guān)注業(yè)務(wù)邏輯，而編程技術(shù)細(xì)節(jié)可能會(huì)考慮不周到，這樣常會(huì)出現(xiàn)用戶(hù)邏輯線(xiàn)程出現(xiàn)異常，而這種異常往往是類(lèi)似的，盡管可以通過(guò)編程把線(xiàn)程異常屏蔽在線(xiàn)程范圍內(nèi)，但嚴(yán)重的越界操作卻無(wú)法屏蔽，這將導(dǎo)致整個(gè)進(jìn)程出現(xiàn)異常，從而影響這個(gè)Worker中其他用戶(hù)邏輯的執(zhí)行，在一個(gè)對(duì)準(zhǔn)性、一致性要求高的系統(tǒng)中，這個(gè)是不允許出現(xiàn)的。

Worker間的消息通信方式以及容災(zāi)：

?Worker間的通信方式：由于采用一個(gè)數(shù)據(jù)處理節(jié)點(diǎn)對(duì)應(yīng)一個(gè)獨(dú)立的Worker進(jìn)程，數(shù)據(jù)處理節(jié)點(diǎn)之間的通信也就是Worker間的通信，這意味著Worker之間的通信需要通過(guò)進(jìn)程間通信機(jī)制來(lái)進(jìn)行?？紤]到可靠的TCP方式在效率和穩(wěn)定性上都可以保證，所以Worker間采用TCP協(xié)議進(jìn)行通信。

圖5-4Worker間通信方式

?通信效率考慮，這里主要從TCP傳輸?shù)慕嵌瓤紤]，由于跨服務(wù)器間的通信受限于網(wǎng)絡(luò)、網(wǎng)卡帶寬的影響，所以框架通過(guò)可配置的方式，Worker間可以只和

本服務(wù)器上的下游節(jié)點(diǎn)進(jìn)行通信

?Worker容災(zāi)主要從兩方面考慮：

●同一服務(wù)器內(nèi)的容災(zāi)，在同一臺(tái)服務(wù)器上同時(shí)啟動(dòng)兩個(gè)同樣的Worker進(jìn)程，

以防止他人誤操作，或由于程序異常導(dǎo)致一個(gè)Worker死掉后，還有一個(gè)繼續(xù)可以用，這里為什么是兩個(gè)同樣的Worker進(jìn)程呢？由于系統(tǒng)采用多線(xiàn)程，并且線(xiàn)程調(diào)度策略是操作系統(tǒng)范圍內(nèi)，所以線(xiàn)程的調(diào)度優(yōu)先級(jí)相對(duì)是比較高的，啟動(dòng)再多的線(xiàn)程只會(huì)浪費(fèi)資源。

●不同服務(wù)器之間的容災(zāi)，這個(gè)主要針對(duì)混合集群的部分處理節(jié)點(diǎn)以及全網(wǎng)集群

的所有處理節(jié)點(diǎn)，如果下游的某個(gè)節(jié)點(diǎn)死掉了，當(dāng)前Worker節(jié)點(diǎn)將按照流分

組規(guī)則在全網(wǎng)集群范圍將消息分發(fā)到集群中的下游節(jié)點(diǎn)中。當(dāng)某個(gè)服務(wù)器上的

Worker出現(xiàn)問(wèn)題，該服務(wù)器上的csupervisor會(huì)自動(dòng)檢測(cè)到，并重啟相應(yīng)的

Worker。

●簡(jiǎn)單集群：集群中各服務(wù)器獨(dú)立、并行的運(yùn)行相應(yīng)的計(jì)算拓?fù)?，這些計(jì)算拓?fù)?/p>

可以是相同的一個(gè)或不同的多個(gè)，各服務(wù)器內(nèi)的Worker視其他服務(wù)器上的

Worker不存在一樣，每個(gè)服務(wù)器內(nèi)每個(gè)worker之間是并行執(zhí)行的，上下游

Worker間異步并行執(zhí)行。集群內(nèi)各服務(wù)器間的Worker間不進(jìn)行通信，正是由

于這個(gè)才將其稱(chēng)為簡(jiǎn)單集群，如果涉及到數(shù)據(jù)的一致性性問(wèn)題，需要通過(guò)數(shù)據(jù)

庫(kù)等全局可見(jiàn)模塊來(lái)進(jìn)行數(shù)據(jù)協(xié)調(diào)。簡(jiǎn)單集群通過(guò)多服務(wù)器并行、異步計(jì)算來(lái)

提高運(yùn)行效率，該集群是一種簡(jiǎn)單的集群。

●全網(wǎng)集群方式：當(dāng)前節(jié)點(diǎn)和集群中的所有服務(wù)器中的所有下游節(jié)點(diǎn)進(jìn)行TCP常

連接，并根據(jù)流分組策略和所有的下游節(jié)點(diǎn)進(jìn)行通信。集群中所有處理節(jié)點(diǎn)都

是并行異步的。

●混合集群，該集群主要是對(duì)簡(jiǎn)單集群的擴(kuò)展，使得某個(gè)特定數(shù)據(jù)處理bolt對(duì)

應(yīng)的Worker可以放到另外一臺(tái)或幾臺(tái)服務(wù)器上，這個(gè)模式的集群類(lèi)似與簡(jiǎn)單

集群與全網(wǎng)集群的混合體，通過(guò)這種集群，可以讓簡(jiǎn)單集群實(shí)現(xiàn)跨服務(wù)器的全

網(wǎng)聚合或分流。

◆內(nèi)存數(shù)據(jù)庫(kù)意義

內(nèi)存數(shù)據(jù)庫(kù)建立于系統(tǒng)的內(nèi)存之中,計(jì)算數(shù)據(jù)依賴(lài)于內(nèi)存，無(wú)磁盤(pán)I/0。實(shí)現(xiàn)高效處理，降低傳統(tǒng)數(shù)據(jù)庫(kù)的壓力。

◆Redis

redis是一個(gè)基于內(nèi)存的key-value存儲(chǔ)系統(tǒng)。和memcached類(lèi)似，它支持存儲(chǔ)的value類(lèi)型相對(duì)更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sortedset--有序集合)和hash（哈希類(lèi)型）。這些數(shù)據(jù)類(lèi)型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎(chǔ)上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是redis會(huì)周期性的把更新的數(shù)據(jù)寫(xiě)入磁盤(pán)或者把修改操作寫(xiě)入追加

的記錄文件，并且在此基礎(chǔ)上實(shí)現(xiàn)了master-slave(主從)同步。

Redis是一個(gè)高性能的key-value數(shù)據(jù)庫(kù)。redis的出現(xiàn)，很大程度補(bǔ)償了memcached這類(lèi)key/value存儲(chǔ)的不足，在部分場(chǎng)合可以對(duì)關(guān)系數(shù)據(jù)庫(kù)起到很好的補(bǔ)充作用。它提供了Python，Ruby，Erlang，PHP客戶(hù)端，使用很方便。

Redis支持主從同步。數(shù)據(jù)可以從主服務(wù)器向任意數(shù)量的從服務(wù)器上同步，從服務(wù)器可以是關(guān)聯(lián)其他從服務(wù)器的主服務(wù)器。這使得Redis可執(zhí)行單層樹(shù)復(fù)制。從盤(pán)可以有意無(wú)意的對(duì)數(shù)據(jù)進(jìn)行寫(xiě)操作。由于完全實(shí)現(xiàn)了發(fā)布/訂閱機(jī)制，使得從數(shù)據(jù)庫(kù)在任何地方同步樹(shù)時(shí)，可訂閱一個(gè)頻道并接收主服務(wù)器完整的消息發(fā)布記錄。同步對(duì)讀取操作的可擴(kuò)展性和數(shù)據(jù)冗余很有幫助。

（2）應(yīng)用開(kāi)發(fā)平臺(tái)

各類(lèi)創(chuàng)新產(chǎn)品可根據(jù)其業(yè)務(wù)需求特點(diǎn)采用多種技術(shù)路線(xiàn)開(kāi)發(fā)完成。平臺(tái)提供不限廠家、不限類(lèi)型、不限上線(xiàn)時(shí)間的APP之間的應(yīng)用互聯(lián)，APP之間可以靈活進(jìn)行調(diào)用。（3）平臺(tái)支持接口技術(shù)說(shuō)明

?Web服務(wù)技術(shù)（WebService）

WebServices是基于網(wǎng)絡(luò)的、分布式的模塊化組件，它執(zhí)行特定的任務(wù)，遵守具體的技術(shù)規(guī)范，這些規(guī)范使得WebService能與其他兼容的組件進(jìn)行互操作。它可以使用標(biāo)準(zhǔn)的互聯(lián)網(wǎng)協(xié)議，像超文本傳輸協(xié)議HTTP和XML，將功能體現(xiàn)在互聯(lián)網(wǎng)和企業(yè)內(nèi)部網(wǎng)上。

結(jié)合WebService技術(shù)，ESB提供一套標(biāo)準(zhǔn)的用于溝通不同平臺(tái)、編程語(yǔ)言和組件模型的技術(shù)框架，實(shí)現(xiàn)標(biāo)準(zhǔn)、通用的數(shù)據(jù)共享。ESB平臺(tái)支持最新的相關(guān)協(xié)議和標(biāo)準(zhǔn)，包括XML、XSD、SOAP、WSDL、UDDI等，同時(shí)兼顧WebService的安全性、事務(wù)處理、性能等方面。

?文件傳輸技術(shù)（FTP）

FTP是FileTransportationProtocol（文件傳輸協(xié)議）的縮寫(xiě)，是計(jì)算機(jī)之間交換數(shù)據(jù)的方式。FTP專(zhuān)門(mén)用來(lái)下載，用戶(hù)按照一定的規(guī)則（協(xié)議）和提供文件的服務(wù)器取得聯(lián)系并將文件搬到自己的計(jì)算機(jī)中來(lái)。在進(jìn)行FTP下載之前必須獲得有效的資

源鏈接或者服務(wù)器地址。

首先，提供系統(tǒng)上傳要共享的文件到FTP服務(wù)器，然后發(fā)送該文件的下載鏈接到ESB平臺(tái)；ESB平臺(tái)分發(fā)消息到訂閱該數(shù)據(jù)的系統(tǒng)；數(shù)據(jù)消息系統(tǒng)解析消息中的下載鏈接，下載文件。

?消息隊(duì)列技術(shù)（MQ）

消息隊(duì)列技術(shù)是分布式應(yīng)用間交換信息的一種技術(shù)，在集成分布式應(yīng)用環(huán)境中，對(duì)異構(gòu)網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)共享提供有效的通信手段。消息隊(duì)列可駐留在內(nèi)存或磁盤(pán)上,隊(duì)列存儲(chǔ)消息直到它們被應(yīng)用程序讀走。通過(guò)消息隊(duì)列，應(yīng)用程序可獨(dú)立地執(zhí)行--它們不需要知道彼此的位置、不需要等待接收程序接收此消息。

?其他技術(shù)

對(duì)于數(shù)據(jù)庫(kù)直連、Socket直連等數(shù)據(jù)共享技術(shù)，以建設(shè)分布式、低耦合系統(tǒng)架構(gòu)為目標(biāo)，建議改造為以上三種技術(shù)之一。

4.2.2云平臺(tái)數(shù)據(jù)共享功能

（1）數(shù)據(jù)共享的目標(biāo)

智慧XX大數(shù)據(jù)分析系統(tǒng)應(yīng)采用松耦合、分層的技術(shù)架構(gòu)實(shí)現(xiàn)，數(shù)據(jù)開(kāi)放共享是智慧XX大數(shù)據(jù)分析系統(tǒng)要實(shí)現(xiàn)的目標(biāo)，具體來(lái)說(shuō)即為：

通過(guò)采用層次化、面向開(kāi)放共享的技術(shù)架構(gòu)，將用戶(hù)行為分析系統(tǒng)的應(yīng)用與數(shù)據(jù)解耦，形成相對(duì)穩(wěn)定、獨(dú)立、開(kāi)放的數(shù)據(jù)共享平臺(tái)（該平臺(tái)由數(shù)據(jù)裝載層、數(shù)據(jù)處理層、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)共享模塊等組件組成），支撐應(yīng)用及外部系統(tǒng)的數(shù)據(jù)需求，實(shí)現(xiàn)“一個(gè)數(shù)據(jù)平臺(tái)，支撐多樣化內(nèi)、外部應(yīng)用”的目標(biāo)。

智慧XX大數(shù)據(jù)分析系統(tǒng)在實(shí)現(xiàn)時(shí)需有獨(dú)立的功能組件“數(shù)據(jù)共享模塊”來(lái)統(tǒng)一管理用戶(hù)行為分析系統(tǒng)中數(shù)據(jù)共享平臺(tái)對(duì)系統(tǒng)內(nèi)部上層應(yīng)用以及外部系統(tǒng)提供標(biāo)準(zhǔn)化的數(shù)據(jù)共享服務(wù)、方式及內(nèi)容。

數(shù)據(jù)共享模塊需具備共享接口管理、訪(fǎng)問(wèn)控制、負(fù)荷控制及訪(fǎng)問(wèn)集群管理能力。

共享接口管理：統(tǒng)一管理數(shù)據(jù)共享平臺(tái)的接口，包括查詢(xún)、訂閱、消息交換、數(shù)

據(jù)庫(kù)等接口。

訪(fǎng)問(wèn)控制：訪(fǎng)問(wèn)權(quán)限的判斷、會(huì)話(huà)管理、訪(fǎng)問(wèn)頻率管理、請(qǐng)求隊(duì)列管理以及安全控制等能力。

負(fù)荷控制：對(duì)共享請(qǐng)求的成本進(jìn)行評(píng)估，并拒絕不合理的請(qǐng)求。

訪(fǎng)問(wèn)集群管理：主要用來(lái)實(shí)現(xiàn)“數(shù)據(jù)共享模塊”在分布式部署時(shí)的負(fù)載均衡和Failover管理。

（2）數(shù)據(jù)共享服務(wù)對(duì)象及共享內(nèi)容

?數(shù)據(jù)共享服務(wù)于智慧XX大數(shù)據(jù)分析系統(tǒng)本身的上層應(yīng)用

智慧XX大數(shù)據(jù)分析系統(tǒng)的上層應(yīng)用可以分為三類(lèi)：“實(shí)時(shí)KPI計(jì)算類(lèi)”、“實(shí)時(shí)細(xì)節(jié)查詢(xún)類(lèi)”，以及“分析類(lèi)非實(shí)時(shí)統(tǒng)計(jì)”，數(shù)據(jù)共享平臺(tái)通過(guò)不同的共享方式向上層應(yīng)用提供數(shù)據(jù)支撐。

?經(jīng)營(yíng)分析系統(tǒng)

用戶(hù)行為分析系統(tǒng)能夠?yàn)榻?jīng)營(yíng)分析系統(tǒng)提供用戶(hù)行為數(shù)據(jù)（主要是xDR及用戶(hù)網(wǎng)絡(luò)行為標(biāo)簽信息），使經(jīng)營(yíng)分析系統(tǒng)能形成全視角的客戶(hù)數(shù)據(jù)。

?數(shù)據(jù)共享內(nèi)容

無(wú)論是針對(duì)用戶(hù)行為分析系統(tǒng)的上層應(yīng)用還是外部系統(tǒng)的應(yīng)用需求，數(shù)據(jù)共享平臺(tái)均可向其提供數(shù)據(jù)共享服務(wù)，共享數(shù)據(jù)應(yīng)包括但不限于以下內(nèi)容：

●原始信令

原始信令為xDR合成前的信令消息，用于信令回溯，通過(guò)文件方式向外提供。

●xDR明細(xì)數(shù)據(jù)

xDR明細(xì)數(shù)據(jù)屬于記錄類(lèi)數(shù)據(jù)，是用戶(hù)關(guān)于觀看行為、業(yè)務(wù)資源使用記錄的總和，包括各類(lèi)信令合成xDR、話(huà)單等數(shù)據(jù)。

●維度匯總數(shù)據(jù)

數(shù)據(jù)倉(cāng)庫(kù)層的所有數(shù)據(jù)。

●實(shí)時(shí)指標(biāo)數(shù)據(jù)

本系統(tǒng)實(shí)時(shí)指標(biāo)數(shù)據(jù)是指在下個(gè)統(tǒng)計(jì)周期內(nèi)需要完成計(jì)算的指標(biāo)，例如某實(shí)時(shí)指標(biāo)5分鐘統(tǒng)計(jì)，是指從業(yè)務(wù)需求角度應(yīng)在下一個(gè)5分鐘內(nèi)完成統(tǒng)計(jì)計(jì)算。建議15分鐘（包含）粒度實(shí)時(shí)指標(biāo)數(shù)據(jù)由流處理引擎技術(shù)處理。

●數(shù)據(jù)質(zhì)量信息

數(shù)據(jù)質(zhì)量管理是智慧XX大數(shù)據(jù)分析系統(tǒng)的重要能力之一，在智慧XX大數(shù)據(jù)分析系統(tǒng)中，通過(guò)在數(shù)據(jù)采集、分發(fā)、加載等環(huán)節(jié)設(shè)置檢測(cè)點(diǎn)，以生成各種數(shù)據(jù)質(zhì)量報(bào)告、數(shù)據(jù)質(zhì)量預(yù)J信息，這些信息可以提供給外部系統(tǒng)，讓外部系統(tǒng)能夠掌握關(guān)于數(shù)據(jù)的質(zhì)量信息，例如：及時(shí)性、準(zhǔn)確性、完整性等信息。

●應(yīng)用匯總數(shù)據(jù)

應(yīng)用匯總數(shù)據(jù)主要指上層應(yīng)用直接使用的數(shù)據(jù)。該部分?jǐn)?shù)據(jù)能否共享，取決于該類(lèi)數(shù)據(jù)是否可由上層應(yīng)用下沉到數(shù)據(jù)共享平臺(tái)。如果能夠下沉到數(shù)據(jù)共享平臺(tái)，則可通過(guò)數(shù)據(jù)共享平臺(tái)進(jìn)行共享。如果僅為應(yīng)用的個(gè)性化數(shù)據(jù)，則不通過(guò)數(shù)據(jù)共享平臺(tái)進(jìn)行共享。

（4）數(shù)據(jù)共享服務(wù)

?數(shù)據(jù)訂閱方式

系統(tǒng)支持通過(guò)數(shù)據(jù)共享服務(wù)接口，例如ESB數(shù)據(jù)服務(wù)總線(xiàn)，對(duì)各類(lèi)數(shù)據(jù)進(jìn)行訂閱。訂閱過(guò)程中關(guān)于所需數(shù)據(jù)的描述可通過(guò)元數(shù)據(jù)管理功能獲取。

?API方式

此種數(shù)據(jù)獲取接口是一組由數(shù)據(jù)共享服務(wù)模塊提供的API集合，供數(shù)據(jù)消費(fèi)系統(tǒng)調(diào)用以達(dá)到如下目的：

●界定所需數(shù)據(jù)的位置、范圍、規(guī)格，設(shè)置數(shù)據(jù)過(guò)濾條件；

●向智慧XX大數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)共享服務(wù)及接口傳遞關(guān)于所需數(shù)據(jù)范圍的參數(shù)；

●獲取所需的數(shù)據(jù)結(jié)果。

API接口的優(yōu)勢(shì)在于能夠更加貼近智慧XX大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)組織結(jié)構(gòu)，更加

貼近數(shù)據(jù)的應(yīng)用場(chǎng)景與業(yè)務(wù)需求。同時(shí)，API接口方式也限定了對(duì)共享數(shù)據(jù)的訪(fǎng)問(wèn)方式，避免對(duì)數(shù)據(jù)的違規(guī)操作，利于對(duì)系統(tǒng)的管理與維護(hù)。API接口方式的本質(zhì)是結(jié)合應(yīng)用需求封裝一些通用的數(shù)據(jù)訪(fǎng)問(wèn)及信息交換協(xié)議的綜合應(yīng)用。

?數(shù)據(jù)庫(kù)接口方式

通用的數(shù)據(jù)獲取接口。包括：各類(lèi)數(shù)據(jù)庫(kù)產(chǎn)品所自帶的原生數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)接口協(xié)議，如OCI，以及標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)接口協(xié)議，如：JDBC、ODBC等。通過(guò)此類(lèi)接口除了可以直接獲取所需的數(shù)據(jù)，也可以將其應(yīng)用在間接地返回訂閱數(shù)據(jù)的過(guò)程中（此情況下向數(shù)據(jù)訂閱者返回的是一組能夠查詢(xún)到所需數(shù)據(jù)的SQL，然后通過(guò)數(shù)據(jù)庫(kù)接口方式發(fā)SQL查詢(xún)）。

?實(shí)時(shí)數(shù)據(jù)共享方式

對(duì)于“實(shí)時(shí)”指標(biāo)及預(yù)J數(shù)據(jù)，需要考慮對(duì)外提供專(zhuān)門(mén)的實(shí)時(shí)數(shù)據(jù)共享及獲取接口。對(duì)于共享給告J與故障管理系統(tǒng)的“實(shí)時(shí)數(shù)據(jù)”。

（5）數(shù)據(jù)共享服務(wù)管理

數(shù)據(jù)共享服務(wù)管理功能包括安全管理、服務(wù)注冊(cè)、查找及路由，還有日志管理功能。

安全管理：服務(wù)認(rèn)證鑒權(quán)是用于鑒別服務(wù)請(qǐng)求方是否具有服務(wù)調(diào)用權(quán)限；數(shù)據(jù)交換安全是用于保證服務(wù)請(qǐng)求、響應(yīng)過(guò)程中的數(shù)據(jù)安全；權(quán)限管理是用于確定服務(wù)請(qǐng)求方可調(diào)用的服務(wù)權(quán)限；

注冊(cè)、查找和路由：提供服務(wù)的注冊(cè)、查找和路由管理功能；

日志管理：是用于記錄服務(wù)調(diào)用過(guò)程中產(chǎn)生的日志信息。

?安全管理

●認(rèn)證鑒權(quán)

認(rèn)證鑒權(quán)是服務(wù)提供方對(duì)服務(wù)請(qǐng)求方是否合法進(jìn)行的鑒別和確認(rèn)。通過(guò)認(rèn)證鑒權(quán)，可以使服務(wù)提供方確認(rèn)服務(wù)請(qǐng)求方的身份，確定是否有該服務(wù)的訪(fǎng)問(wèn)權(quán)限。

認(rèn)證鑒權(quán)包括兩個(gè)方面：

確定服務(wù)請(qǐng)求方是否有訪(fǎng)問(wèn)服務(wù)提供方所提供服務(wù)的功能權(quán)限；

對(duì)于有功能權(quán)限的服務(wù)請(qǐng)求方，還需要再確定其是否具有可訪(fǎng)問(wèn)的具體服務(wù)及相關(guān)數(shù)據(jù)范圍的權(quán)限。

認(rèn)證鑒權(quán)需提供如下功能：

在服務(wù)請(qǐng)求時(shí)，服務(wù)請(qǐng)求方要提供用戶(hù)名、密碼等校驗(yàn)信息。服務(wù)提供方針對(duì)校驗(yàn)信息進(jìn)行認(rèn)證，如果用戶(hù)名、密碼校驗(yàn)失敗，不處理請(qǐng)求消息，并返回失敗提示信息；

通過(guò)用戶(hù)名、密碼校驗(yàn)后，驗(yàn)證該用戶(hù)是否有請(qǐng)求該服務(wù)的功能權(quán)限。如果用戶(hù)沒(méi)有功能權(quán)限，不處理請(qǐng)求消息，并返回失敗提示信息；

通過(guò)功能權(quán)限校驗(yàn)后，根據(jù)該服務(wù)請(qǐng)求方可訪(fǎng)問(wèn)服務(wù)的數(shù)據(jù)范圍權(quán)限，處理請(qǐng)求消息，并返回響應(yīng)結(jié)果。

●權(quán)限管理

權(quán)限管理包括功能權(quán)限和數(shù)據(jù)范圍權(quán)限的管理。功能權(quán)限是指服務(wù)請(qǐng)求方是否能夠訪(fǎng)問(wèn)某一個(gè)服務(wù)。數(shù)據(jù)范圍權(quán)限是在允許服務(wù)請(qǐng)求方訪(fǎng)問(wèn)某一服務(wù)的基礎(chǔ)上控制可訪(fǎng)問(wèn)的數(shù)據(jù)范圍。對(duì)第三方應(yīng)用接入做權(quán)限控制，只允許那些被授權(quán)的第三方應(yīng)用訪(fǎng)問(wèn)系統(tǒng)。

●訪(fǎng)問(wèn)頻度管理

對(duì)第三方應(yīng)用接入訪(fǎng)問(wèn)的頻度管理，有效避免惡意攻擊，確保數(shù)據(jù)訪(fǎng)問(wèn)性能與安全。

●數(shù)據(jù)傳輸安全

在服務(wù)的請(qǐng)求和響應(yīng)過(guò)程中，需要通過(guò)網(wǎng)絡(luò)傳輸相關(guān)的數(shù)據(jù)。數(shù)據(jù)的交換需要進(jìn)行安全控制，可以采用如下安全技術(shù)手段：

密鑰管理：密鑰是一種基于密碼技術(shù)的安全機(jī)制。密鑰機(jī)制中除密碼的設(shè)計(jì)安全外，另一個(gè)重要的方面就是密鑰管理體制，包括密鑰的產(chǎn)生、分發(fā)、更換、存儲(chǔ)和銷(xiāo)毀等內(nèi)容；

數(shù)字簽名機(jī)制：數(shù)字簽名是基于非對(duì)稱(chēng)加密技術(shù)的安全機(jī)制。它為需要加密的對(duì)象提供兩類(lèi)密鑰：公鑰和私鑰，統(tǒng)一采用公鑰方式加密，采用私鑰方式解密；

加密機(jī)制：加密可提高數(shù)據(jù)或業(yè)務(wù)流量信息的機(jī)密性。通常有兩種形式的加密：物理層的群路加密和網(wǎng)絡(luò)層或應(yīng)用層的端到端加密。

對(duì)大數(shù)據(jù)量的傳輸安全，可以在數(shù)據(jù)打包的基礎(chǔ)上考慮整體的數(shù)字簽名，而不強(qiáng)制要求加密。

?服務(wù)注冊(cè)、查找及路由

●服務(wù)注冊(cè)、查找

服務(wù)注冊(cè)、查找是服務(wù)管理的基礎(chǔ)功能。

服務(wù)注冊(cè)用于發(fā)布服務(wù)，提供給服務(wù)請(qǐng)求方使用。服務(wù)查找是服務(wù)的請(qǐng)求方在服務(wù)注冊(cè)信息中查找到相應(yīng)的服務(wù)，并根據(jù)查找到的服務(wù)綁定信息，調(diào)用該服務(wù)。對(duì)于沒(méi)有數(shù)據(jù)共享總線(xiàn)的省份，服務(wù)注冊(cè)功能也是數(shù)據(jù)地圖子模塊功能的一部分。

●服務(wù)路由

服務(wù)路由是將服務(wù)請(qǐng)求方的請(qǐng)求按照一定的路由規(guī)則發(fā)送到相應(yīng)的服務(wù)提供方。而服務(wù)路由按照代理服務(wù)和目標(biāo)服務(wù)的關(guān)系分為1對(duì)1模式和1對(duì)N模式：1對(duì)1模式：是指1個(gè)代理服務(wù)路由到1個(gè)目標(biāo)服務(wù)。服務(wù)請(qǐng)求方訪(fǎng)問(wèn)代理服務(wù)，代理服務(wù)直接路由至目標(biāo)服務(wù)提供數(shù)據(jù)；

1對(duì)N模式：是指1個(gè)代理服務(wù)路由到N個(gè)目標(biāo)服務(wù)。服務(wù)請(qǐng)求方訪(fǎng)問(wèn)代理服務(wù)，代理服務(wù)通過(guò)路由轉(zhuǎn)發(fā)規(guī)則，路由至合適的目標(biāo)服務(wù)提供數(shù)據(jù)。

?日志管理

日志管理記錄服務(wù)運(yùn)行過(guò)程中的重要事件，需要長(zhǎng)期保留并定期備份。日志主要包含如下內(nèi)容：

服務(wù)的注冊(cè)信息：服務(wù)注冊(cè)者信息、服務(wù)標(biāo)識(shí)、服務(wù)地址、服務(wù)描述、服務(wù)名稱(chēng)和注冊(cè)時(shí)間等；

服務(wù)訪(fǎng)問(wèn)信息：服務(wù)請(qǐng)求方身份信息、請(qǐng)求IP、服務(wù)標(biāo)識(shí)、服務(wù)地址、服務(wù)名稱(chēng)、

數(shù)據(jù)范圍、請(qǐng)求時(shí)間和響應(yīng)時(shí)間等；

服務(wù)的運(yùn)行信息：服務(wù)啟動(dòng)時(shí)間、服務(wù)停止時(shí)間、服務(wù)運(yùn)行狀態(tài)、服務(wù)地址和服務(wù)停止原因等。

（6）數(shù)據(jù)訪(fǎng)問(wèn)接入控制

?會(huì)話(huà)管理

對(duì)訪(fǎng)問(wèn)的接入連接管理，包括：對(duì)接入時(shí)長(zhǎng)、計(jì)算資源及存儲(chǔ)資源進(jìn)行管理。

?訪(fǎng)問(wèn)優(yōu)先級(jí)管理

通過(guò)設(shè)置不同的隊(duì)列，保證請(qǐng)求的不同優(yōu)先級(jí)順序，以保證系統(tǒng)在高負(fù)荷情況下的關(guān)鍵請(qǐng)求的具有最小的處理時(shí)延。

?查詢(xún)請(qǐng)求過(guò)濾

完成查詢(xún)請(qǐng)求內(nèi)容的特定處理，例如：采用HTTP的壓縮以減小網(wǎng)絡(luò)流量等。

（7）數(shù)據(jù)訪(fǎng)問(wèn)負(fù)荷控制

?負(fù)載均衡

采用服務(wù)負(fù)荷均衡技術(shù)是為了提升服務(wù)的穩(wěn)定性，減少訪(fǎng)問(wèn)的壓力。服務(wù)負(fù)荷分?jǐn)偪梢圆捎眉悍绞綄?shí)現(xiàn)。數(shù)據(jù)服務(wù)集群的重點(diǎn)在于服務(wù)的負(fù)載分?jǐn)偅ㄟ^(guò)集群技術(shù)提高數(shù)據(jù)服務(wù)的訪(fǎng)問(wèn)性能。負(fù)載分?jǐn)偸前沿?fù)載壓力根據(jù)某種算法合理分配到集群中的每一臺(tái)服務(wù)器上，以平衡每個(gè)集群節(jié)點(diǎn)的壓力。

?訪(fǎng)問(wèn)請(qǐng)求數(shù)據(jù)緩存管理

通過(guò)數(shù)據(jù)緩存，將訪(fǎng)問(wèn)熱點(diǎn)數(shù)據(jù)緩存在內(nèi)存中，以減輕二次訪(fǎng)問(wèn)對(duì)數(shù)據(jù)倉(cāng)庫(kù)帶來(lái)的查詢(xún)壓力。

?查詢(xún)成本控制

通過(guò)實(shí)現(xiàn)對(duì)查詢(xún)成本的預(yù)估計(jì)算，避免那些查詢(xún)壓力巨大的查詢(xún)請(qǐng)求給數(shù)據(jù)處理層各個(gè)存儲(chǔ)區(qū)域帶來(lái)的不必要的查詢(xún)壓力。按照負(fù)荷控制策略的定義，可以直接拒絕某些查詢(xún)請(qǐng)求。

4.3數(shù)據(jù)服務(wù)層計(jì)

XX大數(shù)據(jù)平臺(tái)對(duì)外發(fā)揮價(jià)值的核心是提供種類(lèi)豐富、類(lèi)型多樣的服務(wù)接口和服務(wù)能力。從服務(wù)類(lèi)型來(lái)看，可分為通用類(lèi)服務(wù)、研判類(lèi)服務(wù)和智能類(lèi)服務(wù)。

通用類(lèi)服務(wù)：在大數(shù)據(jù)平臺(tái)提供的數(shù)據(jù)資源基礎(chǔ)上，結(jié)合分布式計(jì)算、可視化分析和展現(xiàn)等技術(shù)，可實(shí)現(xiàn)綜合查詢(xún)、搜索引擎、數(shù)據(jù)比對(duì)、布控預(yù)J、分類(lèi)統(tǒng)計(jì)等常用功能，以及趨勢(shì)分析、異常分析、相關(guān)性分析等挖掘功能。

研判類(lèi)服務(wù)：基于大數(shù)據(jù)分析挖掘，實(shí)現(xiàn)各類(lèi)戰(zhàn)法集市、積分預(yù)J模型、全要素分析工具、社交網(wǎng)絡(luò)分析、隱性重點(diǎn)人挖掘、治安態(tài)勢(shì)分析等綜合情報(bào)研判功能。

智能類(lèi)服務(wù)：綜合情報(bào)研判功能，實(shí)現(xiàn)案件多維分析、人流激增預(yù)J、犯罪預(yù)測(cè)模型、人員智能畫(huà)像、涉恐系數(shù)分析、人員親密度模型分析等功能。

4.3.1模型的應(yīng)用

4.3.2平臺(tái)基礎(chǔ)應(yīng)用

（1）大數(shù)據(jù)統(tǒng)一門(mén)戶(hù)

1.平臺(tái)門(mén)戶(hù)

2.元數(shù)據(jù)管理與統(tǒng)計(jì)

提供可視化的數(shù)據(jù)管理與統(tǒng)計(jì)界面，基于大數(shù)據(jù)平臺(tái)采集挖掘技術(shù)、主題分類(lèi)算法模型等技術(shù)，用戶(hù)可以多維度、可視化的快速了解大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)情況。

（2）數(shù)據(jù)分析看板

（3）可視化指揮調(diào)度

4.4數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)設(shè)計(jì)

圖5-13數(shù)據(jù)處理與存儲(chǔ)架構(gòu)

4.4.1大數(shù)據(jù)處理核心技術(shù)

圖5-14大數(shù)據(jù)處理核心技術(shù)

4.4.2數(shù)據(jù)存儲(chǔ)采用MPP與hadoop融合架構(gòu)

新型數(shù)據(jù)庫(kù)將逐步與Hadoop生態(tài)系統(tǒng)結(jié)合混搭使用，用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL和事務(wù)支持能力；用Hadoop實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。這樣可同時(shí)滿(mǎn)足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求。

4.5網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)

系統(tǒng)部署在公眾服務(wù)云中，所需云主機(jī)全部部署在業(yè)務(wù)網(wǎng)絡(luò)中，通過(guò)業(yè)務(wù)接入交換機(jī)向上級(jí)聯(lián)到業(yè)務(wù)核心交換機(jī)。

圖5-16系統(tǒng)網(wǎng)絡(luò)設(shè)計(jì)模型

4.6安全系統(tǒng)設(shè)計(jì)

系統(tǒng)具備完善的安全管控機(jī)制，主要體現(xiàn)在：

●系統(tǒng)滿(mǎn)足集團(tuán)各項(xiàng)安全合規(guī)性規(guī)范要求；此外系統(tǒng)仍滿(mǎn)足SOX法案對(duì)系統(tǒng)安全

的各項(xiàng)要求與約束。

●從系統(tǒng)功能上考慮，提供安全監(jiān)控、口令管理、登陸控制與日志審計(jì)等多項(xiàng)安

全管控功能。

●此外，在網(wǎng)絡(luò)安全、敏感數(shù)據(jù)安全與軟件自身安全方面具備完成的保障方案與

流程。

4.6.1系統(tǒng)安全滿(mǎn)足情況

LTE信令分析平臺(tái)滿(mǎn)足情況：

網(wǎng)絡(luò)存儲(chǔ)業(yè)務(wù)接入業(yè)務(wù)接入

用戶(hù)

防火墻

互聯(lián)網(wǎng)防火墻

（1）系統(tǒng)提供密碼策略設(shè)置功能；

（2）系統(tǒng)中密碼密文存儲(chǔ)，配置文件中涉及密碼的必須是密文；

（3）系統(tǒng)間數(shù)據(jù)加密傳輸；

（4）系統(tǒng)維護(hù)賬號(hào)和預(yù)設(shè)賬號(hào)分開(kāi)，預(yù)設(shè)賬號(hào)（包括：應(yīng)用程序使用的賬號(hào)）不能被維護(hù)使用；

（5）訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)的賬號(hào)采用最小權(quán)限原則設(shè)置；

（6）避免通過(guò)手工批處理進(jìn)行業(yè)務(wù)維護(hù)；

（7）避免通過(guò)直接操作數(shù)據(jù)庫(kù)進(jìn)行局?jǐn)?shù)據(jù)制作；

（8）避免采用手工方式進(jìn)行數(shù)據(jù)統(tǒng)計(jì)；

（9）滿(mǎn)足操作維護(hù)日志審計(jì)，能夠?qū)Σ僮飨到y(tǒng)、數(shù)據(jù)庫(kù)、應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備的操作維護(hù)日志進(jìn)行全面審計(jì)；

（10）滿(mǎn)足日志的可過(guò)濾審計(jì)和統(tǒng)計(jì)分析；

（11）滿(mǎn)足數(shù)據(jù)庫(kù)自動(dòng)備份、全量及增量備份，操作系統(tǒng)和應(yīng)用系統(tǒng)手工備份，日志的備份、關(guān)鍵業(yè)務(wù)數(shù)據(jù)備份；

（12）要求單獨(dú)部署測(cè)試環(huán)境，軟件新版本、補(bǔ)丁在測(cè)試環(huán)境中測(cè)試，測(cè)試通過(guò)后，部署于運(yùn)行環(huán)境中。

4.6.2系統(tǒng)安全配置管理功能

1)安全監(jiān)控

我方解決方案中提供的主機(jī)服務(wù)器和各種應(yīng)用服務(wù)器會(huì)給予專(zhuān)門(mén)的保護(hù)，防止未授權(quán)用戶(hù)的非法訪(fǎng)問(wèn)，其具體能力如下：

通過(guò)良好的登錄活動(dòng)記錄和報(bào)告、用戶(hù)和網(wǎng)絡(luò)活動(dòng)的周期檢查，防止未被授權(quán)使用系統(tǒng)的用戶(hù)進(jìn)入系統(tǒng)；

按照用戶(hù)、組模式對(duì)操作系統(tǒng)的訪(fǎng)問(wèn)進(jìn)行控制，防止已授權(quán)或未授權(quán)的用戶(hù)存取相互的重要信息。不同部門(mén)或類(lèi)型的用戶(hù)只能訪(fǎng)問(wèn)相應(yīng)的文件或應(yīng)用，可以采取授權(quán)

方式限定用戶(hù)對(duì)主機(jī)的訪(fǎng)問(wèn)范圍；

防止惡意用戶(hù)占用過(guò)多系統(tǒng)資源（CPU、內(nèi)存、文件系統(tǒng)等），從而防止因無(wú)系統(tǒng)資源導(dǎo)致系統(tǒng)對(duì)其它用戶(hù)的不可用的事件發(fā)生；

對(duì)主機(jī)的安全事件進(jìn)行詳細(xì)的記錄，并根據(jù)需要隨時(shí)進(jìn)行查閱。應(yīng)提供完善的漏洞掃描手段，及時(shí)發(fā)現(xiàn)系統(tǒng)的安全隱患，并據(jù)此提供必要的解決方案；

周期性進(jìn)行操作系統(tǒng)備份，能夠在系統(tǒng)崩潰后快速修復(fù)系統(tǒng)文件。

2)口令管理

我方解決方案中對(duì)各類(lèi)主機(jī)及應(yīng)用服務(wù)器系統(tǒng)登錄口令的設(shè)置、使用、保存及配置管理已達(dá)到以下能力，以確保系統(tǒng)對(duì)非法入侵的抵御能力。

提供的安全策略強(qiáng)制實(shí)現(xiàn)用戶(hù)口令復(fù)雜度和長(zhǎng)度安全規(guī)則，在此基礎(chǔ)上可設(shè)定口令的安全限制條件，禁止用戶(hù)使用一些易被猜中的口令，如：帳號(hào)名、單位名稱(chēng)等，關(guān)鍵字在系統(tǒng)中可配置。

主機(jī)系統(tǒng)的用戶(hù)口令不允許采用明文形式存放，從而防止用戶(hù)的口令不被任何人直接非法獲取。

系統(tǒng)提供限制口令有效天數(shù)的功能，可以強(qiáng)迫使用者在規(guī)定的時(shí)間間隔中必須變更口令，使口令被猜中的可能性降低。

3)登錄控制

管理人員可以通過(guò)安全的終端登錄程序訪(fǎng)問(wèn)系統(tǒng)主機(jī)環(huán)境，來(lái)完成系統(tǒng)配置和管理等相關(guān)工作。終端登錄程序能夠最大限度降低非法訪(fǎng)問(wèn)系統(tǒng)軟件的機(jī)率，登錄程序應(yīng)該最大限度地減少公開(kāi)的系統(tǒng)信息，避免為非法用戶(hù)提供方便。

●在登錄過(guò)程未成功時(shí)不顯示系統(tǒng)軟件的標(biāo)識(shí)；

●顯示一般性注意事項(xiàng)，提醒用戶(hù)只有合法用戶(hù)才能訪(fǎng)問(wèn)系統(tǒng)軟件；

●在登錄期間不提供幫助信息，以免為非法用戶(hù)提供方便；

●在所有數(shù)據(jù)輸入完畢之后才驗(yàn)證登錄信息，出錯(cuò)時(shí)不提示哪些數(shù)據(jù)錯(cuò)誤哪些數(shù)據(jù)正

確；

●限制允許進(jìn)行的登錄失敗次數(shù)（可設(shè)置為5次），并且能夠通過(guò)審計(jì)功能進(jìn)行記錄，

允許再次登錄前強(qiáng)制時(shí)延，斷開(kāi)數(shù)據(jù)鏈路連接；

●限制登錄程序允許的時(shí)間上限和下限，如果超過(guò)限制則中止登錄進(jìn)程；

●登錄完成后，顯示上次成功登錄時(shí)間和地址，以及登錄失敗的詳細(xì)信息；

●當(dāng)?shù)卿浕卦?huà)處于不工作狀態(tài)時(shí)，應(yīng)該在設(shè)定的超時(shí)時(shí)間后自動(dòng)斷開(kāi)登錄連接，以防

止未授權(quán)用戶(hù)的非法訪(fǎng)問(wèn)。終端登錄超時(shí)功能應(yīng)實(shí)現(xiàn)中止連接、關(guān)閉應(yīng)用和網(wǎng)絡(luò)會(huì)話(huà)的功能；

●在性能管理系統(tǒng)以外的高風(fēng)險(xiǎn)地域（比如公司無(wú)法監(jiān)測(cè)和進(jìn)行安全管理的外部區(qū)

域）的終端遠(yuǎn)程連接，或者服務(wù)于高風(fēng)險(xiǎn)系統(tǒng)的終端，應(yīng)該限制連接時(shí)間以提高系統(tǒng)軟件的安全性，終端的連接時(shí)間應(yīng)在正常工作時(shí)間之內(nèi)；

4)日志審計(jì)

生成和保存詳細(xì)操作日志、登陸日志、任務(wù)操作日志記錄和系統(tǒng)錯(cuò)誤日志等信息的能力，所產(chǎn)生的日志能夠在運(yùn)營(yíng)商所部署的審計(jì)策略之下進(jìn)行有效的審計(jì)，審計(jì)日志應(yīng)保存3個(gè)月，包括：

?應(yīng)用系統(tǒng)日志：應(yīng)用系統(tǒng)具有完善的日志功能，能夠記錄系統(tǒng)異常情況及其他安全事件。應(yīng)用系統(tǒng)日志包括以下內(nèi)容：

●用戶(hù)登錄和退出的日期和具體時(shí)間及IP地址等信息；

●成功的和被拒絕的系統(tǒng)訪(fǎng)問(wèn)活動(dòng)的記錄；

●成功的和被拒絕的數(shù)據(jù)與其他資源的訪(fǎng)問(wèn)記錄；

●成功的和被拒絕的管理操作記錄。

?操作系統(tǒng)日志

●開(kāi)啟操作系統(tǒng)日志功能對(duì)系統(tǒng)日志進(jìn)行記錄；

●系統(tǒng)日志應(yīng)至少記錄以下內(nèi)容：對(duì)系統(tǒng)登錄進(jìn)行記錄，記錄登錄主機(jī)的IP地址、用戶(hù)名、時(shí)間等；記錄系統(tǒng)成功以及失敗的登錄事件；記錄系統(tǒng)事件。

系統(tǒng)必須提供一種機(jī)制審計(jì)與安全性相關(guān)的故障與沖突，其中包括：

?授權(quán)（Authorization）失?。翰铄e(cuò)通行字，無(wú)效的SNMP通信，無(wú)效令牌；

?對(duì)控制策略的違反：禁止的源路由，被過(guò)濾掉的目的地；

?授權(quán)通過(guò)：正確通行字，遠(yuǎn)程登錄帶內(nèi)訪(fǎng)問(wèn)，控制臺(tái)訪(fǎng)問(wèn)等。

?系統(tǒng)必須提供一種機(jī)制審計(jì)用于記錄并監(jiān)控設(shè)備配置信息的改變，記錄內(nèi)容包括登錄時(shí)間，帳號(hào)，實(shí)施的操作和時(shí)間等信息。系統(tǒng)應(yīng)支持“存在遠(yuǎn)端Server的操作審計(jì)功能”，即將系統(tǒng)上進(jìn)行的所有操作在遠(yuǎn)端Server上都進(jìn)行實(shí)時(shí)備份。

5)系統(tǒng)備份

在大數(shù)據(jù)量的應(yīng)用場(chǎng)景中，系統(tǒng)采用數(shù)據(jù)庫(kù)全量備份與增量備份相結(jié)合、庫(kù)內(nèi)數(shù)據(jù)備份與庫(kù)外文件備份相結(jié)合的方式，完整、及時(shí)、有效地備份數(shù)據(jù)內(nèi)容。

4.6.3系統(tǒng)無(wú)安全漏洞保障

1)網(wǎng)絡(luò)安全

?網(wǎng)絡(luò)配置安全

我方解決方案中通過(guò)防火墻（硬件防火墻）對(duì)進(jìn)入內(nèi)部網(wǎng)絡(luò)的數(shù)據(jù)包進(jìn)行掃描過(guò)濾，能夠根據(jù)用戶(hù)、IP地址、訪(fǎng)問(wèn)類(lèi)型等方式進(jìn)行訪(fǎng)問(wèn)規(guī)則限制，能夠?qū)ΤＲ?jiàn)的入侵行為進(jìn)行判斷并阻止，有條件的公司應(yīng)使用多個(gè)防火墻進(jìn)行集成。

提供地址翻譯功能，屏蔽網(wǎng)絡(luò)內(nèi)部細(xì)節(jié)，防止外部黑客利用IP探測(cè)技術(shù)發(fā)現(xiàn)內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)和服務(wù)器真實(shí)地址，從而實(shí)現(xiàn)有針對(duì)性的攻擊。

能夠?qū)W(wǎng)絡(luò)通訊進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)任何來(lái)自于網(wǎng)絡(luò)內(nèi)部或外部的黑客入侵或可疑的訪(fǎng)問(wèn)行為，并做到及時(shí)報(bào)J與阻斷。

?數(shù)據(jù)傳輸安全

我方解決方案中對(duì)各子網(wǎng)間或遠(yuǎn)程用戶(hù)傳輸中的數(shù)據(jù)進(jìn)行安全保護(hù)，利用認(rèn)證、校驗(yàn)、加密、等方式保證數(shù)據(jù)在網(wǎng)絡(luò)層的安全。

網(wǎng)絡(luò)層認(rèn)證報(bào)文的來(lái)源，防止攻擊者利用偽裝地址來(lái)發(fā)送報(bào)文；

網(wǎng)絡(luò)層保證數(shù)據(jù)報(bào)的完整性，報(bào)文在網(wǎng)絡(luò)中傳輸時(shí)沒(méi)有發(fā)生變化；

網(wǎng)絡(luò)層報(bào)文的內(nèi)容在傳輸過(guò)程中未被讀取，未授權(quán)方不能讀取報(bào)文的內(nèi)容；

網(wǎng)絡(luò)層認(rèn)證報(bào)文沒(méi)有重復(fù)，避免攻擊者通過(guò)重發(fā)截獲的認(rèn)證報(bào)文來(lái)干擾正常的通信，從而導(dǎo)致事務(wù)多次執(zhí)行，或是使依賴(lài)于被復(fù)制報(bào)文的上層應(yīng)用發(fā)生混亂情況。

?防病毒安全

由于系統(tǒng)中目前存在多種方式的連接，在各種途徑的數(shù)據(jù)交換中都可能含有病毒感染的隱患。對(duì)于這些存在的安全問(wèn)題，我方提供的安全方案通過(guò)有效的手段，對(duì)在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)及郵件進(jìn)行實(shí)時(shí)的監(jiān)視，對(duì)各種類(lèi)型的文件都可以進(jìn)行病毒的查殺工作，對(duì)遠(yuǎn)程子網(wǎng)中的服務(wù)器、工作站提供全面的病毒防范，自動(dòng)進(jìn)行病毒代碼庫(kù)的更新，對(duì)發(fā)現(xiàn)的病毒能夠在全網(wǎng)絡(luò)范圍內(nèi)進(jìn)行清除。

?生產(chǎn)環(huán)境與開(kāi)發(fā)測(cè)試環(huán)境分離

我方提供的安全方案通過(guò)構(gòu)建科學(xué)完善的系統(tǒng)環(huán)境及管理機(jī)制，對(duì)系統(tǒng)開(kāi)發(fā)、測(cè)試、上線(xiàn)各個(gè)環(huán)節(jié)采取安全的區(qū)隔及流程管理，保障系統(tǒng)生產(chǎn)環(huán)境的安全可靠及高效運(yùn)行。系統(tǒng)環(huán)境分為生產(chǎn)環(huán)境、開(kāi)發(fā)環(huán)境及測(cè)試環(huán)境，各個(gè)環(huán)境之間采取嚴(yán)格的分離管理，對(duì)原有功能的升級(jí)改造、原有功能下線(xiàn)及新增功能開(kāi)發(fā)，先在開(kāi)發(fā)、測(cè)試環(huán)境進(jìn)行相關(guān)的開(kāi)發(fā)測(cè)試工作，確保數(shù)據(jù)處理及應(yīng)用邏輯符合業(yè)務(wù)要求并能夠正確運(yùn)行之后，才在生產(chǎn)環(huán)境進(jìn)行上線(xiàn)部署。

在開(kāi)發(fā)、測(cè)試環(huán)境構(gòu)建與生產(chǎn)環(huán)境主體架構(gòu)相同的、與生產(chǎn)環(huán)境相互獨(dú)立的物理平臺(tái)。

2)敏感數(shù)據(jù)安全

為了保證系統(tǒng)的敏感數(shù)據(jù)安全，對(duì)敏感數(shù)據(jù)的導(dǎo)出進(jìn)行管理，實(shí)現(xiàn)敏感數(shù)據(jù)“不落地”，避免人工參與數(shù)據(jù)操作導(dǎo)致的數(shù)據(jù)泄漏。“不落地”是指數(shù)據(jù)在使用過(guò)程中不下載或者保存在個(gè)人PC機(jī)、手提電腦、U盤(pán)等個(gè)人存儲(chǔ)設(shè)備上。

感數(shù)據(jù)導(dǎo)出管理實(shí)現(xiàn)方案：

圖5-17敏感數(shù)據(jù)不落地管理實(shí)現(xiàn)圖

敏感數(shù)據(jù)導(dǎo)出主要是系統(tǒng)以系統(tǒng)控制方式或者以人工參與方式對(duì)系統(tǒng)的敏感數(shù)據(jù)進(jìn)行導(dǎo)出。

系統(tǒng)控制方式：

針對(duì)外部系統(tǒng)（如專(zhuān)業(yè)網(wǎng)管、監(jiān)控與告J管理系統(tǒng)、資源管理系統(tǒng)、CRM、BOSS、客服營(yíng)銷(xiāo)系統(tǒng)等系統(tǒng)）對(duì)性能管理系統(tǒng)固定的數(shù)據(jù)需求，建立“互動(dòng)接口”，實(shí)現(xiàn)性能管理系統(tǒng)的目標(biāo)數(shù)據(jù)傳遞到其它系統(tǒng)中執(zhí)行分析、營(yíng)銷(xiāo)、管控等活動(dòng)。可以通過(guò)文件接口等方式進(jìn)行交互。

人工參與方式：

通過(guò)人工參與方式，實(shí)現(xiàn)臨時(shí)的數(shù)據(jù)需求而實(shí)現(xiàn)管理方式。用戶(hù)可以通過(guò)“文件服務(wù)器”從性能管理系統(tǒng)下載數(shù)據(jù)到該服務(wù)器上；能夠?qū)ο螺d的數(shù)據(jù)文件進(jìn)行篩選、修改、等操作，并且以人工方式到外部系統(tǒng)中。

文件操作服務(wù)器是類(lèi)似于遠(yuǎn)程桌面類(lèi)型的服務(wù)器。用戶(hù)可以通過(guò)遠(yuǎn)程登錄該服務(wù)器登錄各類(lèi)外部系統(tǒng)；并且能夠通過(guò)登錄實(shí)現(xiàn)查詢(xún)、上傳、下載等功能。該服務(wù)器可以安裝各種處理文件的軟件，例如Excel、FoxPro等軟件。但是該服務(wù)器必須有日志進(jìn)行記錄用戶(hù)操作過(guò)程，禁止提供文件下載到個(gè)人存儲(chǔ)設(shè)備上。有條件的省市可以實(shí)現(xiàn)在性能管理系統(tǒng)下載敏感數(shù)據(jù)時(shí)，下載的文件直接發(fā)送到“文件操作服務(wù)器”上的該用戶(hù)帳戶(hù)中，用戶(hù)通過(guò)登錄文件服務(wù)器實(shí)現(xiàn)操作。

從管理角度，我方解決方案中對(duì)敏感數(shù)據(jù)導(dǎo)出具體如下：

系統(tǒng)控制方式導(dǎo)出的敏感數(shù)據(jù)，對(duì)接外部系統(tǒng)以“系統(tǒng)接口”方法實(shí)現(xiàn)數(shù)據(jù)對(duì)接。在此期間保證數(shù)據(jù)安全，不下載或者保存在個(gè)人PC機(jī)、手提電腦、U盤(pán)等個(gè)人存儲(chǔ)設(shè)備上；

通過(guò)人工參與方式導(dǎo)出的敏感數(shù)據(jù)，通過(guò)相關(guān)部門(mén)的審核才能下載或者保存在個(gè)人PC機(jī)、手提電腦、U盤(pán)等個(gè)人存儲(chǔ)設(shè)備上。

4.6.4軟件自身安全

（1）WEB站點(diǎn)安全

我方提供的產(chǎn)品不使用common、login、system等默認(rèn)登錄頁(yè)名稱(chēng)，嚴(yán)格限制口令明文口令，避免站點(diǎn)應(yīng)用的用戶(hù)、主機(jī)、DB等口令信息存儲(chǔ)明文保存在配置文件、代碼或數(shù)據(jù)庫(kù)中，具體已達(dá)到以下能力：

杜絕跨站腳本弱點(diǎn)與跨站偽造請(qǐng)求?？缯灸_本攻擊（XSS）。是指利用網(wǎng)站漏洞從用戶(hù)那里惡意盜取信息。用戶(hù)在瀏覽網(wǎng)站、使用即時(shí)通訊軟件、甚至在閱讀電子郵件時(shí)，通常會(huì)點(diǎn)擊其中的鏈接。攻擊者通過(guò)在鏈接或者表單中插入惡意代碼，就能夠盜取用戶(hù)信息。攻擊者通常會(huì)用十六進(jìn)制（或其他編碼方式）將鏈接編碼，以免用戶(hù)懷疑它的合法性。網(wǎng)站在接收到包含惡意代碼的請(qǐng)求之后會(huì)產(chǎn)成一個(gè)包含惡意代碼的頁(yè)面，而這個(gè)頁(yè)面看起來(lái)就像是那個(gè)網(wǎng)站應(yīng)當(dāng)生成的合法頁(yè)面一樣。即跨站偽造請(qǐng)求（CSRF），是偽造客戶(hù)端請(qǐng)求的一種攻擊，英文全稱(chēng)是CrossSiteRequestForgery。攻擊者可偽造用戶(hù)請(qǐng)求進(jìn)行操作。

杜絕泄露站點(diǎn)實(shí)際路徑，避免通過(guò)頁(yè)面右擊屬性、輸入錯(cuò)誤參數(shù)報(bào)錯(cuò)等操作而暴露實(shí)際文件路徑。

杜絕IIS上傳組件漏洞。手工上傳文本文件等應(yīng)用的IIS上傳組件本身就存在較大風(fēng)險(xiǎn)漏洞。攻擊者可以上傳類(lèi)似“aa.asp;.xls”文件，上傳組件檢查后綴名為.xls就認(rèn)為是.xls文件，而IIS內(nèi)部解析時(shí)卻會(huì)截取“;”前的內(nèi)容為文件名，實(shí)際上傳文件就成了aa.asp，攻擊者就可以利用IIS上傳組件的這個(gè)本身漏洞隨意上傳木馬腳本，進(jìn)而可以以匿名訪(fǎng)問(wèn)用戶(hù)（WebLogin）的身份來(lái)控制站點(diǎn)服務(wù)器主機(jī)。

杜絕URL跳轉(zhuǎn)限制被釣魚(yú)操作，針對(duì)站點(diǎn)的URL跳轉(zhuǎn)嚴(yán)格限制，以避免被釣魚(yú)。

（2）編碼規(guī)范化

我方提供的產(chǎn)品不用常規(guī)編碼工具自動(dòng)生成的默認(rèn)目錄名稱(chēng)或文件名，如SYTEM、LOGIN、COMMON等名稱(chēng)，對(duì)用戶(hù)輸入和URL進(jìn)行過(guò)濾，將一些敏感字符進(jìn)行轉(zhuǎn)義（例如Script、等）進(jìn)行檢查過(guò)濾。表單提交操作中，限制用戶(hù)提交的數(shù)據(jù)長(zhǎng)度。關(guān)鍵動(dòng)作使用POST方法提交，并增加時(shí)間戳或驗(yàn)證碼。

（3）軟件正版化

我方提供的解決方案主機(jī)操作系統(tǒng)為正版操作系統(tǒng)，系統(tǒng)補(bǔ)丁包更新延時(shí)不超過(guò)三個(gè)月。系統(tǒng)運(yùn)行或維護(hù)所應(yīng)用的第三方軟件全部為正版軟件或開(kāi)源軟件。

4.6.5性能和可靠性

（1）可靠性要求

系統(tǒng)保證7×24小時(shí)不間斷運(yùn)行，系統(tǒng)硬件構(gòu)成具有冗余等安全措施。設(shè)備的MTBF（MeanTimeBetweenFailure，平均故障間隔時(shí)間）應(yīng)小于或等于每年50分鐘內(nèi)。每年每臺(tái)設(shè)備故障率不超過(guò)2%。設(shè)備具有避免單點(diǎn)失效的功能，從而保證系統(tǒng)的可靠度不低于99.999%，要求某一個(gè)設(shè)備的宕機(jī)不影響業(yè)務(wù)的運(yùn)行。具體可靠性措施如下：

●系統(tǒng)能夠避免單點(diǎn)失效，即某臺(tái)設(shè)備宕機(jī)不會(huì)影響到整個(gè)業(yè)務(wù)的運(yùn)行

●系統(tǒng)的系統(tǒng)實(shí)現(xiàn)陣列級(jí)RAID備份

●系統(tǒng)提供關(guān)鍵部件的冗余能力

●系統(tǒng)設(shè)計(jì)壽命大于10年

●系統(tǒng)的硬件與軟件相互配合，提供對(duì)系統(tǒng)故障的管理能力

●系統(tǒng)可靠、穩(wěn)定，平均故障時(shí)間間隔不低于5000h，故障平均修復(fù)時(shí)間不高于

1h。硬件設(shè)備有較高的可靠性和容錯(cuò)能力

●系統(tǒng)可監(jiān)控各主機(jī)運(yùn)行情況和數(shù)據(jù)處理情況，提前預(yù)J系統(tǒng)故障，降低系統(tǒng)故

障率。

●系統(tǒng)具備壓力緩沖能力，可以在一定時(shí)間內(nèi)承受突發(fā)的超負(fù)荷的請(qǐng)求。

●系統(tǒng)具備動(dòng)態(tài)調(diào)配集群資源的能力，支持在物理和邏輯上隔離各種任務(wù)所占用

的資源。

（2）可擴(kuò)展性

系統(tǒng)具有部署靈活性與系統(tǒng)可擴(kuò)展性，方便擴(kuò)展設(shè)備容量和提升設(shè)備性能，系統(tǒng)能平滑升級(jí)。采用開(kāi)放體系的硬件和基礎(chǔ)軟件平臺(tái)；所應(yīng)用的軟硬件能夠適應(yīng)2-3年內(nèi)網(wǎng)絡(luò)擴(kuò)容的需求。硬件系統(tǒng)采用模塊結(jié)構(gòu)，以保證系統(tǒng)內(nèi)存、CPU及儲(chǔ)存容量的擴(kuò)展；硬件配置的升級(jí)不會(huì)引起應(yīng)用級(jí)軟件的修改和開(kāi)發(fā)；應(yīng)用軟件的結(jié)構(gòu)應(yīng)能保證功能的擴(kuò)展。

為了適應(yīng)系統(tǒng)的容量增加，硬件設(shè)備應(yīng)具有較強(qiáng)的擴(kuò)展能