智慧交通云平臺建設(shè)方案資料

1、 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 系統(tǒng)總體設(shè)計1 HYPERLINK l bookmark2 o Current Document 云計算系統(tǒng)設(shè)計方案概述1系統(tǒng)基本功能1 HYPERLINK l bookmark4 o Current Document 主要設(shè)計思想和設(shè)計目標(biāo)、設(shè)計原則1 HYPERLINK l bookmark6 o Current Document 智慧交通云平臺的云計算解決方案2 HYPERLINK l bookmark8 o Current Document 系統(tǒng)的主要技術(shù)特點3 HYPERL

2、INK l bookmark10 o Current Document 系統(tǒng)總體構(gòu)架3 HYPERLINK l bookmark12 o Current Document 系統(tǒng)基本組成與構(gòu)架3 HYPERLINK l bookmark14 o Current Document 系統(tǒng)功能構(gòu)架4 HYPERLINK l bookmark16 o Current Document 系統(tǒng)總體構(gòu)架與功能模塊7 HYPERLINK l bookmark18 o Current Document 系統(tǒng)基本功能與處理方案9 HYPERLINK l bookmark20 o Current Document 交

3、管數(shù)據(jù)入庫功能與處理方案9 HYPERLINK l bookmark22 o Current Document 數(shù)據(jù)存儲功能與處理方案 10 HYPERLINK l bookmark24 o Current Document 查詢分析功能與處理方案 12 HYPERLINK l bookmark26 o Current Document 系統(tǒng)互聯(lián)與管理 13 HYPERLINK l bookmark28 o Current Document 組網(wǎng)方案 13網(wǎng)絡(luò)管理 14系統(tǒng)安全 15 HYPERLINK l bookmark38 o Current Document 系統(tǒng)可靠性與擴展性 16

4、HYPERLINK l bookmark40 o Current Document 系統(tǒng)可靠性 16 HYPERLINK l bookmark42 o Current Document 系統(tǒng)擴展性 18 HYPERLINK l bookmark44 o Current Document 系統(tǒng)設(shè)計性能 19 HYPERLINK l bookmark46 o Current Document 交管數(shù)據(jù)流量處理能力 19 HYPERLINK l bookmark48 o Current Document 數(shù)據(jù)存儲能力20查詢分析計算性能 21定制開發(fā)方案 21 HYPERLINK l bookmar

5、k50 o Current Document 系統(tǒng)設(shè)計實施與關(guān)鍵技術(shù)方法 24 HYPERLINK l bookmark52 o Current Document 系統(tǒng)平臺 24系統(tǒng)規(guī)格26 HYPERLINK l bookmark54 o Current Document 數(shù)據(jù)處理流程27 HYPERLINK l bookmark56 o Current Document 數(shù)據(jù)存儲系統(tǒng) 28 HYPERLINK l bookmark58 o Current Document 海量數(shù)據(jù)分布式數(shù)據(jù)存儲構(gòu)架 28 HYPERLINK l bookmark60 o Current Document

6、適應(yīng)應(yīng)用需求的混合存儲策略 30 HYPERLINK l bookmark62 o Current Document HDFS數(shù)據(jù)存儲 31 HYPERLINK l bookmark64 o Current Document HBase數(shù)據(jù)存儲 34 HYPERLINK l bookmark66 o Current Document Database 數(shù)據(jù)存儲 36 HYPERLINK l bookmark68 o Current Document 數(shù)據(jù)存儲的可靠性 38 HYPERLINK l bookmark70 o Current Document 數(shù)據(jù)壓縮 39 HYPERLINK l

7、 bookmark72 o Current Document 數(shù)據(jù)實時處理、實時查詢系統(tǒng) 40 HYPERLINK l bookmark74 o Current Document 數(shù)據(jù)立方(DataCube) 41 HYPERLINK l bookmark76 o Current Document 任務(wù)調(diào)度器(JobKeeper) 42 HYPERLINK l bookmark78 o Current Document cProc數(shù)據(jù)處理 44 HYPERLINK l bookmark80 o Current Document 交管數(shù)據(jù)處理流程 46 HYPERLINK l bookmark8

8、2 o Current Document 交管數(shù)據(jù)處理步驟47 HYPERLINK l bookmark84 o Current Document 交管數(shù)據(jù)處理集群的可靠性與負(fù)載均衡設(shè)計 48 HYPERLINK l bookmark86 o Current Document 負(fù)載均衡處理機的單點失效容錯處理 48 HYPERLINK l bookmark88 o Current Document 查詢處理機的單點失效容錯處理51 HYPERLINK l bookmark90 o Current Document 計算與存儲集群的可靠性與負(fù)載均衡設(shè)計 52 HYPERLINK l bookma

9、rk92 o Current Document 計算與存儲集群Master 單點失效容錯處理52 HYPERLINK l bookmark94 o Current Document 計算與存儲集群的負(fù)載均衡處理 58 HYPERLINK l bookmark96 o Current Document HDFS的可靠性設(shè)計 61HBase可靠性設(shè)計 63 HYPERLINK l bookmark98 o Current Document MapReduce 計算可靠性設(shè)計 65 HYPERLINK l bookmark100 o Current Document 查詢統(tǒng)計計算可靠性與負(fù)載均衡設(shè)計

10、67 HYPERLINK l bookmark102 o Current Document 基于 Zookeeper 的單點失效和負(fù)載均衡設(shè)計67 HYPERLINK l bookmark104 o Current Document 系統(tǒng)安全性設(shè)計 69 HYPERLINK l bookmark106 o Current Document 安全保障體系框架 69 HYPERLINK l bookmark108 o Current Document 云計算平臺的多級信任保護 71 HYPERLINK l bookmark110 o Current Document 基于多級信任保護的訪問控制 7

11、5 HYPERLINK l bookmark112 o Current Document 云平臺安全審計 77云計算綜合安全網(wǎng)關(guān) 80圖表1智慧交通云平臺云計算解決方案 2圖表3智慧交通云平臺總體構(gòu)架與功能模塊圖 7圖表4智慧交通云平臺架構(gòu) 9圖表5數(shù)據(jù)存儲處理架構(gòu) 11圖表6交管數(shù)據(jù)接入 12圖表7 組網(wǎng)方案 13圖表8分布式文件存儲系統(tǒng)吞吐量指標(biāo) 20圖表10數(shù)據(jù)匯總上報處理流程 27圖表11 實時數(shù)據(jù)入庫流程 28分布式計算流程 29Hadoop 結(jié)構(gòu) 30Hdfs 結(jié)構(gòu) 33HDFS Namenode、 DataNode 和客戶端們之間的交互 34HDFS數(shù)據(jù)壓縮與組織 40負(fù)載均衡機

12、分布圖 48負(fù)載均衡機宕機預(yù)案 49Master 節(jié)點宕機預(yù)案 50查詢處理單點失效容錯處理 51Master 單點失效容錯處理 52AvatarNode0 以Pimary 啟動過程 54AvatarNode1 以Standby 啟動過程 55DataNode 啟動過程 55AvatarNode0 宕機后的狀態(tài) 56AvatarNode1 切換為 Primary 過程 56AvatarNode0 重啟過程 57AvatarNode 啟動切換流程圖 58Avatar 體系架構(gòu)圖 61HBase系統(tǒng)架構(gòu) 63作業(yè)提交 66JobTracker0宕機 66作業(yè)注銷 67Zookeeper 基本工作結(jié)

13、構(gòu)圖 67基于 Zookeeper 的查詢分析計算單點失效和 69基于深度防護戰(zhàn)略的IATF模型 69云部署模型的實現(xiàn) 70多級信任保護 71基于可信第三方的平臺認(rèn)證 72主要因素平臺證書 72云存儲安全子系統(tǒng)接口關(guān)系圖 75基于多級信任保護的多級訪問控制流程 76數(shù)據(jù)安全交換平臺 76云存儲安全審計體系結(jié)構(gòu) 78安全日志審計系統(tǒng)結(jié)構(gòu)圖 79Cloud-USG三種部署模式 82系統(tǒng)總體設(shè)計 / 892015-9-9系統(tǒng)總體設(shè)計云計算系統(tǒng)設(shè)計方案概述系統(tǒng)基本功能按照全省公安機關(guān)信息化建設(shè)總體規(guī)劃，為實現(xiàn)對重點車輛的自動比對和動態(tài)管控、 對異常車輛行蹤的自動研判預(yù)警、對特定車輛行車軌跡的自動生成、

14、對重要節(jié)點道路交通信息的遠(yuǎn)程再現(xiàn)、對基層單位和執(zhí)勤民警的勤務(wù)實施管理等建設(shè)目標(biāo)，為交通管理、治安管控、偵查破案、巡邏防范、反恐處突等各項公安工作提供服務(wù)保障。系統(tǒng)的基本功能和性能如下：海量數(shù)據(jù)存儲能夠?qū)Π賰|級的海量交通監(jiān)控數(shù)據(jù)進(jìn)行存儲，保存時間為2 年。海量數(shù)據(jù)實時處理、實時入庫、生成索引能夠?qū)Π賰|級的海量交通監(jiān)控數(shù)據(jù)進(jìn)行實時處理，能夠處理每天500 萬條記錄，能夠?qū)崟r處理約60 條 / 秒的實時數(shù)據(jù)流量。百億級數(shù)據(jù)秒級查詢能力、秒級實時業(yè)務(wù)響應(yīng)高效實時數(shù)據(jù)查詢架構(gòu)，提供秒級響應(yīng)時間，1 天的記錄能在5 秒鐘內(nèi)查詢出來，一周記錄能在15 秒內(nèi)查詢出來。主要設(shè)計思想和設(shè)計目標(biāo)、設(shè)計原則設(shè)計思想：

15、將海量數(shù)據(jù)分解到由大量X86架構(gòu)計算機構(gòu)成的低成本云計算平臺上進(jìn)行實時處理，依靠分布式云計算軟件進(jìn)行容錯，從而提升智慧交通云平臺海量數(shù)據(jù)分析的實時性和性價比。設(shè)計目標(biāo)：利用大量性價比高的計算機，建立云計算平臺，能夠?qū)α髁砍^500w條 /天的原始交通監(jiān)控數(shù)據(jù)流進(jìn)行實時處理。系統(tǒng)具有可動態(tài)可伸縮性、高度容錯性和響應(yīng)實時性，達(dá)到較之傳統(tǒng)方案有一個數(shù)據(jù)量級的性能價格比提升。設(shè)計原則：（ 1）前瞻性技術(shù)與實際應(yīng)用環(huán)境相結(jié)合本項目是既是先進(jìn)技術(shù)應(yīng)用示范項目，又是工程實施型項目。把握技術(shù)正確性和先進(jìn)性是前提，但是前瞻性技術(shù)實施必須在云計算平臺的實際應(yīng)用環(huán)境和實際監(jiān)控流量的基礎(chǔ)上進(jìn)行，必須結(jié)合云計算平臺的實

16、際情況進(jìn)行研究和開發(fā)，只有與實際應(yīng)用環(huán)境相結(jié)合才有實際應(yīng)用價值。（ 2）學(xué)習(xí)借鑒國外先進(jìn)技術(shù)與自主創(chuàng)新相結(jié)合在云計算平臺用于超大規(guī)模數(shù)據(jù)處理方面，國內(nèi)外幾乎是在一個起跑線上；但在關(guān)鍵技術(shù)研究及既往的技術(shù)積累方面，國外一些大公司有著明顯的優(yōu)勢。同時， 智慧交通云平臺所將要面對的交通監(jiān)控數(shù)據(jù)流高達(dá)500w條 / 天， 是一個世界級的云計算應(yīng)用。我們將積極學(xué)習(xí)借鑒國外先進(jìn)的云計算技術(shù)，同時與自主創(chuàng)新相結(jié)合， 形成功能強大、性能卓越的能夠滿足實際應(yīng)用環(huán)境需求的云計算數(shù)據(jù)處理和分析平臺。（ 3）遵循公安320 工程相關(guān)標(biāo)準(zhǔn)規(guī)范本項目的設(shè)計將嚴(yán)格遵循公安320 工程相關(guān)標(biāo)準(zhǔn)規(guī)范。智慧交通云平臺的云計算解決

17、方案在公安網(wǎng)內(nèi)部，構(gòu)建若干X86架構(gòu)計算 /存儲節(jié)點，虛擬出海量存儲空間、處理能力和數(shù)據(jù)管理能力。同時研制面向應(yīng)用的分布式數(shù)據(jù)處理軟件，滿足數(shù)據(jù)匯總、數(shù)據(jù)上報、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計算和數(shù)據(jù)管理等應(yīng)用需求。1 智慧交通云平臺云計算解決方案系統(tǒng)的主要技術(shù)特點實時性： 平臺在高效率并行分布式軟件的支撐下，可以實時完成交管數(shù)據(jù)入庫、分析和管理工作，如數(shù)據(jù)匯總、數(shù)據(jù)上報、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計算和數(shù)據(jù)管理等。海量數(shù)據(jù)入庫不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本都在秒級完成，具有前所未有的高效性。高可靠性 ： 基于對云計算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計算平臺易出現(xiàn)的單點故障問題

18、。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而且不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。包括查詢?nèi)蝿?wù)分配節(jié)點、計算任務(wù)分配節(jié)點、HDFS元數(shù)據(jù)節(jié)點、HDFS數(shù)據(jù)存儲節(jié)點、MapReduce Job Tracker 節(jié)點、 MapReduceWorker 節(jié)點、 HBase管理節(jié)點、HBase Region 節(jié)點等?？缮炜s性：在不停機的情況下，增加節(jié)點，平臺的處理能力自動增加；減少節(jié)點，平臺的處理能力自動縮減。這樣，可以做到與云計算平臺的無縫對接，根據(jù)計算和存儲任務(wù)動態(tài)地申請或釋放資源，最大限度地提高資源利用率。高性價比：采用X86 架構(gòu)廉價計算機構(gòu)建云計算平臺，用軟件容錯替代硬件容錯， 大大節(jié)省成本。在目標(biāo)性能和

19、可靠性條件下，可比傳統(tǒng)的小型機加商用數(shù)據(jù)庫方案節(jié)省10 倍左右的成本。全業(yè)務(wù)支持：采用分布式數(shù)據(jù)庫模式，絕大部分海量數(shù)據(jù)存放于分布式平臺并進(jìn)行分布式處理，少量實時性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫中，可支撐各種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)智能分析業(yè)務(wù)。系統(tǒng)總體構(gòu)架系統(tǒng)基本組成與構(gòu)架智慧交通云平臺是一個處于交管數(shù)據(jù)采集與交管數(shù)據(jù)監(jiān)測應(yīng)用之間的系統(tǒng)。從系統(tǒng)基本組成與構(gòu)架上來看，該共享平臺由7 個主要部分組成：歷史數(shù)據(jù)匯總處理系統(tǒng)，上報數(shù)據(jù)上報系統(tǒng)，實時數(shù)據(jù)入庫系統(tǒng)，交管數(shù)據(jù)存儲系統(tǒng)，交管數(shù)據(jù)查詢分析應(yīng)用系統(tǒng)，數(shù)據(jù)管理系統(tǒng)以及系統(tǒng)管理。系統(tǒng)功能構(gòu)架智慧交通云平臺

20、需要提供的7 大主要功能描述如下。（ 1）歷史數(shù)據(jù)匯總處理系統(tǒng)歷史數(shù)據(jù)匯總處理主要負(fù)責(zé)把南京市6 個分散的數(shù)據(jù)中心的歷史數(shù)據(jù)，進(jìn)行讀取解析處理，并將處理后的歷史數(shù)據(jù)匯入一個統(tǒng)一的數(shù)據(jù)中心。在內(nèi)部處理模塊上，歷史數(shù)據(jù)匯總系統(tǒng)主要包括三個模塊：讀取模塊、解析模塊和匯總模塊。讀取模塊主要負(fù)責(zé)各個數(shù)據(jù)中心歷史數(shù)據(jù)的讀取處理，解析模塊主要負(fù)責(zé)把讀取到的歷史數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而匯總模塊主要負(fù)責(zé)把解析好的歷史數(shù)據(jù)上傳到統(tǒng)一的數(shù)據(jù)中心。在系統(tǒng)構(gòu)架上，為了滿足6 個分散的數(shù)據(jù)中心處理需要，需要在每一個數(shù)據(jù)中心處安裝一個數(shù)據(jù)匯總程序。（ 2）上報數(shù)據(jù)上報處理信系統(tǒng)上報數(shù)據(jù)上報處理負(fù)責(zé)把市數(shù)據(jù)中心的數(shù)據(jù)，按

21、照一定的需求（按時間段或一定的數(shù)據(jù)量），上報給省廳數(shù)據(jù)中心。在內(nèi)部處理模塊上, 上報數(shù)據(jù)上報系統(tǒng)主要包括三個模塊：讀取模塊、解析模塊和上報模塊。讀取模塊主要負(fù)責(zé)市數(shù)據(jù)中心需要上報數(shù)據(jù)的讀取處理，解析模塊主要負(fù)責(zé)把讀取到的數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而上報模塊主要負(fù)責(zé)把解析好的數(shù)據(jù)上傳到的省廳數(shù)據(jù)中心。在系統(tǒng)構(gòu)架上，為了滿足市數(shù)據(jù)中心處理需要，需要在市數(shù)據(jù)中心處安裝一個數(shù)據(jù)上報程序。而省廳數(shù)據(jù)中心需要提供數(shù)據(jù)上報的接口。（ 3）實時數(shù)據(jù)入庫系統(tǒng)實時數(shù)據(jù)入庫系統(tǒng)主要負(fù)責(zé)全市每個卡口產(chǎn)生的數(shù)據(jù)實時入庫。在內(nèi)部處理模塊上，實時數(shù)據(jù)入庫系統(tǒng)主要包括三個模塊：接受模塊、解析模塊和數(shù)據(jù)入庫模塊。接受模塊主要負(fù)

22、責(zé)接收每個卡口產(chǎn)生的數(shù)據(jù)流，解析模塊主要負(fù)責(zé)把接受到的數(shù)據(jù)流解析成合理的數(shù)據(jù)格式，而數(shù)據(jù)入庫模塊負(fù)責(zé)把解析好的數(shù)據(jù)加入到市數(shù)據(jù)中心。在系統(tǒng)架構(gòu)上，為了使每個卡口的數(shù)據(jù)能實時入庫市數(shù)據(jù)中心，需要在每一個負(fù)責(zé)接受卡口數(shù)據(jù)的工控機上安裝一個實時數(shù)據(jù)入庫系統(tǒng)。（ 4）交管數(shù)據(jù)存儲系統(tǒng)原始交管數(shù)據(jù)，將全部存儲在智慧交通云平臺的云存儲資源中。資源池提供兩種存儲資源：一種是結(jié)構(gòu)化數(shù)據(jù)存儲資源，用于存儲少量的接口中間數(shù)據(jù)；另一種是分布式文件系統(tǒng)，用于存儲海量的非結(jié)構(gòu)化數(shù)據(jù)。為了滿足和適應(yīng)數(shù)據(jù)量、數(shù)據(jù)特征和查詢處理的不同需求，將采用一種混搭式的數(shù)據(jù)存儲方案。對容量巨大、常規(guī)數(shù)據(jù)庫難以處理的數(shù)據(jù)，如交管數(shù)據(jù)，將主

23、要存儲在基于HDFS的分布式文件系統(tǒng)中；這些數(shù)據(jù)將通過HDFS接口進(jìn)行訪問和計算處理。而對于部分?jǐn)?shù)據(jù)量不大、且查詢響應(yīng)性能要求很高的數(shù)據(jù)，如用于報警比對的中間數(shù)據(jù)，將被存放在關(guān)系數(shù)據(jù)庫中。關(guān)系數(shù)據(jù)庫將采用Sybase ASE版本。這些數(shù)據(jù)將通過結(jié)構(gòu)化數(shù)據(jù)存儲訪問接口（如JDBC）進(jìn)行訪問。在存儲構(gòu)架上，若以存儲3 年的原始交管數(shù)據(jù)、報警信息數(shù)據(jù)和針對快速查詢建立的索引數(shù)據(jù)，在10000 條 /s 的交管數(shù)據(jù)流量下，將大約需要512TB的存儲容量，按照每個存儲節(jié)點16TB的存儲容量，加上少量的冗余節(jié)點，將需要32個存儲節(jié)點。（ 5）交管數(shù)據(jù)查詢分析應(yīng)用系統(tǒng)交管數(shù)據(jù)查詢分析應(yīng)用主要提供包括實時監(jiān)控

24、、報警監(jiān)控、車輛軌跡與回放、電子地圖、報警管理、布控管理、設(shè)備管理、事件檢測報警、流量統(tǒng)計和分析等功能。車輛軌跡查詢處理時，由于交管數(shù)據(jù)量巨大，難以存儲在常規(guī)的關(guān)系數(shù)據(jù)庫中，而如果直接存儲在HDFS或 HBase中又難以保證查詢效率。為此，需要考慮對交管數(shù)據(jù)進(jìn)行索引處理，并將索引數(shù)據(jù)存儲在HDFS或 Hbase中。為了建立交管數(shù)據(jù)索引，需要在交管數(shù)據(jù)傳送到云存儲系統(tǒng)中時，進(jìn)行實時的索引處理。但由于交管數(shù)據(jù)流量巨大，需要調(diào)度使用多臺服務(wù)器節(jié)點進(jìn)行并行處理。此外， 用戶從客戶端發(fā)起以上各種數(shù)據(jù)查詢分析任務(wù)時，也會產(chǎn)生大量并發(fā)的查詢?nèi)蝿?wù)。以上各種查詢分析計算任務(wù)的處理將需要考慮在計算集群上進(jìn)行并行化

25、任務(wù)調(diào)度和負(fù)載均衡處理。這些并行計算任務(wù)及負(fù)載均衡處理將使用Zookeeper 基于計算集群完成統(tǒng)一的控制和實現(xiàn)。在系統(tǒng)構(gòu)架上，以上查詢分析計算任務(wù)將需要使用一個大規(guī)模數(shù)據(jù)并行計算集群。 在編程實現(xiàn)上，存儲在數(shù)據(jù)庫中的數(shù)據(jù)將使用常規(guī)的數(shù)據(jù)庫查詢語言實現(xiàn)；對存儲在分布式文件系統(tǒng)中的交管數(shù)據(jù)，針對不同的處理要求，在數(shù)據(jù)量極大而處理實時性要求不是特別高的情況下，為了方便對海量數(shù)據(jù)的并行處理，將采用MapReduce編程方式實現(xiàn)；而對于那些實時性要求很高的查詢分析計算，由于MapReduce啟動作業(yè)需要較長的時間開銷，將不適合采用MapReduce編程實現(xiàn)，而需要用非MapReduce編程方式實現(xiàn)。（

26、 6）數(shù)據(jù)管理系統(tǒng)在實際使用中，可能用戶會對某一時間段或者類型的數(shù)據(jù)特別關(guān)心，就可以通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。包括數(shù)據(jù)查詢和數(shù)據(jù)導(dǎo)出兩大部分。數(shù)據(jù)查詢讓用戶以自定義的條件查詢出數(shù)據(jù)，而數(shù)據(jù)導(dǎo)出就是將這些數(shù)據(jù)以合理的格式導(dǎo)出到數(shù)據(jù)中心以外。（ 7）系統(tǒng)管理系統(tǒng)管理主要包括智慧交通云平臺的配置管理、系統(tǒng)安全管理、系統(tǒng)用戶管理，以及數(shù)據(jù)備份、系統(tǒng)故障監(jiān)測復(fù)等管理維護功能。配置管理是其中最主要的部分，是系統(tǒng)各個模塊正常運行的基礎(chǔ)。系統(tǒng)應(yīng)能夠?qū)W(wǎng)絡(luò)地址、設(shè)備地址等進(jìn)行配置；能夠?qū)τ脩糇鰴?quán)限管理，以防止數(shù)據(jù)外泄；并能及時有效的對數(shù)據(jù)進(jìn)行備份和故障檢測等工作，防止數(shù)據(jù)的意外丟失。系統(tǒng)應(yīng)支

27、持樹圖、數(shù)據(jù)表格、網(wǎng)絡(luò)拓?fù)鋱D形式展示配置數(shù)據(jù)。系統(tǒng)總體構(gòu)架與功能模塊基于以上基本的系統(tǒng)組成和功能構(gòu)架，系統(tǒng)的詳細(xì)總體構(gòu)架和功能模塊設(shè)計如圖所示。圖表 2 智慧交通云平臺總體構(gòu)架與功能模塊圖上圖中， 自底向上分為五個層面。最下層是硬件平臺層，將使用南京市公安局云計算中心所提供的計算、存儲和網(wǎng)絡(luò)資源。從系統(tǒng)處理系統(tǒng)的角度看，這一層主要包括云存儲計算集群，此外還包括接口和管理服務(wù)器、包括用于實現(xiàn)客戶端訪問的Web服務(wù)器。第二層是系統(tǒng)軟件層，包括移動的云存儲系統(tǒng)軟件，綜合分析云計算軟件平臺，以及Web服務(wù)軟件等。云存儲系統(tǒng)將提供基于Sybase ASE關(guān)系數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)存儲訪問能力，以及基于HDF

28、S的分布式文件系統(tǒng)存儲訪問能力，分別提供基于JDBC/SQL的數(shù)據(jù)庫訪問接口以及HDFS訪問接口。綜合分析云計算軟件平臺可提供對HDFS、 Hbase數(shù)據(jù)的訪問，并提供MapReduce編程模型和接口、 以及非MapReduce模型的編程接口，以及用于實現(xiàn)并行計算任務(wù)負(fù)載均衡和服務(wù)器單點失效恢復(fù)的Zookeeper。第三層是智慧交通云平臺中的數(shù)據(jù)層，包括原始交管數(shù)據(jù)、索引數(shù)據(jù)、用于分析的中間數(shù)據(jù)、以及系統(tǒng)配置數(shù)據(jù)等。其中，原始交管數(shù)據(jù)、索引數(shù)據(jù)等海量數(shù)據(jù)將存儲在南京公安局云存儲系統(tǒng)的HDFS分布式文件系統(tǒng)中，用 HDFS接口進(jìn)行存儲和訪問處理；而其它用于分析的中間數(shù)據(jù)等數(shù)據(jù)量不大、但處理響應(yīng)性

29、能要求較高的數(shù)據(jù)，將存儲在云存儲系統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)中，用JDBC/SQL進(jìn)行存儲和訪問處理。第四層是交管數(shù)據(jù)處理軟件層，主要完成智慧交通云平臺所需要提供的諸多功能，包括實時監(jiān)控、報警監(jiān)控、車輛軌跡查詢與回放、電子地圖、報警管理、布控管理、設(shè)備管理、事件檢測報警、流量統(tǒng)計和分析、系統(tǒng)管理等功能。最上層是客戶端用戶界面軟件，主要供用戶查詢和監(jiān)視相關(guān)的數(shù)據(jù)信息，除了事件檢測報警不需要用戶界面外，其它部分都需要實現(xiàn)對應(yīng)的用戶界面。1.3 系統(tǒng)基本功能與處理方案1.3.1 交管數(shù)據(jù)入庫功能與處理方案交管數(shù)據(jù)入庫系統(tǒng)總架構(gòu)如圖：圖表 3 智慧交通云平臺架構(gòu)智慧交通云平臺通過實時數(shù)據(jù)入庫系統(tǒng)接入采集層的交

30、管數(shù)據(jù)，數(shù)據(jù)分負(fù)載均衡機根據(jù)集群各節(jié)點負(fù)載情況，動態(tài)分配交管數(shù)據(jù)到進(jìn)行報警檢測、建立索引等處理，同時將交管數(shù)據(jù)存入分步式負(fù)載均衡機功能監(jiān)控所集群機器負(fù)載情況，動態(tài)分配交管數(shù)據(jù)。監(jiān)控所有集群機器，如果發(fā)現(xiàn)問題， 那么就把分配給這臺機器的交管數(shù)據(jù)重新分配到其他機器，去除單點故障，提高系統(tǒng)可靠性。負(fù)載均衡機采用Paxos 算法解決一致性問題，集群在某一時刻只有一個Master 負(fù)責(zé)均衡能力，當(dāng) Master 宕機后， 其他節(jié)點重新選舉Master。 保證負(fù)載均衡機不會存在單點問題，集群機器一致性。實時業(yè)務(wù)對于實時性要求高的業(yè)務(wù)應(yīng)用，如：實時監(jiān)控、實時報警，走實時專道。1.3.2 數(shù)據(jù)存儲功能與處理方

31、案數(shù)據(jù)存儲處理總架如圖：圖表 4 數(shù)據(jù)存儲處理架構(gòu)數(shù)據(jù)存儲系統(tǒng)提供如下功能：交管數(shù)據(jù)處理：接收來自數(shù)據(jù)匯總和數(shù)據(jù)入庫系統(tǒng)的交管數(shù)據(jù)，索引模塊實時生成索引，以提高查詢速度。生成的索引存儲到HDFS中，以供查詢交管數(shù)據(jù)使用。專題業(yè)務(wù)分析，通過MapReduce并行計算，同期提取業(yè)務(wù)數(shù)據(jù)，將結(jié)果分存兩路，一路存入Hbase或日志詳單存儲，一路存入關(guān)系型數(shù)據(jù)庫。報警數(shù)據(jù)處理智慧交通云平臺對接收到的實時交管數(shù)據(jù)進(jìn)行計算，以判斷這輛車有沒有符合報警條件。如果符合，會對報警信息入庫，并同時通過對外實時報警的接口，將報警信息迅速展示到用戶界面上。1.3.3 查詢分析功能與處理方案交管數(shù)據(jù)查詢構(gòu)架如圖：5 交管

32、數(shù)據(jù)接入客戶端把請求發(fā)向查詢接口服務(wù)器，查詢接口服務(wù)器解析查詢請求，后向Master 任務(wù)調(diào)度機發(fā)送查詢?nèi)蝿?wù)執(zhí)行命令；Master 回應(yīng)執(zhí)行命令節(jié)點信息，查詢服務(wù)器根據(jù)節(jié)點信息將查詢命令發(fā)向查詢計算模塊，進(jìn)行具體查詢操作，將查詢結(jié)果返回給客戶端，呈現(xiàn)給用戶。系統(tǒng)總體設(shè)計6 組網(wǎng)方案 / 892015-9-91.4 系統(tǒng)互聯(lián)與管理組網(wǎng)方案組網(wǎng)方案如圖：系統(tǒng)總體設(shè)計我司可向公安數(shù)據(jù)中心申請VPN或公網(wǎng)IP 服務(wù)，如果系統(tǒng)出故障，可以保障第一時間遠(yuǎn)程排查。網(wǎng)絡(luò)管理服 務(wù)器間網(wǎng)絡(luò)安全檢查系統(tǒng)自管理通過啟用網(wǎng)絡(luò)安全檢查進(jìn)程(netinspect ) , 定期檢查整個系統(tǒng)的網(wǎng)絡(luò)狀況，并上報各服務(wù)模塊網(wǎng)絡(luò)流

33、量信息，在終端形成網(wǎng)絡(luò)拓?fù)鋱D，實時在界面呈現(xiàn)各節(jié)點網(wǎng)絡(luò)狀態(tài)，管理員也能及時了解，各服務(wù)模塊的網(wǎng)絡(luò)流量機承載的負(fù)荷。若出現(xiàn)網(wǎng)絡(luò)故障，netinspect 進(jìn)程實時上報故障情況，在網(wǎng)絡(luò)拓?fù)鋱D上以報警方式提示，或以短信的方式提示，便于管理員及時發(fā)現(xiàn)問題，并恢復(fù)網(wǎng)絡(luò)故障，確保系統(tǒng)在安全的網(wǎng)絡(luò)環(huán)境下運行。服 務(wù)模塊進(jìn)程監(jiān)控管理系統(tǒng)自管理通過啟用服務(wù)模塊運行狀態(tài)檢查進(jìn)程(proinspect ) , 定期檢查整個系統(tǒng)的服務(wù)模塊進(jìn)程運行狀況，并上報各服務(wù)模塊進(jìn)程的運行狀態(tài)信息，在終端將運行的進(jìn)程的狀態(tài)以表格形式顯示，定時更新進(jìn)程的運行狀態(tài)信息。通過它管理員也能及時了解，各服務(wù)模塊的進(jìn)程運行負(fù)荷。若在固定的時

34、間內(nèi)沒有更新， 視為進(jìn)程運行故障，啟動主機代理自動恢復(fù)故障進(jìn)程，保障各服務(wù)模塊進(jìn)程持續(xù)穩(wěn)定的運行的狀態(tài)。系 統(tǒng)性能監(jiān)控管理系統(tǒng)自管理通過啟用服務(wù)模塊性能檢查進(jìn)程( serverinspect ) , 定期檢查整個系統(tǒng)的各服務(wù)器性能指標(biāo)，包括CPU開銷、內(nèi)存占用、IO 峰值、網(wǎng)絡(luò)流量、連接數(shù)等。并上報各服務(wù)性能指標(biāo)，在終端形成拓?fù)鋱D，實時在界面呈現(xiàn)各節(jié)點服務(wù)器性能狀態(tài)，管理員也能及時了解，各服務(wù)節(jié)點處理性能及資源開銷。若性能持續(xù)高負(fù)荷，拓?fù)鋱D上以報警方式提示，或以短信的方式提示，便于管理員及時發(fā)現(xiàn)問題，查找問題的來源或重新評估服務(wù)器配置情況，為系統(tǒng)穩(wěn)定運行提供14 / 892015-9-9系統(tǒng)總

35、體設(shè)計 / 892015-9-9一個確實可靠的標(biāo)準(zhǔn)。系 統(tǒng)日志分析處理系統(tǒng)各服務(wù)模塊在運行期間寫日志文件，將進(jìn)程的模塊編號、服務(wù)器的IP、出錯頁碼等日志的狀態(tài)(錯誤、告警、提示)等級別的信息保存磁盤文件，供工程師來分析系統(tǒng)運行狀態(tài)。同時日志分析進(jìn)程(loganalyse )分析日志文件，將重要的日志信息，進(jìn)行對比、分析并匯總后，生產(chǎn)統(tǒng)一格式的日志信息，提取出來， 寫入的數(shù)據(jù)庫表中，終端管理通過查詢界面來來顯示，能及時了解到系統(tǒng)的運行的狀態(tài)。系 統(tǒng)運行狀態(tài)及報警處理系統(tǒng)運行報警分為以下幾種：服務(wù)器運行狀態(tài)報警服務(wù)器網(wǎng)絡(luò)狀態(tài)報警服務(wù)模塊進(jìn)程報警日志模塊狀態(tài)報警系統(tǒng)安全網(wǎng) 絡(luò)安全為保障整個系統(tǒng)穩(wěn)定運

36、行，首先要保障系統(tǒng)在網(wǎng)絡(luò)方面是安全的。從硬件、軟件方面做相應(yīng)的安全措施。硬件：所有的網(wǎng)絡(luò)設(shè)備都要1+1 冗余配置，涉及以下網(wǎng)絡(luò)硬件設(shè)備冗余配置以太網(wǎng) 100M/ 1000M網(wǎng)卡以太網(wǎng)網(wǎng)絡(luò)交換設(shè)備光纖網(wǎng)絡(luò)接口FC/HBASAN光纖網(wǎng)絡(luò)交換機軟件：在整個系統(tǒng)上部署防火墻軟件、及自產(chǎn)的安全管理管理軟件模塊來保障系統(tǒng)平穩(wěn)運行。數(shù) 據(jù)文件安全性見集群可靠性章節(jié)。系統(tǒng)可靠性與擴展性系統(tǒng)可靠性HDFS 可靠性概述：HDFS包括元數(shù)據(jù)節(jié)點(Namenode)和數(shù)據(jù)節(jié)點(Datanode) ， Namenode是一個中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的Namespace和客戶端對文件的訪問。， Datanode在集群

37、中一般是一個節(jié)點一個，Datanode是文件系統(tǒng)中真正存儲數(shù)據(jù)的地方。DataNode所在機器掛了怎么辦？HDFS(Hadoop Distributed File System) 默認(rèn)的最基本的存儲單位是64M的數(shù)據(jù)塊(block ) 。 一個文件對應(yīng)的所有BLOCK全部按照一定的部署策略存在于 DataNode上，文件的所有block 為了容錯都會被復(fù)制(一般為3 份) ， 每個文件的 block 大小和 replication 因子都是可配置的。Datanode 每 3 分鐘向Namenode發(fā)送心跳，如果10 分鐘 datanode 沒有向Namenode發(fā)送心跳，則Namenode認(rèn)為

38、該Datanode 已經(jīng)dead， Namenode將取出該Datanode 上對應(yīng)的block ，對其進(jìn)行復(fù)制。Namenode掛了怎么辦？Namenode主控服務(wù)器，為了避免主節(jié)點失效而影響整個系統(tǒng)正常工作，我們采用基于HDFS的改進(jìn)方案Avatar ，同時可開啟兩個Namenod，主eNamenode和secondNamenod，實際工作的只有主eNamenod。主eNamenode將所有關(guān)于文件和目錄的操作記錄都會寫入日志，并定時序列化到本地做鏡像，并且保存到本地的NFS服務(wù)器，同時secondNamenode讀取主Namenode所在NFS服務(wù)器的日志并對鏡像日志做CheckPoin

39、t。故障后，secondNamenode升級為Namenod，通過鏡像數(shù)據(jù)和文件日志迅速恢復(fù)系統(tǒng)。數(shù)據(jù)服務(wù)器可通過e分布式協(xié)同服務(wù)機制得知關(guān)于主控服務(wù)器的更迭情況，然后向新的主控注冊并繼續(xù)發(fā)送心跳。HBase可靠性概述：HBase系統(tǒng)由HBase集群和ZooKeeper集群組成。HBase的可靠性由其自身的 ZooKeeper機制保證。HBase包括Hregion 服務(wù)器群和Master 主服務(wù)器構(gòu)成。Master 負(fù)責(zé)管理Hregion 。 物理上， 一張表是被拆成多個塊，一張完整的表格是保存在多個Hregion 上面的。master 掛掉怎么辦？由于 master 只維護表和region

40、的元數(shù)據(jù)，因此master 下線短時間內(nèi)對整個 hbase 集群沒有影響，master 保存的信息全是可以冗余信息（都可以從系統(tǒng)其它地方收集到或者計算出來），因此，啟動HBase時可以再啟動一個備用的master，實際工作的只有主master，當(dāng)主 master 所在節(jié)點宕機，會自動切換到備用 master 所在節(jié)點。Hregionserver 掛掉怎么辦？物理上，表格分為多個Region 一張表是被拆成多個塊，一張完整的表格是保存在多個Hregionserver 上面的。 并且分布在多臺Hregionserver 中， 物理上所有數(shù)據(jù)存儲在Hadoop的 HDFS上，由一些子表服務(wù)器來提供數(shù)

41、據(jù)服務(wù)，提供服務(wù)時，子表先查HMemcach，如果沒有，再查 eHDFS上的HStore，由HDFS來保證數(shù)據(jù)的可靠性。如果丟失Region 的數(shù)據(jù)所在節(jié)點的datanode 宕機，HDFS會自動映射到其他節(jié)點，從而保證Region 數(shù)據(jù)的可靠性。ZooKeeper掛掉怎么辦？Zookeeper 分為 2 個部分：服務(wù)器端和客戶端。啟動Zookeeper 服務(wù)器集群環(huán)境后，多個Zookeeper 服務(wù)器在工作前會選舉出一個Leader，在接下來的工作中這個被選舉出來的Leader 死了，而剩下的Zookeeper 服務(wù)器會知道這個Leader 死掉了，在活著的Zookeeper 集群中會繼續(xù)選

42、出一個Leader，選舉出leader 的目的是為了可以在分布式的環(huán)境中保證數(shù)據(jù)的一致性。MapReduce可靠性概述：MapReduce整體上可以分為這么幾條執(zhí)行的線索，JobTracker 與 JobTracker是一個 master 服務(wù)，軟件啟動之后JobTracker 接收 job ，負(fù)責(zé)調(diào)度job 的每一個子任務(wù)task 運行于 TaskTracker 上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就重新運行它。一般情況應(yīng)該把JobTracker 部署在單獨的機器上。TaskTracker是運行于多個節(jié)點上的slaver 服務(wù)。 TaskTracker 主動與 JobTracker 通信

43、，接收作業(yè)，并負(fù)責(zé)直接執(zhí)行每一個任務(wù)。TaskTracker 都需要運行在HDFS的DataNode上，JobTracker0 掛掉怎么辦？在系統(tǒng)啟動時同時啟動備份JobTracker1 節(jié)點，當(dāng) JobTracker0 節(jié)點宕機時，ZooKeeper 會在其上啟動JobTracker 進(jìn)程替代JobTracker0 節(jié)點， 虛擬 IP 會指向此節(jié)點，TaskTracker 會注冊到此節(jié)點上，未完成的MapReduce作業(yè)會被ZooKeeper調(diào)度到此節(jié)點上重新執(zhí)行。TaskTracker 掛掉怎么辦？JobTracker 是一個 master 服務(wù)，軟件啟動之后JobTracker 接收 j

44、ob ，負(fù)責(zé)調(diào)度job 的每一個子任務(wù)task 運行于 TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task 就重新運行它。并且將其負(fù)責(zé)的task分配給其他TaskTracker 上。系統(tǒng)擴展性已有的 Hadoop集群規(guī)模Hadoop 是一個相當(dāng)有彈性和擴展性的平臺，它既可以在成千上萬的機器上跑，也可以在很小規(guī)模上運行。目前最大的Hadoop集群有四千臺機器。Hadoop擴展優(yōu)勢：與其它分布式系統(tǒng)相比，使用Hadoop的好處在于它的水平的可擴展性，在少量結(jié)點上，用 Hadoop處理有限的數(shù)據(jù)時，不能展示Hadoop的性能， 因為開始Hadoop 程序相關(guān)的代價比較高，其它并行/分布程

45、序方式，比如MPI (MessagePassing Interface) 可能在 2 臺， 4 臺或許 10 多臺計算機上有更好的性能，盡管在少量機器上協(xié)同工作在這種系統(tǒng)上也許會取得更好的性能，但這種為性能所要付出的努力是非線性的增長。用其它分布式框架所寫的程序在從十臺機器的級別到成百上千臺機器需要大量的重構(gòu)工作，這也許要程序重寫幾次，并且其它框的基礎(chǔ)元素會限制應(yīng)用的規(guī)模大小。但是特別設(shè)計的Hadoop有著水平的可擴展性， 一個Hadoop程序?qū)懲旰螅?10 個結(jié)點上運行，如果遷徙到更大的集群上運行，幾乎不需要做什么工作，Hadoop 平臺會管理數(shù)據(jù)和硬件資源并提供與可用資源成比例的可靠性能

46、。Hadoop擴展方法：HBase集群具備線性擴展功能，只需要將配置好的region server 節(jié)點加入到集群中。MapReduce集群具備線性擴展功能，只需要將配置好的TaskTracker 節(jié)點加入到集群中，JobTracker 節(jié)點就會將Map或Reduce任務(wù)分配給此節(jié)點處理。HDFS具備線性擴展功能，只需要將配置好的DataNode節(jié)點加入到集群中，并且在集群空閑時執(zhí)行balancer 工具以平衡集群中DataNode的數(shù)據(jù)塊負(fù)載。系統(tǒng)設(shè)計性能交管數(shù)據(jù)流量處理能力交管數(shù)據(jù)集群完全采用分布式實現(xiàn)，支持線性擴展，每節(jié)點采用低端X86PCServer 處理 60 條 /s 流量。 對于

47、全全市總量500w條 /天的實時入庫數(shù)據(jù)和大量的歷史數(shù)據(jù)來說，需要6 臺處理機。以下是各部分處理能力統(tǒng)計：交管數(shù)據(jù)存儲查詢服務(wù)器配置： 8 核 CPU 2，主頻2.3GHz,內(nèi)存32G，硬盤8 2T SATA處理能力：折合交管數(shù)據(jù)入庫流量15 條 /s/ 臺應(yīng)用分析服務(wù)器配置： 8 核 CPU 2，主頻2.3GHz,內(nèi)存16G，硬盤2 300G SAS處理能力：折合處理并發(fā)訪問量500 次 /s/ 臺數(shù)據(jù)存儲能力原始交管數(shù)據(jù)存儲采用云存儲平臺，分布式文件系統(tǒng)存儲服務(wù)。性能指標(biāo)：存儲量指標(biāo)單系統(tǒng)應(yīng)支持TB 級存儲容量。吞吐量指標(biāo)吞吐量是指在沒有幀丟失的情況下，設(shè)備能夠接受的最大速率。吞吐量根據(jù)應(yīng)

48、用系統(tǒng)讀寫方式和應(yīng)用系統(tǒng)讀取存儲內(nèi)容大小分成四個指標(biāo)。分布式文件存儲系統(tǒng)按照4個節(jié)點并發(fā)500個用戶計算，單節(jié)點8 塊 2T大小的硬盤情況下，每個節(jié)點指標(biāo)具體內(nèi)容如下表所示：表 8 分布式文件存儲系統(tǒng)吞吐量指標(biāo)編號讀寫方式存儲內(nèi)容大 小平均吞吐量指標(biāo)(MBps)1100%讀1GB62100%寫1GB33100%讀100KB34100%寫100KB27 分布式文件存儲系統(tǒng)吞吐量指標(biāo)系統(tǒng)響應(yīng)時間指標(biāo)千兆網(wǎng)絡(luò)環(huán)境下，局域網(wǎng)客戶端從分布式文件存儲系統(tǒng)中讀取4096 字節(jié)存儲內(nèi)容的響應(yīng)時間應(yīng)不高于50ms。交管數(shù)據(jù)存儲采用HDFS性能指標(biāo)，如下：數(shù)據(jù)讀取性能：4080MB/s節(jié)點；數(shù)據(jù)規(guī)模：100TB規(guī)

49、模；數(shù)據(jù)負(fù)載均衡時間：可依據(jù)流量配置而確定；集群重新啟動時間(100TB規(guī)模)：分鐘級別；查詢分析計算性能 TOC o 1-5 h z 對任何實時分析操作的反應(yīng)時間小于10秒；查詢、統(tǒng)計操作的首次響應(yīng)時延小于1秒；并發(fā)操作終端數(shù)大于30個；基于交管數(shù)據(jù)的統(tǒng)計，記錄5000 萬條以內(nèi)，30秒可以統(tǒng)計完成。定制開發(fā)方案相對于已經(jīng)完成的傳統(tǒng)方案，云計算方案還需要在以下方面進(jìn)行特定開發(fā)。（ 1）歷史數(shù)據(jù)匯入處理平臺定制開發(fā)歷史數(shù)據(jù)入庫系統(tǒng)需要使用與計算存儲集群分立的專用機器（可安裝在各縣市現(xiàn)有的數(shù)據(jù)服務(wù)器上）。由于數(shù)據(jù)匯入處理不需要存儲任何數(shù)據(jù)，僅僅需要讀取、解析和入庫數(shù)據(jù)。因此，數(shù)據(jù)匯入時對服務(wù)器的

50、要求比較簡單，不需要考慮和使用諸如Hadoop的大規(guī)模數(shù)據(jù)并行計算和存儲系統(tǒng)，只需要一般的單一的服務(wù)器即可。（ 2）上報數(shù)據(jù)上報處理平臺定制開發(fā)上報數(shù)據(jù)上報系統(tǒng)需要使用與計算存儲集群分立的專用機器（可安裝在市數(shù)據(jù)中心現(xiàn)有的數(shù)據(jù)服務(wù)器上）。由于數(shù)據(jù)上報處理不需要存儲任何數(shù)據(jù)，僅僅需要讀取、解析和上報數(shù)據(jù)。因此，數(shù)據(jù)上報時對服務(wù)器的使用比較簡單，不需要考慮和使用諸如Hadoop的大規(guī)模數(shù)據(jù)并行計算和存儲系統(tǒng)，只需要一般的單一的服務(wù)器即可。但是由于上報的數(shù)據(jù)量比較大，而上報時間又不會很長，所以對服務(wù)器的性能有一定要求。（ 3）交管數(shù)據(jù)實時入庫并創(chuàng)建索引程序定制開發(fā)交管數(shù)據(jù)存儲在Hadoop系統(tǒng)的HD

51、FS中，但由于巨大的交管數(shù)據(jù)流量，每秒鐘將有大量的交管數(shù)據(jù)產(chǎn)生，為了提供及時的數(shù)據(jù)查詢，這些數(shù)據(jù)文件必須得到及時的索引創(chuàng)建處理，否則將造成大量的交管數(shù)據(jù)積壓。因此， 索引創(chuàng)建程序需要有較高的實時處理能力，以便能在毫秒級時間內(nèi)保證處理完大量的一秒鐘的交管數(shù)據(jù)。 由于MapReduce計算任務(wù)需要較長的作業(yè)初始化時間，交管數(shù)據(jù)索引創(chuàng)建程序?qū)㈦y以用MapReduce程序?qū)崿F(xiàn)，而需要基于HDFS、利用HDFS編程接口編寫和定制較為復(fù)雜的非MapReduce程序，該程序不能依賴任何MapReduce的編程構(gòu)架和接口，而需要自行編寫程序完成全部的數(shù)據(jù)讀出、解析處理、復(fù)雜的索引計算、以及索引數(shù)據(jù)的輸出（輸出

52、到HDFS或者Hbase）處理過程。（ 4）查詢分析接口開發(fā) 智慧交通云平臺會提供以下的應(yīng)用接口：實時監(jiān)控、報警監(jiān)控、車輛軌跡查詢與回放、電子地圖、報警管理、布控管理、設(shè)備管理、事件檢測報警、流量統(tǒng)計和分析、系統(tǒng)管理等。這些應(yīng)用接口都需要根據(jù)實際的應(yīng)用需求再進(jìn)行合理的改進(jìn)過程。（ 5）查詢分析軟件定制開發(fā)（可選）查詢分析軟件將設(shè)計為基于Web的應(yīng)用程序，包括客戶端查詢用戶界面以及服務(wù)器端查詢服務(wù)程序。客戶端查詢用戶界面可基于通用的瀏覽器實現(xiàn)，也可設(shè)計為獨立（standalone） 的客戶端軟件。具體的客戶端界面將需要根據(jù)不同的查詢功能需求設(shè)計實現(xiàn)不同的查詢界面。查詢服務(wù)軟件將基于ApacheW

53、eb服務(wù)器設(shè)計實現(xiàn)。需要特別考慮的是，大量并發(fā)的用戶查詢?nèi)蝿?wù)將需要設(shè)計實現(xiàn)查詢?nèi)蝿?wù)分發(fā)時的負(fù)載均衡處理。（ 6）并行處理任務(wù)的負(fù)載均衡調(diào)度和單節(jié)點失效恢復(fù)機制的定制方案前述的交管數(shù)據(jù)入庫、建立索引、數(shù)據(jù)匯總和數(shù)據(jù)上報、數(shù)據(jù)查詢等處理中需要考慮的一個共性的重要問題是，為了對大量數(shù)據(jù)進(jìn)行并行化的處理、或者大量用戶同時發(fā)出了很多查詢請求時，需要考慮并行計算任務(wù)的分發(fā)調(diào)度和負(fù)載均衡，尤其是負(fù)責(zé)分發(fā)調(diào)度的節(jié)點可能出現(xiàn)單節(jié)點失效而導(dǎo)致系統(tǒng)無法正常工作。為此， 將基于 Zookeeper 設(shè)計實現(xiàn)一個可防止單節(jié)點失效的并行計算任務(wù)分發(fā)調(diào)度控制機制和程序框架。該框架中，Zookeeper 將使用 3 臺并行計

54、算任務(wù)調(diào)度服務(wù)器， 并有 Zookeeper 負(fù)責(zé)選擇和確定一個主服務(wù)器進(jìn)行工作，但當(dāng)主服務(wù)器失效時， Zookeeper 將能夠自動感知并選擇另一個服務(wù)器作為主服務(wù)器工作，以此完成單節(jié)點失效的恢復(fù)處理。進(jìn)而， 通過 Zookeeper 還可以控制和均衡調(diào)度使用大量的計算節(jié)點，從而完成并行計算任務(wù)分發(fā)調(diào)服時的負(fù)載均衡。（ 7） Hadoop計算與存儲集群的可靠性設(shè)計和功能擴展Hadoop 作為一個開源的面向大規(guī)模數(shù)據(jù)并行計算的編程框架和平臺，其可靠性和性能方面還存在不少需要改進(jìn)的地方。比如，Hadoop集群的 Master 服務(wù)器雖然開用了一個備份Master 服務(wù)器，但當(dāng)主Master 服務(wù)

55、器失效時，備份Master 服務(wù)器并不能自動完成失效恢復(fù)和切換處理。這就無法滿足智慧交通的實時性處理需求。為此，我們需要對Hadoop進(jìn)行改進(jìn)，設(shè)計實現(xiàn)一個能自動完成 Master 服務(wù)器失效處理和切換的定制Hadoop系統(tǒng)，以便為智慧交通云平臺提供一個高可靠性的大規(guī)模數(shù)據(jù)并行計算和存儲平臺。 / 892015-9-92 系統(tǒng)設(shè)計實施與關(guān)鍵技術(shù)方法2.1 系統(tǒng)平臺cProc 云處理平臺是搭建在云存儲系統(tǒng)上，對業(yè)務(wù)層直接提供對外開發(fā)接口 和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺。云存儲層包括公司自主研發(fā)的云儲存系統(tǒng)cStor 和 apache開源云儲存系統(tǒng)HDFS；而在數(shù)據(jù)管理層中，包含數(shù)據(jù)立方、Hb

56、ase；數(shù)據(jù)處理層包含JobKeeper和 MapReduc；最后的監(jiān)控協(xié)調(diào)層則包括ezookeeper 和 Chukwa來實現(xiàn)對整個系統(tǒng)的實時監(jiān)控和數(shù)據(jù)管理。下圖為 cProc 云處理平臺架構(gòu)：通過數(shù)據(jù)立方，可以對元數(shù)據(jù)進(jìn)行數(shù)據(jù)分析、清理、分割。 對結(jié)構(gòu)化數(shù)據(jù)任意關(guān)鍵字索引，形成一個多維數(shù)據(jù)模型，數(shù)據(jù)立方的命名也數(shù)據(jù)立方是獨立于cProc 云處理平臺的技術(shù)架構(gòu)，用戶可以選擇性采用數(shù)據(jù)立方，也可以單獨采用Hbase、 Hive 等技術(shù)框架，通過數(shù)據(jù)立方或Hbase，可以將結(jié)構(gòu)化數(shù)據(jù)看成一張無限大的表，操作這張表跟操作傳統(tǒng)關(guān)系型數(shù)據(jù)庫一樣，上層應(yīng)用無需修改，完全符合用戶原來操作習(xí)慣。對于非結(jié)構(gòu)化

57、數(shù)據(jù)，cProc 云處理平臺采用公司自主研發(fā)的超安存算法，對這些數(shù)據(jù)塊進(jìn)行分割，散亂存儲到云儲存系統(tǒng)上，然后采用分布式并行處理，對數(shù)據(jù)進(jìn)行實時處理，cProc 云處理平臺的處理性能隨著節(jié)點的增多而成倍數(shù)增長。cProc 云處理平臺擁有以下特點：對任意多關(guān)鍵字實時索引支持類SQL復(fù)雜并行組合查詢分布式萬兆實時數(shù)據(jù)流秒級處理高可靠性，系統(tǒng)無單點，確保意外情況下，系統(tǒng)的正常運行以上特點由云創(chuàng)公司自主研發(fā)的下面幾大功能來提供保證，分別是數(shù)據(jù)立方，分布式數(shù)據(jù)處理, 調(diào)度均衡器、數(shù)據(jù)傳輸接口等。數(shù)據(jù)立方對數(shù)據(jù)建立高效的索引結(jié)構(gòu)。數(shù)據(jù)立方是云創(chuàng)公司研發(fā)的高效數(shù)據(jù)結(jié)構(gòu)， 該結(jié)構(gòu)成功解決了海量數(shù)據(jù)的快速索引和查

58、詢問題，使得百億條記錄級的數(shù)據(jù)能夠秒級處理。分布式數(shù)據(jù)處理是云創(chuàng)公司研發(fā)的處理海量數(shù)據(jù)的處理框架，用于對大規(guī)模數(shù)據(jù)集的并行處理。處理能力可以通過增加或減少機器達(dá)到動態(tài)調(diào)整。采用先進(jìn)的容錯技術(shù)，確保處理任務(wù)的可靠性，即使在異常情況下，如機器宕機、斷網(wǎng)的情況下，確保處理任務(wù)的實時性和準(zhǔn)確性。調(diào)度均衡器是云創(chuàng)公司研發(fā)的解決單點故障的一項技術(shù)，用于解決系統(tǒng)內(nèi)的單點問題，確保某機器的應(yīng)用程序狀態(tài)在宕機或斷網(wǎng)時，可將狀態(tài)從異常機器轉(zhuǎn)移到其他機器上，中間無數(shù)據(jù)丟失。數(shù)據(jù)傳輸接口是云創(chuàng)公司經(jīng)過多年積累，專門針對地面數(shù)據(jù)傳輸研究出高性能可靠文件傳輸協(xié)議，采用并行流水線方式、將傳輸與存儲作聯(lián)合優(yōu)化，并支持多點中繼

59、高效傳輸。經(jīng)過多項實地遠(yuǎn)程傳輸試驗，結(jié)果表明該技術(shù)的傳輸效率在1Gb/s 光纖線路上達(dá)到了帶寬的80%左右，處于國際最高水平。幾大功能相輔相成，高效且可靠地處理海量數(shù)據(jù)，確保響應(yīng)迅速，傳輸速度快，處理結(jié)果準(zhǔn)確。2.2 系統(tǒng)規(guī)格規(guī)格說明項目內(nèi)容可管理的數(shù)據(jù)總量 （）支持100PB量級的數(shù)據(jù)管理實時索引的數(shù)據(jù)流 量（）支持100GBps以上量級的數(shù)據(jù)流實時索引任意關(guān)鍵字段實時 創(chuàng)建索引（）根據(jù)提供的表結(jié)構(gòu)解析元數(shù)據(jù)，并根據(jù)提供的任意關(guān) 鍵字段實時創(chuàng)建索引。可移植性（）Java 語言實現(xiàn)，具有跨平臺性，一次編程，任意操作 系統(tǒng)都可運行。實時查詢（）1小時范圍查詢：1秒內(nèi)響應(yīng)，24小時范圍查詢：1 秒

60、內(nèi)響應(yīng)，7*24小時范圍查詢：1 秒內(nèi)響應(yīng)。支持簡單SQL 組合查詢（）采用和關(guān)系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放 于分布式平臺并進(jìn)行分布式處理，少量實時性要求很 高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫，可支撐各種類型的業(yè)務(wù)。 不僅支撐查詢、統(tǒng)計、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù) 挖掘和商業(yè)智能分析業(yè)務(wù)。負(fù)載均衡可靠性 （）拔掉或增加一臺節(jié)點后，仍能均勻地向各處理節(jié)點分 發(fā)數(shù)據(jù)。支持并發(fā)查詢（）20個查詢都能正常下發(fā)執(zhí)行、且都能正常返回結(jié) 果，20個查詢?nèi)蝿?wù)的總耗時差距不大，根據(jù)機器負(fù)載進(jìn)行均衡分配查詢?nèi)蝿?wù)。數(shù)據(jù)準(zhǔn)確性（）查詢條件相同情況下，每次查詢結(jié)果相同。穩(wěn)定性（）1、系統(tǒng)連續(xù)運行7*24小時，無任何故障