道路圖像監(jiān)控數(shù)據(jù)匯聚處理項目解決方案

道路圖像監(jiān)控數(shù)據(jù)匯聚處理項目解

決方案

目錄

1系統(tǒng)總體設(shè)計................................................................1

1.1云計算系統(tǒng)設(shè)計方案概述.............................................1

1.1.1系統(tǒng)基本需求及功能..............................................1

1.1.2主要建設(shè)目標和建設(shè)原則.........................................2

1.1.3系統(tǒng)的主要技術(shù)特點.............................................2

1.1.4系統(tǒng)的主要性能指標.............................................3

1.2系統(tǒng)總體構(gòu)架.......................................................5

1.2.1系統(tǒng)基本組成與構(gòu)架.............................................5

1.2.2系統(tǒng)功能構(gòu)架....................................................5

1.2.3系統(tǒng)總體構(gòu)架與功能模塊........................................10

1.3系統(tǒng)基本功能與處理方案.............................................11

1.3.1交管數(shù)據(jù)入庫功能與處理方案....................................11

1.3.2數(shù)據(jù)存儲功能與處理方案........................................13

1.3.3查詢分析功能與處理方案........................................14

1.4系統(tǒng)可靠性與擴展性................................................15

1.4.1系統(tǒng)可靠性.....................................................15

1.4.2系統(tǒng)擴展性.....................................................17

1.5系統(tǒng)設(shè)計性能.......................................................18

1.5.1交管數(shù)據(jù)流量處理能力...........................................18

1.5.2數(shù)據(jù)存儲能力...................................................18

1.5.3查詢分析計算性能...............................................19

1.6定制開發(fā)方案.......................................................19

2硬件云平臺建設(shè)方案.........................................................22

2.1管理控制臺服務(wù)器詳細指標..........................................22

3軟件系統(tǒng)設(shè)計與關(guān)鍵技術(shù)方法................................................24

3.1系統(tǒng)軟件平臺.......................................................24

3.2歷史數(shù)據(jù)匯聚上報處理流程..........................................24

3.3實時數(shù)據(jù)入庫流程...................................................25

3.4數(shù)據(jù)存儲子系統(tǒng).....................................................26

3.4.1海量數(shù)據(jù)分布式數(shù)據(jù)存儲構(gòu)架....................................26

3.4.2適應(yīng)應(yīng)用需求的混合存儲策略....................................28

3.4.3分布式云存儲數(shù)據(jù)存儲..........................................28

3.4.4數(shù)據(jù)立方數(shù)據(jù)存儲...............................................32

3.4.5Database數(shù)據(jù)存儲.............................................34

3.4.6數(shù)據(jù)存儲的可靠性...............................................36

3.4.7數(shù)據(jù)壓縮.......................................................37

3.5數(shù)據(jù)查詢與統(tǒng)計分析子系統(tǒng)..........................................39

3.5.1數(shù)據(jù)查詢與統(tǒng)計分析系統(tǒng)基本構(gòu)架................................39

3.5.2交管數(shù)據(jù)查詢功能與用戶界面....................................39

3.5.3實時報警功能與用戶界面........................................40

3.5.4車輛軌跡回放功能與用戶界面....................................41

3.6基于云方案的交管數(shù)據(jù)查詢索引與查詢優(yōu)化技術(shù).......................41

3.6,1基于分布式數(shù)據(jù)庫的交管數(shù)據(jù)查詢索引處理方案...................41

3.7交管數(shù)據(jù)處理集群的可靠性與負載均衡設(shè)計...........................42

3.7.1負載均衡處理機的單點失效容錯處理.............................42

3.7.2查詢處理機的單點失效容錯處理..................................46

3.8計算與存儲集群的可靠性與負載均衡設(shè)計.............................47

3.8.1計算與存儲集群Master單點失效容錯處理........................47

3.8.2計算與存儲集群的負載均衡處理..................................53

3.8.3分布式云存儲的可靠性設(shè)計......................................56

3.8.4數(shù)據(jù)立方可靠性設(shè)計............................................58

3.8.5分布式云處理計算可靠性設(shè)計....................................60

3.9查詢統(tǒng)計計算可靠性與負載均衡設(shè)計.................................62

3.9.1基于Zookeeper的單點失效和負載均衡設(shè)計.......................62

3.10系統(tǒng)安全性設(shè)計....................................................64

3.10.1安全保障體系框架...........................................64

3.10.2云計算平臺的多級信任保護..................................66

3.10.3基于多級信任保護的訪問控制................................70

3.10.4云平臺安全審計............................................72

3.10.5云計算綜合安全網(wǎng)關(guān)........................................76

4實施方案....................................................錯誤!未定義書簽。

4.1時間進度............................................錯誤!未定義書簽。

4.2測試和驗收..........................................錯誤!未定義書簽。

4.3技術(shù)支持服務(wù)........................................錯誤!未定義書簽。

4.4培訓服務(wù)............................................錯誤!未定義書簽。

圖表1"3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺的基本組成與構(gòu)架...............5

圖表2"3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺總體構(gòu)架與功能模塊圖..........10

圖表3"3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺架構(gòu)..........................12

圖表4數(shù)據(jù)存儲處理架構(gòu)....................................................13

圖表5交管數(shù)據(jù)接入........................................................14

圖表6分布式文件存儲系統(tǒng)吞吐量指標.......................................19

圖表7系統(tǒng)軟件結(jié)構(gòu)........................................................24

圖表8數(shù)據(jù)匯聚上報處理流程................................................25

圖表9實時數(shù)據(jù)入庫流程....................................................25

圖表10分布式計算流程.....................................................26

圖表11分布式云計算結(jié)構(gòu)...................................................27

圖表12分布式云存儲結(jié)構(gòu)...................................................30

圖表13分布式云存儲Namenode,DataNode和客戶端們之間的交互............32

圖表14分布式云存儲數(shù)據(jù)壓縮與組織........................................38

圖表15數(shù)據(jù)查詢子系統(tǒng)構(gòu)架.................................................39

圖表16用戶界面圖.........................................................40

圖表17實時報警功能.......................................................40

圖表18車輛軌跡回放.......................................................41

圖表19負載均衡機分布圖...................................................43

圖表20負載均衡機宕機預案.................................................44

圖表21Master節(jié)點宕機預案................................................45

圖表22查詢處理單點失效容錯處理..........................................46

圖表23Master單點失效容錯處理............................................47

圖表24AvatarNodeO以Pimary啟動過程......................................49

圖表25AvatarNodel以Standby啟動過程......................................50

圖表26DataNode啟動過程..................................................50

圖表27AvatarNodeO宕機后的狀態(tài)............................................51

圖表28AvatarNodel切換為Primary過程......................................51

圖表29AvatarNodeO重啟過程................................................52

圖表30AvatarNode啟動切換流程圖...........................................53

圖表31Avatar體系架構(gòu)圖...................................................56

圖表32數(shù)據(jù)立方系統(tǒng)架構(gòu)...................................................58

圖表33作業(yè)提交...........................................................61

圖表34JobTrackerO宕機.....................................................61

圖表35作業(yè)注銷...........................................................62

圖表36Zookeeper基本工作結(jié)構(gòu)圖............................................62

圖表37基于Zookeeper的查詢分析計算單點失效和............................64

圖表38基于深度防護戰(zhàn)略的IATF模型........................................64

圖表39云部署模型的實現(xiàn)...................................................65

圖表40多級信任保護.......................................................66

圖表41基于可信第三方的平臺認證..........................................67

圖表42主要因素平臺證書...................................................67

圖表43云存儲安全子系統(tǒng)接口關(guān)系圖........................................70

圖表44基于多級信任保護的多級訪問控制流程................................71

圖表45數(shù)據(jù)安全交換平臺...................................................71

圖表46云存儲安全審計體系結(jié)構(gòu).............................................73

圖表47安全日志審計系統(tǒng)結(jié)構(gòu)圖............................................75

圖表48Cloud-USG三種部署模式77

1系統(tǒng)總體設(shè)計

1.1云計算系統(tǒng)設(shè)計方案概述

1.1.1系統(tǒng)基本需求及功能

按照全省公安機關(guān)XX工程建設(shè)的要求，需要對全市500多個車輛監(jiān)控點實

時抓拍的車輛軌跡數(shù)據(jù)進行及時匯聚、管理和分析服務(wù)。目前，全市已經(jīng)建成江

寧、浦口、六合、高淳、漂水及市政府信息中心等六個數(shù)據(jù)分中心數(shù)據(jù)庫。經(jīng)初

步測算，僅集中存儲全市XX文字數(shù)據(jù)、圖片的位置索引，以及車牌小圖片片段

數(shù)據(jù)（圖像數(shù)據(jù)在需要時可以按照索引自動到相應(yīng)的分中心圖片系統(tǒng)進行分布調(diào)

用），按照數(shù)據(jù)存儲3年要求，總記錄數(shù)近200億條，原始數(shù)據(jù)總存儲容量約

120TB,高峰時段每秒產(chǎn)生的數(shù)據(jù)將超過1萬條記錄（每條記錄5K數(shù)據(jù)量，包括

文字數(shù)據(jù)、圖片索引和號牌特征圖片）。加上要為原始數(shù)據(jù)記錄創(chuàng)建查詢索引以

及保存從原始數(shù)據(jù)統(tǒng)計分析出的中間結(jié)果數(shù)據(jù)，需提供總量為150TB的原始數(shù)據(jù)

存儲量。

如此龐大的數(shù)據(jù)量使得現(xiàn)有的關(guān)系式數(shù)據(jù)庫已經(jīng)難以提供相應(yīng)的數(shù)據(jù)存儲

管理和處理能力。為此，需要考慮基于云平臺的分布式海量數(shù)據(jù)存儲和處理解決

方案。

本項目的基本建設(shè)要求是：在市局集中建設(shè)一套適應(yīng)海量數(shù)據(jù)處理的高性能

道路圖像監(jiān)控數(shù)據(jù)存儲和計算平臺，該平臺將從現(xiàn)有的六個數(shù)據(jù)分中心獲取和匯

聚道路監(jiān)控數(shù)據(jù)，以便提供集中式的道路監(jiān)控數(shù)據(jù)管理功能，為開展各種車輛監(jiān)

控數(shù)據(jù)應(yīng)用提供海量數(shù)據(jù)存儲管理和計算服務(wù)能力。

系統(tǒng)的基本功能和性能如下：

海量歷史交通監(jiān)控數(shù)據(jù)匯總

能夠?qū)Π賰|級的海量歷史交通監(jiān)控數(shù)據(jù)進行匯總處理。

海量原始交通監(jiān)控數(shù)據(jù)上報

能夠?qū)Π賰|級的海量上報交通監(jiān)控數(shù)據(jù)進行上報處理。

海量原始數(shù)據(jù)實時入庫、生成索引

能夠?qū)α髁砍^10000條/m的全量原始交通監(jiān)控數(shù)據(jù)流進行實時處理。

海量數(shù)據(jù)存儲、計算

能夠存儲百億級別的數(shù)據(jù)，并完成各種復雜業(yè)務(wù)應(yīng)用計算。

百億級數(shù)據(jù)秒級查詢能力

高效索引算法，智能化調(diào)度任務(wù)系統(tǒng)，滿足秒級查詢速度。

秒級實時業(yè)務(wù)響應(yīng)

高效實時數(shù)據(jù)通道，對于像實時監(jiān)控、告警等實時業(yè)務(wù),提供秒級響應(yīng)時間。

1.1.2主要建設(shè)目標和建設(shè)原則

建設(shè)目標：利用大量普通的性價比高的商用服務(wù)器，構(gòu)建一個高性能的云計

算平臺，對峰值流量超過10000條/秒、5年高達400TB的總數(shù)據(jù)量進行存儲處

理，以便為實時監(jiān)控、報警監(jiān)控、車輛軌跡回放、電子地圖、報警管理、布控管

理、設(shè)備管理、事件檢測報警、流量統(tǒng)計和分析等多種應(yīng)用業(yè)務(wù)提供海量數(shù)據(jù)存

儲管理支撐和計算服務(wù)能力。

建設(shè)原則：

（1）前瞻性技術(shù)與實際應(yīng)用環(huán)境相結(jié)合

在技術(shù)方案上，本系統(tǒng)必須充分利用目前先進的云計算和海量數(shù)據(jù)處理相關(guān)

技術(shù)，保證系統(tǒng)技術(shù)的前瞻性和先進性。

（2）高可靠性、高擴展性、高可獲得性、實時性和高性價比的云平臺

與此同時，通過利用業(yè)界成熟的云計算和海量數(shù)據(jù)并行計算平臺和技術(shù)，提

供切實可行的海量數(shù)據(jù)存儲處理解決方案，并保證所設(shè)計實現(xiàn)的系統(tǒng)具有高可靠

性、高擴展性和高可獲得性；同時，通過云平臺的海量數(shù)據(jù)并行處理，保證數(shù)據(jù)

查詢響應(yīng)的實時性；此外，系統(tǒng)將利用比傳統(tǒng)方案更為低廉的價格，提供更高的

處理能力，達到較之傳統(tǒng)方案至少一個數(shù)量級的性價比提升。

（3）遵循公安320工程相關(guān)標準規(guī)范

在項目設(shè)計和工程實施上，本項目所有的數(shù)據(jù)格式、接口等要遵循公安320

工程相關(guān)標準規(guī)范。

1.1.3系統(tǒng)的主要技術(shù)特點

實時性：系統(tǒng)在分布式海量數(shù)據(jù)存儲和并行處理能力的支撐下，需要實時完

成交管數(shù)據(jù)獲取、入庫、以及數(shù)據(jù)匯總、上報、查詢、分析計算和管理等工作,

保證海量數(shù)據(jù)的獲取和入庫不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類基本的數(shù)據(jù)查詢操作基

本都在秒級完成，大規(guī)?；驈碗s的分析計算在分鐘級完成，實現(xiàn)傳統(tǒng)數(shù)據(jù)庫所難

以達到的處理能力和處理效率。

高可靠性：系統(tǒng)應(yīng)采用目前業(yè)界成熟可靠的海量數(shù)據(jù)處理平臺和技術(shù)，需要

考慮數(shù)據(jù)存儲和計算時的系統(tǒng)可靠性，避免系統(tǒng)主節(jié)點的單點失效，并具有存儲

和計算節(jié)點失效檢測和恢復的容錯處理能力，保證不出現(xiàn)系統(tǒng)癱瘓和數(shù)據(jù)出錯現(xiàn)

象。

高可擴展性：系統(tǒng)構(gòu)架和方案必須具有高可擴展性，保證在將來應(yīng)用系統(tǒng)規(guī)

模擴大時能根據(jù)需要隨時增加節(jié)點以擴大系統(tǒng)的數(shù)據(jù)存儲能力和計算能力；并能

在不停機的情況下增加節(jié)點，以保證應(yīng)用服務(wù)的連續(xù)性。

高可獲得性：項目使用市場上標準的普通商用服務(wù)器，采用標準的網(wǎng)絡(luò)構(gòu)建

云計算平臺，云計算平臺通用性強，且任何節(jié)點損壞都易于更換和維護；云計算

系統(tǒng)軟件盡可能采用業(yè)界廣為使用的開源系統(tǒng)，既節(jié)省軟件費用，也易于獲得。

高性價比：替代使用價格昂貴的高端專用存儲和計算設(shè)備，采用價格不高的

普通服務(wù)器，大大節(jié)省系統(tǒng)的構(gòu)建和維護成本，同時通過云計算平臺的并行化計

算能力可提供比傳統(tǒng)方案更高的計算性能，獲得很高的性價比。

全業(yè)務(wù)支持：海量數(shù)據(jù)分布存儲，少量數(shù)據(jù)關(guān)系復雜或?qū)崟r性要求很高的數(shù)

據(jù)存放于關(guān)系數(shù)據(jù)庫，采用這種分布式海量數(shù)據(jù)存儲為主、關(guān)系數(shù)據(jù)庫為輔的混

合式數(shù)據(jù)存儲模式，可存儲各種不同規(guī)模和不同媒體和類型的數(shù)據(jù)，滿足各種不

同的數(shù)據(jù)處理和應(yīng)用業(yè)務(wù)需求。

1.1.4系統(tǒng)的主要性能指標

數(shù)據(jù)存儲和處理指標

3年的原始道路監(jiān)控數(shù)據(jù)量為300TB,加上要為原始數(shù)據(jù)記錄創(chuàng)建查詢索引

以及保存從原始數(shù)據(jù)統(tǒng)計分析出的中間結(jié)果數(shù)據(jù)，需提供總量為250TB的數(shù)據(jù)存

儲量；為了保證數(shù)據(jù)存儲的可靠性防止數(shù)據(jù)丟失，系統(tǒng)要求采用3倍副本方式保

存數(shù)據(jù)，因此，云平臺需要提供250x3=750TB的總存儲量。同時，系統(tǒng)必須能

實時接收和處理峰值流量高達1萬條/秒的實時入庫數(shù)據(jù)，包括實時接收保存和

創(chuàng)建索引處理。

硬件系統(tǒng)指標

為了保證計算集群的存儲和計算性能，每個服務(wù)器節(jié)點配置為不低于2顆

Intel至強5645六核處理器，內(nèi)存24G,6X2T(RAID0)SAS熱插拔硬盤；而集

群計算和存儲主控節(jié)點配置為不低于2顆Intel至強5660六核處理器，內(nèi)存

32G,5X2T(RAID1)SAS熱插拔硬盤；關(guān)系數(shù)據(jù)庫服務(wù)器配置為不低于2顆Intel

至強5660六核處理器，內(nèi)存24G,3X2T(RAID1)SAS熱插拔硬盤；應(yīng)用分析服

務(wù)器和數(shù)據(jù)采集服務(wù)器配置均為不低于2顆Intel至強5645六核處理器，內(nèi)存

16G,應(yīng)用服務(wù)器采用600GB15000轉(zhuǎn)SAS熱插拔硬盤，數(shù)據(jù)采集服務(wù)器采用

2T(RAID1)SAS熱插拔硬盤。詳細指標要求參見本文建設(shè)內(nèi)容部分描述。

計算響應(yīng)時間

實時入庫時延:道路監(jiān)控數(shù)據(jù)從分中心獲取后入庫處理(包括創(chuàng)建查詢索引)

時的時間延遲小于5秒，并保證不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象。

查詢響應(yīng)：查詢響應(yīng)依賴于上層應(yīng)用的具體查詢分析的復雜程度、查詢時所

涉及到的時間跨度和具體數(shù)據(jù)量、及上層應(yīng)用查詢具體的設(shè)計實現(xiàn)方法。由于本

項目并不包括上層應(yīng)用的開發(fā)，因此，本項目中難以確定和評估上層應(yīng)用的查詢

響應(yīng)時間。但為了保證本項目所設(shè)計實現(xiàn)的系統(tǒng)能滿足實時查詢響應(yīng)能力、并制

定項目驗收時的有效評估標準，本項目要求對最常用的指定車輛牌號在不同時間

段的查詢能達到實時響應(yīng)。具體要求是，平均計算，對單個車輛牌號1個月內(nèi)的

軌跡查詢返回和結(jié)果讀出在1秒內(nèi)完成，6個月內(nèi)的軌跡查詢返回和結(jié)果讀出在

5秒內(nèi)完成，6T2個月內(nèi)的軌跡查詢返回和結(jié)果讀出在10秒內(nèi)完成(其中全部

查詢結(jié)束至第一個結(jié)果讀出應(yīng)在3秒內(nèi)完成)，而1-3年的軌跡查詢和結(jié)果返回

應(yīng)在30秒內(nèi)完成(其中全部查詢結(jié)束至第一個結(jié)果讀出應(yīng)在10秒內(nèi)完成)。

1.2系統(tǒng)總體構(gòu)架

1.2.1系統(tǒng)基本組成與構(gòu)架

“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理項目是一個處于交管數(shù)據(jù)采集與交管數(shù)

據(jù)監(jiān)測應(yīng)用之間的系統(tǒng)。從系統(tǒng)基本組成與構(gòu)架上來看，該共享平臺由7個主要

部分組成：歷史數(shù)據(jù)匯聚系統(tǒng)、實時數(shù)據(jù)入庫系統(tǒng)、數(shù)據(jù)存儲管理系統(tǒng)、數(shù)據(jù)上

報處理系統(tǒng)，數(shù)據(jù)應(yīng)用接口、數(shù)據(jù)查詢導出系統(tǒng)以及系統(tǒng)管理。

在基礎(chǔ)設(shè)施構(gòu)架上，在市局集中建設(shè)一套適應(yīng)海量數(shù)據(jù)處理的高性能道路圖

像監(jiān)控數(shù)據(jù)存儲和計算平臺，作為“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理項目的基

礎(chǔ)設(shè)施和支撐平臺。

圖表1“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺的基本組成與構(gòu)架

1.2.2系統(tǒng)功能構(gòu)架

“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺需要提供的7大數(shù)據(jù)處理和服務(wù)

功能描述如下。

(1)歷史數(shù)據(jù)匯聚

歷史數(shù)據(jù)匯總處理主要負責把XX市6個分散的數(shù)據(jù)中心的歷史數(shù)據(jù)，進行

讀取解析處理，并將處理后的歷史數(shù)據(jù)匯入一個統(tǒng)一的數(shù)據(jù)中心。

在內(nèi)部處理模塊上，歷史數(shù)據(jù)匯總系統(tǒng)主要包括三個模塊：讀取模塊、解析

模塊和匯總模塊。讀取模塊主要負責各個數(shù)據(jù)中心歷史數(shù)據(jù)的讀取處理，解析模

塊主要負責把讀取到的歷史數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而匯總模塊主要負責把

解析好的歷史數(shù)據(jù)上傳到統(tǒng)一的數(shù)據(jù)中心。

在系統(tǒng)構(gòu)架上，為了滿足6個分散的數(shù)據(jù)中心處理需要，需要在每一個數(shù)據(jù)

中心處安裝一個數(shù)據(jù)匯總程序。

接口調(diào)用說明：

鑒于歷史數(shù)據(jù)是存儲在Oracle關(guān)系數(shù)據(jù)庫中，在這里數(shù)據(jù)匯總程序的讀取

模塊將通過結(jié)構(gòu)化數(shù)據(jù)存儲訪問接口（如JDBC）訪問和讀取其中的歷史數(shù)據(jù)。匯

總模塊則會利用“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺的云存儲系統(tǒng)提供的

數(shù)據(jù)添加接口把解析好的歷史數(shù)據(jù)添加到云存儲系統(tǒng)中。（這里的數(shù)據(jù)添加接口

以jar包的方式集成到數(shù)據(jù)匯總程序中。調(diào)用十分方便、簡潔，調(diào)用方法類似于

一般的應(yīng)用程序利用JDBC向傳統(tǒng)的關(guān)系數(shù)據(jù)庫中添加數(shù)據(jù)。）

接口安全性說明：

數(shù)據(jù)添加接口把從Oracle數(shù)據(jù)庫中讀取到的歷史數(shù)據(jù)，利用網(wǎng)絡(luò)，傳輸給

云存儲系統(tǒng)，由云存儲系統(tǒng)完成歷史數(shù)據(jù)的入庫操作。當整個流程都準確無誤的

完成后，云存儲系統(tǒng)會返還一個“成功”標記給數(shù)據(jù)匯總系統(tǒng)。當數(shù)據(jù)匯總系統(tǒng)

明確的得到了“成功”標記后，記錄下這條已經(jīng)完成匯總操作的數(shù)據(jù)，然后進行

下一條歷史數(shù)據(jù)的匯總操作。否則會判斷本次匯總操作失敗，并進行失敗處理（如:

判定本次匯總操作失敗的原因、記錄到日志中、進行再次匯總操作等）。這樣可

以最大限度上，保證在各種異常情況下（如：網(wǎng)絡(luò)阻塞）數(shù)據(jù)匯總的安全性。

是否有必要使用消息中間件（如IBMMQ）：

MQ負責在兩個系統(tǒng)之間傳遞消息：這兩個系統(tǒng)可以是異構(gòu)的，處于不同硬

件、不同操作系統(tǒng)、用不同語言編寫，只需要簡單的調(diào)用幾個MQ的API,就可以

互相通訊，你不必考慮底層系統(tǒng)和網(wǎng)絡(luò)的復雜性。

而“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺的數(shù)據(jù)匯總系統(tǒng)和云存儲系統(tǒng)

并不是一般的兩個相互孤立的系統(tǒng)，它們之間的關(guān)系很類似于應(yīng)用程序?qū)τ趥鹘y(tǒng)

數(shù)據(jù)庫的關(guān)系。消息中間件在這么并沒有相應(yīng)的應(yīng)用場景。

但MQ的功能僅限于消息隊列:至于應(yīng)用A發(fā)給應(yīng)用B的消息格式是怎樣的、

能不能被應(yīng)用B解析，MQ管不了，他只是盡力將消息發(fā)到目的地（MQ能夠應(yīng)付

多種異常情況，例如網(wǎng)絡(luò)阻塞、臨時中斷等等）。

“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺的數(shù)據(jù)匯總系統(tǒng)已經(jīng)能夠?qū)Χ喾N

異常情況進行處理。

故從分析來看，數(shù)據(jù)匯總系統(tǒng)和云存儲系統(tǒng)之間不需要再加入一個中間件來

保證數(shù)據(jù)傳輸?shù)陌踩浴?/p>

（2）實時數(shù)據(jù)入庫

實時數(shù)據(jù)入庫主要負責從分中心所采集的全市每個卡口產(chǎn)生的實時數(shù)據(jù)同

步地傳送給本系統(tǒng)進行實時入庫處理（需要通過網(wǎng)閘等安全隔離交換設(shè)備）。

在內(nèi)部處理模塊上，實時數(shù)據(jù)入庫系統(tǒng)主要包括三個模塊：接受模塊、解析

模塊和數(shù)據(jù)入庫模塊。接受模塊主要負責接收每個卡口產(chǎn)生的數(shù)據(jù)流，解析模塊

主要負責把接受到的數(shù)據(jù)流解析成合理的數(shù)據(jù)格式，而數(shù)據(jù)入庫模塊負責把解析

好的數(shù)據(jù)加入到市數(shù)據(jù)中心。

在系統(tǒng)架構(gòu)上，為了使每個卡口的數(shù)據(jù)能實時入庫市數(shù)據(jù)中心，需要在每一

個負責接受卡口數(shù)據(jù)的工控機上安裝一個實時數(shù)據(jù)入庫系統(tǒng)。

接口調(diào)用及安全性說明：

同數(shù)據(jù)匯總系統(tǒng)，區(qū)別在于：數(shù)據(jù)匯總的數(shù)據(jù)來源于關(guān)系數(shù)據(jù)庫，而實時數(shù)

據(jù)上報系統(tǒng)的數(shù)據(jù)來源于接受卡口數(shù)據(jù)的工控機。

（3）數(shù)據(jù)存儲管理

原始交管數(shù)據(jù)，將全部存儲在“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺的

云存儲資源中。資源池提供兩種存儲資源：一種是結(jié)構(gòu)化數(shù)據(jù)存儲資源，用于存

儲少量的接口中間數(shù)據(jù)；另一種是分布式文件系統(tǒng)，用于存儲海量的非結(jié)構(gòu)化數(shù)

據(jù)。為了滿足和適應(yīng)數(shù)據(jù)量、數(shù)據(jù)特征和查詢處理的不同需求，將采用一種混搭

式的數(shù)據(jù)存儲方案。

對容量巨大、常規(guī)數(shù)據(jù)庫難以處理的數(shù)據(jù)，如交管數(shù)據(jù)，將主要存儲在基于

分布式云存儲的分布式文件系統(tǒng)中；這些數(shù)據(jù)將通過分布式云存儲接口進行訪問

和計算處理。而對于部分數(shù)據(jù)量不大、且查詢響應(yīng)性能要求很高的數(shù)據(jù)，如用于

報警比對的中間數(shù)據(jù)，將被存放在關(guān)系數(shù)據(jù)庫中。關(guān)系數(shù)據(jù)庫將采用Oracle10g

版本。這些數(shù)據(jù)將通過結(jié)構(gòu)化數(shù)據(jù)存儲訪問接口(如JDBC)進行訪問。

在存儲構(gòu)架上，若以存儲3年的原始交管數(shù)據(jù)、報警信息數(shù)據(jù)和針對快速查

詢建立的索引數(shù)據(jù)，在10000條/s的交管數(shù)據(jù)流量下，將大約需要512TB的存

儲容量，按照每個存儲節(jié)點16TB的存儲容量，加上少量的冗余節(jié)點，將需要32

個存儲節(jié)點。

(4)數(shù)據(jù)上報處理

數(shù)據(jù)上報處理負責把市局數(shù)據(jù)中心的數(shù)據(jù)，按照一定的匯總格式需求(按時

間段或一定的數(shù)據(jù)量)，上報給省廳數(shù)據(jù)中心。

在內(nèi)部處理模塊上，上報數(shù)據(jù)上報系統(tǒng)主要包括三個模塊：讀取模塊、解析

模塊和上報模塊。讀取模塊主要負責市數(shù)據(jù)中心需要上報數(shù)據(jù)的讀取處理，解析

模塊主要負責把讀取到的數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而上報模塊主要負責把解

析好的數(shù)據(jù)上傳到的省廳數(shù)據(jù)中心。

在系統(tǒng)構(gòu)架上，為了滿足市數(shù)據(jù)中心處理需要，需要在市數(shù)據(jù)中心處安裝一

個數(shù)據(jù)上報程序。而省廳數(shù)據(jù)中心需要提供數(shù)據(jù)上報的接口。

(5)數(shù)據(jù)應(yīng)用接口

數(shù)據(jù)應(yīng)用接口主要提供包括交管信息查詢、報警信息查詢、事件檢測報警、

流量統(tǒng)計和分析等功能。

車輛軌跡查詢處理時，由于交管數(shù)據(jù)量巨大，難以存儲在常規(guī)的關(guān)系數(shù)據(jù)庫

中，而如果直接存儲在分布式云存儲或數(shù)據(jù)立方中又難以保證查詢效率。為此,

需要考慮對交管數(shù)據(jù)進行索引處理，并將索引數(shù)據(jù)存儲在分布式云存儲或數(shù)據(jù)立

方中。為了建立交管數(shù)據(jù)索引，需要在交管數(shù)據(jù)傳送到云存儲系統(tǒng)中時，進行實

時的索引處理。但由于交管數(shù)據(jù)流量巨大，需要調(diào)度使用多臺服務(wù)器節(jié)點進行并

行處理。止匕外，用戶從客戶端發(fā)起以上各種數(shù)據(jù)查詢分析任務(wù)時，也會產(chǎn)生大量

并發(fā)的查詢?nèi)蝿?wù)。以上各種查詢分析計算任務(wù)的處理將需要考慮在計算集群上進

行并行化任務(wù)調(diào)度和負載均衡處理。這些并行計算任務(wù)及負載均衡處理將使用

Zookeeper基于計算集群完成統(tǒng)一的控制和實現(xiàn)。

在系統(tǒng)構(gòu)架上，以上查詢分析計算任務(wù)將需要使用一個大規(guī)模數(shù)據(jù)并行計算

集群。在編程實現(xiàn)上，存儲在數(shù)據(jù)庫中的數(shù)據(jù)將使用常規(guī)的數(shù)據(jù)庫查詢語言實現(xiàn);

對存儲在分布式文件系統(tǒng)中的交管數(shù)據(jù)，針對不同的處理要求，在數(shù)據(jù)量極大而

處理實時性要求不是特別高的情況下，為了方便對海量數(shù)據(jù)的并行處理，將采用

分布式云處理編程方式實現(xiàn)；而對于那些實時性要求很高的查詢分析計算，由于

分布式云處理啟動作業(yè)需要較長的時間開銷，將不適合采用分布式云處理編程實

現(xiàn)，而需要用非分布式云處理編程方式實現(xiàn)。

接口調(diào)用說明：

這里的各類查詢分析應(yīng)用的接口，都會以Java方法的形式封裝在jar包里，

提供給其他應(yīng)用系統(tǒng)。其他應(yīng)用系統(tǒng)通過調(diào)用jar包里的對應(yīng)的Java方法，便

可以獲取想要的數(shù)據(jù)(具體的使用類似于利用JDBC提供的Java方法從數(shù)據(jù)庫獲

取指定條件的數(shù)據(jù))。對于查詢結(jié)果數(shù)據(jù)數(shù)目過大的情況，我們采用分頁查詢的

方法，以保證能在很短的時間內(nèi)響應(yīng)用戶的請求。

(6)數(shù)據(jù)查詢導出

在實際使用中，可能用戶會對某一時間段或者類型的數(shù)據(jù)特別關(guān)心，就可以

通過數(shù)據(jù)管理系統(tǒng)查詢并導出這部分數(shù)據(jù)以供使用。

包括數(shù)據(jù)查詢和數(shù)據(jù)導出兩大部分。數(shù)據(jù)查詢讓用戶以自定義的條件查詢出

數(shù)據(jù)，而數(shù)據(jù)導出就是將這些數(shù)據(jù)以合理的格式導出到數(shù)據(jù)中心以外。

(7)系統(tǒng)管理

系統(tǒng)管理主要包括“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺的配置管理、

系統(tǒng)安全管理、系統(tǒng)用戶管理，以及數(shù)據(jù)備份、系統(tǒng)故障監(jiān)測復等管理維護功能。

配置管理是其中最主要的部分，是系統(tǒng)各個模塊正常運行的基礎(chǔ)。系統(tǒng)應(yīng)能

夠?qū)W(wǎng)絡(luò)地址、設(shè)備地址等進行配置；能夠?qū)τ脩糇鰴?quán)限管理，以防止數(shù)據(jù)外泄；

并能及時有效的對數(shù)據(jù)進行備份和故障檢測等工作，防止數(shù)據(jù)的意外丟失。系統(tǒng)

應(yīng)支持樹圖、數(shù)據(jù)表格、網(wǎng)絡(luò)拓撲圖形式展示配置數(shù)據(jù)。

1.2.3系統(tǒng)總體構(gòu)架與功能模塊

基于以上基本的系統(tǒng)組成和功能構(gòu)架，系統(tǒng)的詳細總體構(gòu)架和功能模塊設(shè)計

如圖所示。

客

戶盛

實時跟查詢網(wǎng)絡(luò)管

端

蹤界面界面理界面

實時報警交管數(shù)據(jù)煙攵電t

交

管Web服務(wù)程序拓撲管理

數(shù)并行查詢?nèi)蝿?wù)分發(fā)

告警預警

據(jù)

交管數(shù)據(jù)車輛軌跡軌跡查詢多?約v管理

處分析對比查詢［查詢］車輛

理網(wǎng)絡(luò)指標

■用戶管理

基于zookeeper索引、計算,查詢并行

軟監(jiān)視

.計算任務(wù)負栽均衡調(diào)度與單點容錯控制

件

■其他計算［流量統(tǒng)計I查器引］自系統(tǒng)其他系統(tǒng)

層網(wǎng)管管理

數(shù)

據(jù)

層

系

數(shù)據(jù)庫訪問接口HDFS訪問接口HBase接口Hadoop編程接口

統(tǒng)

軟修動云存儲系統(tǒng)綜合分析云計尊軟件平臺

件

MapZooHApache.

層H8ase

ReduceKeeper

硬

件??

平

接n與骨理腰務(wù)器

臺

層

圖表2“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺總體構(gòu)架與功能模塊圖

上圖中，自底向上分為五個層面。最下層是硬件平臺層，將使用XX市公安

局云計算中心所提供的計算、存儲和網(wǎng)絡(luò)資源。從系統(tǒng)處理系統(tǒng)的角度看，這一

層主要包括云存儲計算集群，此外還包括接口和管理服務(wù)器、包括用于實現(xiàn)客戶

端訪問的Web服務(wù)器。

第二層是系統(tǒng)軟件層，包括移動的云存儲系統(tǒng)軟件，綜合分析云計算軟件平

臺，以及Web服務(wù)軟件等。云存儲系統(tǒng)將提供基于Oracle10g關(guān)系數(shù)據(jù)庫的結(jié)

構(gòu)化數(shù)據(jù)存儲訪問能力，以及基于分布式云存儲的分布式文件系統(tǒng)存儲訪問能力,

分別提供基于JDBC/SQL的數(shù)據(jù)庫訪問接口以及分布式云存儲訪問接口。綜合分

析云計算軟件平臺可提供對分布式云存儲、數(shù)據(jù)立方數(shù)據(jù)的訪問，并提供分布式

云處理編程模型和接口、以及非分布式云處理模型的編程接口，以及用于實現(xiàn)并

行計算任務(wù)負載均衡和服務(wù)器單點失效恢復的Zookeeper。

第三層是“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺中的數(shù)據(jù)層，包括原始

交管數(shù)據(jù)、索引數(shù)據(jù)、用于分析的中間數(shù)據(jù)、以及系統(tǒng)配置數(shù)據(jù)等。其中，原始

交管數(shù)據(jù)、索引數(shù)據(jù)等海量數(shù)據(jù)將存儲在XX公安局云存儲系統(tǒng)的分布式云存儲

分布式文件系統(tǒng)中，用分布式云存儲接口進行存儲和訪問處理；而其它用于分析

的中間數(shù)據(jù)等數(shù)據(jù)量不大、但處理響應(yīng)性能要求較高的數(shù)據(jù)，將存儲在云存儲系

統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)中，用JDBC/SQL進行存儲和訪問處理。

第四層是交管數(shù)據(jù)處理軟件層，主要完成“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處

理云平臺所需要提供的諸多功能，包括實時監(jiān)控、報警監(jiān)控、車輛軌跡查詢與回

放、電子地圖、報警管理、布控管理、設(shè)備管理、事件檢測報警、流量統(tǒng)計和分

析、系統(tǒng)管理等功能。

最上層是客戶端用戶界面軟件，主要供用戶查詢和監(jiān)視相關(guān)的數(shù)據(jù)信息，除

了事件檢測報警不需要用戶界面外，其它部分都需要實現(xiàn)對應(yīng)的用戶界面。

1.3系統(tǒng)基本功能與處理方案

1.3.1交管數(shù)據(jù)入庫功能與處理方案

交管數(shù)據(jù)入庫系統(tǒng)總架構(gòu)如圖：

應(yīng)用層

應(yīng)用層其他增值應(yīng)用

軟件架構(gòu)層z\

存儲與管理子系統(tǒng)

警數(shù)據(jù)查詢模塊

分布式存儲系統(tǒng)

報警信息存儲模塊

交管數(shù)據(jù)查詢模塊

拓撲管理索引存儲模塊

實時報警模塊

交管數(shù)據(jù)存儲模塊

實時監(jiān)控模塊

自實時報警分析

建立索引

數(shù)據(jù)推送數(shù)據(jù)推送數(shù)據(jù)推送

交管數(shù)據(jù)解析交管數(shù)據(jù)解析

負載均衡模塊

交管數(shù)據(jù)入庫

圖表3“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺架構(gòu)

“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺通過實時數(shù)據(jù)入庫系統(tǒng)接入

采集層的交管數(shù)據(jù)，數(shù)據(jù)分配進入負載均衡機，負載均衡機根據(jù)集群各節(jié)點負載

情況，動態(tài)分配交管數(shù)據(jù)到各存儲處理機，進行報警檢測、建立索引等處理，

同時將交管數(shù)據(jù)存入分步式存儲系統(tǒng)。

負載均衡機功能

監(jiān)控所集群機器負載情況，動態(tài)分配交管數(shù)據(jù)。監(jiān)控所有集群機器，如果發(fā)

現(xiàn)問題，那么就把分配給這臺機器的交管數(shù)據(jù)重新分配到其他機器，去除單點故

障，提高系統(tǒng)可靠性。

負載均衡機采用Paxos算法解決一致性問題，集群在某一時刻只有一個

Master負責均衡能力，當Master宕機后，其他節(jié)點重新選舉Master。保證負載

均衡機不會存在單點問題，集群機器一致性。

實時業(yè)務(wù)

對于實時性要求高的業(yè)務(wù)應(yīng)用，如：實時監(jiān)控、實時報警，走實時專道。

1.3.2數(shù)據(jù)存儲功能與處理方案

數(shù)據(jù)存儲處理總架如圖:

應(yīng)用層

處理層

交管信息查詢接口系統(tǒng)管理接口

并行計算

交管信息查詢模塊實時報警分析

報警信息查詢模塊流量統(tǒng)計

建立索引模塊

主控

分類存帳效據(jù)索引數(shù)據(jù)系綾配置信息

鍍塊

交管數(shù)據(jù)交管數(shù)據(jù)索引黑名單管理

交管數(shù)據(jù)車主信息

報警數(shù)據(jù)報警數(shù)據(jù)索引

布控信息

基礎(chǔ)配置信息

平臺層

物理層

DataNodeNameNode

圖表4數(shù)據(jù)存儲處理架構(gòu)

數(shù)據(jù)存儲系統(tǒng)提供如下功能:

交管數(shù)據(jù)處理：接收來自數(shù)據(jù)匯總和數(shù)據(jù)入庫系統(tǒng)的交管數(shù)據(jù)，索引模塊

實時生成索引，以提高查詢速度。生成的索引存儲到分布式云存儲中，以供查詢

交管數(shù)據(jù)使用。

專題業(yè)務(wù)分析，通過分布式云處理并行計算，同期提取業(yè)務(wù)數(shù)據(jù)，將結(jié)果分

存兩路，一路存入數(shù)據(jù)立方或日志詳單存儲，一路存入關(guān)系型數(shù)據(jù)庫。

報警數(shù)據(jù)處理

“3.20”道路圖像監(jiān)控數(shù)據(jù)匯聚處理云平臺對接收到的實時交管數(shù)據(jù)進行計

算，以判斷這輛車有沒有符合報警條件。如果符合，會對報警信息入庫，并同時

通過對外實時報警的接口，將報警信息迅速展示到用戶界面上。

1.3.3查詢分析功能與處理方案

交管數(shù)據(jù)查詢構(gòu)架如圖:

圖表5交管數(shù)據(jù)接入

當客戶發(fā)起請求后，客戶端把請求發(fā)向查詢接口服務(wù)器，查詢接口服務(wù)器

解析查詢請求，后向Master任務(wù)調(diào)度機發(fā)送查詢?nèi)蝿?wù)執(zhí)行命令；Master回應(yīng)執(zhí)

行命令節(jié)點信息，查詢服務(wù)器根據(jù)節(jié)點信息將查詢命令發(fā)向查詢計算模塊，進行

具體查詢操作，將查詢結(jié)果返回給客戶端，呈現(xiàn)給用戶。

1.4系統(tǒng)可靠性與擴展性

1.4.1系統(tǒng)可靠性

分布式云存儲可靠性概述：

分布式云存儲包括元數(shù)據(jù)節(jié)點(Namenode)和數(shù)據(jù)節(jié)點(Datanode),Namenode

是一個中心服務(wù)器，負責管理文件系統(tǒng)的Namespace和客戶端對文件的訪問。，

Datanode在集群中一般是一個節(jié)點一個，Datanode是文件系統(tǒng)中真正存儲數(shù)據(jù)

的地方。

DataNode所在機器掛了怎么辦？

分布式云存儲(分布式云計算DistributedFileSystem)默認的最基本的

存儲單位是64M的數(shù)據(jù)塊(block)o一個文件對應(yīng)的所有BLOCK全部按照一定

的部署策略存在于DataNode上，文件的所有block為了容錯都會被復制(一般

為3份)，每個文件的block大小和replication因子都是可配置的。Datanode

每3分鐘向Namenode發(fā)送心跳，如果10分鐘datanode沒有向Namenode發(fā)送心

跳，則Namenode認為該Datanode已經(jīng)dead,Namenode將取出該Datanode上對

應(yīng)的block,對其進行復制。

Namenode掛了怎么辦？

Namenode主控服務(wù)器，為了避免主節(jié)點失效而影響整個系統(tǒng)正常工作，我

們采用基于分布式云存儲的改進方案Avatar,同時可開啟兩個Namenode,主

Namenode和secondNamenode,實際工作的只有主Namenode0主Namenode將所

有關(guān)于文件和目錄的操作記錄都會寫入日志，并定時序列化到本地做鏡像，并且

保存到本地的NFS服務(wù)器，同時secondNamenode讀取主Namenode所在NFS服務(wù)

器的日志并對鏡像日志做Checkpoint。故障后，secondNamenode升級為Namenode,

通過鏡像數(shù)據(jù)和文件日志迅速恢復系統(tǒng)。數(shù)據(jù)服務(wù)器可通過分布式協(xié)同服務(wù)機制

得知關(guān)于主控服務(wù)器的更迭情況，然后向新的主控注冊并繼續(xù)發(fā)送心跳。

數(shù)據(jù)立方可靠性概述：

數(shù)據(jù)立方系統(tǒng)由數(shù)據(jù)立方集群和ZooKeeper集群組成。數(shù)據(jù)立方的可靠性由

其自身的ZooKeeper機制保證。數(shù)據(jù)立方包括Hregion服務(wù)器群和Master主服

務(wù)器構(gòu)成。Master負責管理Hregion。物理上，一張表是被拆成多個塊，一張完

整的表格是保存在多個Hregion上面的。

master掛掉怎么辦？

由于master只維護表和region的元數(shù)據(jù)，因此master下線短時間內(nèi)對整

個數(shù)據(jù)立方集群沒有影響，master保存的信息全是可以冗余信息（都可以從系

統(tǒng)其它地方收集到或者計算出來），因此，啟動數(shù)據(jù)立方時可以再啟動一個備用

的master,實際工作的只有主master,當主master所在節(jié)點宕機，會自動切換

到備用master所在節(jié)點。

Hregionserver掛掉怎么辦？

物理上，表格分為多個Region一張表是被拆成多個塊，一張完整的表格是

保存在多個Hregionserver上面的。并且分布在多臺Hregionserver中，物理上

所有數(shù)據(jù)存儲在分布式云計算的分布式云存儲上，由一些子表服務(wù)器來提供數(shù)據(jù)

服務(wù)，提供服務(wù)時，子表先查HMemcache,如果沒有，再查分布式云存儲上的

HStore,由分布式云存儲來保證數(shù)據(jù)的可靠性。如果丟失Region的數(shù)據(jù)所在節(jié)

點的datanode宕機，分布式云存儲會自動映射到其他節(jié)點，從而保證Region數(shù)

據(jù)的可靠性。

ZooKeeper掛掉怎么辦？

Zookeeper分為2個部分：服務(wù)器端和客戶端。啟動Zookeeper服務(wù)器集群

環(huán)境后，多個Zookeeper服務(wù)器在工作前會選舉出一個Leader,在接下來的工

作中這個被選舉出來的Leader死了,而剩下的Zookeeper服務(wù)器會知道這個

Leader死掉了，在活著的Zookeeper集群中會繼續(xù)選出一個Leader,選舉出

leader的目的是為了可以在分布式的環(huán)境中保證數(shù)據(jù)的一致性。

分布式云處理可靠性概述：

分布式云處理整體上可以分為這么幾條執(zhí)行的線索，JobTracker與

JobTracker是一個master服務(wù)，軟件啟動之后JobTracker接收job,負責調(diào)度

job的每一個子任務(wù)task運行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失

敗的task就重新運行它。一般情況應(yīng)該把JobTracker部署在單獨的機器上。

TaskTracker是運行于多個節(jié)點上的slaver服務(wù)。TaskTracker主動與

JobTracker通信，接收作業(yè)，并負責直接執(zhí)行每一個任務(wù)。TaskTracker都需要

運行在分布式云存儲的DataNode上，

JobTrackerO掛掉怎么辦？

在系統(tǒng)啟動時同時啟動備份JobTrackerl節(jié)點，當JobTrackerO節(jié)點宕機

時，ZooKeeper會在其上啟動JobTracker進程替代JobTrackerO節(jié)點，虛擬IP

會指向此節(jié)點，TaskTracker會注冊到此節(jié)點上，未完成的分布式云處理作業(yè)會

被ZooKeeper調(diào)度到此節(jié)點上重新執(zhí)行。

TaskTracker掛掉怎么辦？

JobTracker是一個master服務(wù)，軟件啟動之后JobTracker接收job,負責

調(diào)度job的每一個子任務(wù)task運行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)

有失敗的task就重新運行它。并且將其負責的task分配給其他TaskTracker

上。

1.4.2系統(tǒng)擴展性

已有的分布式云計算集群規(guī)模

分布式云計算是一個相當有彈性和擴展性的平臺，它既可以在成千上萬的機

器上跑，也可以在很小規(guī)模上運行。目前最大的分布式云計算集群有四千臺機器。

分布式云計算擴展優(yōu)勢：

與其它分布式系統(tǒng)相比，使用分布式云計算的好處在于它的水平的可擴展性,

在少量結(jié)點上，用分布式云計算處理有限的數(shù)據(jù)時，不能展示分布式云計算的性

能，因為開始分布式云計算程序相關(guān)的代價比較高，其它并行/分布程序方式，

比如MPI(MessageP