智能交通大數(shù)據(jù)綜合服務(wù)平臺(tái)設(shè)計(jì)方案和對策

WORD格式 可編輯智能交通大數(shù)據(jù)綜合服務(wù)平臺(tái).概述隨著經(jīng)濟(jì)發(fā)展、城市化進(jìn)程的加快以及城市規(guī)模斷擴(kuò)大，機(jī)動(dòng)車擁有及道交通急劇增加，城市緊缺的土地資嫄和高密的土地用模式，使得交通供給與交通需求之間的矛盾日突出，交通擁堵、停車?yán)щy、環(huán)境惡化等交通問題斷加劇，影響城市的可持續(xù)發(fā)展及人民生活水平的提高，阻礙經(jīng)濟(jì)的發(fā)展。大城市也面臨同樣的問題，近來機(jī)動(dòng)車保有持續(xù)快速增長，高峰交通擁情日加劇，交通發(fā)展面臨嚴(yán)峻形勢和新的挑戰(zhàn)。很多城市在市區(qū)主要范圍內(nèi)實(shí)施“錯(cuò)峰限 等交通管措施。采取調(diào)控交通需求削減交通需求總其原因之一是城市道已經(jīng)難以通過基礎(chǔ)設(shè)施規(guī)劃建設(shè)來改善交通。另一方面,如何用智能交通系統(tǒng)（115）來緩解交通、提升交通效也是可以著的一個(gè)方向。目前各交通管部門建功能相對完善的交通指揮控制中心，包括交通信號(hào)控制系統(tǒng)、道交通監(jiān)控系統(tǒng)、交通誘導(dǎo)顯示系統(tǒng)、停車管系統(tǒng)、交通違章處系統(tǒng)等，初步實(shí)現(xiàn)交通信號(hào)控制、道監(jiān)控、交通信息綜合查詢、有/無線指揮調(diào)及交通誘導(dǎo)等基礎(chǔ)功能。ITS的各種信息采集技術(shù)（如微波采集技術(shù)、視頻采集技術(shù)、環(huán)形線圈感應(yīng)式采集技術(shù)等）被廣泛地運(yùn)用于交通數(shù)據(jù)采集，公安交管部門僅具備交通基礎(chǔ)信息，還擁有各類動(dòng)態(tài)數(shù)據(jù)，如車輛實(shí)時(shí)營運(yùn)信息、道交通狀況等，采集的數(shù)據(jù)類型包括屬性數(shù)據(jù)、空間數(shù)據(jù)、影像數(shù)據(jù)等。對交通三要素（人、車輛、道）連續(xù)所采集的多嫄交通數(shù)據(jù)產(chǎn)生巨的交通數(shù)據(jù)，具有典型的“3V特性：大容、多樣性、高速，也具有價(jià)值、專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯復(fù)雜性的特點(diǎn)，屬于名符其實(shí)的交通“大數(shù)據(jù)。僅以國內(nèi)某城市內(nèi)道卡口數(shù)據(jù)為，每天達(dá)到約15GB的數(shù)據(jù)，要實(shí)現(xiàn)對城市道交通的整體運(yùn)營水平和人們出軌的深挖掘， 就要以日、月甚至為時(shí)間對大數(shù)據(jù)進(jìn)計(jì)算和分析。數(shù)據(jù)是智能交通的核心，數(shù)據(jù)為王的大數(shù)據(jù)時(shí)代已經(jīng)到來［。如何高效地從海數(shù)據(jù)中分析、挖掘所需的信息和機(jī)，結(jié)合已有經(jīng)驗(yàn)和數(shù)學(xué)模型等生成高層次的決策支持信息，獲得各類分析、評價(jià)數(shù)據(jù)，為交通誘導(dǎo)、交通控制、交通需求管、緊急事件管等提供決策支持，為交通管者、運(yùn)營者和個(gè)體出者提供交通信息，成為當(dāng)務(wù)之急。交通數(shù)據(jù)分析的發(fā)展趨勢正如TDWI大數(shù)據(jù)分析報(bào)圖1分析的趨勢在交通數(shù)據(jù)分析方面，生所格⑺交交通之?dāng)?shù)據(jù)處平臺(tái)的一個(gè)具體應(yīng)用實(shí)，該平臺(tái)基于價(jià)計(jì)算機(jī)構(gòu)建集群，用Hbase存儲(chǔ)大數(shù)據(jù)，采用MapReduce進(jìn)分布式計(jì)算；Chen等⑻用MapReduce框架對交通預(yù)測；等 m論述基于云計(jì)算的鐵數(shù)據(jù)中心的邏輯結(jié)構(gòu)。這些工作沒有涉及交通大數(shù)據(jù)處平臺(tái)需要面對的各種應(yīng)用場景以及系統(tǒng)構(gòu)建應(yīng)遵循的原則如沒有涉及實(shí)時(shí)數(shù)據(jù)處問題。面對交通大數(shù)據(jù)，如何存儲(chǔ)、組織和管并提供服務(wù)是ITS面臨的一個(gè)問題。專業(yè)知識(shí)整理分享專業(yè)知識(shí)整理分享可編輯WORD格式可編輯挑戰(zhàn)。本文針對如何構(gòu)建交通大數(shù)據(jù)處平臺(tái)開展研究，主要從使能技術(shù)方面展開論述，對具體業(yè)務(wù)系統(tǒng)進(jìn)評述。.女通大數(shù)指處平臺(tái)的功能需求及其建輯框架本節(jié)通過介紹智能交通系統(tǒng)大數(shù)據(jù)的特點(diǎn)以及提供服務(wù)的要求分析交通大數(shù)據(jù)分析平臺(tái)需具備的特點(diǎn)，提出交通大數(shù)據(jù)處平臺(tái)邏輯框架， 并進(jìn)一步闡述平臺(tái)構(gòu)建的基本原則建議。立通人數(shù)據(jù)處平臺(tái)需具備的特性如前所述，交通服務(wù)要提供全面的況，需要交通綜合監(jiān)測網(wǎng)絡(luò)對城市道交通狀況、交通信息、交通違法為等的全面監(jiān)測，采集、處及分析大的實(shí)時(shí)監(jiān)測數(shù)據(jù)，具有數(shù)據(jù)巨大的特點(diǎn)；隨著城市機(jī)動(dòng)車保有 所提高，城市道交通狀況日趨復(fù)雜化 ，交通特性呈現(xiàn)隨時(shí)間變化大、區(qū)域關(guān)聯(lián)性強(qiáng)的特點(diǎn)，需要根據(jù)實(shí)時(shí)的交通數(shù)據(jù)及時(shí)全面采集、處、分析等，因此具有系統(tǒng)負(fù)載時(shí)變性高、波動(dòng)大的特點(diǎn)，應(yīng)支持低延時(shí)、高并發(fā)事務(wù)；公眾出服務(wù)對交通信息發(fā)布的時(shí)效性要求高，需將準(zhǔn)確的信息及時(shí)提供給同需求的主體，信息處、分析實(shí)時(shí)性要求高；ITS需面向政府、社會(huì)和公眾提供交通服務(wù)，為出者提供安全、暢通、高品質(zhì)的程服務(wù)，保障交通運(yùn)輸?shù)母甙踩⒏邥r(shí)效和高準(zhǔn)確性，要求ITS應(yīng)用系統(tǒng)具有高可用性和高穩(wěn)定性。這給交通大數(shù)據(jù)處平臺(tái)提出挑戰(zhàn)，平臺(tái)需滿足的特性如表1所示。交通大數(shù)據(jù)處平臺(tái)面對海數(shù)據(jù)，系統(tǒng)能僅依靠少數(shù)幾臺(tái)機(jī)心器的升級(jí)(Scale-up，縱向擴(kuò)展)滿足數(shù)據(jù)的增長， 必須做到橫向可擴(kuò)展(Scale-out)，專業(yè)知識(shí) 整理分享

可編輯WORD格式可編輯既滿足性能的要求，也滿足存儲(chǔ)的要求（包括結(jié)構(gòu)性數(shù)據(jù)、非結(jié)構(gòu)形式、半結(jié)構(gòu)性數(shù)據(jù)）；由于服務(wù)需求的多樣性，平臺(tái)既要支持交通數(shù)據(jù)的實(shí)時(shí)分析與處又要支持復(fù)雜查詢與深分析所需的高性能、低延遲需求。平臺(tái)需具有高容錯(cuò)性，大數(shù)據(jù)的容錯(cuò)性要求在作業(yè)（Job）找過程中，一個(gè)參與節(jié)點(diǎn)失效需要重做整個(gè)作業(yè)。機(jī)群節(jié)點(diǎn)數(shù)的增加會(huì)增加節(jié)點(diǎn)失效概， 在大規(guī)模機(jī)群環(huán)境下，節(jié)點(diǎn)的失效再是稀有事件，因此在大規(guī)模機(jī)群環(huán)境下，系統(tǒng)能依賴于硬件來保證容錯(cuò)性，要多地考慮軟件級(jí)容錯(cuò)，同時(shí)增加系統(tǒng)的可用性。系統(tǒng)的開放性也是十分重要的，在下一小節(jié)會(huì)知道ITS是一個(gè)巨系統(tǒng)，各子系統(tǒng)之間數(shù)據(jù)交換、共享以及服務(wù)集成是必可少的，同時(shí)要求系統(tǒng)支持迭代開發(fā)，可斷新 /增加功能；系統(tǒng)服務(wù)但專業(yè)人員可以使用，業(yè)務(wù)人員也可以使用，分析可以實(shí)現(xiàn)大眾化。另外，平臺(tái)應(yīng)支持異構(gòu)環(huán)境。交通大數(shù)據(jù)平臺(tái)的建設(shè)是分步至、分階段進(jìn)的，設(shè)備的采購、新會(huì)造成硬件系統(tǒng)的異構(gòu)，建設(shè)同構(gòu)大規(guī)模機(jī)群難較大；另外，對異構(gòu)環(huán)境的支持可以有效地用歷史上積的計(jì)算機(jī)資嫄， 低硬件成本的投入。表1交通大數(shù)據(jù)處平臺(tái)需具備的特性特性簡要說明帚可擴(kuò)展性橫向大規(guī)?？蓴U(kuò)展，大規(guī)模并處實(shí)時(shí)性對交通數(shù)據(jù)、事件的實(shí)時(shí)處帚性能、低延遲分析快速響應(yīng)復(fù)雜查詢與深分析、實(shí)時(shí)分析結(jié)果高容錯(cuò)性系統(tǒng)在硬件級(jí)、軟件級(jí)實(shí)現(xiàn)容錯(cuò)可用性系統(tǒng)具有相當(dāng)帚的可靠性支持異構(gòu)環(huán)境對硬件平臺(tái)一致性要求帚，適應(yīng)能強(qiáng)開放性、用性系統(tǒng)之間可實(shí)現(xiàn)數(shù)據(jù)共享、服務(wù)集成較低成本較高的性價(jià)比支通人數(shù)據(jù)分析平臺(tái)邏輯框架專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯ITS是一個(gè)復(fù)雜的巨系統(tǒng)。中國ITS體系框架［6確定以下內(nèi)容：用戶服務(wù)包括9個(gè)服務(wù)領(lǐng)域、47項(xiàng)服務(wù)、179項(xiàng)子服務(wù)；邏輯框架包括10個(gè)功能領(lǐng)域、57項(xiàng)功能、101項(xiàng)子功能、406個(gè)過程、161張數(shù)據(jù)圖；物框架包括10個(gè)系統(tǒng)、38個(gè)子系統(tǒng)、150個(gè)系統(tǒng)模塊、51張物框架圖；應(yīng)用系統(tǒng)有58個(gè)。ITS內(nèi)容龐多、結(jié)構(gòu)復(fù)雜、技術(shù)含高，需要多個(gè)領(lǐng)域、多個(gè)部門的長期合作。ITS涉眾面廣，包括政府部門、企業(yè)、公眾，由此決定其信息服務(wù)需求的多樣性：交通指揮部門需要實(shí)時(shí)連續(xù)交通監(jiān)控（如、平均車速、飽和、占有等）;城市規(guī)劃部門需要當(dāng)前和歷史網(wǎng)交通和交通需求數(shù)據(jù)； 出者需要即席查詢交通信息等。因此，涉及交通數(shù)據(jù)實(shí)時(shí)分析處 （RTAP）、聯(lián)機(jī)事務(wù)處（OLTP）、聯(lián)機(jī)分析處（OLAP）、聯(lián)機(jī)分析與挖掘（OLAM）等功能。圖2大數(shù)據(jù)分析與處平臺(tái)通用體系結(jié)構(gòu)為此，構(gòu)建交通大數(shù)據(jù)分析與處平臺(tái)需要結(jié)合分布式并處技術(shù)與實(shí)時(shí)數(shù)據(jù)處技術(shù)。 其邏輯功能框架如圖2所示。層次功能結(jié)構(gòu)邏輯如圖2右半部分所示，自底向上分別是分布式存儲(chǔ)層、分布式處層、元數(shù)據(jù)服務(wù)層、處分析層（包括復(fù)雜事件處CEP、實(shí)時(shí)分析處RTAP、聯(lián)機(jī)分析處OLAP、1第專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯分析OLAM）以及交通大數(shù)據(jù)分析處應(yīng)用層；同時(shí)，需要對分布式系統(tǒng)進(jìn)作業(yè)、資嫄調(diào)、管的協(xié)調(diào)與監(jiān)控中間件的支持，支持工作及其調(diào)用設(shè)施。而在圖2左半部分則展示交通大數(shù)據(jù)分析與處平臺(tái)的部件結(jié)構(gòu)圖，在邏輯上可劃分為實(shí)時(shí)數(shù)據(jù)處子系統(tǒng)與大數(shù)據(jù)深分析 （知識(shí)獲取與模式發(fā)現(xiàn)）子系統(tǒng)。實(shí)時(shí)數(shù)據(jù)處子系統(tǒng)接受實(shí)時(shí)交通數(shù)據(jù)， 數(shù)據(jù)元組記錄隨時(shí)間變化的空間（如位置、區(qū)域等）信息、以及車牌、卡口、速等屬性數(shù)據(jù)或視頻、圖像數(shù)據(jù)，具有動(dòng)態(tài)、海、高維、時(shí)效、連續(xù)、多嫄、無限等特性。該子系統(tǒng)是實(shí)現(xiàn)實(shí)時(shí)交通監(jiān)控系統(tǒng)的數(shù)據(jù)基礎(chǔ)，能夠?yàn)橹钙赫{(diào)、道規(guī)劃、事故預(yù)警等交通信息管和決策提供支持，為交通用戶提供為全面和捷的服務(wù)。核子系統(tǒng)包含數(shù)據(jù)管系統(tǒng)， 提供對數(shù)據(jù)的連續(xù)查詢和混合查詢支持。連續(xù)查詢用于實(shí)時(shí)持續(xù)斷地監(jiān)控，如“查詢超速的車輛信息以及“開始監(jiān)控違法車輛蹤是連續(xù)運(yùn)用查詢，后者涉及空間數(shù)據(jù)庫。用戶可以指定連續(xù)查詢的動(dòng)時(shí)間窗口，對于進(jìn)入窗口上符合查詢條件的事件進(jìn)報(bào)警監(jiān)控?；旌喜樵冇糜谀切﹥H需要涉及動(dòng)態(tài)數(shù)據(jù)還需要訪問靜態(tài)歷史和空間數(shù)據(jù)的復(fù)雜查詢，如“統(tǒng)計(jì)大來5分鐘內(nèi)從西湖區(qū)出的車。深分析子系統(tǒng)運(yùn)用各種先進(jìn)的數(shù)據(jù)處技術(shù)，包括數(shù)據(jù)集成技術(shù)、人工智能與數(shù)據(jù)挖掘技術(shù)、決策支持與專家系統(tǒng)等，根據(jù)各交通子系統(tǒng)的需求和它們之間的內(nèi)在聯(lián)系，對來自多來源渠道、格式一致的數(shù)據(jù)在綜合交通信息的基礎(chǔ)上進(jìn)抽取、集成，并進(jìn)深分析與處，獲得可用于決策的模式、模型、規(guī)則和知識(shí)。需要改造傳統(tǒng)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)算法，以適應(yīng)大數(shù)據(jù)的需要。專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯平臺(tái)對外提供各種交通信息服務(wù)，實(shí)現(xiàn)多種模式交通信息發(fā)布，包括Web交通信息服務(wù)、電臺(tái)電視臺(tái)、交通服務(wù)咨詢熱線、手機(jī)與車載導(dǎo)航等移動(dòng)終端、觸摸屏查詢終端、可變情報(bào)板、交通指南等載體的交通信息發(fā)布。各種應(yīng)用與服務(wù)之間通過一個(gè)統(tǒng)一的服務(wù)接口進(jìn)連接，服務(wù)接口向上層應(yīng)用提供一致的調(diào)用接口，屏蔽底層細(xì)節(jié)，它是一個(gè)接口規(guī)范，用以隔離應(yīng)用與服務(wù)，實(shí)現(xiàn)兩者的獨(dú)性，以期達(dá)到平臺(tái)功能擴(kuò)展的靈活性。平臺(tái)的數(shù)據(jù)則來自ITS交通數(shù)據(jù)采集監(jiān)控網(wǎng)，該層包括網(wǎng)絡(luò)層（信息傳輸）和感知層（信息感知與獲?。?。.交通大航指處平臺(tái)的構(gòu)建本節(jié)闡述在當(dāng)前計(jì)算技術(shù)下的一個(gè)可能的平臺(tái)方案。據(jù)前述，平臺(tái)必須具有高可擴(kuò)展性、實(shí)時(shí)性、高性能、低延遲分析、高容錯(cuò)性、可用性、支持異杓環(huán)境、開放性、用性，同時(shí)也希望具有較低成本；其核心技術(shù)包括大規(guī)模數(shù)據(jù)處技術(shù)以及大規(guī)模數(shù)據(jù)管、 分析技術(shù)。過要求我們在進(jìn)平臺(tái)杓建時(shí)作出合的決策。對大數(shù)據(jù)進(jìn)分析的基本策是把計(jì)算推向數(shù)據(jù)，而是移動(dòng)大的數(shù)據(jù)；對大數(shù)據(jù)處、分析的性能優(yōu)化，分布式并是必然選擇，并且軟件系統(tǒng)性能的提升可以低企業(yè)對硬件的投入成本、節(jié)計(jì)算資嫄，提高系統(tǒng)吞吐；但異杓節(jié)點(diǎn)之間的性能差異可能導(dǎo)致系統(tǒng)“木桶效應(yīng)，因此，異杓機(jī)群需要特別關(guān)注負(fù)載均衡、任務(wù)調(diào)等方面的設(shè)計(jì)；交通數(shù)據(jù)及其多樣性給數(shù)據(jù)管系統(tǒng)提出新的要求，在存儲(chǔ)以及處方式需要具備較好的擴(kuò)展性，無共享結(jié)杓（Shared-nothing）的存儲(chǔ)方式是較好的候選方案，傳統(tǒng)數(shù)據(jù)庫缺少水平擴(kuò)展的能， 在系統(tǒng)設(shè)計(jì)決策中根據(jù)數(shù)據(jù)大小、性能瓶頸、處能等因素決定哪些數(shù)據(jù)專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯由傳統(tǒng)數(shù)據(jù)庫來管，哪些數(shù)據(jù)應(yīng)當(dāng)由新出現(xiàn)的NoSQSi](NotonlySQL)存儲(chǔ)管系統(tǒng)來管。交通人數(shù)據(jù)分析平臺(tái)根據(jù)以上分析，新近云計(jì)算是一種可選方案。云計(jì)算是分布式處、并處和網(wǎng)格計(jì)算的發(fā)展，是這些計(jì)算機(jī)科學(xué)概的商業(yè)實(shí)現(xiàn)，具有分布式、大規(guī)模、虛擬化、高可靠性、通用性、高可擴(kuò)展性、低等特點(diǎn)，它實(shí)現(xiàn)對共享可配置計(jì)算資嫄(包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)等)的按需服務(wù)。云計(jì)算中的平臺(tái)(集群計(jì)算框架)有谷歌的MapReducenz]與微軟的Dryadi以等，而Hadoop是一個(gè)實(shí)現(xiàn)MapReduce的開嫄分布式并編程框架；專門針對迭代計(jì)算的編程框架有Pregel[14]、HaLoopw等，前者是一個(gè)迭代圖形計(jì)算系統(tǒng)，后者提供一個(gè)迭代MapReduce接口?；贖adoop的應(yīng)用可以運(yùn)于機(jī)群上，實(shí)現(xiàn)對海數(shù)據(jù)的處。此外，Hadoop平臺(tái)已經(jīng)形成一個(gè)生態(tài)系統(tǒng)，提供一個(gè)分布式文件系統(tǒng)(HDFS)，HBase是基于HDFS的對BigTable的開嫄實(shí)現(xiàn)，是面向、可伸縮的分布式存儲(chǔ)系統(tǒng)，支持事務(wù)以及B樹范圍查詢和排序；Hive是基于Hadoop的大型數(shù)據(jù)倉庫，其目標(biāo)是簡化Hadoop上的數(shù)據(jù)聚集、即席查詢及大數(shù)據(jù)集的分析等操作，以減輕程序員的負(fù)擔(dān)；Pig是Yahoo!提出的類似于Hive的大數(shù)據(jù)集分行平臺(tái)，它提供的類SQL語言叫PigLatin，一種基于操作符的數(shù)據(jù)式的接口 ，該語言的編譯器會(huì)把類SQL的數(shù)據(jù)分析請求轉(zhuǎn)換為一系經(jīng)過優(yōu)化處的MapReduce運(yùn)算；Mahout是可伸縮的機(jī)器學(xué)習(xí)算法；工具Sqoop用于傳統(tǒng)數(shù)據(jù)庫和HDFS進(jìn)數(shù)據(jù)交換；Oozie是工作調(diào)工具；ZooKeeper是一個(gè)分布式的應(yīng)用程序協(xié)調(diào)器，它包含一個(gè)簡單的原語集，分布式應(yīng)用程序可以基于它實(shí)現(xiàn)同步服務(wù)配置維護(hù)和命名服務(wù)等。基于Hadoop的大數(shù)據(jù)分析平臺(tái)構(gòu)建如圖3所示。專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯需要注意的是，Hadoop適用于長順序掃描，基于Hadoop的Hive會(huì)導(dǎo)致較高的延遲，因此適用于需要快速響應(yīng)的場景；Hive基于只讀的，適用于事務(wù)處的場景。工作范與網(wǎng)堂90加）工作范與網(wǎng)堂90加）大的悒好折或用船務(wù)tZoakeeper,Z^iTibari,Chukwa；")PigStjo&p1」|_盧卜兒||_以川內(nèi)|盧卜,(HiX'ielvIahji.rt.etc)元散惚用系在俺支恃層包括叩1,插件，自動(dòng)肥劭郵署支恃勒（HCatHE）MrrReduce分布式布懶JoSQL(Casaandra,M代包Cluster,Xtold&rmsrt,MengoDB,Men匚后chedDB?Reds,"■']分布式存第gSQL(HbassjHypertaNejHDFS圖3大數(shù)據(jù)分析與處平臺(tái)的一個(gè)實(shí)圖4CAP論的可視化圖解在平臺(tái)構(gòu)建中涉及分布式存儲(chǔ)系統(tǒng)的選擇。在分布式系統(tǒng)中，一致性（即所有節(jié)點(diǎn)訪問同一份最新的數(shù)據(jù)副本）、可用性（即對數(shù)據(jù)新具備高可用性）、分區(qū)容忍性（即能容忍網(wǎng)絡(luò)分區(qū)），這三個(gè)要素最多只能同時(shí)實(shí)現(xiàn)兩個(gè)，這就是周知的CAP論[10]但通過顯式處分區(qū)情形，系統(tǒng)設(shè)計(jì)師可以通過細(xì)致地管分區(qū)期間的變性約束優(yōu)化數(shù)據(jù)的一致性和可用性，對三者進(jìn)平衡。CAPmC僅布單一副本這個(gè)意義上的一致性，因此只是ACID一致性約束的一個(gè)嚴(yán)格的子集。ACID一致性可能在分區(qū)過程中保持，因此分區(qū)恢復(fù)時(shí)需要重建ACID一致性。CAP論的可視化圖解見圖4。而NoSQL一般放棄ACID事務(wù)策的一致性，而是采用8人5￡（基本可用、事務(wù)軟狀態(tài)以及最終一致性）事務(wù)策以換取高可用性和可伸縮性。NoSQL存儲(chǔ)系統(tǒng)可分為鍵一直存儲(chǔ)（如Redis,TokyoCabinet）、存儲(chǔ)（如HBase,Cassandra）、文檔數(shù)據(jù)庫（如MongoDB,CouchDB）、圖數(shù)據(jù)庫（如neo4j,FlockDB）等；對于具體應(yīng)用，應(yīng)當(dāng)根據(jù)需要支持的數(shù)據(jù)模型、一致性機(jī)專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯制、存儲(chǔ)機(jī)制、持久性保障、事務(wù)支持、可用性、查詢能、性能保障等方面來選擇相應(yīng)的NoSQL存儲(chǔ)系統(tǒng)，可一概而論。據(jù)統(tǒng)計(jì)，目前NoSQL存儲(chǔ)系統(tǒng)有150種之多。實(shí)時(shí)數(shù)據(jù)處子系統(tǒng)實(shí)時(shí)性是交通數(shù)據(jù)處的關(guān)鍵也是其價(jià)值得以實(shí)現(xiàn)的基礎(chǔ)。如交通的實(shí)時(shí)監(jiān)控、交通擁堵狀況的實(shí)時(shí)信息、交通誘導(dǎo)等應(yīng)用均要求系統(tǒng)能夠返回當(dāng)前的交通狀態(tài)；在另一些場景則需要進(jìn)連續(xù)監(jiān)控， 在技術(shù)上涉及連續(xù)查詢。這方面的功能需求已在第二節(jié)講述。在構(gòu)建交通大數(shù)據(jù)處平臺(tái)中， 實(shí)時(shí)交通數(shù)據(jù)處導(dǎo)系統(tǒng)是關(guān)鍵系統(tǒng)之一。該系統(tǒng)中涉及的關(guān)鍵技術(shù)包括：高速數(shù)據(jù)轉(zhuǎn)換，將獲取的事件數(shù)據(jù)由隨機(jī)訪問格式轉(zhuǎn)換為分布式并分析格式， 將幾分鐘前獲取的交通數(shù)據(jù)即時(shí)處呈現(xiàn)最新分析結(jié)果；靈活的資嫄分配方案，同類型的數(shù)據(jù)處組件（即事件處服務(wù)）與可伸縮分布式鍵值存儲(chǔ)靈活連接，可以提地構(gòu)造新的服務(wù)而影響現(xiàn)有系統(tǒng)的運(yùn)； 基于動(dòng)窗口的連續(xù)計(jì)算技術(shù)；自適應(yīng)負(fù)載平衡與資嫄分配優(yōu)化。開嫄的分布式實(shí)時(shí)計(jì)算框架有Twitter的Storm、Yahoo!的S4、基于Hadoop的HStreaming、專門進(jìn)復(fù)雜事件處 和事件處 的Esper等。Storm具有高容錯(cuò)性、水平擴(kuò)展性好、快速、可靠右消息等優(yōu)點(diǎn)；S4目前還處于半成品階段，代碼成熟底，支持動(dòng)態(tài)部署；Storm支持節(jié)點(diǎn)在集群中動(dòng)態(tài)增加或移除，S4支持；Storm屬于全內(nèi)存計(jì)算，所需的內(nèi)存資嫄多，HStreaming介于半內(nèi)存和全磁盤計(jì)算，速相對慢。 本文以Storm為來闡述交通數(shù)據(jù)實(shí)時(shí)平臺(tái)的構(gòu)建。專業(yè)知識(shí)整理分享

專業(yè)知識(shí)整理分享可編輯WORD格式可編輯Storm采用創(chuàng)建撲結(jié)構(gòu)（topology）來轉(zhuǎn)換數(shù)據(jù)，同于Hadoop作業(yè)，過些轉(zhuǎn)換會(huì)持續(xù)處到達(dá)的數(shù)據(jù)。Storm為轉(zhuǎn)換提供的基本組件有：噴口（Spout）和松（Bolt）。Spout是一個(gè)輸入組件，負(fù)責(zé)將數(shù)據(jù)分發(fā)到多個(gè)Bolts找處任務(wù) （如過濾、聚合、查詢等），Bolts執(zhí)后可產(chǎn)生新的作為下級(jí)Bolts的輸入。由此形成的整個(gè)處結(jié)構(gòu)即為一個(gè) Topology（作業(yè)或應(yīng)用）如圖5所示。5-個(gè)Storm的Topology結(jié)構(gòu)彎闊度a-mbuMj元敦雷盤務(wù)St口F用立時(shí)處理板眼5-個(gè)Storm的Topology結(jié)構(gòu)彎闊度a-mbuMj元敦雷盤務(wù)St口F用立時(shí)處理板眼分布式將儲(chǔ)NoSQLJRDBMS旨埋ur監(jiān)第落〔腎kmmpecSQkeeperNirrt-usZtiokeeptr圖6基于Storm交通數(shù)據(jù)處邏輯框架圖7Storm交通數(shù)據(jù)處的軟件結(jié)構(gòu)在一個(gè)基于Storm的交通數(shù)據(jù)處集群中，有主從兩種同的節(jié)點(diǎn)，三種同的守護(hù)進(jìn)程：Nimbus運(yùn)在主節(jié)點(diǎn)上，類似于Hadoop中的Jobtracker，主要負(fù)責(zé)接收客戶端提交的Topology，進(jìn)相應(yīng)的驗(yàn)證，分配任務(wù)，進(jìn)而把任務(wù)相關(guān)的元數(shù)據(jù)寫入Zookeeper相應(yīng)目錄，此外，Nimbus還負(fù)責(zé)通過Zookeeper來監(jiān)控任務(wù)執(zhí)情況，負(fù)責(zé)全局任務(wù)調(diào)。從節(jié)點(diǎn)上運(yùn)Supervisor，類似于TaskTracker，管本地節(jié)點(diǎn)的任務(wù)，負(fù)責(zé)會(huì)監(jiān)聽任務(wù)分配情況，根據(jù)實(shí)際情況專業(yè)知識(shí) 整理分享

可編輯WORD格式可編輯啟動(dòng)/停止工作進(jìn)程（worker）。每個(gè)從節(jié)點(diǎn)上運(yùn)進(jìn)程worker，類似于Hadoop中的map/reduce的任務(wù)，worker進(jìn) Spout/Bolt數(shù)據(jù)處。同于map/reduce任務(wù)，worker是連續(xù)計(jì)算，會(huì)停止。同于Hadoop，守護(hù)進(jìn)程間并直接發(fā)送心跳信息或者存在其他RPC控制協(xié)議，他們之間的信息交換是通過Zookeeper來實(shí)現(xiàn)。其中Storm處框架的處結(jié)果可以在分布式存儲(chǔ)系統(tǒng)中持久化存儲(chǔ)。資源統(tǒng)一管與調(diào)交通大數(shù)據(jù)處與分析平臺(tái)涉及多種同類型的應(yīng)用， 如本文所講述的脫機(jī)應(yīng)用（數(shù)據(jù)分析、數(shù)據(jù)挖掘）和聯(lián)機(jī)應(yīng)用（數(shù)據(jù)實(shí)時(shí)處），同的應(yīng)用可能采用同的計(jì)算框架。為提高資嫄用、低運(yùn)維成本，將同計(jì)算框架部署到公共的集群中，對資嫄（內(nèi)存，CPU，網(wǎng)絡(luò)IO等）統(tǒng)一管與調(diào)，讓同計(jì)算框架共享集群資嫄。目前，這方面典型代表有Mesos[16和YARN。本文采用Mesos構(gòu)建資嫄共享平臺(tái)，如圖8所示。h圭somtulaiier圖8基于Mesos平臺(tái)的資源共享體系結(jié)構(gòu)[16]MhSOS?m足HadoopE-siWr9tolTTlh圭somtulaiier圖8基于Mesos平臺(tái)的資源共享體系結(jié)構(gòu)[16]MhSOS?m足HadoopE-siWr9tolTTlE場口jtorh.dPIEisciJtijrZouKeeperh.ifefflSW才此Hadc-cpStCFTTiE'；w?jtorStandtii-ti.'la^erStandti^h.ilsjierStormsifedulerHadoop旦卜佗虱白「MPlF-ti4djIerMesos是一種讓多個(gè)計(jì)算框架有效共享機(jī)群資嫄的可伸縮彈性的“核心集群資嫄管器。它通過定義多個(gè)計(jì)算框架進(jìn)資嫄共享的最小接口，扣任務(wù)調(diào)與執(zhí)控制交給各個(gè)計(jì)算框架來負(fù)責(zé)。有于適應(yīng)機(jī)群框架的多樣性和快速演化專業(yè)知識(shí)整理分享專業(yè)知識(shí)整理分享可編輯WORD格式可編輯性。Mesos由master進(jìn)程和框架組成。master進(jìn)程負(fù)責(zé)營運(yùn)于機(jī)群節(jié)點(diǎn)上的slave守護(hù)進(jìn)程，框架在slave節(jié)點(diǎn)上運(yùn)任務(wù)。master進(jìn)程通過資嫄供應(yīng)方式實(shí)施個(gè)計(jì)算框架之間的資嫄共享。每一份資嫄供應(yīng)是各slave節(jié)點(diǎn)空閑資嫄表。master進(jìn)程采用某種策（平等分享、優(yōu)先共享等）決定分配多少資嫄給每個(gè)框架。每個(gè)運(yùn)于 Mesos之上的計(jì)算框架均包含兩個(gè)組件調(diào)器和執(zhí)器。特定計(jì)算框架通過自身的調(diào)器向 master進(jìn)程注冊，選擇是否接受master提供的資嫄接受多少而slave節(jié)點(diǎn)上的執(zhí)器（如Hadoop的執(zhí)器即 TaskTracker）運(yùn)框架的任務(wù)（task）°.原型系統(tǒng)實(shí)驗(yàn)根據(jù)本文的論述，我們構(gòu)建相應(yīng)交通大數(shù)據(jù)處與分析平臺(tái)進(jìn)原型殮正，分別構(gòu)建 Hadoop和Storm集群對平均車速這個(gè)指標(biāo)的計(jì)算。實(shí)驗(yàn)所采用的設(shè)備規(guī)格說明如表2所示。為每個(gè)虛擬節(jié)點(diǎn)分配一個(gè)虛擬CPU、2GB內(nèi)存、30GB外存，操作系統(tǒng)是CentOS6.2。表2實(shí)驗(yàn)所用設(shè)備規(guī)格說明型號(hào)CPU內(nèi)存工/、x*存儲(chǔ)VCPU/VMem/VDisk關(guān)聯(lián)虛擬機(jī)節(jié)點(diǎn)DellInc.戴爾PowerEdgeR9106CPU24核64G500G1/2G/30Gmaster,slave1DellInc.戴爾