智慧城市交通行業(yè)大數(shù)據(jù)平臺(tái)課件

智慧城市交通行業(yè)大數(shù)據(jù)平臺(tái)技術(shù)創(chuàng)新

變革未來(lái)智慧城市交通行業(yè)大數(shù)據(jù)平臺(tái)技術(shù)創(chuàng)新變革未來(lái)12城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展09年開(kāi)始建設(shè)交通行業(yè)數(shù)據(jù)中心，2014啟動(dòng)大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用2城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展09年開(kāi)始建設(shè)交通行業(yè)數(shù)據(jù)中23基礎(chǔ)平臺(tái)Step1（十一五）Step2（十二五）Step3（十三五）數(shù)據(jù)采集和存儲(chǔ)數(shù)據(jù)管理與應(yīng)用平臺(tái)化數(shù)據(jù)服務(wù)09年北京探索建設(shè)交通行業(yè)數(shù)據(jù)中心，實(shí)現(xiàn)從無(wú)到有突破以關(guān)系型數(shù)據(jù)庫(kù)為主數(shù)據(jù)接入與共享梳理信息資源元數(shù)據(jù)標(biāo)準(zhǔn)形成初步資源管理平臺(tái)升級(jí)行業(yè)數(shù)據(jù)中心為交通行業(yè)大數(shù)據(jù)中心大數(shù)據(jù)存儲(chǔ)與計(jì)算智能動(dòng)態(tài)監(jiān)測(cè)與管理規(guī)范化管理體系（ISO20000）初步的數(shù)據(jù)服務(wù)和定制服務(wù)全面打造開(kāi)放數(shù)據(jù)服務(wù)平臺(tái)，數(shù)據(jù)開(kāi)放共享不再以“搬家式”為主，更強(qiáng)調(diào)以服務(wù)的形式數(shù)據(jù)服務(wù)開(kāi)放平臺(tái)定制可視化平臺(tái)3

.

信息服務(wù)資源平臺(tái)3基礎(chǔ)平臺(tái)Step1（十一五）Step2（十二五）Step334交通行業(yè)大數(shù)據(jù)中心建設(shè)交通行業(yè)大數(shù)據(jù)中心高技術(shù)、強(qiáng)管理、重服務(wù)！以接入、管理和應(yīng)用大數(shù)據(jù)為主；存儲(chǔ)方式更多樣化；處理和存儲(chǔ)能力達(dá)到較高水平；更強(qiáng)調(diào)數(shù)據(jù)應(yīng)用與服務(wù)；數(shù)據(jù)中心發(fā)展的目標(biāo)以技術(shù)和管理為基礎(chǔ)，以服務(wù)為核心！4交通行業(yè)大數(shù)據(jù)中心建設(shè)交通行業(yè)大數(shù)據(jù)中心以接入、管理和應(yīng)用45基礎(chǔ)平臺(tái)服務(wù)創(chuàng)新資源目錄定制化服務(wù)大數(shù)據(jù)處理平臺(tái)信息服務(wù)資源發(fā)布管理創(chuàng)新可視化管理與監(jiān)測(cè)全流程規(guī)范化管理技術(shù)創(chuàng)新集約化大數(shù)據(jù)中心整體框架、分布式數(shù)據(jù)存儲(chǔ)與處理平臺(tái)5基礎(chǔ)平臺(tái)服務(wù)創(chuàng)新資源目錄管理創(chuàng)新可視化管理與監(jiān)測(cè)技術(shù)創(chuàng)新集56基礎(chǔ)平臺(tái)-技術(shù)創(chuàng)新結(jié)合主流技術(shù)架構(gòu)打造交通行業(yè)大數(shù)據(jù)中心框架，構(gòu)建大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算、共享交換、應(yīng)用服務(wù)和管理支撐五大平臺(tái)。截止目前共接入業(yè)務(wù)系統(tǒng)41個(gè)，數(shù)據(jù)量40T，處理速度可達(dá)3.3億條/5分鐘，日接入量26G。6基礎(chǔ)平臺(tái)-技術(shù)創(chuàng)新結(jié)合主流技術(shù)架構(gòu)打造交通行業(yè)大數(shù)據(jù)中心框67虛擬化平臺(tái)對(duì)前置器、中間庫(kù)、處理服務(wù)器進(jìn)行虛擬化管理提高服務(wù)器利用率和管理精細(xì)化水平；SAN存儲(chǔ)網(wǎng)絡(luò)安全管理域VCENTER互聯(lián)網(wǎng)域集群4

ESXI主機(jī)559G

內(nèi)存100GHz

CPU外部應(yīng)用域集群4

ESXI主機(jī)575G

內(nèi)存165GHz

CPU外部數(shù)據(jù)域集群3

ESXI主機(jī)487G

內(nèi)存108GHz

CPU共享交換域集群2

ESXI主機(jī)127G

內(nèi)存50GHz

CPU內(nèi)部應(yīng)用域集群5

ESXI主機(jī)319G

內(nèi)存159GHz

CPU內(nèi)部數(shù)據(jù)域集群3

ESXI主機(jī)190G

內(nèi)存95GHz

CPU7虛擬化平臺(tái)對(duì)前置器、中間庫(kù)精細(xì)化水平；SAN存儲(chǔ)網(wǎng)絡(luò)安全管78數(shù)據(jù)存儲(chǔ)EMC-1（高速）6THDS（高速）25TEMC-2（低速）50T磁帶庫(kù)交互區(qū)存儲(chǔ)0-1年數(shù)據(jù)整合區(qū)存儲(chǔ)0-3年數(shù)據(jù)近線區(qū)存儲(chǔ)3-10年數(shù)據(jù)歸檔區(qū)存儲(chǔ)大于10年數(shù)據(jù)存儲(chǔ)池業(yè)務(wù)庫(kù)歷史庫(kù)備份庫(kù)數(shù)據(jù)生命周期創(chuàng)新數(shù)據(jù)存貯管理技術(shù)應(yīng)用，一是歷史庫(kù)與業(yè)務(wù)庫(kù)二元模式，對(duì)存儲(chǔ)進(jìn)行合理劃分和功能定位；二是，實(shí)現(xiàn)數(shù)據(jù)的分級(jí)及周期管理，實(shí)現(xiàn)存儲(chǔ)介質(zhì)的池化管理，最大化利用空間資源；三是實(shí)現(xiàn)對(duì)關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)和文件數(shù)據(jù)的統(tǒng)籌管理，根據(jù)數(shù)據(jù)應(yīng)用特點(diǎn)選擇合理的存儲(chǔ)方式。8數(shù)據(jù)存儲(chǔ)EMC-1（高速）HDS（高速）25TEMC-2（89技術(shù)創(chuàng)新之分布式處理平臺(tái)分布式處理技術(shù)創(chuàng)新，基于開(kāi)源平臺(tái)在數(shù)據(jù)安全、故障恢復(fù)、性能優(yōu)化、中間件和工具、平臺(tái)化服務(wù)。9技術(shù)創(chuàng)新之分布式處理平臺(tái)分布式處理910管理創(chuàng)新之可視化監(jiān)測(cè)管理10管理創(chuàng)新之可視化監(jiān)測(cè)管理1011管理創(chuàng)新之規(guī)范化全流程管理線下審批流程與運(yùn)維考核建立規(guī)范化流程,每年完成批辦50余項(xiàng)，形成巡檢報(bào)告300余篇，平均處理故障125個(gè)！并于2014年4月通過(guò)獲得ISO20000認(rèn)證，同年12月規(guī)范化管理軟件平臺(tái)投入試運(yùn)行，實(shí)現(xiàn)線上線下全流程管理。線上規(guī)范化流程11管理創(chuàng)新之規(guī)范化全流程管理線下審批流程與運(yùn)維考核建立規(guī)范1112基礎(chǔ)平臺(tái)-服務(wù)創(chuàng)新結(jié)構(gòu)定制權(quán)限發(fā)布資源識(shí)別智能檢索配置向?qū)畔⒄故緮?shù)據(jù)報(bào)表定制分析圖表定制在線分析定制科學(xué)數(shù)據(jù)下載服務(wù)頁(yè)面定制發(fā)布權(quán)限定制業(yè)務(wù)規(guī)則定制大數(shù)據(jù)綜合查詢流程實(shí)例介紹API二次開(kāi)發(fā)數(shù)據(jù)處理集群環(huán)境管理信息服務(wù)管理權(quán)限配置服務(wù)發(fā)布AK

密鑰申請(qǐng)API

樣例說(shuō)明SDK

下載定制化服務(wù)大數(shù)據(jù)開(kāi)放平臺(tái)數(shù)據(jù)資源目錄信息服務(wù)發(fā)布12基礎(chǔ)平臺(tái)-服務(wù)創(chuàng)新結(jié)構(gòu)定制數(shù)據(jù)報(bào)表定制大數(shù)據(jù)綜合查詢信息1213城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展圍繞交通監(jiān)測(cè)與信息服務(wù)，致力于大數(shù)據(jù)處理與應(yīng)用技術(shù)研究基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用13城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展圍繞交通監(jiān)測(cè)與信息服務(wù)，致1314處理應(yīng)用案例分享-出租車出租行業(yè)數(shù)據(jù)計(jì)算主要涉及GPS數(shù)據(jù)、交易數(shù)據(jù)、司機(jī)合同數(shù)據(jù)、審批數(shù)據(jù)、電召數(shù)據(jù)等，總數(shù)據(jù)量1.1~1.2億條/天，存儲(chǔ)量約17-20G/天。這些數(shù)據(jù)主要用于計(jì)算運(yùn)營(yíng)指標(biāo)（50余項(xiàng)字段）、設(shè)備完好率、小時(shí)出車率、重點(diǎn)區(qū)域小時(shí)出車數(shù)量、電召日均訂單數(shù)量等，主要服務(wù)于行業(yè)考核、監(jiān)管與監(jiān)測(cè)。計(jì)算能力得到提升：計(jì)算33億條出租車數(shù)據(jù)，計(jì)算耗時(shí)由原來(lái)20小時(shí)縮短到20分鐘，提高60倍。14處理應(yīng)用案例分享-出租車出租行業(yè)數(shù)據(jù)計(jì)算主要涉及GPS數(shù)1415處理應(yīng)用案例分享—地面公交地面公交數(shù)據(jù)與地理信息數(shù)據(jù)在線匹配

實(shí)時(shí)計(jì)算公交走廊運(yùn)行速度、預(yù)測(cè)公交到站時(shí)間和預(yù)測(cè)公交客流分布；基于穩(wěn)態(tài)理論的信號(hào)交叉口均衡延誤模型、速度缺失路段填補(bǔ)算法，實(shí)現(xiàn)對(duì)每個(gè)路口、路段的預(yù)測(cè)預(yù)報(bào)，提高信息的準(zhǔn)確度。15處理應(yīng)用案例分享—地面公交地面公交數(shù)據(jù)與地理信息數(shù)據(jù)在線1516處理應(yīng)用--移動(dòng)信令技術(shù)研究基于移動(dòng)終端定位數(shù)據(jù)的居民出行調(diào)查方法，處理每日數(shù)據(jù)總量100G的移動(dòng)信令數(shù)據(jù)。完成居民出行OD、出行時(shí)空分布分析，實(shí)現(xiàn)居民出行行為的自動(dòng)、及時(shí)、準(zhǔn)確獲取，為交通政策制定、交通規(guī)劃、設(shè)計(jì)和管理等提供數(shù)據(jù)支持和決策依據(jù)。16處理應(yīng)用--移動(dòng)信令技術(shù)研究基于移動(dòng)終端定位數(shù)據(jù)的居民出1617城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展依托交通行業(yè)大數(shù)據(jù)中心，打造交通映像平臺(tái)，讓數(shù)據(jù)會(huì)說(shuō)話基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用17城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展依托交通行業(yè)大數(shù)據(jù)中基礎(chǔ)設(shè)施1718數(shù)據(jù)可視化將大數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息的處理過(guò)程。直觀化：直觀形象地呈現(xiàn)數(shù)據(jù)關(guān)聯(lián)化：挖掘、突出呈現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)藝術(shù)化

:

增強(qiáng)數(shù)據(jù)呈現(xiàn)的藝術(shù)效果交互性：實(shí)現(xiàn)用戶與數(shù)據(jù)的交互，增強(qiáng)用戶對(duì)數(shù)據(jù)的控制18數(shù)據(jù)可視化將大數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開(kāi)1819數(shù)據(jù)可視化D3.JS+R語(yǔ)言+Google

Charts+ProcessingOD分布圖公交路網(wǎng)路況軌道換乘圖軌道客流分布出租汽車熱點(diǎn)圖在數(shù)據(jù)空間中描繪城市交通出租數(shù)據(jù)+地鐵客流分布數(shù)據(jù)+地面公交分布數(shù)據(jù)+手機(jī)信令與OD數(shù)據(jù)+省級(jí)客運(yùn)實(shí)名制客流19數(shù)據(jù)可視化D3.JS+R語(yǔ)言+GoogleCharts1920創(chuàng)新在省際客運(yùn)量分布、公