基于全域交通大腦的智慧交通一體化出行服務云平臺

1目標和概述隨著物聯(lián)網(wǎng)、5G、云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈、北斗高精度定位等新一代信息技術的發(fā)展以及交通強國、新基建、數(shù)字交通的提出，構建以數(shù)據(jù)驅動的綜合交通數(shù)字治理和服務體系，實現(xiàn)綜合交通政府多元化治理、企業(yè)精細化運營、公眾智慧化出行，推動綜合交通管理及服務從智能化向智慧化的轉變成為當前迫切需求。北京華錄高誠科技有限公司（以下簡稱：高誠科技）作為一家交通運輸大數(shù)據(jù)AI的運營服務商，創(chuàng)新性地推出“基于全域交通大腦的智慧交通一體化出行服務云平臺”（以下簡稱：智行云），以“數(shù)據(jù)入湖、算法入云、服務入戶”為建設理念，以數(shù)據(jù)湖為基礎、全域交通大腦為核心，作為交通運輸“智慧型、中樞型、服務型”的信息化基礎設施，面向政府、企業(yè)、公眾三類用戶，提供“智管、智運、智行”數(shù)據(jù)應用場景服務，涵蓋城市運輸、公路、港航、軌道、民航、物流、樞紐、旅游八大產(chǎn)業(yè)方向，提供700多個應用場景，打造“云享、云管、云服”新業(yè)態(tài)，助力政府現(xiàn)代化治理、企業(yè)高效化運營、百姓便捷化出行。2方案介紹智行云基于北斗高精度定位、5G、大數(shù)據(jù)、云計算、區(qū)塊鏈、人工智能、物聯(lián)網(wǎng)等新一代信息技術，依托數(shù)據(jù)湖云融合新基建，通過重構TOCC（交通綜合運行協(xié)調和應急指揮平臺），以云服務的方式，提供可靈活配置、按需定制、持續(xù)運營的信息化建設及數(shù)據(jù)服務模式。基于湖云融合以及交通大腦面向政府、企業(yè)、公眾開展綜合交通大數(shù)據(jù)云服務場景應用，構建“湖+云+邊+端+協(xié)同”服務模式，實現(xiàn)湖、云、邊、端四位一體，湖匯數(shù)據(jù)、云中心管控、邊緣自治、端數(shù)據(jù)服務。以此為基礎，智行云構建“1+1+1+3”的總體架構，“1”為數(shù)據(jù)湖，匯聚綜合交通海量多源異構數(shù)據(jù)，打造交通數(shù)據(jù)資產(chǎn)銀行；“1”為綜合交通大數(shù)據(jù)服務云，支持綜合交通及關聯(lián)產(chǎn)業(yè)多源數(shù)據(jù)要素的融合和協(xié)同，支持多云協(xié)作以及跨云數(shù)據(jù)及業(yè)務融合；“1”為交通運輸大腦，基于算法、模型，提供綜合交通AI應用管理和服務；“3”為智管、智運、智行，智管面向政府提供城市治理、行業(yè)管理、監(jiān)測預警、指揮調度、決策支持、信息服務六大場景及城市運輸、智慧公路、智慧樞紐、智慧物流、智慧旅游、智慧港航、智慧軌道、智慧民航八大行業(yè)智慧管理服務；智運，創(chuàng)新政企數(shù)據(jù)融合應用，開展車路協(xié)同、安全生產(chǎn)、精準運營、安全生產(chǎn)大數(shù)據(jù)云服務；智行，基于政府、企業(yè)、和互聯(lián)網(wǎng)數(shù)據(jù)，打通市內(nèi)與城際高速公路出行鏈服務，開展綜合交通一體化出行云服務。總體架構如圖1所示。圖1總體架構圖2.1技術架構

智行云技術架構采用IaaS、Paas、DaaS、SaaS/Maas四層架構，不同層次實現(xiàn)主機安全、網(wǎng)絡安全、數(shù)據(jù)安全、應用安全。如圖2所示。圖2數(shù)據(jù)架構圖2.1.1

IaaS層云主機：采用云服務商的云主機服務相比于物理主機，整合了計算、存儲與網(wǎng)絡資源的IT基礎設施能力，能夠根據(jù)業(yè)務需求，按需使用、隨時擴展、部署所需的服務器環(huán)境，并且能夠保障主機穩(wěn)定、安全運行。存儲：數(shù)據(jù)采用云存儲、湖存儲的方式，云存儲通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術，實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作，使多個存儲設備可以對外提供同一種服務，具備更大更強更好的數(shù)據(jù)訪問性能，并通過各種數(shù)據(jù)備份和容災技術及措施保證云存儲自身的安全和穩(wěn)定；湖存儲以藍光技術將冷數(shù)據(jù)存儲于湖中，降低存儲成本。2.1.2PaaS層高誠基礎開發(fā)平臺整合人工智能、大數(shù)據(jù)、指標計算、電子地圖、統(tǒng)一認證、微服務、消息總結以支撐對外數(shù)據(jù)、算法、地圖服務。人工智能：采用成熟人工智能框架TensorFlow、Caffe等，完成巨量數(shù)據(jù)的分析與挖掘、模式識別（如生物識別、文字識別、文件分類等）。大數(shù)據(jù)：采用Hadoop集群技術存儲海量數(shù)據(jù)（如車輛GPS、公交刷卡、航空器軌跡及其它感知數(shù)據(jù)），對外提供數(shù)據(jù)存儲服務；再利用Spark引擎完成各種各樣的運算，包括SQL查詢、文本處理、機器學習等，對外提供實時計算服務。指標計算：集成TOCC平臺成熟的指標算法體系，通過統(tǒng)一API對外提供算法服務。電子地圖：集成Arcgis、互聯(lián)網(wǎng)地圖及其它專業(yè)地圖，統(tǒng)一GCMAP對外提供地圖服務。

統(tǒng)一認證：為保證API服務安全通過Token認證，所有API通過統(tǒng)一認證保證接口安全性及數(shù)據(jù)安全。微服務：提供業(yè)務數(shù)據(jù)服務，整合業(yè)務需求，通過微服務橫向擴展能力，對外統(tǒng)一數(shù)據(jù)服務。消息總線：利用成熟消息中間件（Kafka等），對億級數(shù)據(jù)接入、分發(fā)。2.1.3DaaS層整合PaaS層服務，為業(yè)務層提供數(shù)據(jù)管理、數(shù)據(jù)共享交換、數(shù)據(jù)分析、數(shù)據(jù)運營管理服務。數(shù)據(jù)管理：將數(shù)據(jù)清洗、抽取的規(guī)范化數(shù)據(jù)按領域、維度分類對用戶提供不同維度管理、元數(shù)據(jù)管理、數(shù)據(jù)計算管理、元數(shù)據(jù)查詢、數(shù)據(jù)標準規(guī)范引用等。數(shù)據(jù)共享交換：構建一個統(tǒng)一數(shù)據(jù)共享交換平臺，將已經(jīng)規(guī)范化的數(shù)據(jù)，以規(guī)范的格式、服務對外提供數(shù)據(jù)接口服務，實現(xiàn)數(shù)據(jù)的最大化利用。數(shù)據(jù)分析：通過PaaS層指標計算服務，再通過BI工具形成統(tǒng)一報表服務。數(shù)據(jù)運營管理：對每條數(shù)據(jù)進行標簽化管理，對數(shù)據(jù)進行運營，計算數(shù)據(jù)費用。2.1.4SaaS/MaaS層高誠云服務支撐平臺定位ToG、ToB、ToC，為不同類型用戶提供多種形式展板（PC、大屏、移動端）。ToG端應用方便行業(yè)監(jiān)管、領導參觀展示。ToB應用于企業(yè)業(yè)務運營。ToC滿足公眾出行服務。2.2數(shù)據(jù)架構

智行云數(shù)據(jù)管理服務，以云平臺基礎架構為支撐，對數(shù)據(jù)的接入、存儲、分析、共享與交換、安全各個環(huán)節(jié)提供一體化解決方案。如圖3所示。圖3數(shù)據(jù)架構與傳統(tǒng)數(shù)據(jù)管理不同，智行云數(shù)據(jù)管理服務增強了對實時數(shù)據(jù)的接入能力，通過自研的高性能數(shù)據(jù)接入網(wǎng)關，利用云平臺提供的動態(tài)擴容能力，可根據(jù)實際的接入數(shù)據(jù)量對接入服務進行動態(tài)調整，節(jié)省成本的同時，大大減少了數(shù)據(jù)的延時，增強了對業(yè)務的快速響應能力。在數(shù)據(jù)接入和數(shù)據(jù)存儲、計算服務之間，構建了一層中間層，能夠幫助上層應用，通過其對外提供的標準化接口（如HTTP、JDBC、Java等），快速連接到多種底層計算存儲引擎（如Spark、Hive、TiSpark、MySQL、Python等），提交執(zhí)行各種類型的計算任務，并實現(xiàn)跨上層應用間的計算任務運行時上下文和依賴的互通和共享。且通過提供多租戶、高并發(fā)、任務分發(fā)和管理策略、資源管控等特性支持，各種計算任務更靈活、可靠、可控地提交執(zhí)行，成功返回結果，大大降低了上層應用在計算治理層的開發(fā)和運維成本。2.2.1數(shù)據(jù)接入采用ETL工具、標準協(xié)議、定制化的私有協(xié)議，可接入不同數(shù)據(jù)源、結構化數(shù)據(jù)和非結構化數(shù)據(jù)。可接入不同協(xié)議的終端數(shù)據(jù)：車載終端、物聯(lián)網(wǎng)終端；可接入不同平臺的數(shù)據(jù)，包括路網(wǎng)、基礎設施、交通各領域、各企業(yè)平臺的數(shù)據(jù)，包括靜態(tài)數(shù)據(jù)、基礎數(shù)據(jù)、音視頻數(shù)據(jù)。將采集到的數(shù)據(jù)經(jīng)過統(tǒng)一的接入網(wǎng)關，傳輸?shù)较到y(tǒng)。2.2.2數(shù)據(jù)接收處理從多租戶管理角度，服務可區(qū)分為租戶相關服務和租戶無關服務兩種類型。租戶相關服務，包括一些任務邏輯處理負荷重、資源消耗高，或需要根據(jù)具體租戶、用戶、物理機器等做隔離劃分，避免相互影響的服務。Eureka承擔了微服務動態(tài)注冊與發(fā)現(xiàn)中心及所有租戶無關服務的負載均衡、故障轉移功能。租戶相關的計算服務，由服務調度框架向計算服務傳遞租戶信息，由計算服務進行相關的計算。在數(shù)據(jù)的入口處，把數(shù)據(jù)打上租戶的標簽，此標簽可追溯數(shù)據(jù)的整個生命周期中。2.2.3數(shù)據(jù)存儲租戶的數(shù)據(jù)的隔離分為多個層級：分表、分庫隔離。數(shù)據(jù)存儲標準化，把外部不符合標準的數(shù)據(jù)梳理為標準的數(shù)據(jù)格式。數(shù)據(jù)按領域、維度、事實分類，業(yè)務表職責清晰，對開發(fā)和業(yè)務人員更加友好。為減少重復開發(fā)，統(tǒng)一輸入輸出數(shù)據(jù)格式，數(shù)據(jù)存儲分為三層：數(shù)據(jù)運營層（ODS）、數(shù)據(jù)倉庫層（DW）和數(shù)據(jù)應用層（DAS）。ODS：數(shù)據(jù)源中的數(shù)據(jù)，經(jīng)過抽取、洗凈、傳輸，在ETL之后裝入本層。本層的數(shù)據(jù)，總體上大多是按照源頭業(yè)務系統(tǒng)的分類方式而分類的?？紤]后續(xù)可能需要追溯數(shù)據(jù)問題，因此對于這一層就不做過多的數(shù)據(jù)清洗工作，接入原始數(shù)據(jù)即可，數(shù)據(jù)的去噪、去重、異常值處理等過程可以放在后面的DW層完成。DW：從ODS層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型。對通用的核心維度進行聚合操作，算出相應的統(tǒng)計指標。一張表會涵蓋比較多的業(yè)務內(nèi)容，其字段較多，因此一般也會稱該層的表為寬表，即一個事實字段、多上維度字段，方便業(yè)務系統(tǒng)查詢。DAS：主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會存放在ES、MySql、Redis、Hive中。2.2.4數(shù)據(jù)分析和指標計算通過數(shù)據(jù)計算框架，調用數(shù)據(jù)計算服務，包括指標計算服務、分類服務、特征分析服務等。服務之間的依賴關系、先后執(zhí)行順序，由計算框架統(tǒng)一調度，大體上分為實時計算和離線計算。通過Spark、Hive腳本，按照事先定義好的維度表和算法庫，計算結果。將計算結果保存到DW中。2.2.5業(yè)務應用數(shù)據(jù)訪問接口把DAS層數(shù)據(jù)統(tǒng)一提供給各種應用，包括大屏、PC、手機端。

3代表性及推廣價值本創(chuàng)新解決方案已在交通運輸部-交通運輸調度與應急指揮系統(tǒng)工程（部長一號工程）、北京大興國際機場綜合交通樞紐項目、北京交通委綜合交通運行協(xié)調指揮中心二期、泰州姜堰綜合交通大數(shù)據(jù)平臺、寧波海曙TOCC平臺、智慧順德之智慧交通一期、四川省交通廳交通旅游大數(shù)據(jù)融合平臺、武漢市交通運輸行業(yè)運行指數(shù)系統(tǒng)等項目實現(xiàn)核心功能落地應用，下一步將在全國各大城市進行應用示范，立足京津冀、輻射全國城市群。本解決方案對服務模式的創(chuàng)新具體如下：（1）數(shù)字交通創(chuàng)新創(chuàng)業(yè)服務模式創(chuàng)新行業(yè)數(shù)據(jù)資源開發(fā)利用模式，激活數(shù)據(jù)增值能力，引導鼓勵企業(yè)和社會機構開展交通運輸服務大數(shù)據(jù)創(chuàng)新應用，推動交通運輸服務聯(lián)動創(chuàng)新、融合創(chuàng)新、萬眾創(chuàng)新。吸引人才與社會資源，帶動物流服務降本增效、交通政務一體化服務、交通旅游融合服務等。（2）綜合運輸大數(shù)據(jù)挖掘與AI應用通過不斷創(chuàng)新性研發(fā)數(shù)據(jù)的智慧化應用，準確研判交通運行態(tài)勢，實時感知突發(fā)事件，準確分析視頻圖像資源，提供精細化信息服務，有效支撐交通主管部門的交通決策，更好地推動交通行業(yè)運行監(jiān)管。（3）全出行鏈一體化的智慧服務打造全出行鏈一體化的智慧服務平臺，實現(xiàn)出行等待時間的最小化、響應時間的最小化、狀態(tài)切換時間的最小化，推動“門到門”的全過程服務，打造一次支付，全程換乘無縫銜接，統(tǒng)一規(guī)劃行程并調配多模式的交通資源，最大程度地實現(xiàn)不同交通工具間的換乘銜接，減少中轉過程的時間損耗，改善交通系統(tǒng)內(nèi)部的服務和外部的銜接，使整個出行過程更高效，最終減少整個社會的出行成本。（4）數(shù)據(jù)運營通過數(shù)據(jù)開放，實現(xiàn)價值挖掘，獲得收入分成。在政府助力之下實現(xiàn)數(shù)據(jù)的先期匯聚，通過數(shù)據(jù)脫敏交易或數(shù)據(jù)分析服務，獲得運營回報，并在政府授權基礎上，將部分數(shù)據(jù)脫敏面向企業(yè)、公眾有序開放。通過提供產(chǎn)業(yè)基金及眾創(chuàng)空間實現(xiàn)數(shù)據(jù)資產(chǎn)化和證券化，對一些有價值的行業(yè)中小微企業(yè)進行培育，完善行業(yè)大數(shù)據(jù)產(chǎn)業(yè)鏈，將傳統(tǒng)的行業(yè)數(shù)據(jù)資源管理升級