任務(wù)十一 智能交通中的大數(shù)據(jù)技術(shù)

2023智能交通概論目錄任務(wù)十一智能交通中的大數(shù)據(jù)技術(shù)應(yīng)用案例大數(shù)據(jù)與智能交通大數(shù)據(jù)的有關(guān)技術(shù)大數(shù)據(jù)技術(shù)簡介3214一、大數(shù)據(jù)技術(shù)簡介

大數(shù)據(jù)（bigdata），又稱海量資料或海量資料，是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多的數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，其所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為能幫助政府機(jī)構(gòu)和企業(yè)進(jìn)行管理、決策的資訊。一、大數(shù)據(jù)技術(shù)簡介定義不統(tǒng)一：

麥肯錫研究報(bào)告：大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、儲(chǔ)存、管理和分析等能力的數(shù)據(jù)集。

美國標(biāo)準(zhǔn)技術(shù)研究所（NIST）：大數(shù)據(jù)是指那些傳統(tǒng)數(shù)據(jù)架構(gòu)無法有效地處理的新數(shù)據(jù)集。

維基百科：大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息。一、大數(shù)據(jù)技術(shù)簡介《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》：“大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展成為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)"。一、大數(shù)據(jù)技術(shù)簡介發(fā)展歷程我國大數(shù)據(jù)發(fā)展政策大數(shù)據(jù)連續(xù)6年寫入政府工作報(bào)告2019.03國務(wù)院印發(fā)《大數(shù)據(jù)發(fā)展行動(dòng)綱要》2015.08工信部發(fā)布《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃2016-2020》2016.12《“十四五”發(fā)展規(guī)劃》提出完善大數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)2021.03十九大報(bào)告提出“推動(dòng)大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)相結(jié)合”2017.10大數(shù)據(jù)首次寫入政府工作報(bào)告2014.03《十三五規(guī)劃綱要》實(shí)施國家大數(shù)據(jù)戰(zhàn)略2016.03發(fā)展一、大數(shù)據(jù)技術(shù)簡介我國大數(shù)據(jù)已經(jīng)形成三大中心八大節(jié)點(diǎn)十大集群的布局。

三大中心分別是中心基地北京、南方基地貴州、北方基地烏蘭察布；

八大節(jié)點(diǎn)是北京、上海、廣州、沈陽、南京、武漢、成都、西安。

十個(gè)國家數(shù)據(jù)中心集群是張家口集群、蕪湖集群、長三角集群、韶關(guān)集群、貴安集群、天府集群、重慶集群、慶陽集群、中衛(wèi)集群、和林格爾集群。一、大數(shù)據(jù)技術(shù)簡介大數(shù)據(jù)技術(shù)的特點(diǎn)：Volume（體量大），即數(shù)據(jù)體量龐大，包括采集、存儲(chǔ)和計(jì)算的量都非常大。數(shù)據(jù)時(shí)代剛剛來臨的時(shí)候，一般的數(shù)據(jù)存儲(chǔ)容量、體積多以M為單位。近年來各種各樣的現(xiàn)代IT應(yīng)用設(shè)備和網(wǎng)絡(luò)正在飛速產(chǎn)生和承載大量數(shù)據(jù)，使數(shù)據(jù)的增加呈現(xiàn)大型數(shù)據(jù)集形態(tài)，大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬個(gè)T）或Z（10億個(gè)T）。一、大數(shù)據(jù)技術(shù)簡介Variety（類型多），即數(shù)據(jù)類型繁多。數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。Velocity（速度快），即要求處理速度快，從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。Value（價(jià)值密度低）。由于數(shù)據(jù)產(chǎn)生量巨大且速度非?？欤厝恍纬筛鞣N有效數(shù)據(jù)和無效數(shù)據(jù)錯(cuò)雜的狀態(tài)，因此數(shù)據(jù)價(jià)值的密度大大降低。但同時(shí)大數(shù)據(jù)的合理利用會(huì)給使用者帶來很高的價(jià)值回報(bào)，所以如何結(jié)合業(yè)務(wù)邏輯并通過強(qiáng)大的機(jī)器算法來挖掘數(shù)據(jù)價(jià)值，是大數(shù)據(jù)時(shí)代最需要解決的問題。二、大數(shù)據(jù)的有關(guān)技術(shù)數(shù)據(jù)采集(DAQ)：又稱數(shù)據(jù)獲取，是指從傳感器和其它待測設(shè)備等模擬和數(shù)字被測單元中自動(dòng)采集信息的過程。二、大數(shù)據(jù)的有關(guān)技術(shù)數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理則是在數(shù)據(jù)正式被分析和挖掘之前，對數(shù)據(jù)進(jìn)行清洗、集成、變換、降維和歸約等處理，以盡可能地減少數(shù)據(jù)中的錯(cuò)誤和噪聲，提高數(shù)據(jù)的質(zhì)量和可信度，從而減少后期的分析和挖掘的計(jì)算量。數(shù)據(jù)預(yù)處理的目標(biāo)是達(dá)到數(shù)據(jù)規(guī)格標(biāo)準(zhǔn)化、異常數(shù)據(jù)清理、數(shù)據(jù)錯(cuò)誤糾正、重復(fù)數(shù)據(jù)的清除等目標(biāo)，確保數(shù)據(jù)的質(zhì)量和可用性，以得到更準(zhǔn)確、可靠和有意義的結(jié)果。二、大數(shù)據(jù)的有關(guān)技術(shù)預(yù)處理流程1、數(shù)據(jù)清洗：數(shù)據(jù)清理主要是完成格式的標(biāo)準(zhǔn)化，刪除原始數(shù)據(jù)集中無關(guān)數(shù)據(jù)、重復(fù)數(shù)據(jù)、平滑噪聲數(shù)據(jù)，篩選掉與挖掘主題無關(guān)的數(shù)據(jù)，處理缺失值，以及對異常數(shù)據(jù)進(jìn)行錯(cuò)誤糾正和清除等操作。2、數(shù)據(jù)集成：將多個(gè)來源的數(shù)據(jù)合并為一個(gè)數(shù)據(jù)集的過程。數(shù)據(jù)集成主要包括：包含相同字段屬性的縱向追加和具有相關(guān)屬性疊加的橫向合并。在數(shù)據(jù)集成過程的一項(xiàng)重要工作是消減數(shù)據(jù)的冗余，其目的是為了生成更完整、有用的數(shù)據(jù)集。二、大數(shù)據(jù)的有關(guān)技術(shù)3、數(shù)據(jù)變換：數(shù)據(jù)變換就是通過標(biāo)準(zhǔn)化、離散化與分層化讓數(shù)據(jù)變得更加一致，將數(shù)據(jù)轉(zhuǎn)換或統(tǒng)一成更適合機(jī)器訓(xùn)練或數(shù)據(jù)分析的形式，具體包括對數(shù)據(jù)進(jìn)行聚合、關(guān)聯(lián)、過濾、分類、歸一化等操作。4、數(shù)據(jù)歸約：數(shù)據(jù)歸約是針對原始數(shù)據(jù)集中地屬性和記錄，實(shí)現(xiàn)有效的數(shù)據(jù)采樣與對應(yīng)屬性選擇，進(jìn)一步降低數(shù)據(jù)規(guī)模，在數(shù)據(jù)歸約過程可以采用聚集、聚類以及將冗余特征值刪除等形式，達(dá)到既能最大限度的保持?jǐn)?shù)據(jù)的原有特征，又能夠有效的精簡數(shù)據(jù)量的目的。二、大數(shù)據(jù)的有關(guān)技術(shù)數(shù)據(jù)融合：數(shù)據(jù)融合指將來自不同數(shù)據(jù)源的數(shù)據(jù)結(jié)合起來，以創(chuàng)建一個(gè)更加完整和全面的數(shù)據(jù)集。融合后的數(shù)據(jù)可以提供更深入、更全面的視角，并且可以通過集成多個(gè)數(shù)據(jù)來源的信息來發(fā)現(xiàn)新的關(guān)聯(lián)性和特征。二、大數(shù)據(jù)的有關(guān)技術(shù)數(shù)據(jù)存儲(chǔ)：大數(shù)據(jù)存儲(chǔ)是指把不同來源、不同格式及不同類型的數(shù)據(jù)在邏輯上或物理上有機(jī)的集中，并納入到數(shù)據(jù)聚合平臺(tái)中，方便數(shù)據(jù)的輸入和輸出。大數(shù)據(jù)采取的存儲(chǔ)方式主要有分布式存儲(chǔ)、NoSQL數(shù)據(jù)庫和云存儲(chǔ)三種方式。二、大數(shù)據(jù)的有關(guān)技術(shù)數(shù)據(jù)挖掘（DataMining）就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。三、大數(shù)據(jù)與智能交通整體應(yīng)用：協(xié)助數(shù)據(jù)采集、提供智能服務(wù)和進(jìn)行安全分析與提示。1、協(xié)助數(shù)據(jù)采集方面：

大數(shù)據(jù)技術(shù)在城市交通系統(tǒng)中應(yīng)用時(shí)，可實(shí)現(xiàn)精準(zhǔn)的數(shù)據(jù)信息采集，以此來對交通工具的運(yùn)行軌跡進(jìn)行全過程監(jiān)督。三、大數(shù)據(jù)與智能交通2、提供智能服務(wù)方面：

大數(shù)據(jù)技術(shù)可對車輛信息以及車輛行駛路徑進(jìn)行范圍式監(jiān)控，對系統(tǒng)覆蓋區(qū)域內(nèi)的交通信息進(jìn)行分析與預(yù)判，以此來對未來一段時(shí)間內(nèi)的交通情況進(jìn)行分析，進(jìn)而為出行者提供交通信息。三、大數(shù)據(jù)與智能交通3、進(jìn)行安全分析與提示方面：

大數(shù)據(jù)技術(shù)可對城市交通系統(tǒng)的信息進(jìn)行集成化處理，并依據(jù)交通系統(tǒng)內(nèi)車輛行駛記錄進(jìn)行預(yù)期行駛軌跡分析，其實(shí)時(shí)性功能、預(yù)測性功能、精密計(jì)算功能等都可為交通系統(tǒng)提供基礎(chǔ)保障，進(jìn)而降低交通事故的發(fā)生。三、大數(shù)據(jù)與智能交通數(shù)字孿生技術(shù)在現(xiàn)實(shí)交通的基礎(chǔ)上，基于數(shù)字孿生技術(shù)，將歷史與實(shí)時(shí)采集的交通數(shù)據(jù)納入到建立的交通模型仿真體系中，進(jìn)行快速數(shù)據(jù)融合和仿真推演，構(gòu)建一個(gè)完整的交通體系的虛擬數(shù)字映射。數(shù)字孿生交通控制系統(tǒng)是城市交通數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)字化累積從量變到質(zhì)變的基礎(chǔ)上，在感知建模、人工智能等信息技術(shù)取得重大突破的背景下，建設(shè)新型智能交通體系的一條新興技術(shù)路徑，是交通智能化、運(yùn)營可持續(xù)化的前沿先進(jìn)模式，也是數(shù)字城市建設(shè)的關(guān)鍵組成部分。三、大數(shù)據(jù)與智能交通

貴陽的數(shù)字孿生交通系統(tǒng)，主要利用當(dāng)前路口現(xiàn)有的視頻監(jiān)控資源，深度融合毫米波雷達(dá)，通過對在網(wǎng)對象，包括機(jī)動(dòng)車輛、非機(jī)動(dòng)車、行人等交通要素的全息感知，進(jìn)行充分的數(shù)據(jù)融合，把真實(shí)世界信息導(dǎo)入孿生的交通仿真系統(tǒng)中，再結(jié)合高精度地圖，跟蹤實(shí)時(shí)數(shù)據(jù)進(jìn)行車輛定位及軌跡描繪、分析視頻畫像、判斷目標(biāo)個(gè)體活動(dòng)意義，全面研究人、車、路、環(huán)境的關(guān)系，最終解決交通資源浪費(fèi)、信號(hào)系統(tǒng)功能僵化、交通事件無法預(yù)測及快速響應(yīng)等交通問題。三、大數(shù)據(jù)與智能交通深圳市數(shù)字孿生交通底座融合深圳2000平方公里高清遙感衛(wèi)星影像、6000多公里城市道路、419公里軌道運(yùn)營里程、27個(gè)主要樞紐碼頭、65萬個(gè)城市商事主體信息、100G建筑道路BIM模型、260萬套房屋“地-樓-房-權(quán)”體系數(shù)據(jù)庫，涵蓋全市道路和軌道網(wǎng)絡(luò)及建筑地塊信息。

數(shù)字孿生交通應(yīng)用平臺(tái)可依托交通大數(shù)據(jù)治理平臺(tái)，結(jié)合CIM空間底座，包含融合多源數(shù)據(jù)指標(biāo)查詢與可視化、基于大數(shù)據(jù)的交通態(tài)勢分析與推演、基于模型仿真的方案比選等多項(xiàng)功能，通過規(guī)劃設(shè)計(jì)方案直觀可視化展示，實(shí)現(xiàn)面向精細(xì)化設(shè)計(jì)和運(yùn)營的決策技術(shù)支持。三、大數(shù)據(jù)與智能交通功能1、基礎(chǔ)設(shè)施監(jiān)測管控

城市級基礎(chǔ)設(shè)施群監(jiān)測管控偏向靜態(tài)設(shè)施管理，結(jié)合設(shè)施數(shù)字化，是數(shù)字孿生交通較早實(shí)現(xiàn)的應(yīng)用場景。通過集成橋梁群安全動(dòng)態(tài)評估、隧道群數(shù)字監(jiān)測、基于InSAR和GNSS的廣域高精度邊坡位移監(jiān)測和輕量化道路智能檢測功能，支持億級實(shí)時(shí)集成基礎(chǔ)設(shè)施監(jiān)測信息，靜態(tài)設(shè)施響應(yīng)的秒級計(jì)算推演，精度可達(dá)90%以上?？山尤肴谢蜓芯科瑓^(qū)內(nèi)道路養(yǎng)護(hù)單元、橋梁、隧道、交通邊坡的定期檢測數(shù)據(jù)和交通工程施工現(xiàn)場視頻監(jiān)測數(shù)據(jù)，同時(shí)接入橋隧邊坡健康實(shí)時(shí)監(jiān)測系統(tǒng)，監(jiān)控保障重大交通基礎(chǔ)設(shè)施的安全運(yùn)行。三、大數(shù)據(jù)與智能交通功能2、實(shí)時(shí)仿真交通管控

融合城市級的實(shí)時(shí)感知數(shù)據(jù)，對全域范圍內(nèi)的車輛個(gè)體進(jìn)行動(dòng)態(tài)仿真推演。其中實(shí)時(shí)在線仿真系統(tǒng)集成移動(dòng)空間車輛建模、重點(diǎn)車輛溯源、大規(guī)模實(shí)時(shí)路網(wǎng)在線仿真功能，能夠支持方案快速編輯與測評、高頻度與高精度管控，支持10萬個(gè)體的微觀實(shí)時(shí)動(dòng)態(tài)仿真，交通事件推演時(shí)間低于5秒，個(gè)體出行還原及短時(shí)預(yù)測精度達(dá)到95%以上。以實(shí)時(shí)在線交通仿真為基礎(chǔ)的城市交通的信號(hào)管控、誘導(dǎo)、疏散等管控方案實(shí)施，已經(jīng)成為數(shù)字孿生交通的核心應(yīng)用。三、大數(shù)據(jù)與智能交通功能3、數(shù)據(jù)仿真交通治理

通過統(tǒng)一的孿生底座，集成多維度、全面化的交通健康體檢評價(jià)指標(biāo)，提供路網(wǎng)全息感知、擁堵溯源診斷和治理效果評估等擁堵治理云平臺(tái)工具包?？焖偬峁┒唐娇旃こ谈纳?、微創(chuàng)新交通組織、片區(qū)-干道-節(jié)點(diǎn)多場景治理業(yè)務(wù)快速輕量化部署等服務(wù)，方案評估精度達(dá)到90%以上。三、大數(shù)據(jù)與智能交通功能4、規(guī)劃建設(shè)仿真評估

模型仿真除對實(shí)時(shí)交通管控有重要的作用外，依托于長期數(shù)據(jù)觀測積累，對重大交通規(guī)劃建設(shè)工程的設(shè)計(jì)、落地、改善也具有重大的支撐作用。在數(shù)字孿生底座上，通過接入不同的規(guī)劃建設(shè)方案，并依托現(xiàn)狀的數(shù)據(jù)開展對未來交通運(yùn)行態(tài)勢的預(yù)測推演，并將推演預(yù)測數(shù)據(jù)結(jié)果融入仿真進(jìn)行精細(xì)化評估，以支撐落地應(yīng)用。三、大數(shù)據(jù)與智能交通功能5、高速公路仿真決策

在高速公路通過實(shí)時(shí)在線仿真還原全量個(gè)體車輛出行軌跡和出行規(guī)律，支撐實(shí)時(shí)管控與誘導(dǎo)，從數(shù)據(jù)和場景應(yīng)用層面來看具備形成數(shù)字孿生交通的快速發(fā)力建設(shè)點(diǎn)。四、應(yīng)用案例廣州智能交通大數(shù)據(jù)體系：

智能交通體系體系包括：一個(gè)中心、三大平臺(tái)”（交通大數(shù)據(jù)中心，智慧感知平臺(tái)、綜合業(yè)務(wù)平臺(tái)、創(chuàng)新服務(wù)平臺(tái)）?！耙粋€(gè)中心”指的是交通大數(shù)據(jù)中心，“三大平臺(tái)”分別是智能感知平臺(tái)、綜合業(yè)務(wù)平臺(tái)和創(chuàng)新服務(wù)平臺(tái)。四、應(yīng)用案例平臺(tái)建設(shè)成效：(1)體系建設(shè)方面按照“一個(gè)中心、三大平臺(tái)”的框架，廣州市從數(shù)據(jù)感知、分析、應(yīng)用層面建成了廣州智能交通大數(shù)據(jù)體系。目前，廣州市交通運(yùn)輸局“十三五”信息化發(fā)展規(guī)劃完成度接近100%，交通大數(shù)據(jù)應(yīng)用覆蓋政府、企業(yè)、公眾三大主體，有力促進(jìn)了廣州交通現(xiàn)代化體系建設(shè)。(2)數(shù)據(jù)共享方面廣