DB50T 1177-2021 智慧交通 物聯(lián)網(wǎng)數(shù)據(jù)服務(wù)平臺 數(shù)據(jù)管理通 用要求

CCSL80DB50重慶市市場監(jiān)督管理局發(fā)布IDB50/T1177—2021前言 2規(guī)范性引用文件 3術(shù)語和定義 4縮略語 5數(shù)據(jù)采集 6數(shù)據(jù)預(yù)處理 7數(shù)據(jù)存儲 8數(shù)據(jù)交換 9數(shù)據(jù)處理 10數(shù)據(jù)分析 11數(shù)據(jù)服務(wù) DB50/T1177—2021本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由重慶市經(jīng)濟和信息化委員會提出并歸口。本文件起草單位：重慶市城投金卡信息產(chǎn)業(yè)（集團）股份有限公司、中國電子技術(shù)標(biāo)準(zhǔn)化研究院、重慶市公安局、重慶市公安局交通管理局。本文件主要起草人：張鵬、彭濱鴻、王文峰、趙明、宋鴻、陳占鋒、許汝峰、張偉、劉立國、胡芮嘉、易佳、廖汝秋、劉玉印、李春雨、鐘添翼、徐龍、徐立松、魏麗麗、楊民、辜繼東、蔣川、張璋、耿力、劉倩穎、王思翔。1DB50/T1177—2021智慧交通物聯(lián)網(wǎng)數(shù)據(jù)服務(wù)平臺數(shù)據(jù)管理通用要求本文件規(guī)定了物聯(lián)網(wǎng)數(shù)據(jù)服務(wù)平臺數(shù)據(jù)管理通用要求，包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)交換、數(shù)據(jù)處理、數(shù)據(jù)分析以及數(shù)據(jù)服務(wù)。本文件適用于物聯(lián)網(wǎng)數(shù)據(jù)服務(wù)平臺中數(shù)據(jù)管理的設(shè)計、選型和驗收。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1集群cluster一組相互獨立的、通過高速網(wǎng)絡(luò)互聯(lián)的計算機或服務(wù)器。3.2RFID過車數(shù)據(jù)RFIDpassingdata車輛經(jīng)過RFID讀寫器時，RFID讀寫器從經(jīng)過車輛的電子牌中讀取的數(shù)據(jù)信息。3.3結(jié)構(gòu)化數(shù)據(jù)structureddata一種數(shù)據(jù)表示形式，按此種形式，由數(shù)據(jù)元素匯聚而成的每個記錄的結(jié)構(gòu)都是一致的并且可以使用關(guān)系模型予以有效描述[來源：GB/T35295-2017，2.2.13]3.4非結(jié)構(gòu)化數(shù)據(jù)unstructureddata不具有預(yù)定義模型或未以預(yù)定義方式組織的數(shù)據(jù)。[來源：GB/T35295-2017，2.1.25]3.5分布式計算distributedcomputing一種覆蓋存儲層和處理層的、用于實現(xiàn)多類型程序設(shè)計算法模型的計算模式。[來源：GB/T35295-2017，2.1.22]2DB50/T1177—20214縮略語下列縮略語適用于本文件。API:應(yīng)用程序編程接口（ApplicationProgrammingInterface）CPU:中央處理器（CentralProcessingUnit）GPU:圖形處理器（GraphicsProcessingUnit）JDBC：Java數(shù)據(jù)庫連接（JavaDataBaseConnectivity）LLRP：底層讀寫器協(xié)議（LowLevelReaderProtocol）RFID：射頻識別（RadioFrequencyIDentification）SQL：結(jié)構(gòu)化查詢語言(StructuredQueryLanguage)5數(shù)據(jù)采集5.1概述數(shù)據(jù)采集是通過數(shù)據(jù)采集接口以主動采集數(shù)據(jù)方式或采集源定時推送數(shù)據(jù)方式獲取原始數(shù)據(jù)。5.2原始數(shù)據(jù)原始數(shù)據(jù)分為以下三類數(shù)據(jù)：a)業(yè)務(wù)數(shù)據(jù)：包括讀寫器、攝像頭、道閘設(shè)備等獲取的數(shù)據(jù)信息；b)管理數(shù)據(jù)：包括支撐平臺信息、故障信息、告警信息和網(wǎng)絡(luò)信息等；c)其他數(shù)據(jù)：包括公共信息、政府信息等第三方數(shù)據(jù)。5.3業(yè)務(wù)過程數(shù)據(jù)采集的業(yè)務(wù)過程包括：a)靜態(tài)數(shù)據(jù)采集：相關(guān)政府部門將公共信息、政府信息等第三方數(shù)據(jù)傳輸至數(shù)據(jù)服務(wù)平臺；b)動態(tài)數(shù)據(jù)采集:1）讀寫器、攝像頭、道閘設(shè)備等將采集到的業(yè)務(wù)數(shù)據(jù)傳輸至數(shù)據(jù)服務(wù)平臺；2）讀寫器管理系統(tǒng)、攝像頭管理系統(tǒng)等將采集到的故障信息、告警信息等管理數(shù)據(jù)傳輸至數(shù)據(jù)服務(wù)平臺。5.4功能要求數(shù)據(jù)采集功能要求如下：a)不同物理位置的采集節(jié)點應(yīng)能夠形成采集集群，可以進行統(tǒng)一的管理，例如采集數(shù)據(jù)的匯總、轉(zhuǎn)發(fā)、擴容；b)應(yīng)支持負(fù)載均衡，可平滑擴展；c)應(yīng)支持不同類型規(guī)格的RFID讀寫器；d)RFID讀寫器應(yīng)支持時間同步功能；e)RFID讀寫器應(yīng)支持LLRP及其擴展協(xié)議；f)宜提供線性擴展功能。6數(shù)據(jù)預(yù)處理3DB50/T1177—20216.1概述數(shù)據(jù)預(yù)處理是對輸入的原始數(shù)據(jù)進行解密、去重、清洗（校正、補齊）、轉(zhuǎn)換等操作。6.2功能要求數(shù)據(jù)預(yù)處理模塊功能要求如下：a)應(yīng)提供數(shù)據(jù)抽取、解密、去重、清洗、轉(zhuǎn)換和加載處理功能；b)應(yīng)提供按照需求將存放在分布式文件系統(tǒng)、數(shù)據(jù)庫中的文件或數(shù)據(jù)進行抽取的功能；c)應(yīng)提供對清洗后的數(shù)據(jù)按照分析模塊的要求進行轉(zhuǎn)換操作（如列轉(zhuǎn)換、行轉(zhuǎn)換、表轉(zhuǎn)換等）的功能。7數(shù)據(jù)存儲7.1概述數(shù)據(jù)存儲是將來源不同的數(shù)據(jù)分別存入特定的數(shù)據(jù)庫中以供抽取使用。7.2功能要求數(shù)據(jù)存儲模塊功能要求如下：a)應(yīng)提供數(shù)據(jù)上傳、數(shù)據(jù)下載、目錄查看、目錄創(chuàng)建、目錄刪除、權(quán)限修改等操作的功能；b)應(yīng)提供標(biāo)準(zhǔn)、開放的數(shù)據(jù)訪問API對數(shù)據(jù)進行操作的功能；c)應(yīng)提供對相應(yīng)權(quán)限用戶進行授權(quán)的功能；d)應(yīng)提供數(shù)據(jù)加載工具或者功能，滿足系統(tǒng)和傳統(tǒng)關(guān)系型數(shù)據(jù)庫、其他文件系統(tǒng)之間交換數(shù)據(jù)和文件；e)應(yīng)提供專門區(qū)域存儲第三方數(shù)據(jù)，以實現(xiàn)物理隔離；f)應(yīng)具備關(guān)鍵節(jié)點（部件）高可用性設(shè)計與要求的能力；g)應(yīng)具備存儲RFID過車數(shù)據(jù)至少一年的能力；h)應(yīng)具備存儲圖片的原始數(shù)據(jù)至少三個月、圖片的結(jié)構(gòu)化數(shù)據(jù)至少一年的能力；i)應(yīng)具備存儲視頻流數(shù)據(jù)至少一個月的能力；j)宜提供數(shù)據(jù)自動備份和手動備份功能；k)宜提供數(shù)據(jù)批量更新、刪除等多種數(shù)據(jù)管理功能；l)宜提供流式的實時數(shù)據(jù)入庫和實時查詢功能。8數(shù)據(jù)交換8.1概述數(shù)據(jù)交換主要通過數(shù)據(jù)交換平臺，快速穩(wěn)定的將其他系統(tǒng)或部門的異地、異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)整合、交換，完成數(shù)據(jù)集中整合，形成相關(guān)的數(shù)據(jù)庫來支撐智能交通數(shù)據(jù)的挖掘及分析。8.2功能要求數(shù)據(jù)交換模塊功能要求如下：a)應(yīng)提供一個平臺級的數(shù)據(jù)集成框架，可以實現(xiàn)從一個系統(tǒng)采集數(shù)據(jù)，對數(shù)據(jù)進行加工處理，將需要的數(shù)據(jù)提交給另一個系統(tǒng)使用；4DB50/T1177—2021b)應(yīng)簡單易用，適合業(yè)務(wù)人員安裝、配置、部署、監(jiān)控、管理；c)應(yīng)支持跨地域、跨部門、跨層級的數(shù)據(jù)交換技術(shù)支撐體系的快速建設(shè)。為參與交換的組織機構(gòu)及其人員、交換設(shè)施、交換資源、交換模式、交換流程、交換安全等交換要素提供運行、管理的技術(shù)支撐；d)應(yīng)支持完全松耦合的數(shù)據(jù)交換架構(gòu)；e)應(yīng)支持多種數(shù)據(jù)抽取和數(shù)據(jù)處理模式；f)應(yīng)支持跨網(wǎng)絡(luò)的管理和數(shù)據(jù)交換，平臺整體架構(gòu)支持跨網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)。對于交換節(jié)點間不可直接連通的情況，可通過某個中間節(jié)點做路由連通，可通過節(jié)點的管理代理功能，實現(xiàn)節(jié)點的跨網(wǎng)管理和數(shù)據(jù)交換；g)應(yīng)實現(xiàn)平臺管理中心對跨地域不同部門的交換設(shè)施、交換流程的遠(yuǎn)程配置與部署功能；h)應(yīng)支持不同協(xié)議格式數(shù)據(jù)的交互；i)應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量控制：支持?jǐn)?shù)據(jù)過濾、數(shù)據(jù)格式轉(zhuǎn)換等功能；j)應(yīng)支持分布式數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫和文本文件等數(shù)據(jù)源；k)應(yīng)支持類SQL編程接口；l)第三方數(shù)據(jù)交換時應(yīng)遵守最小化原則（即在最小的范圍內(nèi)交換最少的數(shù)據(jù)）。9數(shù)據(jù)處理9.1概述數(shù)據(jù)處理是基于平臺需求，對進行過預(yù)處理的數(shù)據(jù)進行統(tǒng)計、融合或邏輯運算，形成二次處理后的擴展數(shù)據(jù)。9.2功能要求數(shù)據(jù)處理模塊功能要求如下：a)應(yīng)支持CPU、內(nèi)存、GPU等異構(gòu)資源調(diào)度和配置；b)應(yīng)支持計算框架的水平擴展；c)應(yīng)支持任務(wù)優(yōu)先級調(diào)度：能夠定義不同優(yōu)先級的任務(wù)，使得后啟動的高優(yōu)先級任務(wù)可以獲取運行中的低優(yōu)先級任務(wù)釋放的資源；d)應(yīng)支持對全局資源的集中管理；e)應(yīng)支持靜態(tài)資源分配策略和動態(tài)資源分配策略；f)應(yīng)提供匹配組織的層次結(jié)構(gòu)，支持多層次的隊列資源管理功能；g)應(yīng)支持資源管理、作業(yè)調(diào)度和數(shù)據(jù)加載及各種分布式計算框架調(diào)度；h)應(yīng)支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理；i)應(yīng)支持?jǐn)?shù)據(jù)壓縮與解壓；j)應(yīng)支持歷史數(shù)據(jù)查詢；k)宜具備支持按照任務(wù)間依賴關(guān)系自動調(diào)度任務(wù)，提高處理系統(tǒng)的自動化程度的能力；l)宜具備支持根據(jù)作業(yè)需求動態(tài)分配計算資源，自動管理回收資源的能力；m)宜具備支持自動完成作業(yè)調(diào)度；n)宜具備對復(fù)雜任務(wù)的調(diào)度的能力。10數(shù)據(jù)分析5DB50/T1177—202110.1概述數(shù)據(jù)分析負(fù)責(zé)將原始數(shù)據(jù)及處理過的數(shù)據(jù)，加工成后續(xù)決策、管理等工作需要的數(shù)據(jù)，包括：實時路況信息、疑似違章信息、區(qū)間測速信息等。10.2功能要求數(shù)據(jù)分析模塊功能要求如下：a）應(yīng)實現(xiàn)低延遲，能夠滿足城市交通臨界值監(jiān)測；b）應(yīng)實現(xiàn)分布式，各處理組件應(yīng)是分布式的，而且處理延遲低；c）應(yīng)支持事務(wù)拓?fù)?，保證消息不丟失，且嚴(yán)格有序；d）應(yīng)保證每個消息至少能得到一次完整處理。任