面向交通技術(shù)的AI分析系統(tǒng)的設(shè)計(jì)開(kāi)發(fā)

面向交通技術(shù)的AI分析系統(tǒng)的設(shè)計(jì)開(kāi)發(fā)

Summary：本文提出一種應(yīng)用于公安、交警的交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)。通過(guò)統(tǒng)一的交通技術(shù)平臺(tái)，可實(shí)現(xiàn)各類(lèi)交通監(jiān)控子系統(tǒng)的數(shù)據(jù)統(tǒng)一匯集接入，和各類(lèi)交通監(jiān)控子系統(tǒng)的綜合管理。該系統(tǒng)可以對(duì)接高清視頻監(jiān)控系統(tǒng)、高清卡口系統(tǒng)、高清電子警察系統(tǒng)、交通信息分析系統(tǒng)、交通事件檢測(cè)系統(tǒng)、智能行為分析系統(tǒng)、交通違法處理系統(tǒng)等業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)各系統(tǒng)數(shù)據(jù)的匯集、存儲(chǔ)、處理、查詢(xún)和轉(zhuǎn)發(fā)，極大地推動(dòng)了智慧交通的發(fā)展應(yīng)用。Keys：交通監(jiān)控；數(shù)據(jù)處理；AI分析系統(tǒng)；設(shè)計(jì)1.引言當(dāng)前，交通管理的業(yè)務(wù)已經(jīng)展現(xiàn)出越來(lái)越多樣化的趨勢(shì)，交通管理和應(yīng)用的數(shù)據(jù)維度也越來(lái)越多，對(duì)于平臺(tái)的功能要求也已經(jīng)不止局限于視頻監(jiān)控和交通數(shù)據(jù)管理等程度。而是更進(jìn)一步地提出了交通流量接入和分析、單警系統(tǒng)的接入和警務(wù)管理，交通信號(hào)的管理和控制，交通誘導(dǎo)信息的接入和管理，車(chē)輛數(shù)據(jù)與橫向稱(chēng)重?cái)?shù)據(jù)的結(jié)合，面向社會(huì)面的停車(chē)場(chǎng)管理系統(tǒng)、和入侵報(bào)警等設(shè)備的接入要求，以及與交通氣象數(shù)據(jù)，道路路面設(shè)施和路況數(shù)據(jù)等綜合性接入的要求。也正是由于這些數(shù)據(jù)的接入多樣性，數(shù)據(jù)接入平臺(tái)才真正意義上實(shí)現(xiàn)交通管理和服務(wù)業(yè)務(wù)上的綜合數(shù)據(jù)接入。2.交通技術(shù)監(jiān)控?cái)?shù)據(jù)處理平臺(tái)的提出公安、交警的交通技術(shù)監(jiān)控?cái)?shù)據(jù)的處理，是智慧交通的關(guān)鍵所在。2.1系統(tǒng)架構(gòu)本次設(shè)計(jì)的交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)，主要分為四個(gè)子平臺(tái)、五個(gè)子系統(tǒng)。具體來(lái)說(shuō)，四個(gè)子平臺(tái)包括：六合一平臺(tái)、應(yīng)急指揮平臺(tái)、智能交通平臺(tái)、交通大數(shù)據(jù)平臺(tái)；五個(gè)子系統(tǒng)主要有：視頻監(jiān)控系統(tǒng)、高清卡口系統(tǒng)、電子警察系統(tǒng)、交通時(shí)間檢測(cè)系統(tǒng)、交通信息分析系統(tǒng)。交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)的結(jié)構(gòu)如下圖1：圖1結(jié)構(gòu)圖2.2系統(tǒng)組成本平臺(tái)遵循多層體系結(jié)構(gòu)模型，采用四層體系結(jié)構(gòu)，包括展現(xiàn)層（實(shí)現(xiàn)查詢(xún)、管理、統(tǒng)計(jì)功能）、服務(wù)層（進(jìn)行設(shè)備管理、通道管理、警報(bào)管理、區(qū)域管理、GIS管理、數(shù)據(jù)管理、場(chǎng)景管理、標(biāo)定管理、算法調(diào)度、角色管理、安全管理、日志管理）、數(shù)據(jù)層（包括DB、媒體數(shù)據(jù)、GIS數(shù)據(jù)）、接口層（主要是接入負(fù)載服務(wù)、數(shù)據(jù)調(diào)度與分發(fā)）。3.平臺(tái)的數(shù)據(jù)傳輸3.1內(nèi)部數(shù)據(jù)平臺(tái)內(nèi)部數(shù)據(jù)靈活采用關(guān)系型結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)模式，實(shí)現(xiàn)數(shù)據(jù)的高效傳輸、存儲(chǔ)，以及視頻、圖片的海量大規(guī)模存儲(chǔ)。本地?cái)?shù)據(jù)存儲(chǔ)進(jìn)行系統(tǒng)級(jí)加密，并在各級(jí)模塊和子系統(tǒng)之間進(jìn)行加密高效數(shù)據(jù)傳輸。平臺(tái)與基礎(chǔ)應(yīng)用系統(tǒng)間的數(shù)據(jù)傳輸符合國(guó)標(biāo)相關(guān)的要求（GA\T832—2014、GA\T497—2016等）。3.2外部數(shù)據(jù)本平臺(tái)作為公安交警指揮調(diào)度、日常應(yīng)用的數(shù)據(jù)匯集平臺(tái)，與公安其它各業(yè)務(wù)系統(tǒng)間均存在數(shù)據(jù)交互關(guān)系。涉及到與外部平臺(tái)系統(tǒng)的關(guān)系圖如下所示：圖2外部數(shù)據(jù)關(guān)系平臺(tái)兼容對(duì)接方案主要有以下幾種方式，其實(shí)現(xiàn)方法分別如下：（1）WebService接口平臺(tái)采用標(biāo)準(zhǔn)的WebService接口與六合一處罰平臺(tái)、機(jī)動(dòng)車(chē)/駕駛?cè)诵畔①Y源庫(kù)、被盜搶車(chē)信息庫(kù)、警用地理信息系統(tǒng)(PGIS)、人口信息庫(kù)、在逃人員/負(fù)案人員信息資源庫(kù)等進(jìn)行互聯(lián)，常用的接口類(lèi)型包括：過(guò)車(chē)信息上傳接口（數(shù)據(jù)主要有：卡口\路口名稱(chēng)、車(chē)道編號(hào)、車(chē)道名稱(chēng)、車(chē)牌號(hào)碼、車(chē)牌類(lèi)型、經(jīng)過(guò)時(shí)間、車(chē)速、車(chē)輛類(lèi)型、車(chē)身顏色、車(chē)牌顏色。）；違章信息接口；圖片上傳接口；設(shè)備狀態(tài)上傳接口；設(shè)備控制系統(tǒng)接口；其它接口。（2）SDK接口除了標(biāo)準(zhǔn)的WebService接口之外，交通數(shù)據(jù)接入平臺(tái)還可以通過(guò)SDK的方式接入外部設(shè)備或子系統(tǒng)，完成系統(tǒng)的對(duì)接與數(shù)據(jù)交互傳輸。4.平臺(tái)的AI分析系統(tǒng)本方案是在系統(tǒng)結(jié)構(gòu)上采用前端采集+中心集中式處理服務(wù)器的方式，通過(guò)計(jì)算機(jī)視覺(jué)圖像技術(shù)、深度學(xué)習(xí)、大數(shù)據(jù)分析、云計(jì)算等相關(guān)先進(jìn)技術(shù)，對(duì)視頻監(jiān)控畫(huà)面中動(dòng)態(tài)信息（路口交通流量信息、速度、車(chē)輛通行信息、交通違法信息和事件信息等）行為進(jìn)行分析識(shí)別，從而實(shí)現(xiàn)事件的智能監(jiān)測(cè)與自動(dòng)報(bào)警，并以不同的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)要求存入到磁盤(pán)陣列中，并轉(zhuǎn)發(fā)（派發(fā)）給相應(yīng)的業(yè)務(wù)應(yīng)用平臺(tái)和指揮中心。平臺(tái)采用工業(yè)標(biāo)準(zhǔn)的J2EE系統(tǒng)框架和SOA面向服務(wù)的架構(gòu)，具備良好的伸縮性、業(yè)務(wù)擴(kuò)展能力。平臺(tái)支持大規(guī)模視頻信息數(shù)據(jù)接入，應(yīng)用功能豐富，可實(shí)現(xiàn)區(qū)域化管理與統(tǒng)一集中后臺(tái)分析。4.1系統(tǒng)架構(gòu)圖3系統(tǒng)架構(gòu)示意圖4.2技術(shù)路線(xiàn)從設(shè)計(jì)思路出發(fā)，本平臺(tái)主要采用以下核心技術(shù)路線(xiàn)：4.2.1前端圖像采集考慮到電子警察系統(tǒng)前端都部署在室外，環(huán)境比較惡劣，而且需要全天24小時(shí)不間斷工作，對(duì)設(shè)備的穩(wěn)定性和可靠性要求很高。為進(jìn)一步降低前端攝像機(jī)的設(shè)備壓力，要求攝像機(jī)只做視頻采集，不需要做進(jìn)一步的智能分析。前端部分由桿件、高清攝像機(jī)、LED智能補(bǔ)光燈、光纖收發(fā)器、電源、防雷、攝像機(jī)防護(hù)罩和戶(hù)外防護(hù)柜等設(shè)備組成，不添加外部觸發(fā)裝置，僅負(fù)責(zé)全天候的前端視頻采集，將采集的高清視頻通過(guò)光纖通信系統(tǒng)實(shí)時(shí)傳送到中心進(jìn)行視頻處理與存儲(chǔ)。前端攝像機(jī)作為前端設(shè)備中的核心設(shè)備，要求采用“圖像傳感器+ISP+DSP”技術(shù)方案，通過(guò)對(duì)ISP和DSP的精細(xì)化控制來(lái)確保高清圖像的成像質(zhì)量，使得高清攝像機(jī)在不同環(huán)境、不同光照條件下均可達(dá)到滿(mǎn)足業(yè)務(wù)應(yīng)用的成像效果。4.2.2中心分析應(yīng)用中心分析平臺(tái)涵蓋了視頻分析、業(yè)務(wù)應(yīng)用兩大模塊。電子警察管理平臺(tái)采用成熟、主流的技術(shù)構(gòu)建，充分兼顧交警業(yè)務(wù)需求和技術(shù)的發(fā)展，充分考慮與交警其他信息系統(tǒng)的連接，建設(shè)可擴(kuò)展的開(kāi)放平臺(tái)。中心檢測(cè)處理存儲(chǔ)單元包括集中處理服務(wù)器和視頻處理軟件，系統(tǒng)對(duì)視頻進(jìn)行特征符號(hào)化處理后，把抓拍照片、高清視頻錄像、交通基礎(chǔ)數(shù)據(jù)等進(jìn)行分類(lèi)，通過(guò)業(yè)務(wù)邏輯處理單元實(shí)現(xiàn)各類(lèi)交通管理業(yè)務(wù)處理并提供各類(lèi)外部數(shù)據(jù)接口。4.3平臺(tái)功能模塊組成智能視頻分析平臺(tái)主要由視頻分析服務(wù)模塊、視頻數(shù)據(jù)服務(wù)模塊、數(shù)據(jù)中心處理服務(wù)模塊以及客戶(hù)端應(yīng)用服務(wù)模塊四大部分構(gòu)成。圖4智能視頻分析平臺(tái)4.3.1視頻分析服務(wù)模塊包括場(chǎng)景管理服務(wù)、業(yè)務(wù)標(biāo)定服務(wù)、算力負(fù)載均衡服務(wù)、算力池管理服務(wù)、視頻流解碼服務(wù)、視頻分析服務(wù)。①場(chǎng)景管理服務(wù)用于管理視頻分析中的視頻流所對(duì)應(yīng)的業(yè)務(wù)類(lèi)型，包括城市交通管理等不同類(lèi)別的業(yè)務(wù)。②業(yè)務(wù)標(biāo)定服務(wù)用于視頻畫(huà)面的區(qū)域劃分、界限標(biāo)注、目標(biāo)物標(biāo)注、以及業(yè)務(wù)規(guī)則標(biāo)定。③算力負(fù)載均衡服務(wù)用于對(duì)分析服務(wù)器上的算力資源使用進(jìn)行跟蹤和負(fù)載均衡調(diào)度。④算力池管理服務(wù)用于對(duì)多臺(tái)分析服務(wù)器上的算力資源進(jìn)行綜合統(tǒng)一算力管理。⑤視頻流解碼服務(wù)用于視頻流進(jìn)行解碼，支持H.264、H.265視頻編碼格式。⑥視頻分析服務(wù)，提供各類(lèi)業(yè)務(wù)的視頻分析功能。4.3.2視頻數(shù)據(jù)服務(wù)模塊提供視頻數(shù)據(jù)的預(yù)覽、回放、存儲(chǔ)、管理、云臺(tái)控制、上墻顯示、分析聯(lián)動(dòng)報(bào)警等視頻應(yīng)用服務(wù)。包括流媒體轉(zhuǎn)發(fā)服務(wù)、流媒體格式服務(wù)、存儲(chǔ)管理服務(wù)、網(wǎng)管服務(wù)、報(bào)警管理服務(wù)、設(shè)備接入服務(wù)、設(shè)備接入服務(wù)。4.3.3數(shù)據(jù)中心處理服務(wù)模塊管理配置信息和數(shù)據(jù)信息，實(shí)現(xiàn)用戶(hù)與資源管理、視頻和交通數(shù)據(jù)調(diào)閱，提供用戶(hù)權(quán)限控制、數(shù)據(jù)訪(fǎng)問(wèn)等核心服務(wù)。包括中心管理服務(wù)、Web服務(wù)、數(shù)據(jù)庫(kù)服務(wù)、消息隊(duì)列服務(wù)、GIS電子地圖服務(wù)等。4.3.4客戶(hù)端應(yīng)用服務(wù)模塊包括B/S用戶(hù)端、APP用戶(hù)端、電視墻控制端、B/S管理端。①B/S用戶(hù)端通過(guò)WEB頁(yè)界面對(duì)系統(tǒng)進(jìn)行管理、維護(hù)、實(shí)時(shí)監(jiān)控和數(shù)據(jù)信息查閱，采用WEB2.0技術(shù)，操作更順暢、畫(huà)面刷新速度更快，可為監(jiān)控中心提供直觀(guān)的可視化管理界面。②A(yíng)PP用戶(hù)端提供基于移動(dòng)通信網(wǎng)絡(luò)的用戶(hù)系統(tǒng)業(yè)務(wù)處理功能?？梢赃h(yuǎn)程收取報(bào)警信息、登錄處理報(bào)警流程、實(shí)時(shí)查看系統(tǒng)數(shù)據(jù)和實(shí)時(shí)監(jiān)控畫(huà)面。③電視墻控制端業(yè)務(wù)實(shí)現(xiàn)對(duì)電視墻控制和管理。④B/S管理端提供系統(tǒng)級(jí)的運(yùn)維管理。4.4系統(tǒng)業(yè)務(wù)流程主要是：（1）系統(tǒng)通過(guò)獲取實(shí)時(shí)視頻流，也可以直連前端相機(jī)取視頻流，這樣避免了系統(tǒng)本身的帶寬壓力及系統(tǒng)計(jì)算壓力。（2）智能視頻分析算法部署在機(jī)房中心服務(wù)器端（支持云部署）實(shí)現(xiàn)對(duì)視頻的實(shí)時(shí)事件檢測(cè)，支持自動(dòng)定時(shí)輪詢(xún)，輪詢(xún)時(shí)間可配置。（3）系統(tǒng)將分析處理后得到的數(shù)據(jù)及時(shí)轉(zhuǎn)發(fā)給各業(yè)務(wù)平臺(tái)或指揮中心，并存儲(chǔ)至數(shù)據(jù)服務(wù)器。（4）系統(tǒng)自動(dòng)根據(jù)分析出來(lái)的各項(xiàng)數(shù)據(jù)進(jìn)行分類(lèi)統(tǒng)計(jì)，并以多種報(bào)表方式進(jìn)行展示,以備查詢(xún)所需。（5）將各項(xiàng)數(shù)據(jù)統(tǒng)計(jì)分析后，通過(guò)平臺(tái)首頁(yè)直接展示各項(xiàng)數(shù)據(jù)或轉(zhuǎn)發(fā)給第三方業(yè)務(wù)平臺(tái)。5.系統(tǒng)應(yīng)用評(píng)價(jià)5.1設(shè)備兼容、功能一致本系統(tǒng)采用基于云計(jì)算模式的視頻分析模式，硬件組成相對(duì)簡(jiǎn)潔。在系統(tǒng)的整體架構(gòu)上采用前端設(shè)備簡(jiǎn)化（只負(fù)責(zé)高清視頻采集），在中心進(jìn)行集中視頻視覺(jué)識(shí)別、分析的處理存儲(chǔ)模式。前端不同時(shí)期、不同項(xiàng)目建設(shè)的不同廠(chǎng)家的攝像機(jī)，只要其滿(mǎn)足標(biāo)準(zhǔn)碼流的要求，都可以接入到統(tǒng)一的中心處理設(shè)備中。5.2降低運(yùn)營(yíng)成本，升級(jí)方便本系統(tǒng)采用云建設(shè)模式，前端攝像機(jī)只負(fù)責(zé)圖像采集，中心處理設(shè)備才是系統(tǒng)功能實(shí)現(xiàn)的核心節(jié)點(diǎn)。在技術(shù)發(fā)展引領(lǐng)出新的功能時(shí)，只需要對(duì)中心處理設(shè)備進(jìn)行升級(jí)即可，不需要耗費(fèi)大量人力、物力對(duì)前端攝像機(jī)進(jìn)行一個(gè)一個(gè)的升級(jí)。5.3避開(kāi)惡劣環(huán)境，運(yùn)行更穩(wěn)定以往的電子警察智能前置到攝像機(jī)中，攝像機(jī)的運(yùn)行壓力巨大，常常會(huì)出現(xiàn)攝像機(jī)性能不足、機(jī)身過(guò)熱，導(dǎo)致死機(jī)、頻繁重啟的問(wèn)題。在云分析系統(tǒng)中大大減輕了前端攝像機(jī)的工作壓力，攝像機(jī)只需要負(fù)責(zé)成像控制、視頻采集等工作，出現(xiàn)故障的概率大大減少。而負(fù)責(zé)核心視頻分析的設(shè)備集中到了環(huán)境舒適的中心機(jī)房，可保障設(shè)備具有良好的外部環(huán)境，提高設(shè)備運(yùn)行穩(wěn)定性。5.4分析功能算法疊加在同一臺(tái)分析服務(wù)器上，不同的視頻可以運(yùn)行不同的算法功能，相同的一路視頻也可以同時(shí)疊加不同的算法功能。平臺(tái)數(shù)據(jù)處理采用當(dāng)前最先進(jìn)的深度學(xué)習(xí)算法對(duì)車(chē)輛的視頻和圖片進(jìn)行處理。深度學(xué)習(xí)就是利用一些方法去構(gòu)建一個(gè)含有多層隱藏層的人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的每一層都對(duì)應(yīng)著原始數(shù)據(jù)不同層次的數(shù)學(xué)抽象，從而達(dá)到用特征向量描述圖像的目的。和傳統(tǒng)模式識(shí)別算法相比較，深度學(xué)習(xí)算法的最大不同在于它所采用的特征是從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)得到，而非采用手工設(shè)計(jì)。好的特征可以提高模式識(shí)別系統(tǒng)的性能。以往多數(shù)分類(lèi)、回歸等算法為淺層結(jié)構(gòu)算法，其局限性在于有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類(lèi)問(wèn)題其泛化能力受到一定制約。深度學(xué)習(xí)可通過(guò)學(xué)習(xí)一種深層非線(xiàn)性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力5.5算力池架構(gòu)在部署多臺(tái)分析服務(wù)器的時(shí)候，分析服務(wù)器可以建立分析算法集群資源池，算力資源可以通過(guò)算法資源池進(jìn)行合理分配和調(diào)度，提高硬件資源的使用率，提升系統(tǒng)總體的處理路數(shù)。同時(shí)，單臺(tái)服務(wù)器在使用的時(shí)候，都會(huì)預(yù)留一定的系統(tǒng)性能以保障系統(tǒng)正常運(yùn)行，如果不建立資源池的話(huà)，這部分算力資源就浪費(fèi)了。通過(guò)集群資源池，可以收集所有服務(wù)器上預(yù)留的算力資源，進(jìn)一步提升系統(tǒng)總體的處理運(yùn)算性能。5.6支持多種解碼方式平臺(tái)具備多種解碼方式，支持硬解、軟解，支持AI加速卡獨(dú)立解碼、支持AI加速卡和CPU混合解碼、支持CPU獨(dú)立解碼，適應(yīng)多種不同配置條件和不同應(yīng)用場(chǎng)景，提升整體運(yùn)行效率。支持多種品牌AI加速卡，支持NVIDIATesla加速卡、華為Atlas加速卡，支持混合使用不同品牌加速卡。5.7設(shè)備狀態(tài)自動(dòng)檢測(cè)平臺(tái)實(shí)時(shí)監(jiān)測(cè)視頻流、中心服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)、WEB應(yīng)用等關(guān)鍵服務(wù)運(yùn)行狀況進(jìn)行故障診斷。當(dāng)各類(lèi)設(shè)備、服務(wù)發(fā)生故障時(shí)系統(tǒng)通過(guò)聲音、短信等形式將信息告知維護(hù)人員，建立故障上報(bào)、進(jìn)度跟蹤、服務(wù)效果評(píng)價(jià)的閉環(huán)管理機(jī)制。6.小結(jié)以上本文提到的交通技術(shù)監(jiān)控?cái)?shù)據(jù)接入平臺(tái)，應(yīng)用優(yōu)勢(shì)突出，尤其是平臺(tái)的AI分析系統(tǒng)，對(duì)智慧交通的實(shí)現(xiàn)具有巨