交控機(jī)架構(gòu)的雷視一體機(jī)為智能交管與車(chē)路協(xié)同 提供更全面的感知能力

英特爾?英特爾?賽揚(yáng)?處理器英特爾?酷睿處理英特爾?OpenVINO英特爾?oneAPI基礎(chǔ)工具套件基于英特爾?交控機(jī)架構(gòu)雷鳴 楊大寧 翁曉明 韋富亞 姜榮華a英特爾（中國(guó)）有限公 b蘇州雷森電子科技有限公123

45目錄目錄概 21技術(shù)背景：基于英特爾?交控機(jī)架構(gòu)的AI感知融 21AI感知融 集成式與分布式AI感知融 AI感知融合應(yīng)用于智能交管與車(chē)路協(xié)同等交通場(chǎng) 英特爾?交控機(jī)架 3雷視一體機(jī)：典型的集成式AI感知融合方 3信號(hào)處理流 雷達(dá)信號(hào)處 視頻分 數(shù)據(jù)融 基于英特爾?交控機(jī)架 英特爾?賽揚(yáng)?6305E處理器：一顆芯片承擔(dān)所有信號(hào)處理的負(fù) 英特爾?oneAPI基礎(chǔ)工具套件：加速雷達(dá)信號(hào)處 英特爾?發(fā)行版OpenVINO?工具套件：優(yōu)化視頻分 技術(shù)規(guī)格與性能指 實(shí)際效 4展望：基于英特爾?交控機(jī)架構(gòu)的AI感知融合使能更豐富的智慧交通應(yīng) 4特別致 參考文 關(guān)于雷 關(guān)于英特 解解決方案白皮書(shū)|基于英特爾?交控機(jī)架構(gòu)的雷視一體機(jī)為智能交管與車(chē)路協(xié)同提供更全面的感知能解解決方案白皮書(shū)|基于英特爾?交控機(jī)架構(gòu)的雷視一體機(jī)為智能交管與車(chē)路協(xié)同提供更全面的感知能““我們基于英特爾?交控機(jī)雷達(dá)與視頻AI感知融合英特爾?賽揚(yáng)?6305E處oneAPI基礎(chǔ)工具套件和英特爾?發(fā)行版OpenVINO工具套件分11英特爾?交控機(jī)架構(gòu)AI蘇州雷森電子科技有限公司（以下簡(jiǎn)稱(chēng)：雷森）基于英特爾?2基于英特爾?交控機(jī)架構(gòu)的AI感知融AI攝像頭與毫米波雷達(dá)是常見(jiàn)的交通傳感器，然而它們各自都有不同的優(yōu)點(diǎn)和缺點(diǎn)（如1），AI感知融合的用武之地。這項(xiàng)技術(shù)是指兩種或兩種以上的傳感器通過(guò)協(xié)作，將其各自獲取的“取長(zhǎng)補(bǔ)短”I3D（即目標(biāo)識(shí)別）。AI知融合不但可以實(shí)現(xiàn)對(duì)于交通環(huán)境更全面和更準(zhǔn)確的感知能力，還可以在一定程度上提供系統(tǒng)冗余，這些能力對(duì)于交通安全類(lèi)的應(yīng)用尤為重要。表1.不同傳感器的優(yōu)點(diǎn)和缺（視頻或圖像易受環(huán)境光照條件影響（例如夜晚弱光、強(qiáng)光照射等易受天氣狀況影響（例如雨、雪、霧、霾、煙、塵等3DAI根據(jù)負(fù)責(zé)信息采集的傳感器與負(fù)責(zé)計(jì)算的處理器芯片之間的集成關(guān)系，AI種類(lèi)的英特爾?（如圖1示）。AIAI計(jì)算負(fù)載在集成了傳感器的設(shè)備（例如本文將介紹的雷視一體機(jī)）中進(jìn)行處理。適合的芯片包括含有英特爾銳炬??與賽揚(yáng)?SoCCclon?FPA。AI計(jì)算負(fù)載在與傳感器（比如一個(gè)交通路口部署的多種類(lèi)、多數(shù)量的傳感器）通過(guò)網(wǎng)絡(luò)連接的分離設(shè)備（例如路側(cè)MC）中進(jìn)行處理。適合的芯片包括含有英特爾銳炬??酷睿?SoC處理器，至強(qiáng)?SoC處理I?AI[1]AI主要用于高速公路、城區(qū)道路、隧道和橋梁等長(zhǎng)直道路場(chǎng)景，也可通過(guò)多臺(tái)雷視一體機(jī)的協(xié)作來(lái)支持有多個(gè)車(chē)道方向的交通路口的感知需求。集成式集成式AI1C+1L）的設(shè)備（如：雷視一體R:AI4Cs+4Rs4Cs+2Ls）通過(guò)網(wǎng)絡(luò)連接的分離設(shè)備（如：MEC）中進(jìn)行處理凌動(dòng)?&賽揚(yáng)? 銳炬?Cyclone?SoC處理器 集成GPUFPGA酷睿?&至強(qiáng)? SoC處理器 集成GPU獨(dú)立GPU圖1.集成式與分布式AI感知融合應(yīng)用于智能交管與車(chē)路協(xié)同場(chǎng)AI括攝像頭、毫米波雷達(dá)和激光雷達(dá)在內(nèi)的各類(lèi)交通傳感器）采集交通目標(biāo)的原始信息（包括2D視頻圖像、雷達(dá)回波和3D點(diǎn)云等），交給集成AI（例如雷視一體機(jī)）AI（MEC）進(jìn)行基AI在2所示的車(chē)路協(xié)同場(chǎng)景中，這些目標(biāo)級(jí)的結(jié)V2XI2V(Infastructue-oehicl)I2V消息被RSU（路側(cè)單元）經(jīng)由PC5無(wú)線(xiàn)空中接5GUu括機(jī)動(dòng)車(chē)和行人在內(nèi)的道路交通參與者，以實(shí)現(xiàn)包括交通安全、交通效率、信息服務(wù)等類(lèi)別在內(nèi)的豐富的車(chē)路協(xié)同應(yīng)用。PC5V2XSidelink)Uu無(wú)線(xiàn)空口(CellularLink)5G圖2.基于車(chē)路協(xié)同的交通場(chǎng)英特爾?交控機(jī)架了交通融合計(jì)算與控制(TransportationFusionComputingandControl,TFCC)架構(gòu)[2]，簡(jiǎn)稱(chēng)英特爾?交控機(jī)架構(gòu)。如圖3這一架構(gòu)的硬件平臺(tái)包括了型號(hào)豐富的英特爾?賽揚(yáng)?、凌動(dòng)?、酷睿?SoC處理器系列以及銳炬?集成顯卡與銳炫?獨(dú)立顯卡[3]和英特爾?oneAPI基礎(chǔ)工具套[4][5]。通過(guò)硬件與軟件深度結(jié)合，英特爾?以支持所有交通傳感器所需的AI與通用計(jì)算。英特爾?交控機(jī)架構(gòu)具有以下功能和性能特點(diǎn)，詳細(xì)介紹可[2]

AI基于英特爾?（以下簡(jiǎn)稱(chēng)：交控機(jī)設(shè)備）可軟ETC應(yīng)英特爾?信號(hào)燈霧 報(bào)警 道 路攝像 激光雷達(dá)毫米波雷 SoC處理器SoC處理器SoC處理器 集成GPU獨(dú)立（經(jīng)交通行業(yè)標(biāo)準(zhǔn)與法規(guī)認(rèn)證圖3.英特爾?交控機(jī)架3AI基于英特爾?交控機(jī)架構(gòu)，雷森成功開(kāi)發(fā)了如圖4所示的IETV2464.基于英特爾?IETV246雷視一體機(jī)產(chǎn)品實(shí)例（正面與背面該雷視一體機(jī)的信號(hào)處理流程如圖5雷達(dá)信號(hào)處理：視頻分析：數(shù)據(jù)融合：將雷達(dá)信號(hào)處理與視頻分析的目標(biāo)級(jí)結(jié)果數(shù)據(jù)投射到一個(gè)選定的統(tǒng)一坐標(biāo)系內(nèi)，進(jìn)行目標(biāo)軌跡關(guān)聯(lián)，完成結(jié)果數(shù)據(jù)融合，形成對(duì)目標(biāo)的完整感知信息。雷雷達(dá)信號(hào)處雷達(dá)射頻前第一維加窗（測(cè)距第二維加窗（測(cè)速恒虛警檢(CFAR水平方位的測(cè)垂直方位的測(cè)聚目跟攝像視編解視頻分深度學(xué)習(xí)推（目標(biāo)檢測(cè)與分類(lèi)目跟傳感器坐標(biāo)系轉(zhuǎn)到統(tǒng)一坐標(biāo)數(shù)據(jù)融軌跡-軌跡結(jié)果數(shù)融空間標(biāo)圖5.毫米波雷達(dá)與視頻融合計(jì)算的信號(hào)處理流MIMO

用于測(cè)距的第一維加窗FFT（快速傅里葉變換用于濾除雜波與干擾的恒虛警檢測(cè)(CFAR:ConstantFalseAlarmRateDetection)位置的估計(jì)（通過(guò)目標(biāo)相對(duì)于雷達(dá)的距離與角度目標(biāo)三維尺寸（長(zhǎng)寬高）的估FFT?oneAPI數(shù)學(xué)內(nèi)核庫(kù)(oneMKL)[6]來(lái)進(jìn)行加速。詳細(xì)的雷達(dá)信號(hào)處理流程可參見(jiàn)[1]I/O（MIPICSI）直接送入英特爾?YOLOv5[7]AI型的眾多優(yōu)點(diǎn)包括“一步推理算法”，即不需要“兩步推理算法”中所需的區(qū)域提議(RegionProposal)步驟，可通過(guò)一次推理過(guò)程完成目標(biāo)檢測(cè)和目標(biāo)分類(lèi)的雙重任務(wù)（如5示），從法的圖像尺寸調(diào)整與顏色空間轉(zhuǎn)換，均可通過(guò)英特爾?OpenVINO?工具套件[3]進(jìn)行優(yōu)化，以進(jìn)一步提升視頻分析[8]，在不影響傳感器正常工作的前提下，測(cè)算得到坐標(biāo)

[1]基于英特爾?交控機(jī)架雷視一體機(jī)是基于3?了產(chǎn)品的性?xún)r(jià)比和效能比。該架構(gòu)充分支持在單顆SoC器上完成復(fù)雜的毫米波雷達(dá)與視頻融合計(jì)算，并通過(guò)英特爾?軟件工具套件來(lái)優(yōu)化性能，在滿(mǎn)足性能要求的前提下最大程度的降低產(chǎn)品方案的成本與功耗。基于英特爾?顯著降低了用戶(hù)的資本支出(CapEx)和運(yùn)營(yíng)支出(OpEx)。英特爾?賽揚(yáng)?6305E處理器：一顆芯片承擔(dān)所有信號(hào)處理的負(fù)載賽揚(yáng)?6305E[9]SoC，屬于第11代英特爾?酷睿?處理器系列（產(chǎn)品代號(hào)：TigerLake，簡(jiǎn)稱(chēng)TGL）[10]。在具備強(qiáng)大通用計(jì)算與AI加速運(yùn)算能力的非常理想的高性?xún)r(jià)比和高效能比計(jì)算平臺(tái)。表2[9]單顆英特爾??6305ESoC傳統(tǒng)計(jì)算機(jī)視覺(jué)（AI度學(xué)習(xí)視頻分析（AI深度學(xué)習(xí)）：iGPU中的執(zhí)行單元(Execution2.英特爾??6305ESoC221.8CPU44CPU?64DDR4-3200,LPDDR4x-2iGPU英特爾?超核芯顯(Intel?UHDiGPU1.25AI算~4VDBOX數(shù)14英特爾?(IPU)IPUI/OPCIeforPCIeGen34通PCIeforPCIeGen34通Thunderbolt?/Thunderbolt?4/USB4×英特爾?oneAPI基礎(chǔ)工具套件：加速雷達(dá)信號(hào)處理oneAPI計(jì)劃(oneAPIInitiative[4]將加速計(jì)算的統(tǒng)一、基于包括CPU、GPU和其它加速器在內(nèi)的不同硬件。它同時(shí)提供面向HPC、AI和渲染應(yīng)用程序所需的高性能、密集計(jì)算和多

oneAPI?oneAPI[5]的應(yīng)用程序。它具有行業(yè)領(lǐng)先的C++編譯器，可實(shí)現(xiàn)如6所示，該工具套件包括英特爾?oneAPI數(shù)學(xué)內(nèi)核庫(kù)oneMKL)[6]?U最高性能的應(yīng)用程序進(jìn)行了優(yōu)化。它支持密集線(xiàn)性代數(shù)、稀疏線(xiàn)性代數(shù)、FFT、向量數(shù)學(xué)、隨機(jī)數(shù)生成、匯總統(tǒng)計(jì)等豐富且oneMKLT6.英特爾?oneAPI英特爾?OpenVINO工具套件：優(yōu)化視頻分析英特爾?發(fā)行版OpenVINO?工具套件（以下簡(jiǎn)稱(chēng)應(yīng)用開(kāi)發(fā)[3]。其顯著的三個(gè)特點(diǎn)是：高性能深度學(xué)習(xí)推理，?方案，來(lái)模擬人類(lèi)的視覺(jué)。它能顯著提升視頻分析的準(zhǔn)確率，加速推理，并節(jié)約算力資源。該工具套件基于各類(lèi)常見(jiàn)的神經(jīng)網(wǎng)絡(luò)，支持直接異構(gòu)執(zhí)行，可在多種英特爾?展計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的工作負(fù)載，實(shí)現(xiàn)卓越性能。它還支持在英特爾?集成顯卡上進(jìn)行高性能的視頻編碼和解碼。OpeVINO?（Windows、LinuxS）與編程語(yǔ)言（包括PythonC++）。OpenVINO?免費(fèi)提供超過(guò)280個(gè)經(jīng)預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)

IETV246與規(guī)范，其規(guī)格參數(shù)如表3表424.125502024.12550201920×2020I/O接DC24-20~70℃（可擴(kuò)展表4.雷視一體機(jī)（IETV246型）的性能指650±3000.083m/s(0.30.027m/s(0.1±≥<100≥基于英特爾?景，如78合計(jì)算（如5），實(shí)時(shí)獲取交通目標(biāo)的類(lèi)別、位置、速

[11][12]，以及檢測(cè)違規(guī)變道、逆行、非正常停車(chē)、擁堵、[13]如V2X服務(wù)器或者RSU，以支持豐富的智能交管與車(chē)路協(xié)同 圖7.部署于交通路口信號(hào)燈桿上的雷視一體 圖8.從雷視一體機(jī)的視角俯視交通路分，例CCar，[TTruckID圖9.雷視一體機(jī)中毫米波雷達(dá)與視頻的融合效圖10展示了在陜西某地的交通路口部署雷視一體機(jī)來(lái)優(yōu)化交通信號(hào)燈（紅綠燈）的配時(shí)，以緩解早高峰擁堵的效果南與北方向直行排隊(duì)長(zhǎng)度降低了10%左右，停車(chē)等待時(shí)間變短，停車(chē)次數(shù)減少(a)(a)未使用雷視一體 (b)使用雷視一體圖10.部署于交通路口的雷視一體機(jī)緩解早高峰擁堵的效與移動(dòng)方向等指標(biāo)的測(cè)量精度均超過(guò)了C4高等級(jí)智能道路對(duì)IETV246型雷視一體機(jī)在實(shí)際應(yīng)用中，顯示了以下突出的優(yōu)點(diǎn)：更低的端到端處理延時(shí)：（雷達(dá)與攝像頭）將其所采集的原始數(shù)據(jù)通過(guò)內(nèi)部高速I(mǎi)/O接口（PCIeMIPICSI）直接送入英特爾?分也無(wú)需視頻編解碼。這有效降低了端到端時(shí)延，確保其在100感知融合方案的端到端時(shí)延通常在200毫秒左右。

(TCO)：雷視一體機(jī)將原來(lái)分離的多臺(tái)CapEx)；同時(shí)雷視一體機(jī)在降低功耗支出(OpEx)。4展望基于英特爾?交控機(jī)架構(gòu)的AI感知融合使能更豐富的智慧交通應(yīng)由于采用了英特爾?IETV246

英特爾?交控機(jī)架構(gòu)包括不斷演進(jìn)且型號(hào)豐富的英特爾?賽揚(yáng)?、凌動(dòng)?、酷睿SoC處理器系列，銳炬?集成顯卡與銳炫獨(dú)立顯卡系列，英特爾?OpenVINO?智能交通應(yīng)用[14]–[26]。英特爾與產(chǎn)業(yè)界伙伴將繼續(xù)攜手合作，通過(guò)提供更為先進(jìn)的AI感知融合產(chǎn)品與解決方案，來(lái)不M.Lei,D.YangandX.Weng,"IntegratedSensorFusionBasedon4DMIMORadarandCamera:ASolutionforConnectedVehicleApplications,"inIEEEVehicularTechnologyMagazine,vol.17,no.4,pp.38-46,Dec.2022,doi:10.1109/MVT.2022.3207453.雷鳴，胡高鵬，宋暉，姜榮華，晉磊，黃昊，邵文簡(jiǎn)，“基于英特爾?AIETC?決方案白皮書(shū)，20243“英特爾?發(fā)行版OpenVINO?工具套件”，Intel.Accessed:Feb.21,2024.[Online].Available:"Intel?oneAPIBaseToolkit."Intel.Accessed:Feb.21,2024.[Online].Available:"Intel?oneAPIMathKernelLibrary(oneMKL)."Intel.Accessed:Feb.21,2024.[Online].Available:"YOLOv5inPyTorch."GitHub.Accessed:Feb.21,2024.[Online].Available:M.Lei,M.Rahman,D.MathaikuttyandI.Alvarez,"Wireless-AssistedAutomaticOnlineSpatialCalibrationbasedon5GTSNforSensorFusion,"2023IEEEInternationalConferenceonSignalProcessing,CommunicationsandComputing(ICSPCC),2023,pp.1-6,doi:10.1109/ICSPCC59353.2023.10400303."Intel?Celeron?6305EProcessor."Intel.Accessed:Feb.21,2024.[Online].Available:“交通信息采集—微波交通流檢測(cè)器(Tra?cInformationCollection–MicrowaveTra?cFlowDetector中國(guó)國(guó)家標(biāo)準(zhǔn)：GB/T20609-2023，pp.1-27，發(fā)布日期：2023年3月17日?！敖煌ㄐ畔⒉杉曨l車(chē)輛檢測(cè)器(TrafficInformationCollection–VideoVehicleDetector)，”中國(guó)國(guó)家標(biāo)準(zhǔn)：GB/T24726-2009，pp.1-16，發(fā)布日期：2009年11月30日?！耙曨l交通事件檢測(cè)器(VideoTra?cIncidentDetector)，”中國(guó)國(guó)家標(biāo)準(zhǔn)：GB/T28789-2012，pp.1-20，發(fā)布日期:2012年11月5日。M.Lei,J.Lin,S.WangandW.Shao,"AIVideoAnalyticsBasedonTra?cFusionComputingforRoadTra?cIncidentDetection,"2023IEEE雷鳴，王新鋒，徐青，嚴(yán)征，程加鋼，劉省賢，黃昊，“車(chē)聯(lián)網(wǎng)中基于英特爾?架構(gòu)的激光雷達(dá)3D點(diǎn)云處理與感知融合方案，”英特爾?解決方案白皮書(shū)，202112月。下載鏈接：https://www.leishen-IntelSolutionWhitePaper,Dec.2021.Accessed:Feb.21,2024.[Online].Available:/content/www/us/en/content-details/795011/雷鳴，程加鋼，姜榮華，“基于英特爾?架構(gòu)的集和誠(chéng)?MEC設(shè)備加速車(chē)聯(lián)網(wǎng)的商用部署，”英特爾?解決方案白皮書(shū)，2020年12月。下載鏈接M.Lei,J.ChengandR.Jiang,"MECEquipmentBasedonIntel?ArchitectureAccelerateV2XCommercialDeployment,"IntelSolutionWhitePaper,Dec.2020.[Online].Available:/pdf/21573/Intel_JHCTECH_MEC_solution.pdf雷鳴，周長(zhǎng)軍，姜榮華，“基于英特爾?AI計(jì)算機(jī)視覺(jué)的新創(chuàng)中天?智能交通路側(cè)視頻邊緣計(jì)算設(shè)備，”英特爾?解決方案白皮書(shū)，2020年9[20]M.Lei,C.ZhouandR.Jiang,"IntelligentTransportationRoadsideVideoEdgeComputing(RVEC)EquipmentbasedonIntel?AIComputerVision,"IntelSolutionWhitePaper,Sept.2020.[Online].Available:/content/www/cn/zh/internet-of-things/zenith-intelligent-edge-computing-雷鳴，程加鋼，姜榮華，“英特爾與集和誠(chéng)協(xié)同打造基于英特爾?架構(gòu)的ETC解決方案，”英特爾?解決方案白皮書(shū)，2020年11月。下載鏈接M.Lei,J