DB34-T 4101-2022智能駕駛 激光雷達(dá)與攝像頭的感知數(shù)據(jù)融合接口規(guī)范-高清現(xiàn)行

ICS35.240.0134CCSL7834安 徽 省 地 方 標(biāo) 準(zhǔn)DB34/T4101—2022智能駕駛激光雷達(dá)與攝像頭的感知數(shù)據(jù)融合接口規(guī)范Intelligentdriving—SpecificationoflidarandcameraperceptiondatafusioninterfaceIntelligentdriving—Specificationoflidarandcameraperceptiondatafusioninterface2022-03-292022-04-29安徽省市場監(jiān)督管理局發(fā)布DB34/T4101DB34/T4101—2022前 言GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由中國科學(xué)技術(shù)大學(xué)提出。本文件由安徽省經(jīng)濟(jì)和信息化廳歸口。公司、合肥綜合性國家科學(xué)中心人工智能研究院。本文件主要起草人：張昱、龔磊、張燕詠、吉建民、王順洪、李星辰、任浩杰、祝含頎、丁昌東、吳瓊、丁釗。IIDB34/T4101DB34/T4101—2022DB34/T4101DB34/T4101—2022智能駕駛激光雷達(dá)與攝像頭的感知數(shù)據(jù)融合接口規(guī)范范圍據(jù)格式。本文件適用于激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合和圖像與點(diǎn)云的目標(biāo)檢測結(jié)果融合。規(guī)范性引用文件本文件沒有規(guī)范性引用文件。術(shù)語和定義3.1包圍框boundingbox主要用于對檢測的對象進(jìn)行描述的三維或二維矩形外殼。[來源：ISO23150-2021，7.2.2]3.1包圍框boundingbox主要用于對檢測的對象進(jìn)行描述的三維或二維矩形外殼。[來源：ISO23150-2021，7.2.2]3.2攝像頭坐標(biāo)系cameracoordinatesystem攝像頭坐標(biāo)系是以鏡頭主光軸為中心的三維笛卡爾坐標(biāo)系。注：單位為米。3.3激光雷達(dá)坐標(biāo)系lidarcoordinatesystem激光雷達(dá)坐標(biāo)系是以激光發(fā)射中心作為坐標(biāo)系原點(diǎn)的三維笛卡爾坐標(biāo)系。注：單位為米。3.4圖像坐標(biāo)系imagecoordinatesystem以圖像左上角為原點(diǎn)的二維坐標(biāo)系。注：單位為像素。3.5時(shí)空統(tǒng)一timeandspaceunification將輸入的各局部時(shí)間和空間坐標(biāo)的信息變換到統(tǒng)一的系統(tǒng)基準(zhǔn)時(shí)間和空間坐標(biāo)系下。[來源：GB/T37686-2019，3.3]3.6標(biāo)定calibration接受激光雷達(dá)與攝像頭的原始數(shù)據(jù)作為輸入進(jìn)行時(shí)空統(tǒng)一的操作。13.7傳感器數(shù)據(jù)融合sensordatafusion接受感知之前的數(shù)據(jù)作為輸入進(jìn)行數(shù)據(jù)融合的操作。3.8目標(biāo)檢測結(jié)果融合detectionfusion接受圖像目標(biāo)檢測二維包圍框和點(diǎn)云目標(biāo)檢測三維包圍框作為輸入進(jìn)行數(shù)據(jù)融合的操作。3.9數(shù)據(jù)融合接口datafusioninterface接收傳感器數(shù)據(jù)并輸出融合數(shù)據(jù)以及接收目標(biāo)檢測結(jié)果并輸出融合后目標(biāo)檢測結(jié)果的接口。融合系統(tǒng)的架構(gòu)激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合架構(gòu)激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合架構(gòu)如圖1數(shù)據(jù)。圖1激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合架構(gòu)圖1激光雷達(dá)與攝像頭的傳感器數(shù)據(jù)融合架構(gòu)4.2圖像與點(diǎn)云的目標(biāo)檢測結(jié)果融合架構(gòu)圖像與點(diǎn)云的目標(biāo)檢測結(jié)果融合架構(gòu)如圖2融合后的目標(biāo)檢測結(jié)果。圖2圖像與點(diǎn)云的目標(biāo)檢測結(jié)果融合架構(gòu)5數(shù)據(jù)融合接口2基本數(shù)據(jù)類型基本數(shù)據(jù)類型見表1。表1基本數(shù)值類型數(shù)值類型描述bool布爾型int88位整型uint8無符號8位整型int3232位整型uint32無符號32位整型float單精度浮點(diǎn)（32bit）double雙精度浮點(diǎn)（64-bit）string字符串類型enum枚舉類型配置數(shù)據(jù)表2配置接口的配置數(shù)據(jù)添加配置屬性表2配置接口的配置數(shù)據(jù)添加配置屬性3屬性名稱描述數(shù)據(jù)類型單位/備注示例fusion_type融合類型bool/0：傳感器數(shù)據(jù)融合；1：目標(biāo)檢測結(jié)果融合0chirality手坐標(biāo)系bool/0：右手坐標(biāo)系；1：左手坐標(biāo)系0camera_coordinate坐標(biāo)系的軸/數(shù)字0,1,2分別表示x,y,z軸，負(fù)數(shù)表示負(fù)方向。（int8,int8,int8）如(2,0,-1)，表示前進(jìn)方向?yàn)閦（2,0,-1）右側(cè)方向?yàn)閤y向lidar_coordinate達(dá)坐標(biāo)系的軸（int8,int8,int8）/0,1,2x,y,z數(shù)表示負(fù)方向。如x右側(cè)方向?yàn)閥z軸（0,-1,2）camera_frequency攝像頭獲取數(shù)據(jù)頻率uint32HZ/10lidar_frequency激光雷達(dá)獲取數(shù)據(jù)頻率uint32HZ/10fusion_algorithm融合所用算法string/“MV3d”接口輸入?yún)?shù)：——屬性名稱；——屬性描述；——屬性值的類型。接口返回值：屬性添加成功與否的狀態(tài)，1—添加成功、0—添加失敗。示例：輸入為：（frequency,“thecapturefrequencyofsensor”uint32）表示添加類型為uint32的frequency屬性。設(shè)置配置屬性值融合系統(tǒng)提供設(shè)置配置屬性值接口，設(shè)置指定屬性名的屬性值。接口輸入?yún)?shù)：——指定屬性名；——屬性值。接口返回值：屬性值設(shè)置成功與否的狀態(tài)，1—設(shè)置成功、0—設(shè)置失敗。示例：輸入?yún)?shù)（camera_frequency,20）表示設(shè)置攝像頭采集圖像頻率為20Hz。獲取配置屬性值融合系統(tǒng)提供獲取配置屬性值接口，獲取指定屬性名的屬性值。5.5.3接口返回值：屬性值。5.5.3接口返回值：屬性值。示例：輸入?yún)?shù)（camera_frequency）表示獲取系統(tǒng)中當(dāng)前的攝像頭采集圖像頻率。數(shù)據(jù)接收接口數(shù)據(jù)發(fā)送端通過數(shù)據(jù)接收接口向融合系統(tǒng)提供待融合的數(shù)據(jù),可以是原始數(shù)據(jù)（6.2）據(jù)（6.3）、點(diǎn)云數(shù)據(jù)（6.4）、點(diǎn)云目標(biāo)檢測三維包圍框信息（6.5）、圖像目標(biāo)檢測二維包圍框信息（6.6）之一。接口輸入?yún)?shù)：數(shù)據(jù)，規(guī)范中定義的數(shù)據(jù)類型的數(shù)據(jù)。接口返回值：設(shè)置/發(fā)送成功與否的狀態(tài)，1—設(shè)置/發(fā)送成功、0—設(shè)置/發(fā)送失敗。數(shù)據(jù)獲取接口接口輸入?yún)?shù)：融合類型，指定融合的類型。接口返回值：融合后的數(shù)據(jù)。6數(shù)據(jù)格式6.1標(biāo)定數(shù)據(jù)類型描述3的規(guī)定。4表3標(biāo)定數(shù)據(jù)類型描述屬性名描述數(shù)值類型單位/備注示例image_size圖像大小uint32[2]/1×2向量[640,480]distortion_coeffs畸變參數(shù)向量都設(shè)為0double[5]/1×5向量，該畸變參數(shù)適用于針孔相機(jī)模型[-0.3995,0.1803,0,0,0.0429]intrinsic_matrix內(nèi)參矩陣/3×3矩陣，包含攝像頭的光頭坐標(biāo)系到圖像坐標(biāo)系的映射關(guān)系double[9][468.3708,0.,339.7596,0.,470.2517,235.6143,0.,0.,1.]reference_frame參考坐標(biāo)系bool/0:攝像頭坐標(biāo)系1:激光雷達(dá)坐標(biāo)系0extrinsic_matrix外參矩陣double[16]/4×4矩陣，包括旋轉(zhuǎn)與平移空間轉(zhuǎn)換關(guān)系[0.0070,1e-06,0.9999,0,-0.9999,-0.0016,0.0070,0,0.0016,-0.9999,-1e-06,0,-0.0062,0.0756,0.0337,1]應(yīng)符合表4的規(guī)定。表4原始數(shù)據(jù)描述6.3圖像數(shù)據(jù)描述應(yīng)符合表4的規(guī)定。表4原始數(shù)據(jù)描述6.3圖像數(shù)據(jù)描述應(yīng)符合表5的規(guī)定。表5圖像數(shù)據(jù)描述5屬性名描述數(shù)值類型單位/備注示例sensor_id產(chǎn)生原始數(shù)據(jù)的傳感器iduint8/1timestamp數(shù)據(jù)生成的時(shí)間戳uint32.uint32s.ns/秒.納秒1595682678.715705367seq數(shù)據(jù)的序列uint321length原始數(shù)據(jù)字節(jié)數(shù)uint321data原始數(shù)據(jù)字節(jié)流int8[]屬性名描述數(shù)值類型單位/備注示例sensor_id產(chǎn)生圖像數(shù)據(jù)的攝像頭傳感器iduint8/1timestamp圖片生成的時(shí)間戳uint32.uint32s.ns/秒.納秒1595682678.715705367seq圖像的序列uint321height圖像高度，即像素行數(shù)uint32/480width圖像寬度，即像素列數(shù)uint32/360encoding圖像編碼string/rgb86.5點(diǎn)云目標(biāo)檢測三維包圍框信息描述應(yīng)符合表7的規(guī)定。6.5點(diǎn)云目標(biāo)檢測三維包圍框信息描述應(yīng)符合表7的規(guī)定。表7點(diǎn)云目標(biāo)檢測三維包圍框信息描述6屬性名描述數(shù)值類型單位/備注示例channel圖像的通道數(shù)uint8/3data圖像數(shù)據(jù)，width*height*channel個(gè)uint8數(shù)據(jù)uint8[]/6.4點(diǎn)云數(shù)據(jù)描述應(yīng)符合表6的規(guī)定。表6點(diǎn)云數(shù)據(jù)描述屬性名描述數(shù)據(jù)類型單位/備注示例sensor_id產(chǎn)生點(diǎn)云數(shù)據(jù)的激光雷達(dá)iduint8/0timestamp點(diǎn)云的時(shí)間戳uint32.uint32s.ns/秒.納秒1595682678.715705367seq連續(xù)遞增的序列唯一標(biāo)識uint32/1number點(diǎn)云中的點(diǎn)的個(gè)數(shù)uint32/1000fields點(diǎn)云中一個(gè)點(diǎn)所包含的數(shù)據(jù)類別string[]/一個(gè)點(diǎn)云數(shù)據(jù)包括必須的x,y,z的reflectivity反射率信息等[x,y,z，reflectivity]fields_number一個(gè)點(diǎn)包含的數(shù)據(jù)類別數(shù)uint8/如fields為[x,y,z],則fileds_number為33data點(diǎn)云數(shù)據(jù),number*fields_number個(gè)float數(shù)float[]/每fields_number個(gè)浮點(diǎn)數(shù)表示點(diǎn)云中的一個(gè)點(diǎn)sensor_type機(jī)械式激光雷達(dá)/固態(tài)激光雷達(dá)bool/0為機(jī)械式激光雷達(dá)1為固態(tài)激光雷達(dá)0beam（option）機(jī)械式激光雷達(dá)線束uint32/當(dāng)sensor_type為0時(shí)可選32ring（option）點(diǎn)云點(diǎn)所屬于的機(jī)械式激光雷達(dá)線束uint32/當(dāng)sensor_type為0時(shí)可選0屬性名描述數(shù)值類型單位/備注示例id包圍框的idint32/1class目標(biāo)類別enum/Carpoints_seq點(diǎn)云序列uint32/對應(yīng)的點(diǎn)云序列號2confidence目標(biāo)存在的概率float/[0,1]范圍內(nèi)的小數(shù)，表示目標(biāo)存在的概率0.8timestamp該三維包圍框?qū)?yīng)的時(shí)間戳uint32.uint32s.ns/秒.納秒1595682678.715705367X包圍框的中心點(diǎn)在激光雷達(dá)坐標(biāo)系中的x坐標(biāo)float/1.0Y包圍框的中心點(diǎn)在激光雷達(dá)坐標(biāo)系中的y坐標(biāo)float/1.0Z包圍框的中心點(diǎn)在激光雷達(dá)坐標(biāo)系中的z坐標(biāo)float/1.06.7傳感器數(shù)據(jù)融合后數(shù)據(jù)描述應(yīng)符合表9的規(guī)定。6.7傳感器數(shù)據(jù)融合后數(shù)據(jù)描述應(yīng)符合表9的規(guī)定。表9傳感器數(shù)據(jù)融合后數(shù)據(jù)描述7屬性名描述數(shù)值類型單位/備注示例length包圍框的長度floatm/米1.0width包圍框的寬度floatm/米1.0height包圍框的高度floatm/米1.0direction三維包圍框的在激光雷達(dá)坐標(biāo)系下的朝向向量float[3]/[2.0,3.0,0.]velocity三維包圍框速度floatm/s/米/秒16.6圖像目標(biāo)檢測二維包圍框信息描述應(yīng)符合表8的規(guī)定。表8圖像目標(biāo)檢測二維包圍框信息描述屬性名描述數(shù)值類型單位/備注示例id二維包圍框的idint32/1class目標(biāo)類別enum/Carimage_seq對應(yīng)的圖像的序列uint321confidence目標(biāo)存在的概率float/[0,1]范圍內(nèi)的小數(shù)，表示目標(biāo)存在的概率0.8timestamp該二維包圍框?qū)?yīng)的時(shí)間戳uint32.uint32s.ns/秒.納秒1595682678.715705367x1圖像坐標(biāo)系中的包圍框左上角橫坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置103y1圖像坐標(biāo)系中的包圍框左上角縱坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置103x2圖像坐標(biāo)系中的包圍框右下角橫坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置204y2圖像坐標(biāo)系中的包圍框右下角縱坐標(biāo)uint32/像素的在圖像坐標(biāo)系中的位置204屬性名描述數(shù)值類型單位/備注示例timestamp時(shí)間戳uint32.uint32s.ns/秒.納秒1595682678.715705367class目標(biāo)類別enum/Carimage_seq融合所用圖像數(shù)據(jù)序列號uint32/1points_seq融合所用的點(diǎn)云數(shù)據(jù)序列號uint32/1camera_id生成圖像的傳感器iduint8/1lidar_id生成點(diǎn)云的激光雷達(dá)iduint8/1height圖像高度，即像素行數(shù)uint32/480width圖像寬度，即像素列數(shù)uint32/360encoding圖像編碼string/rgb8image_channel圖像的通道數(shù)uint8/3屬性名描述數(shù)值類型單位/備注示例image_data圖像數(shù)據(jù)，數(shù)組長度為width*height*image_channeluint8[]/image_depth融合后得到的像素值為攝像頭到場景中各點(diǎn)的距離（深度）的深度圖像，數(shù)組長度為width*heightfloat[]/point_num點(diǎn)云中點(diǎn)的數(shù)量uint32/10000point_fields融合后點(diǎn)云中一個(gè)點(diǎn)所包含的數(shù)據(jù)類別string[]/[x,y,z]fields_number融合后點(diǎn)云中一個(gè)點(diǎn)包含的數(shù)據(jù)類別數(shù)uint8/3point_data點(diǎn)云數(shù)據(jù)float[]/目標(biāo)檢測結(jié)果融合后數(shù)據(jù)描述應(yīng)符合表10的規(guī)定。表10目標(biāo)檢測結(jié)果融合后數(shù)據(jù)描述屬性名描述數(shù)值類型單位/備注示例ididint32/1confidence目標(biāo)存在的概率float/[0,1]范圍內(nèi)的小數(shù)，表示目標(biāo)存在的概率0.8timestamp時(shí)間戳uint32.uint32s.ns/秒.納秒1595682678.715705367class目標(biāo)類別enum/CarX融合后目標(biāo)包圍框的中心點(diǎn)在激光雷達(dá)坐標(biāo)系中的x坐標(biāo)float/1.0Y融合后目標(biāo)包圍框的中心點(diǎn)在激光雷達(dá)坐標(biāo)系中的y坐標(biāo)float/1.0Z融合后目標(biāo)包圍框的中心點(diǎn)在激光雷達(dá)坐標(biāo)系中的z坐標(biāo)float/1.0center_cov融合后中心點(diǎn)協(xié)方差float[9]/33矩陣，表示目標(biāo)位置的不確定度[0.2,0.01,0.01；0.01,0.2,0.01；0.01,