基于專利分析的自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)研究

利用專利分析方法，從專利公開(kāi)態(tài)勢(shì)、專利技術(shù)構(gòu)成方面分析了自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)的專利布局重點(diǎn)方向，梳理了數(shù)據(jù)處理、仿真、場(chǎng)景庫(kù)搭建及功能開(kāi)發(fā)等方面的關(guān)鍵技術(shù)點(diǎn)，從宏觀、微觀角度剖析了自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)發(fā)展現(xiàn)狀。1前言自動(dòng)駕駛汽車在真正商業(yè)化應(yīng)用前，需要經(jīng)歷大量的道路測(cè)試，但采用路測(cè)來(lái)優(yōu)化自動(dòng)駕駛算法耗費(fèi)的時(shí)間與成本很高，自動(dòng)駕駛相應(yīng)交通法規(guī)及保險(xiǎn)理賠機(jī)制的缺失也制約了自動(dòng)駕駛汽車路測(cè)的大范圍開(kāi)展，極端交通條件和危險(xiǎn)場(chǎng)景復(fù)現(xiàn)困難且測(cè)試安全存在隱患，形成全球認(rèn)可的自動(dòng)駕駛汽車產(chǎn)業(yè)鏈體系比較困難，這些問(wèn)題都給自動(dòng)駕駛汽車系統(tǒng)研發(fā)測(cè)試帶來(lái)了諸多困難。目前，基于場(chǎng)景庫(kù)的仿真測(cè)試是解決自動(dòng)駕駛路測(cè)問(wèn)題的重要路線。仿真測(cè)試主要通過(guò)構(gòu)建虛擬場(chǎng)景庫(kù)，實(shí)現(xiàn)自動(dòng)駕駛感知、決策規(guī)劃、控制等算法的閉環(huán)仿真測(cè)試，滿足自動(dòng)駕駛測(cè)試的要求。仿真測(cè)試可以在一定程度上替代實(shí)際道路測(cè)試，提升測(cè)試效率，縮短開(kāi)發(fā)周期。本文采用專利分析方法，分析自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)的專利布局情況和重點(diǎn)研發(fā)方向，梳理其在關(guān)鍵技術(shù)點(diǎn)的技術(shù)發(fā)展路線。2自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)專利分析2.1數(shù)據(jù)采集范圍及相關(guān)說(shuō)明本文使用的專利檢索數(shù)據(jù)庫(kù)為中國(guó)汽車技術(shù)研究中心自主研發(fā)的全球汽車專利數(shù)據(jù)庫(kù)，收錄了全球104個(gè)國(guó)家1.5億余條汽車及相關(guān)領(lǐng)域的專利，對(duì)全球汽車領(lǐng)域重要企業(yè)的專利按照技術(shù)領(lǐng)域、技術(shù)效果、技術(shù)手段3個(gè)維度進(jìn)行人工標(biāo)引。在數(shù)據(jù)庫(kù)的技術(shù)領(lǐng)域模塊選取自動(dòng)駕駛汽車節(jié)點(diǎn)，并用虛擬場(chǎng)景、場(chǎng)景構(gòu)建、場(chǎng)景建模、傳感器仿真、要素提取、場(chǎng)景測(cè)試、場(chǎng)景庫(kù)等關(guān)鍵詞進(jìn)行檢索，檢索截止日期為2022年6月30日，得到虛擬場(chǎng)景庫(kù)構(gòu)建領(lǐng)域的相關(guān)專利。由于專利公開(kāi)時(shí)間的滯后，2021～2022年的數(shù)據(jù)僅供參考。2.2專利公開(kāi)趨勢(shì)分析截至2022年6月，國(guó)內(nèi)虛擬場(chǎng)景數(shù)據(jù)庫(kù)構(gòu)建技術(shù)專利公開(kāi)趨勢(shì)如圖1所示，可劃分為2個(gè)階段：第1個(gè)階段為2011～2016年，此階段為虛擬場(chǎng)景數(shù)據(jù)庫(kù)構(gòu)建技術(shù)的萌芽期，專利公開(kāi)量每年不足200件，且大多進(jìn)行探索性基礎(chǔ)研究；第2個(gè)階段為2017年至今，隨著國(guó)家出臺(tái)一系列政策和規(guī)劃，促進(jìn)自動(dòng)駕駛汽車產(chǎn)業(yè)的發(fā)展，專利公開(kāi)量增長(zhǎng)速度明顯提升，年增長(zhǎng)率超過(guò)50%，此階段技術(shù)進(jìn)入快速發(fā)展期，但專利公開(kāi)量總體不大。結(jié)合相關(guān)專利的增長(zhǎng)勢(shì)頭與公開(kāi)量級(jí)情況可以推測(cè)，自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)具有較大的布局潛力。圖1自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)專利公開(kāi)態(tài)勢(shì)2.3專利技術(shù)構(gòu)成及發(fā)展態(tài)勢(shì)分析如圖2所示，自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建按技術(shù)層次分為場(chǎng)景庫(kù)構(gòu)建、場(chǎng)景庫(kù)應(yīng)用以及場(chǎng)景庫(kù)運(yùn)維3個(gè)層面。其中，場(chǎng)景庫(kù)構(gòu)建技術(shù)作為自動(dòng)駕駛汽車場(chǎng)景庫(kù)的基礎(chǔ)共性技術(shù)，是專利布局的重點(diǎn)。場(chǎng)景庫(kù)應(yīng)用是基于已建成的智能網(wǎng)聯(lián)汽車虛擬場(chǎng)景庫(kù)開(kāi)展的進(jìn)一步深入的研究應(yīng)用。圖2自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)專利技術(shù)構(gòu)成如圖3所示，智能網(wǎng)聯(lián)汽車虛擬場(chǎng)景庫(kù)前期相關(guān)專利以數(shù)據(jù)采集與數(shù)據(jù)處理為主，其他技術(shù)處于零星申請(qǐng)狀態(tài)，從2018年開(kāi)始，仿真技術(shù)、場(chǎng)景構(gòu)建、功能開(kāi)發(fā)等技術(shù)發(fā)展勢(shì)頭強(qiáng)勁。從應(yīng)用層面看，仿真技術(shù)與場(chǎng)景構(gòu)建技術(shù)是基于場(chǎng)景庫(kù)的車輛測(cè)試與功能開(kāi)發(fā)的前提，此類技術(shù)申請(qǐng)量快速提升反映出場(chǎng)景庫(kù)領(lǐng)域的參與者數(shù)量逐步提升，技術(shù)的發(fā)展存在較大的空間。圖3自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)趨勢(shì)2.4專利申請(qǐng)人研發(fā)點(diǎn)布局如圖4所示，自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)構(gòu)建技術(shù)專利申請(qǐng)人自身的研發(fā)側(cè)重點(diǎn)存在較大差異。其中：百度主要進(jìn)行布局的研發(fā)點(diǎn)為數(shù)據(jù)處理及車輛仿真技術(shù)方面；騰訊關(guān)注的重點(diǎn)在于場(chǎng)景測(cè)試用例生成與自然場(chǎng)景下車輛的測(cè)試評(píng)價(jià)；當(dāng)家移動(dòng)關(guān)注的重點(diǎn)在于數(shù)據(jù)處理中的場(chǎng)景環(huán)境的建模與仿真。高校方面：同濟(jì)大學(xué)研發(fā)關(guān)注點(diǎn)主要在基于場(chǎng)景庫(kù)的算法開(kāi)發(fā)與典型工況測(cè)試；吉林大學(xué)研發(fā)關(guān)注點(diǎn)與同濟(jì)大學(xué)基本一致，同時(shí)還較為關(guān)注仿真技術(shù)；清華大學(xué)研發(fā)關(guān)注點(diǎn)較多，有多個(gè)團(tuán)隊(duì)在該領(lǐng)域展開(kāi)研究，研究方向集中在數(shù)據(jù)處理及功能測(cè)試評(píng)價(jià)領(lǐng)域。中汽數(shù)據(jù)主要關(guān)注場(chǎng)景庫(kù)構(gòu)建及測(cè)試用例的開(kāi)發(fā)與應(yīng)用；福特在場(chǎng)景庫(kù)搭建中主要布局了數(shù)據(jù)處理技術(shù)。圖4申請(qǐng)人研發(fā)點(diǎn)專利布局情況2.5關(guān)鍵技術(shù)分析為保證自動(dòng)駕駛汽車仿真測(cè)試時(shí)的場(chǎng)景類型足夠豐富，需要收集大量的典型場(chǎng)景數(shù)據(jù)并建立仿真測(cè)試場(chǎng)景庫(kù)。本文將重點(diǎn)研究數(shù)據(jù)處理、仿真技術(shù)、場(chǎng)景庫(kù)構(gòu)建及基于場(chǎng)景庫(kù)的功能開(kāi)發(fā)4個(gè)方面的相關(guān)專利，通過(guò)閱讀專利文獻(xiàn)，梳理上述各技術(shù)的發(fā)展路線。2.5.1數(shù)據(jù)處理技術(shù)數(shù)據(jù)處理技術(shù)包含靜態(tài)數(shù)據(jù)提取和動(dòng)態(tài)數(shù)據(jù)提取2個(gè)方面。其中，靜態(tài)數(shù)據(jù)提取主要為虛擬場(chǎng)景庫(kù)構(gòu)建過(guò)程中高精度地圖的構(gòu)建部分內(nèi)容，具體包括路網(wǎng)數(shù)據(jù)、路口數(shù)據(jù)、路面數(shù)據(jù)、路面標(biāo)識(shí)數(shù)據(jù)、車道線數(shù)據(jù)等多個(gè)方面。動(dòng)態(tài)數(shù)據(jù)提取則主要包括動(dòng)態(tài)指示設(shè)備、交通參與者等。數(shù)據(jù)處理技術(shù)的難點(diǎn)主要集中在提高靜態(tài)數(shù)據(jù)構(gòu)圖效率及動(dòng)態(tài)數(shù)據(jù)信息零散方面。2.5.1.1提高地圖構(gòu)建工作的自動(dòng)化率針對(duì)現(xiàn)行技術(shù)方案對(duì)于高精度地圖的構(gòu)建存在的負(fù)荷大、生產(chǎn)效率低的問(wèn)題，騰訊在專利CN110796714A[4]中提出一種使得地圖要素的整體編輯工作更加高效、準(zhǔn)確和便捷的地圖構(gòu)建方法，如圖5所示：基于目標(biāo)場(chǎng)景的第一地圖進(jìn)行圖像分割而獲得深度圖，再通過(guò)反投影法獲得第一地圖點(diǎn)云分布；第二地圖進(jìn)行點(diǎn)云分割進(jìn)而提取特征點(diǎn)形成第二點(diǎn)云分布；對(duì)第一、第二點(diǎn)云分布進(jìn)行矢量化，完成目標(biāo)場(chǎng)景的三維地圖。該方法將圖像分割法和點(diǎn)云分割法相結(jié)合，針對(duì)不同特征的地圖要素采用不同的分割算法獲得不同地圖要素的點(diǎn)云分布，從而使得地圖要素的整體編輯工作更加高效、準(zhǔn)確和便捷，進(jìn)而輔助編輯人員更好地完成地圖構(gòu)建工作，提升地圖構(gòu)建工作的自動(dòng)化率。圖5圖像數(shù)據(jù)及點(diǎn)云數(shù)據(jù)結(jié)合方式示意2.5.1.2提高動(dòng)態(tài)數(shù)據(jù)完整性針對(duì)利用固定位置信息采集設(shè)備進(jìn)行移動(dòng)軌跡獲取方案存在的數(shù)據(jù)零散問(wèn)題，51WORLD在專利CN112131327A[5]∕CN111780774A[6]中提出一種運(yùn)動(dòng)軌跡的生成方法，如圖6所示，通過(guò)道路模擬圖和運(yùn)動(dòng)物體初始軌跡點(diǎn)序列（通過(guò)數(shù)組儲(chǔ)存），利用尋路算法生成樣條曲線后進(jìn)行插值補(bǔ)點(diǎn)處理，生成目標(biāo)物體的運(yùn)動(dòng)軌跡，尤其是在采集到的初始軌跡點(diǎn)的數(shù)量較少時(shí)，生成有效的運(yùn)動(dòng)軌跡，提高了運(yùn)動(dòng)軌跡的準(zhǔn)確度。該方法基于真實(shí)路網(wǎng)數(shù)據(jù)，針對(duì)每對(duì)相鄰的初始運(yùn)動(dòng)軌跡點(diǎn)確定物體在路網(wǎng)矢量圖中的目標(biāo)路徑，從目標(biāo)路徑中選取目標(biāo)運(yùn)動(dòng)軌跡點(diǎn)，從而擬合完整的運(yùn)動(dòng)軌跡，解決了固定位置信息獲取裝置獲取的車輛位置信息零散不易形成車輛運(yùn)動(dòng)軌跡的問(wèn)題。圖6運(yùn)動(dòng)軌跡生成示意2.5.2仿真技術(shù)仿真技術(shù)主要是指場(chǎng)景環(huán)境仿真和車輛仿真，重點(diǎn)在于模擬真實(shí)環(huán)境中的道路場(chǎng)景要素、交通流信息及周邊車輛運(yùn)動(dòng)行為。其中交通流信息仿真技術(shù)伴隨人工智能、云計(jì)算、大數(shù)據(jù)技術(shù)的發(fā)展，從微觀交通流仿真的機(jī)理型解析模型發(fā)展到通過(guò)強(qiáng)化學(xué)習(xí)得到最優(yōu)駕駛策略的機(jī)器學(xué)習(xí)模型，具體技術(shù)路線如圖7所示。圖7仿真技術(shù)路線圖2.5.3場(chǎng)景庫(kù)構(gòu)建技術(shù)場(chǎng)景構(gòu)建技術(shù)將場(chǎng)景數(shù)據(jù)傳到場(chǎng)景重構(gòu)工具鏈中，經(jīng)過(guò)坐標(biāo)轉(zhuǎn)換、3D渲染等步驟在虛擬仿真平臺(tái)中自動(dòng)實(shí)現(xiàn)場(chǎng)景的復(fù)現(xiàn)。作為仿真測(cè)試技術(shù)的關(guān)鍵，傳統(tǒng)基于專家經(jīng)驗(yàn)的場(chǎng)景枚舉生成方法已無(wú)法滿足大規(guī)模仿真測(cè)試的需求，如圖8所示，2019年開(kāi)始，場(chǎng)景自動(dòng)生成及泛化技術(shù)進(jìn)入快速發(fā)展期，成為場(chǎng)景庫(kù)構(gòu)建技術(shù)發(fā)展的重點(diǎn)。此技術(shù)側(cè)重于解決現(xiàn)階段場(chǎng)景多樣性、交互性、生成效率等方面的不足。圖8場(chǎng)景庫(kù)構(gòu)建技術(shù)研發(fā)趨勢(shì)2.5.3.1提高場(chǎng)景多樣性，實(shí)現(xiàn)多工況覆蓋基于高精度地圖的虛擬場(chǎng)景構(gòu)建過(guò)程中，側(cè)重于道路信息而自動(dòng)生成的場(chǎng)景比較單一，還需要額外手工添加豐富的場(chǎng)景元素。針對(duì)這一問(wèn)題，騰訊在專利CN110795819A[7]中提出一種自動(dòng)駕駛仿真場(chǎng)景的生成方法，如圖9所示：獲取預(yù)先確定的高精度地圖中目標(biāo)區(qū)域上的道路信息，根據(jù)道路信息生成目標(biāo)區(qū)域上的自動(dòng)駕駛仿真場(chǎng)景中的虛擬路面；獲取預(yù)先確定的自動(dòng)駕駛車輛在目標(biāo)區(qū)域上感測(cè)到的點(diǎn)云感知數(shù)據(jù)和圖像感知數(shù)據(jù)，其中，點(diǎn)云感知數(shù)據(jù)用于表示目標(biāo)區(qū)域上的場(chǎng)景元素的空間信息，圖像感知數(shù)據(jù)用于表示場(chǎng)景元素的顏色信息；將點(diǎn)云感知數(shù)據(jù)與和圖像感知數(shù)據(jù)進(jìn)行融合，得到第一融合感知數(shù)據(jù)，用于表示場(chǎng)景元素的空間信息和類別信息，類別信息是根據(jù)場(chǎng)景元素的顏色信息確定得到的；將第一融合感知數(shù)據(jù)與虛擬路面進(jìn)行融合，得到目標(biāo)區(qū)域上的自動(dòng)駕駛仿真場(chǎng)景，其中，目標(biāo)區(qū)域上的自動(dòng)駕駛仿真場(chǎng)景用于顯示虛擬路面以及由空間信息和類別信息表示的場(chǎng)景元素，達(dá)到了根據(jù)高精地圖中的道路信息生成自動(dòng)駕駛場(chǎng)景中的虛擬路面，根據(jù)點(diǎn)云感知數(shù)據(jù)和圖像感知數(shù)據(jù)確定自動(dòng)駕駛仿真場(chǎng)景中的場(chǎng)景元素的目的，從而實(shí)現(xiàn)了將自動(dòng)駕駛仿真場(chǎng)景中虛擬路面和場(chǎng)景元素融合的技術(shù)效果。圖9高精度地圖和場(chǎng)景元素融合后的仿真場(chǎng)景的示意現(xiàn)有自動(dòng)駕駛虛擬場(chǎng)景庫(kù)建設(shè)中，多采用原始數(shù)據(jù)進(jìn)行標(biāo)注、場(chǎng)景生成與導(dǎo)入，存在場(chǎng)景庫(kù)建設(shè)不夠完備、不能完全覆蓋所有可能工況的問(wèn)題。中汽數(shù)據(jù)在專利CN111967124A[8]中提出一種重組場(chǎng)景通用擴(kuò)增的生成方法，包括：根據(jù)測(cè)試需求確定場(chǎng)景生成的關(guān)鍵要素，包括靜態(tài)要素（道路信息和環(huán)境信息）和動(dòng)態(tài)要素（本車信息和交通參與者信息），每種信息均設(shè)定相關(guān)字段；基于自然駕駛數(shù)據(jù)庫(kù)歷史數(shù)據(jù)，使用統(tǒng)計(jì)分析方法確定每個(gè)要素字段的取值域及各要素字段之間是否具有相關(guān)性，對(duì)于沒(méi)有相關(guān)性的要素，取值域內(nèi)隨機(jī)選取遍歷，對(duì)于具有相關(guān)性的要素，利用統(tǒng)計(jì)分析方法得到約束條件，在字段的約束條件對(duì)應(yīng)取值域內(nèi)選??；根據(jù)遍歷得到的靜態(tài)要素信息和動(dòng)態(tài)要素信息，對(duì)場(chǎng)景元素進(jìn)行排列重組。該方案基于自然駕駛數(shù)據(jù)庫(kù)中的歷史數(shù)據(jù)，在統(tǒng)計(jì)學(xué)基礎(chǔ)上對(duì)不同要素進(jìn)行重組排列，實(shí)現(xiàn)快速生成重組場(chǎng)景及場(chǎng)景擴(kuò)增，以達(dá)到覆蓋所有可能工況的目的。2.5.3.2優(yōu)化場(chǎng)景中車輛交互模式，提高虛擬測(cè)試契合程度自動(dòng)駕駛汽車工作環(huán)境和狀態(tài)復(fù)雜多樣，具有強(qiáng)不確定性特征，現(xiàn)有的場(chǎng)景生成及泛化技術(shù)大多采用離線生成方式，被測(cè)對(duì)象不參與生成過(guò)程，因此無(wú)法運(yùn)用動(dòng)態(tài)反饋實(shí)時(shí)修正場(chǎng)景狀態(tài)來(lái)提高測(cè)試場(chǎng)景的契合度。華為在專利CN114139329A[13]中提出，首先根據(jù)靜態(tài)本體的設(shè)計(jì)約束（按照道路規(guī)范來(lái)設(shè)計(jì)）、動(dòng)態(tài)本體的行為（車輛與車道間位置關(guān)系、車輛間位置關(guān)系、車輛限速、車輛行駛方向約束等）和場(chǎng)景設(shè)計(jì)需求，確定動(dòng)態(tài)本體的初始狀態(tài)，再結(jié)合交通流仿真模型（跟馳模型、換道模型、信號(hào)燈反應(yīng)模型、匯入模型等）確定動(dòng)態(tài)本體的行駛軌跡，最終生成測(cè)試場(chǎng)景模型。以換道模型為例，車輛存在進(jìn)入匝道的動(dòng)機(jī)時(shí)，且臨近匝道口的第一車道為期望車道：如果車輛位于第三車道上，該車輛在與匝道口間的距離大于80m時(shí)完成換道，方能確保行車安全，如果車輛位于第二車道上，則該車輛需換道時(shí)與匝道路口間的最小換道距離為40m（圖10）。動(dòng)態(tài)本體在不同交通流仿真模型的控制下行駛，即可以確定動(dòng)態(tài)本體的行駛軌跡。通過(guò)確定動(dòng)態(tài)本體的初始狀態(tài)和行駛軌跡，在動(dòng)態(tài)場(chǎng)景中可以體現(xiàn)各交通參與者間復(fù)雜的動(dòng)態(tài)交互。圖10車輛換道模型示意2.5.4場(chǎng)景庫(kù)的功能開(kāi)發(fā)場(chǎng)景庫(kù)的功能開(kāi)發(fā)是基于已建成的自動(dòng)駕駛汽車虛擬場(chǎng)景庫(kù)開(kāi)展的進(jìn)一步深入的研究應(yīng)用。針對(duì)當(dāng)前仿真測(cè)試中，人車沖突場(chǎng)景中的行人模型簡(jiǎn)單，只能進(jìn)行簡(jiǎn)單的場(chǎng)景測(cè)試，無(wú)法滿足自動(dòng)駕駛測(cè)試需求的問(wèn)題，清華大學(xué)在專利CN112131756A[14]中提出一種考慮個(gè)體激進(jìn)度的行人穿行場(chǎng)景仿真模型，為體現(xiàn)行人在交通場(chǎng)景中的個(gè)體差異性，需要賦予行人單獨(dú)的內(nèi)在邏輯，邏輯的主要功能為復(fù)現(xiàn)人車交互過(guò)程中的一系列決策，通過(guò)元胞自動(dòng)機(jī)的行人模擬機(jī)制，將道路劃分為網(wǎng)格，行人具有基礎(chǔ)的屬性，該屬性決定平均意義下該個(gè)體的速度、加速度等特點(diǎn)，具體的運(yùn)動(dòng)則通過(guò)對(duì)周圍8個(gè)方格的具體情況進(jìn)行實(shí)時(shí)判定來(lái)產(chǎn)生，如果預(yù)測(cè)在某個(gè)方格會(huì)與其他個(gè)體產(chǎn)生碰撞，便通過(guò)交互函數(shù)產(chǎn)生一個(gè)占據(jù)潛在沖突區(qū)域的概率。此方法充分體現(xiàn)了行人在真實(shí)場(chǎng)景中的決策連續(xù)性以及對(duì)側(cè)向來(lái)車距離的敏感性，能夠較好地還原人車交互的過(guò)程。以色列初創(chuàng)公司Autobrains在專利US16867107中提出針對(duì)特定地形或情形下的場(chǎng)景仿真生成技術(shù)，采用深度神經(jīng)網(wǎng)絡(luò)多模型推理方法，可解決在惡劣天氣條件下，繁忙交通區(qū)域內(nèi)高違法點(diǎn)的仿真場(chǎng)景生成