AI行業(yè)系列之智能駕駛：自動(dòng)駕駛的“大模型”時(shí)代

摘要21、大模型技術(shù)發(fā)展歷程大模型泛指具有數(shù)十億甚至上百億參數(shù)的深度學(xué)習(xí)模型，而大語言模型是大模型的一個(gè)典型分支（以ChatGPT為代表）。Transformer架構(gòu)的提出引入了注意力機(jī)制，突破了RNN和CNN處理長序列的固有局限，使語言模型能在大規(guī)模語料上得到豐富的語言知識(shí)預(yù)訓(xùn)練，一方面，開啟了大語言模型快速發(fā)展的新時(shí)代；另一方面奠定了大模型技術(shù)實(shí)現(xiàn)的基礎(chǔ)，為其他領(lǐng)域模型通過增大參數(shù)量提升模型效果提供了參考思路。復(fù)雜性、高維度、多樣性和個(gè)性化要求使得大型模型在自動(dòng)駕駛、量化交易、醫(yī)療診斷和圖像分析、自然語言處理和智能對(duì)話任務(wù)上更易獲得出色的建模能力。2、

自動(dòng)駕駛模型迭代路徑自動(dòng)駕駛算法模塊可分為感知、決策和規(guī)劃控制三個(gè)環(huán)節(jié)，其中感知模塊為關(guān)鍵的組成部分，經(jīng)歷了多樣化的模型迭代：CNN（2011-2016）——RNN+GAN（2016-2018）——BEV（2018-2020）——

Transformer+BEV（2020至今）——

占用網(wǎng)絡(luò)（2022至今）。特斯拉自動(dòng)駕駛技術(shù)路徑的演進(jìn)可視為自動(dòng)駕駛技術(shù)迭代的風(fēng)向標(biāo)，呈現(xiàn)全棧自研、出軟硬件的協(xié)同發(fā)展趨勢(shì)：軟件層面從采用Mobileye到自研Transformer+BEV

和占用網(wǎng)絡(luò)；硬件層面從與Mobileye

、英偉達(dá)合作到自研FSD芯片方案。3、大模型對(duì)自動(dòng)駕駛行業(yè)的賦能與影響自動(dòng)駕駛領(lǐng)域的大模型發(fā)展相對(duì)大語言模型滯后，大約始于2019年，吸取了GPT等模型成功經(jīng)驗(yàn)。大模型的應(yīng)用加速模型端的成熟，為L3/L4級(jí)別的自動(dòng)駕駛技術(shù)落地提供了更加明確的預(yù)期。可從成本、技術(shù)、監(jiān)管與安全四個(gè)層面對(duì)于L3及以上級(jí)別自動(dòng)駕駛落地的展望，其中：成本仍有下降空間；技術(shù)的發(fā)展仍將沿著算法和硬件兩條主線并進(jìn)；法規(guī)政策還在逐步完善之中；安全性成為自動(dòng)駕駛汽車實(shí)現(xiàn)商業(yè)化落地必不可少的重要因素。各主機(jī)廠自2021年開始加速對(duì)L2+自動(dòng)駕駛的布局，且預(yù)計(jì)在2024年左右實(shí)現(xiàn)L2++（接近L3）或者更高級(jí)別的自動(dòng)駕駛功能的落地，其中政策有望成為主要催化。風(fēng)險(xiǎn)提示31、自動(dòng)駕駛算法研發(fā)與迭代不及預(yù)期2、智能網(wǎng)聯(lián)汽車政策落地不及預(yù)期3、由于中美關(guān)系影響導(dǎo)致自動(dòng)駕駛芯片供應(yīng)鏈出現(xiàn)波動(dòng)的風(fēng)險(xiǎn)4、行業(yè)競(jìng)爭加劇導(dǎo)致價(jià)格戰(zhàn)的風(fēng)險(xiǎn)5、報(bào)告中的統(tǒng)計(jì)信息均為基于公開信息的不完全統(tǒng)計(jì)，各公司實(shí)時(shí)動(dòng)態(tài)和最新發(fā)展可能存在動(dòng)態(tài)調(diào)整目錄C

O

N

T

E

N

T

S4010203自動(dòng)駕駛技術(shù)迭代路徑感知算法迭代路徑特斯拉軟硬件解決方案迭代路徑大模型對(duì)自動(dòng)駕駛行業(yè)的賦能與影響大模型對(duì)自動(dòng)駕駛行業(yè)的賦能高級(jí)別自動(dòng)駕駛落地展望車廠自動(dòng)駕駛布局04風(fēng)險(xiǎn)提示大模型技術(shù)發(fā)展歷程大模型技術(shù)發(fā)展歷程501大模型基本定義與基礎(chǔ)功能01大模型基本定義：由大語言模型到泛在的大模型大模型主要指具有數(shù)十億甚至上百億參數(shù)的深度學(xué)習(xí)模型，比較有代表性的是大型語言模型（

Large

Language

Models，比如最近大熱的ChatGPT）。大型語言模型是一種深度學(xué)習(xí)算法，可以使用非常大的數(shù)據(jù)集來識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成內(nèi)容。大語言模型在很大程度上代表了一類稱為Transformer網(wǎng)絡(luò)的深度學(xué)習(xí)架構(gòu)。Transformer模型是一個(gè)神經(jīng)網(wǎng)絡(luò)，通過跟蹤序列數(shù)據(jù)中的關(guān)系（像這句話中的詞語）來學(xué)習(xí)上下文和含義。Transformer架構(gòu)的提出，開啟了大語言模型快速發(fā)展的新時(shí)代：谷歌的BERT首先證明了預(yù)訓(xùn)練模型的強(qiáng)大潛力OpenAI的GPT系列及Anthropic的Claude等繼續(xù)探索語言模型技術(shù)的邊界。越來越大規(guī)模的模型不斷刷新自然語言處理的技術(shù)狀態(tài)。這些模型擁有數(shù)百億或上千億參數(shù)，可以捕捉語言的復(fù)雜語義關(guān)系，并進(jìn)行人類級(jí)別的語言交互。圖：大模型發(fā)展歷程6資料來源：NVIDIA官網(wǎng)、GitHub網(wǎng)站、浙商證券研究所解鎖大模型時(shí)代的鑰匙——Transformer的注意力機(jī)制01注意力機(jī)制：Transformer的核心創(chuàng)新Transformer模型最大的創(chuàng)新在于提出了注意力機(jī)制，這一機(jī)制極大地改進(jìn)了模型學(xué)習(xí)遠(yuǎn)距離依賴關(guān)系的能力，突破了傳統(tǒng)RNN和CNN在處理長序列數(shù)據(jù)時(shí)的局限。在Transformer出現(xiàn)之前，自然語言處理一般使用RNN或CNN來建模語義信息。但RNN和CNN均面臨學(xué)習(xí)遠(yuǎn)距離依賴關(guān)系的困難：RNN的序列處理結(jié)構(gòu)使較早時(shí)刻的信息到后期會(huì)衰減；而CNN的局部感知也限制了捕捉全局語義信息。這使RNN和CNN在處理長序列時(shí)，往往難以充分學(xué)習(xí)詞語之間的遠(yuǎn)距離依賴。Transformer注意力機(jī)制突破了RNN和CNN處理長序列的固有局限，使語言模型能在大規(guī)模語料上得到豐富的語言知識(shí)預(yù)訓(xùn)練。該模塊化、可擴(kuò)展的模型結(jié)構(gòu)也便于通過增加模塊數(shù)量來擴(kuò)大模型規(guī)模和表達(dá)能力，為實(shí)現(xiàn)超大參數(shù)量提供了可行路徑。Transformer解決了傳統(tǒng)模型的長序列處理難題，并給出了可無限擴(kuò)展的結(jié)構(gòu)，奠定了大模型技術(shù)實(shí)現(xiàn)的雙重基礎(chǔ)。圖：Transformer模型架構(gòu)圖7資料來源：《AttentionIs

All

You

Need》，Ashish

Vaswani等、浙商證券研究所大模型——超越傳統(tǒng)的新范式01大模型的預(yù)訓(xùn)練-微調(diào)范式大模型代表了一種新的預(yù)訓(xùn)練-微調(diào)范式，其核心是先用大規(guī)模數(shù)據(jù)集預(yù)訓(xùn)練一個(gè)極大的參數(shù)模型，然后微調(diào)應(yīng)用到具體任務(wù)。這與傳統(tǒng)的單任務(wù)訓(xùn)練形成了對(duì)比，標(biāo)志著方法論的重大變革。參數(shù)量的倍數(shù)增長是大模型最根本的特點(diǎn)，從早期模型的百萬量級(jí)，發(fā)展到現(xiàn)在的十億甚至百億量級(jí)，實(shí)現(xiàn)了與以往數(shù)量級(jí)的突破。Transformer架構(gòu)的提出開啟了NLP模型設(shè)計(jì)的新紀(jì)元，它引入了自注意力機(jī)制和并行計(jì)算思想，極大地提高了模型處理長距離依賴關(guān)系的能力，為后續(xù)大模型的發(fā)展奠定了基礎(chǔ)。正是由于Transformer架構(gòu)的成功，研究者們意識(shí)到模型的架構(gòu)設(shè)計(jì)在處理復(fù)雜任務(wù)和大規(guī)模數(shù)據(jù)中發(fā)揮著舉足輕重的作用。這一認(rèn)識(shí)激發(fā)了研究者進(jìn)一步擴(kuò)大模型參數(shù)量的興趣。雖然之前也曾有過擴(kuò)大參數(shù)量的嘗試，但因受限于當(dāng)時(shí)模型本身的記憶力等能力，提高參數(shù)數(shù)量后模型的改進(jìn)并不明顯。GPT-3的成功充分驗(yàn)證了適度增大參數(shù)量能顯著提升模型的泛化能力和適應(yīng)性，由此掀起了大模型研究的熱潮。

它憑借過千億參數(shù)量和強(qiáng)大的語言生成能力，成為參數(shù)化模型的典范。GPT-3在許多NLP任務(wù)上表現(xiàn)亮眼，甚至在少樣本或零樣本學(xué)更好的表示能力：

增大參數(shù)量使模型能夠更好地學(xué)習(xí)數(shù)據(jù)中的復(fù)雜關(guān)系和模式，從而提高模型的表示能力，使其在不同任務(wù)上表現(xiàn)更出色。泛化能力和遷移學(xué)習(xí)：大模型能夠從一個(gè)領(lǐng)域?qū)W習(xí)到的知識(shí)遷移到另一個(gè)領(lǐng)域，實(shí)現(xiàn)更好的遷移學(xué)習(xí)效果，這對(duì)于數(shù)據(jù)稀缺的任務(wù)尤其有價(jià)值。零樣本學(xué)習(xí)：

增大參數(shù)量可以使模型更好地利用已有的知識(shí)和模式，從而在零樣本學(xué)習(xí)中取得更好的效果，即使只有很少的示例也能完成任務(wù)。創(chuàng)新和探索：

大模型的強(qiáng)大能力可以幫助人們進(jìn)行更多創(chuàng)新性的實(shí)驗(yàn)和探索，挖掘出更多數(shù)據(jù)中的隱藏信息。習(xí)中也能取得驚人的效果。資料來源：《AttentionIs

All

You

Need》，Ashish

Vaswani等、浙商證券研究所8圖：增大參數(shù)量的優(yōu)點(diǎn)大模型的域差異：NLP大模型發(fā)展為何領(lǐng)先計(jì)算機(jī)視覺領(lǐng)域019NLP任務(wù)涉及大規(guī)模文本數(shù)據(jù)，易于獲取、處理和標(biāo)注，而視覺數(shù)據(jù)的采集和標(biāo)注相對(duì)更為復(fù)雜和昂貴。早期計(jì)算資源有限，難以支持視覺領(lǐng)域大模型的訓(xùn)練。數(shù)據(jù)特點(diǎn)和計(jì)算資源：NLP問題要求模型理解語義、上下文和邏輯，大模型有助于捕捉這些特征。視覺問題更注重圖像特征提取和模式識(shí)別，不需要過大的參數(shù)量即可實(shí)現(xiàn)較好效果，早期或不緊迫需要大模型的加入。任務(wù)復(fù)雜性與需求：早期語言模型如RNN、LSTM為NLP領(lǐng)域的大模型奠定基礎(chǔ)，促使研究關(guān)注構(gòu)建更大、復(fù)雜的模型。早期視覺領(lǐng)域主要使用CNN等模型，注重局部特征的提取，未迫切需要大模型的引入。模型與算法發(fā)展：視覺數(shù)據(jù)的標(biāo)注通常需要人工干預(yù)，而NLP領(lǐng)域的文本數(shù)據(jù)可以相對(duì)容易地進(jìn)行自動(dòng)標(biāo)注（大模型在大規(guī)模通用語料上進(jìn)行預(yù)訓(xùn)練之后，已經(jīng)學(xué)會(huì)了廣泛的知識(shí)，然后遷移到下游特定標(biāo)注任務(wù)中微調(diào),就可以減少人工標(biāo)注的需求）。模型架構(gòu)和數(shù)據(jù)標(biāo)注：資料來源：《The

Unreasonable

Effectiveness

of

Recurrent

Neural

Networks

(2015)

》、浙商證券研究所探索大模型:任務(wù)適配性、模型變革與應(yīng)用前景01與早期的人工智能模型相比，大型模型在參數(shù)量上取得了質(zhì)的飛躍，導(dǎo)致了在復(fù)雜任務(wù)的建模能力整體上的提升：1）學(xué)習(xí)能力增強(qiáng)：以應(yīng)對(duì)更復(fù)雜的任務(wù)；2）泛化能力加強(qiáng)：以實(shí)現(xiàn)更廣泛的適用性；3）魯棒性提高；4）具備更高層次認(rèn)知互動(dòng)能力：可模擬某些人類能力等。復(fù)雜性、高維度、多樣性和個(gè)性化要求使得大型模型在某些任務(wù)上更易獲得出色的建模能力：多模態(tài)傳感器數(shù)據(jù)的融合分析，尤其涉及到時(shí)序數(shù)據(jù)的處理，如自動(dòng)駕駛復(fù)雜且動(dòng)態(tài)的目標(biāo)，需要模型從大規(guī)模多樣化的數(shù)據(jù)模式中學(xué)習(xí)，如金融領(lǐng)域中的量化交易策略優(yōu)化涉及異構(gòu)數(shù)據(jù)源的高維輸入空間，如醫(yī)學(xué)圖像和報(bào)告需要為不同用戶或場(chǎng)景進(jìn)行個(gè)性化建模的定制化需求，如智能助理量化交易大模型在金融領(lǐng)域可以優(yōu)化量化交易策略，通過學(xué)習(xí)大規(guī)模的市場(chǎng)數(shù)據(jù)模式，預(yù)測(cè)股票價(jià)格和市場(chǎng)趨勢(shì)。大模型可以分析多模態(tài)傳感器數(shù)據(jù)，如視覺圖像、激光雷達(dá)數(shù)據(jù)和車輛信息，幫助自動(dòng)駕駛系統(tǒng)更好地理解復(fù)雜的交通場(chǎng)景，做出準(zhǔn)確的決策，提高駕駛安全性。自動(dòng)駕駛在醫(yī)療領(lǐng)域，大模型可以處理醫(yī)學(xué)圖像（如X射線、MRI、CT掃描等）以及臨床報(bào)告等多種數(shù)據(jù)源，幫助醫(yī)生更準(zhǔn)確地診斷疾病、發(fā)現(xiàn)潛在問題并提供治療建議。醫(yī)療診斷和圖像分析自然語言處理智能對(duì)話大模型在自然語言處理任務(wù)中表現(xiàn)優(yōu)異，可以用于智能助理、在線客服、自動(dòng)翻譯等應(yīng)用，提供更自然、準(zhǔn)確和流暢的對(duì)話體驗(yàn)。10資料來源：

NVIDIA官網(wǎng)、浙商證券研究所自動(dòng)駕駛技術(shù)迭代路徑1102自動(dòng)駕駛算法核心模塊概覽02自動(dòng)駕駛算法模塊可分為感知、決策和規(guī)劃控制三個(gè)環(huán)節(jié)，其中感知模塊為關(guān)鍵的組成部分感知模塊負(fù)責(zé)解析并理解自動(dòng)駕駛所處車輛周邊的交通環(huán)境，是實(shí)現(xiàn)自動(dòng)駕駛的基礎(chǔ)和前提，感知模塊的精準(zhǔn)程度，直接影響并制約著自動(dòng)駕駛系統(tǒng)的整體安全性和可靠性。感知模塊主要通過攝像頭、激光雷達(dá)、毫米波雷達(dá)等各類傳感器獲取輸入數(shù)據(jù)，然后通過深度學(xué)習(xí)等算法，準(zhǔn)確解析出道路標(biāo)線、其他車輛、行人、交通燈、路標(biāo)等場(chǎng)景元素，以供后續(xù)流程使用。與感知模塊相比，決策和規(guī)劃控制等模塊的作用更為單一和被動(dòng)。這些模塊主要依據(jù)感知模塊輸出的環(huán)境理解結(jié)果，通過算法決策生成駕駛策略，并實(shí)時(shí)規(guī)劃車輛的運(yùn)動(dòng)軌跡和速度，最終轉(zhuǎn)換為控制命令，以實(shí)現(xiàn)自動(dòng)駕駛。因此，在自動(dòng)駕駛研發(fā)過程中，工程師投入的時(shí)間和精力主要放在提升感知算法上的精度上。圖：自動(dòng)駕駛汽車架構(gòu)概述12資料來源：

MDPI官網(wǎng)、浙商證券研究所CNN022011-2016：CNN引發(fā)自動(dòng)駕駛領(lǐng)域的首次革新浪潮隨著深度學(xué)習(xí)和計(jì)算能力的提升，卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像識(shí)別任務(wù)上的出色表現(xiàn)引發(fā)了自動(dòng)駕駛領(lǐng)域的首次革新浪潮。2011年，IJCNN的論文《Traffic

Sign

Recognition

with

Multi-Scale

Convolutional

Networks》展示了CNN在交通標(biāo)志識(shí)別方面的潛力；2016年，Nvidia團(tuán)隊(duì)發(fā)表的《End-to-End

Deep

Learning

for

Self-DrivingCars》成為最早將CNN應(yīng)用于端到端自動(dòng)駕駛的工作之一。CNN極大提升了自動(dòng)駕駛車輛的環(huán)境感知能力。一方面，CNN在圖像識(shí)別與處理方面的卓越表現(xiàn)，使車輛能夠準(zhǔn)確分析道路、交通標(biāo)志、行人與其他車輛；另一方面，CNN有效處理多種傳感器數(shù)據(jù)的優(yōu)勢(shì)，實(shí)現(xiàn)了圖像、激光雷達(dá)等數(shù)據(jù)的融合，提供全面的環(huán)境認(rèn)知。疊加計(jì)算效率的提高，CNN模型進(jìn)一步獲得了實(shí)時(shí)進(jìn)行復(fù)雜的感知與決策的能力。但CNN自動(dòng)駕駛也存在一定局限性：1）需要大量標(biāo)注駕駛數(shù)據(jù)進(jìn)行訓(xùn)練，而獲取足夠多樣化數(shù)據(jù)具有難度；2）泛化性能有待提高；3）魯棒性也需要經(jīng)受更復(fù)雜環(huán)境的考驗(yàn)；4）時(shí)序任務(wù)處理能力：相比較而言RNN等其他模型可能更占優(yōu)勢(shì)。13資料來源：《End

toEnd

Learning

forSelf-Driving

Cars》，Mariusz

Bojarski等、《Trafficsign

recognition

withmulti-scale

Convolutional

Networks》，Pierre

Sermanet等、NVIDIA官網(wǎng)、浙商證券研究所圖：一個(gè)兩階段的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)輸入通過兩個(gè)卷積和子采樣階段進(jìn)行前饋處理，最終通過線性分類器進(jìn)行分類。第一階段的輸出還被直接饋送給分類器作為更高分辨率的特征。圖：融合了LSTM和GAN的模型架構(gòu)圖14資料來源：

《Interaction-aware

Multi-agent

Tracking

and

Probabilistic

Behavior

Prediction

via

Adversarial

Learning》，Jiachen

Li等、浙商證券研究所RNN、GAN022016-2018：RNN和GAN被廣泛應(yīng)用到自動(dòng)駕駛相關(guān)的研究，推動(dòng)自動(dòng)駕駛在對(duì)應(yīng)時(shí)間區(qū)間內(nèi)快速發(fā)展RNN相較于CNN更適合處理時(shí)間序列數(shù)據(jù)：RNN的循環(huán)結(jié)構(gòu)可以建模時(shí)間上的動(dòng)態(tài)變化，這對(duì)處理自動(dòng)駕駛中的軌跡預(yù)測(cè)、行為分析等時(shí)序任務(wù)非常有用。例如在目標(biāo)跟蹤、多智能體互動(dòng)建模等領(lǐng)域，RNN和LSTM（RNN的改進(jìn)版本）帶來了巨大突破，可以預(yù)測(cè)車輛未來的運(yùn)動(dòng)軌跡，為決策和規(guī)劃提供支持。GAN的生成能力緩解自動(dòng)駕駛系統(tǒng)訓(xùn)練數(shù)據(jù)不足的問題：GAN可以學(xué)習(xí)復(fù)雜分布，生成高質(zhì)量的合成數(shù)據(jù)，為自動(dòng)駕駛領(lǐng)域帶來了新思路，用于緩解自動(dòng)駕駛系統(tǒng)訓(xùn)練數(shù)據(jù)不足的問題。例如GAN可以生成模擬的傳感器數(shù)據(jù)、場(chǎng)景信息，測(cè)試自動(dòng)駕駛算法的魯棒性，也可以用于交互式模擬場(chǎng)景生成。RNN+GAN，可以實(shí)現(xiàn)端到端的行為預(yù)測(cè)和運(yùn)動(dòng)規(guī)劃：RNN負(fù)責(zé)時(shí)序建模，GAN負(fù)責(zé)數(shù)據(jù)生成，兩者相互協(xié)同，可以為自動(dòng)駕駛系統(tǒng)提供更全面和可靠的環(huán)境感知、狀態(tài)預(yù)測(cè)和決策支持。RNN、GAN02RNN和GAN仍未解決的問題:RNN類模型：長期時(shí)序建模能力仍較弱，特別是在處理較長的時(shí)間序列數(shù)據(jù)時(shí)可能出現(xiàn)梯度消失或梯度爆炸的問題，限制了它在某些自動(dòng)駕駛?cè)蝿?wù)上的應(yīng)用效果。GAN模型：生成的數(shù)據(jù)質(zhì)量難以控制，很難達(dá)到足夠逼真的程度。此外，盡管GAN可以生成合成數(shù)據(jù)，但在實(shí)際應(yīng)用中，它在自動(dòng)駕駛領(lǐng)域的具體應(yīng)用仍相對(duì)有限。樣本效率低：RNN和GAN在樣本效率方面仍較低，通常需要大量的真實(shí)場(chǎng)景數(shù)據(jù)來訓(xùn)練和優(yōu)化模型。而且這些模型難以解釋，缺乏對(duì)內(nèi)部決策過程的清晰解釋，同時(shí)模型的穩(wěn)定性和可靠性也是需要進(jìn)一步解決的問題之一。RNN和GAN在自動(dòng)駕駛領(lǐng)域應(yīng)用趨冷的原因效率和實(shí)時(shí)性需求：

自動(dòng)駕駛系統(tǒng)需要在實(shí)時(shí)性要求較高的情況下做出決策和控制。傳統(tǒng)的RNN在處理序列數(shù)據(jù)時(shí)，存在計(jì)算效率較低的問題，處理實(shí)時(shí)感知和決策任務(wù)能力有限。復(fù)雜性和泛化能力：

自動(dòng)駕駛涉及復(fù)雜多變的交通場(chǎng)景和環(huán)境，需要具備強(qiáng)大的泛化能力。然而，傳統(tǒng)的RNN可能在處理復(fù)雜的時(shí)序數(shù)據(jù)時(shí)遇到困難，而無法很好地適應(yīng)各種交通情況。新興技術(shù)的興起：

隨著深度學(xué)習(xí)領(lǐng)域的發(fā)展，新的模型架構(gòu)和算法不斷涌現(xiàn)，如Transformer架構(gòu)、強(qiáng)化學(xué)習(xí)等，這些新技術(shù)在處理感知、決策和規(guī)劃等任務(wù)方面可能更加高效和適用。15資料來源：

《Interaction-aware

Multi-agent

Tracking

and

Probabilistic

Behavior

Prediction

via

Adversarial

Learning》，Jiachen

Li等、浙商證券研究所圖：BirdNet

3D

對(duì)象檢測(cè)框架16資料來源：

《BirdNet:

a

3D

Object

Detection

Framework

fromLiDAR

information》，Jorge

Beltran等、浙商證券研究所BEV022018-2020：基于鳥瞰視角(BEV)的模型在自動(dòng)駕駛領(lǐng)域獲得了廣泛的研究和應(yīng)用BEV模型的核心思想是將車輛周圍的三維環(huán)境數(shù)據(jù)（如來自激光雷達(dá)和攝像頭的點(diǎn)云、圖像等數(shù)據(jù)）投影到俯視平面上生成二維的鳥瞰圖。這種將三維信息“壓平”成二維表示的方式，為自動(dòng)駕駛系統(tǒng)的環(huán)境感知和理解帶來了重要優(yōu)勢(shì)：鳥瞰圖提供了比直接的原始傳感器數(shù)據(jù)更加直觀和信息豐富的環(huán)境表示，可以更清晰地觀察道路、車輛、行人、標(biāo)志等元素的位置和關(guān)系，增強(qiáng)自動(dòng)駕駛對(duì)復(fù)雜環(huán)境的感知能力全局的俯視視角更有利于路徑規(guī)劃和避障系統(tǒng)進(jìn)行決策，根據(jù)道路和交通狀況規(guī)劃更合理穩(wěn)定的路徑BEV模型可以將來自不同傳感器的輸入數(shù)據(jù)統(tǒng)一到一個(gè)共享表示中，為系統(tǒng)提供更加一致和全面的環(huán)境信息網(wǎng)絡(luò)的三個(gè)輸出是：類別（綠色）、2d

邊界框（藍(lán)色）和偏航角（紅色）但是，BEV模型也存在一些問題亟待解決：從原始三維數(shù)據(jù)生成BEV表示需要進(jìn)行大量坐標(biāo)變換和數(shù)據(jù)處理，增加了計(jì)算量和對(duì)硬件的要求信息損失問題，三維信息投影到二維時(shí)難免會(huì)損失一些細(xì)節(jié)，如遮擋關(guān)系等不同傳感器到BEV坐標(biāo)系的轉(zhuǎn)換也需要進(jìn)行復(fù)雜的標(biāo)定和校準(zhǔn)需要研究如何有效融合各種異構(gòu)數(shù)據(jù)源，以生成更加準(zhǔn)確和完整的BEVTransformer+BEV022020年以來，

Transformer+BEV結(jié)合正在成為自動(dòng)駕駛領(lǐng)域的重要共識(shí)，推動(dòng)自動(dòng)駕駛技術(shù)進(jìn)入嶄新發(fā)展階段將Transformer模型與BEV(鳥瞰視角)表示相結(jié)合的方法，正在成為自動(dòng)駕駛領(lǐng)域的重要共識(shí)，推動(dòng)完全自主駕駛的實(shí)現(xiàn)一方面，BEV可以高效表達(dá)自動(dòng)駕駛系統(tǒng)周圍的豐富空間信息；另一方面，Transformer在處理序列數(shù)據(jù)和復(fù)雜上下文關(guān)系方面展現(xiàn)了獨(dú)特優(yōu)勢(shì)，

在自然語言處理等領(lǐng)域得到成功應(yīng)用。兩者結(jié)合可以充分利用BEV提供的環(huán)境空間信息，

以及Transformer在多源異構(gòu)數(shù)據(jù)建模方面的能力，實(shí)現(xiàn)更精確的環(huán)境感知、更長遠(yuǎn)的運(yùn)動(dòng)規(guī)劃和更全局化的決策。圖：以對(duì)象為中心的Transformer+BEV的總體架構(gòu)17資料來源：

《OCBEV:

Object-Centric

BEV

Transformer

for

Multi-View

3D

Object

Detection》，Zhangyang

Qi等、浙商證券研究所對(duì)象對(duì)齊時(shí)間融合:首先根據(jù)車輛自身的移動(dòng)情況，把當(dāng)前時(shí)刻(t時(shí)刻)的鳥瞰視角地圖變形調(diào)整成上一時(shí)刻(t-1時(shí)刻)的樣子。這樣就可以根據(jù)對(duì)象在上一時(shí)刻的位置，結(jié)合速度預(yù)測(cè)出它當(dāng)前的位置，從而實(shí)現(xiàn)對(duì)象在不同時(shí)刻地圖上的融合。對(duì)象聚焦多視圖采樣:首先在三維空間預(yù)設(shè)一些點(diǎn)，然后把這些點(diǎn)投影到圖像上的特征上。這樣不僅可以在整個(gè)高度范圍采樣，還可以對(duì)某些主要對(duì)象按照自適應(yīng)和聚焦的方式，在它們所處的局部空間區(qū)域采樣更多點(diǎn)。對(duì)象通知查詢?cè)鰪?qiáng):在編碼器處理圖像特征后，添加熱圖的監(jiān)督信息。同時(shí)用檢測(cè)到對(duì)象高置信度位置對(duì)應(yīng)的點(diǎn)來替換掉原本預(yù)設(shè)要查詢的一些點(diǎn)。GPT的出現(xiàn)對(duì)Transformer+BEV模型的產(chǎn)生起到了重要影響GPT的成功表明了Transformer模型的潛力，促使更多研究者將Transformer應(yīng)用到計(jì)算機(jī)視覺和自動(dòng)駕駛領(lǐng)域，產(chǎn)生了Transformer+BEV的創(chuàng)新做法。GPT的預(yù)訓(xùn)練思想為Transformer+BEV的預(yù)訓(xùn)練和遷移學(xué)習(xí)提供了借鑒，可以通過預(yù)訓(xùn)練捕捉語義信息，然后遷移應(yīng)用。OpenAI公開的代碼和模型也加速了Transformer類模型在各領(lǐng)域的研究進(jìn)程。當(dāng)前Transformer+BEV模型受關(guān)注，主要基于它綜合了Transformer和BEV各自的優(yōu)勢(shì)Transformer擅長處理序列數(shù)據(jù)，捕捉語義信息；而BEV提供場(chǎng)景整體觀，有利解析空間關(guān)系。兩者組合可實(shí)現(xiàn)互補(bǔ)，增強(qiáng)對(duì)復(fù)雜場(chǎng)景的理解表達(dá)。自動(dòng)駕駛數(shù)據(jù)積累為訓(xùn)練大模型奠定基礎(chǔ)。大數(shù)據(jù)支持學(xué)習(xí)更復(fù)雜特征，提升環(huán)境感知精度，也使端到端學(xué)習(xí)成為可能。提升安全性和泛化能力仍是自動(dòng)駕駛核心難題。目前階段Transformer+BEV較好地結(jié)合語義理解和多視角建模，可處理相對(duì)不常見、復(fù)雜或者挑戰(zhàn)性的交通場(chǎng)景或環(huán)境，具有很大潛力。18資料來源：

《OCBEV:

Object-Centric

BEV

Transformer

for

Multi-View

3D

Object

Detection》，Zhangyang

Qi等、浙商證券研究所Transformer+BEV02占用網(wǎng)絡(luò)模型022022年，特斯拉率先在自動(dòng)駕駛系統(tǒng)中使用了占用網(wǎng)絡(luò)模型，實(shí)現(xiàn)了對(duì)道路場(chǎng)景的高效建模特斯拉在2023年AI

Day公開了occupancy

network（占用網(wǎng)絡(luò)）模型，基于學(xué)習(xí)進(jìn)行三維重建，意圖為更精準(zhǔn)地還原自動(dòng)駕駛汽車行駛周圍3D環(huán)境，可視作BEV視圖的升華迭代：BEV+Transformer的不足：鳥瞰圖為2D圖像，會(huì)缺失一些空間高度信息，無法真實(shí)反映物體在3D空間的實(shí)際占用體積，故而在BEV中更關(guān)心靜止物體（如路沿、車道線等），而空間目標(biāo)的識(shí)別（如物體3D結(jié)構(gòu)）難以識(shí)別占用網(wǎng)絡(luò)：現(xiàn)存三維表示方法（體素、網(wǎng)格、點(diǎn)云）在儲(chǔ)存、結(jié)構(gòu)和是否利于學(xué)習(xí)方面均不夠完全理想，而占用網(wǎng)絡(luò)基于學(xué)習(xí)將三維曲面表示為深度神經(jīng)網(wǎng)絡(luò)分類器的連續(xù)決策邊界，可以在沒有激光雷達(dá)提供點(diǎn)云數(shù)據(jù)的情況下對(duì)3D環(huán)境進(jìn)行重建，且相較于激光雷達(dá)還可以更好地將感知到的3D幾何信息與語義信息融合，得到更加準(zhǔn)確的三維場(chǎng)景信息圖：BEV鳥瞰視圖圖：占用網(wǎng)絡(luò)3D視圖19資料來源：

Cleantechnica、elon-musk-interviews、浙商證券研究所特斯拉自動(dòng)駕駛感知算法發(fā)展路徑解析02基于Mobileye的視覺算法技術(shù)（2014-2016）：2014年到2016年期間，特斯拉自動(dòng)駕駛系統(tǒng)采用了Mobileye的視覺算法技術(shù)。Mobileye為特斯拉第一代自動(dòng)駕駛提供了單目相機(jī)系統(tǒng)，可以檢測(cè)車道線、車輛行人、交通標(biāo)志牌，并分析自由空間。通過特征提取、目標(biāo)檢測(cè)等算法，特斯拉能對(duì)前方道路情況進(jìn)行感知并建模，為決策規(guī)劃提供環(huán)境輸入。雙方合作推動(dòng)特斯拉早期自動(dòng)駕駛能力發(fā)展。后因Mobileye產(chǎn)品體系過于封閉，特斯拉決定自主研發(fā)感知系統(tǒng)。這一期間的合作積累為特斯拉奠定了自動(dòng)駕駛視覺感知的基礎(chǔ)。BEV（2016-2021）：從2016年特斯拉自研自動(dòng)駕駛系統(tǒng)開始，特斯拉采用了鳥瞰視角(BEV)來建模自動(dòng)駕駛系統(tǒng)的環(huán)境。BEV將多源傳感器數(shù)據(jù)投影到地面平面，可以直觀表達(dá)場(chǎng)景元素的空間關(guān)系，使自動(dòng)駕駛系統(tǒng)更好地“看到”車輛周圍的全部情況。但BEV難以分析遠(yuǎn)處目標(biāo)的關(guān)聯(lián)性。特斯拉后來將BEV與Transformer等技術(shù)結(jié)合，以融合局部和全局信息。BEV奠定了特斯拉自動(dòng)駕駛的環(huán)境建?；A(chǔ)。特斯拉在大量實(shí)際道路數(shù)據(jù)的支持下，不斷優(yōu)化BEV系統(tǒng)，以產(chǎn)生更精確的三維場(chǎng)景表示，為后續(xù)的規(guī)劃與控制提供輸入。Transformer+BEV（2021至今）：2021年，在BEV的基礎(chǔ)上，特斯拉將Transformer引入感知系統(tǒng)。Transformer通過并行計(jì)算高效提取全局上下文信息，以彌補(bǔ)BEV難以建模遠(yuǎn)距離依賴的不足。BEV+Transformer架構(gòu)融合局部和全局信息，增強(qiáng)對(duì)復(fù)雜交通場(chǎng)景的理解表達(dá)能力。同時(shí)，特斯拉大規(guī)模預(yù)訓(xùn)練該模型，運(yùn)用海量實(shí)車數(shù)據(jù)，提升泛化能力，提升了特斯拉FSD系統(tǒng)的安全性和可靠性。在場(chǎng)景轉(zhuǎn)換、交通預(yù)測(cè)等情況下，Transformer+BEV展現(xiàn)出較強(qiáng)的魯棒性。特斯拉持續(xù)通過這一前沿架構(gòu)迭代自動(dòng)駕駛感知算法，以處理更復(fù)雜的城市交通環(huán)境。資料來源：華爾街日?qǐng)?bào)、Auto-Data網(wǎng)站、特斯拉官網(wǎng)、infnews網(wǎng)站、EVANNEX網(wǎng)站、浙商證券研究所特斯拉自動(dòng)駕駛感知算法發(fā)展路徑解析02資料來源：

特斯拉官網(wǎng)、浙商證券研究所占用網(wǎng)絡(luò)模型（2022至今）：占用網(wǎng)絡(luò)是特斯拉在2022年應(yīng)用到自動(dòng)駕駛感知的一種技術(shù)，相較于BEV可以更精準(zhǔn)地還原自動(dòng)駕駛汽車行駛周圍3D環(huán)境，提升車輛的環(huán)境感知能力。占用網(wǎng)絡(luò)包含兩部分：一個(gè)編碼器學(xué)習(xí)豐富語義特征，一個(gè)解碼器可以生成三維場(chǎng)景表達(dá)。特斯拉使用車載攝像頭采集的大量行車數(shù)據(jù)，訓(xùn)練占用網(wǎng)絡(luò)模型。解碼器部分能夠復(fù)原和想象各種場(chǎng)景，增強(qiáng)異常情況下的感知魯棒性。占用網(wǎng)絡(luò)技術(shù)使特斯拉可以充分利用非標(biāo)注數(shù)據(jù)，有效補(bǔ)充標(biāo)注數(shù)據(jù)集的不足。這對(duì)于提升自動(dòng)駕駛安全性、減少交通事故具有重要意義。特斯拉正在持續(xù)改進(jìn)該技術(shù)在自動(dòng)駕駛系統(tǒng)中的集成應(yīng)用?？偨Y(jié)：在傳感器方面，硬件升級(jí)為算法迭代提供了支持：特斯拉持續(xù)優(yōu)化傳感器組合，從初期的單目攝像頭逐步增加到多目攝像頭、毫米波雷達(dá)、超聲波雷達(dá)等，豐富了自動(dòng)駕駛對(duì)環(huán)境的感知輸入。在軟件算法方面，持續(xù)迭代優(yōu)化，提升3D環(huán)境構(gòu)建能力：早期使用的簡單卷積神經(jīng)網(wǎng)絡(luò)逐漸發(fā)展為復(fù)雜的多傳感器數(shù)據(jù)融合框架，并增加了BEV空間表示層、Transformer序列建模模塊、占用網(wǎng)絡(luò)等前沿技術(shù)，顯著提升了建模能力和泛化性?？梢钥闯觯厮估谒惴蚣茉O(shè)計(jì)上追求通用性，通過融合多種技術(shù)手段實(shí)現(xiàn)對(duì)復(fù)雜多變環(huán)境的魯棒感知和建模。軟硬件的協(xié)同發(fā)展趨勢(shì)明顯，推動(dòng)自動(dòng)駕駛技術(shù)向量產(chǎn)方向演進(jìn)：軟硬協(xié)同使得自動(dòng)駕駛系統(tǒng)在不同的應(yīng)用環(huán)境下都可以表現(xiàn)出較強(qiáng)的適應(yīng)性，并且軟硬件的協(xié)調(diào)優(yōu)化也使產(chǎn)品部署和更新更加便捷高效，成為自動(dòng)駕駛產(chǎn)品實(shí)現(xiàn)規(guī)模化應(yīng)用的關(guān)鍵。特斯拉自動(dòng)駕駛硬件解決方案發(fā)展路徑解析02HW1.0：HW1.0基于Mobileye芯片的第一代駕駛輔助硬件。它使用了單個(gè)EQ3系列攝像頭，單個(gè)毫米波雷達(dá)和12個(gè)中程超聲波傳感器，毫米波雷達(dá)是由博世提供，攝像頭布置于后視鏡附近，硬件選型都是基于市場(chǎng)上成熟的供應(yīng)商產(chǎn)品，在HW1.0階段特斯拉的主要工作是多傳感器融合+應(yīng)用層軟件開發(fā)。HW2.0/HW2.5：HW2.5是特斯拉設(shè)計(jì)的第二代駕駛輔助硬件的最終迭代版本，傳感器數(shù)量大幅提升，使用8個(gè)攝像頭，12個(gè)遠(yuǎn)程超聲波傳感器和一個(gè)前置毫米波雷達(dá)，這套傳感器配置為特斯拉FSD功能打下良好的基礎(chǔ)，現(xiàn)在回看當(dāng)時(shí)的特斯拉傳感器布局具有一定前瞻性。特斯拉基于英偉達(dá)Drive

PX2開發(fā)一個(gè)全新的駕駛輔助硬件，MCU芯片采用英飛凌TriCore系列產(chǎn)品，毫米波雷達(dá)仍然是博世產(chǎn)品，該駕駛輔助硬件安裝于手套箱下方，這個(gè)階段特斯拉掌握?qǐng)D像識(shí)別算法+多傳感器融合+應(yīng)用層軟件開發(fā)。HW3.0：HW3.0是特斯拉駕駛輔助硬件的重大革新，首次采用自研的自動(dòng)駕駛芯片，拋棄英飛凌/英偉達(dá)的產(chǎn)品，自研高度集成的SoC+MCU芯片，具備全套芯片設(shè)計(jì)+圖像識(shí)別算法+多傳感器融合+應(yīng)用層軟件開發(fā)。HW4.0：HW4.0在歐洲獲批用于新款S和X車型，預(yù)計(jì)硬件4.0將利用臺(tái)積電的4/5nm工藝并提供5MP相機(jī)，檢測(cè)遠(yuǎn)處物體的能力有望提升，Autopilot能力進(jìn)一步增強(qiáng)。更新后的硬件將包含：一臺(tái)新的FSD計(jì)算機(jī)，預(yù)計(jì)其功率將是目前HW3.0

FSD計(jì)算機(jī)的4倍先進(jìn)的高清雷達(dá)用于GPS的GNSS天線將進(jìn)行升級(jí)，這將進(jìn)一步實(shí)現(xiàn)與其他衛(wèi)星導(dǎo)航系統(tǒng)的兼容性，包括GLONASS，北斗和伽利略資料來源：infnews官網(wǎng)、topcars網(wǎng)站、浙商證券研究所特斯拉自動(dòng)駕駛硬件解決方案發(fā)展路徑解析02表：特斯拉自動(dòng)駕駛硬件方案對(duì)比總結(jié)項(xiàng)目HW1.0HW2.0HW2.5HW3.0前置攝像頭1個(gè)1-Narrow(35°)1-Main(50°)1-Wide

(120°)B柱攝像頭（汽車側(cè)柱）0Left:80m(260ft)100m(330

ft)Right:80m(260ft)100m(330

ft)前置雷達(dá)160

m525

ft170

m558

ft超聲波傳感器12(5m/16ft

range)12(8m/26ft

range)核心處理器Mobileye

EyeQ3*1NVIDIADRIVEPX2

AINVIDIADRIVEPX

2(+additional

GPU)FSD芯片資料來源：

infnews官網(wǎng)、Tesla

updates網(wǎng)站、浙商證券研究所大模型對(duì)自動(dòng)駕駛行業(yè)的賦能與影響2403大模型對(duì)自動(dòng)駕駛行業(yè)的賦能03大模型通過預(yù)訓(xùn)練學(xué)習(xí)提取強(qiáng)大的語義特征表示，這提高了模型對(duì)復(fù)雜和異常場(chǎng)景的理解能力，增強(qiáng)了感知的魯棒性。同時(shí)具備更強(qiáng)的泛化能力，能夠感知訓(xùn)練數(shù)據(jù)以外的新環(huán)境。提升環(huán)境感知的魯棒性和泛化能力：大模型具備直接從原始傳感器輸入到駕駛決策輸出的強(qiáng)大建模能力，可以實(shí)現(xiàn)端到端的自動(dòng)駕駛學(xué)習(xí)，簡化系統(tǒng)架構(gòu)。實(shí)現(xiàn)端到端的學(xué)習(xí)：大模型通過精細(xì)建模順序，可以推斷時(shí)間維度上的因果關(guān)系，更好地預(yù)測(cè)動(dòng)態(tài)環(huán)境的變化。強(qiáng)化時(shí)間維度的理解：大模型擁有足夠的表達(dá)能力，可以融合不同類型的多模態(tài)輸入(圖像、雷達(dá)等)，實(shí)現(xiàn)對(duì)整體場(chǎng)景的多維理解。多模態(tài)融合理解場(chǎng)景：依靠大模型的無監(jiān)督或自監(jiān)督預(yù)訓(xùn)練，可以降低對(duì)人工設(shè)計(jì)特征工程和數(shù)據(jù)標(biāo)注的依賴。減少人工設(shè)計(jì)和標(biāo)注依賴：25資料來源：《AttentionIs

All

You

Need》，Ashish

Vaswani等、浙商證券研究所自動(dòng)駕駛領(lǐng)域的大模型發(fā)展相對(duì)大語言模型滯后，大約始于2019年，吸取了GPT等模型成功經(jīng)驗(yàn)以GPT為代表的大模型通常包含億級(jí)甚至百億級(jí)參數(shù)，采用Transformer結(jié)構(gòu)進(jìn)行分布式訓(xùn)練，以提升模型能力。GPT的成功激發(fā)了自動(dòng)駕駛研究者利用類似架構(gòu)進(jìn)行端到端學(xué)習(xí)，甚至涌現(xiàn)出專為自動(dòng)駕駛設(shè)計(jì)的預(yù)訓(xùn)練模型。這些努力為自動(dòng)駕駛行業(yè)帶來新思路，大模型通過強(qiáng)大的數(shù)據(jù)分析和模式識(shí)別能力，增強(qiáng)了自動(dòng)駕駛系統(tǒng)的安全性、效率和用戶體驗(yàn)，實(shí)現(xiàn)了更準(zhǔn)確的環(huán)境感知、智能決策。大模型對(duì)自動(dòng)駕駛行業(yè)的賦能26資料來源：

工信部官網(wǎng)、深圳市政府官網(wǎng)、Electrek網(wǎng)站、teslarati網(wǎng)站、特斯拉官網(wǎng)、heyupnow網(wǎng)站、浙商證券研究所03大模型的應(yīng)用加速模型端的成熟，為L3/L4級(jí)別的自動(dòng)駕駛技術(shù)落地提供了更加明確的預(yù)期模型的成熟使得自動(dòng)駕駛系統(tǒng)更加穩(wěn)定和可靠，為商業(yè)化應(yīng)用奠定了基礎(chǔ)。隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，模型在感知、決策和控制等方面取得了顯著進(jìn)展，向著高效地處理大量傳感器數(shù)據(jù)，準(zhǔn)確識(shí)別交通標(biāo)志、行人、車輛等、實(shí)現(xiàn)環(huán)境感知的方向發(fā)展。此外，模型也能夠輔助實(shí)時(shí)路徑規(guī)劃和決策制定，使車輛能夠在復(fù)雜的交通環(huán)境中安全行駛。大模型的應(yīng)用為L3/L4級(jí)別的自動(dòng)駕駛技術(shù)落地提供了更加明確的預(yù)期，尤其特斯拉在前沿技術(shù)領(lǐng)域的探索，正在成為實(shí)現(xiàn)L3/L4級(jí)別自動(dòng)駕駛落地的風(fēng)向標(biāo)。特斯拉提出的Transformer+BEV+占用網(wǎng)絡(luò)算法讓車輛能夠更精準(zhǔn)地理解復(fù)雜的交通環(huán)境，為L3/L4級(jí)別的自動(dòng)駕駛系統(tǒng)提供更強(qiáng)的環(huán)境感知能力，從而在城市道路和高速公路等特定場(chǎng)景中更自信地行駛。表：特斯拉新技術(shù)簡表日期具體內(nèi)容2017/8/9特斯拉的ModelS/X還添加了一臺(tái)新的機(jī)載計(jì)算機(jī)，更新后包含輔助GPU，以提高計(jì)算能力。

新的

Autopilot

硬件套件內(nèi)部稱為“HW2.5”。2019/3/23特斯拉的Tesla已開始生產(chǎn)配備最新Autopilot硬件的ModelS/X車輛，以支持全自動(dòng)駕駛功能。新硬件被稱為“HW3”，是特斯拉半自動(dòng)駕駛輔助功能的下一代產(chǎn)品，包括自動(dòng)駕駛導(dǎo)航、高級(jí)召喚、自動(dòng)變道自動(dòng)停車以及對(duì)交通信號(hào)燈做出響應(yīng)的能力。2022/10/4特斯拉宣布從Model3和ModelY中移除超聲波傳感器(USS)。在移除USS的同時(shí)，還同時(shí)推出了基于視覺的占用網(wǎng)絡(luò)（目前用于全自動(dòng)駕駛

(FSD)

Beta版），以取代

USS

生成的輸入。2023/2/12特斯拉獲得荷蘭汽車管理局頒發(fā)的變更批準(zhǔn)證書。該證書確認(rèn)該公司正在為ModelS/X配備硬件4.0芯片，從而能夠在歐洲為這些車型提供最新的FSD軟件和硬件。表：國內(nèi)重要自動(dòng)駕駛政策節(jié)選日期部門具體內(nèi)容2018/4/11工信部、公安部、交通運(yùn)輸部《智能網(wǎng)聯(lián)汽車道路測(cè)試管理規(guī)范（試行）》規(guī)定了智能網(wǎng)聯(lián)汽車上路測(cè)試的申請(qǐng)條件2021/3/23深圳市人民代表大會(huì)常務(wù)委員會(huì)《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理?xiàng)l例（征求意見稿）》明確規(guī)定智能網(wǎng)聯(lián)汽車經(jīng)登記取得登記證書、號(hào)牌和行駛證后，可上特區(qū)道路行駛、進(jìn)一步放寬智能網(wǎng)聯(lián)汽車道路測(cè)試和示范應(yīng)用相關(guān)條件，規(guī)定智能網(wǎng)聯(lián)汽車可以上特區(qū)的高速公路和城市快速路開展道路測(cè)試和示范應(yīng)用2022/6/23深圳市人民代表大會(huì)常務(wù)委員會(huì)《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理?xiàng)l例》是全國首個(gè)對(duì)L3及以上自動(dòng)駕駛權(quán)責(zé)、定義等重要議題進(jìn)行詳細(xì)劃分的官方管理文件，為已經(jīng)達(dá)到有條件自動(dòng)駕駛的車型合法上路，掃除政策障礙。2023/6/21工信部工信部表示今后一段時(shí)間要深化測(cè)試示范應(yīng)用，啟動(dòng)智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)，組織開展城市級(jí)“車路云一體化”示范應(yīng)用支持有條件的自動(dòng)駕駛（L3級(jí)別的自動(dòng)駕駛）。L3自動(dòng)駕駛落地展望03技術(shù)27資料來源：浙商證券研究所總結(jié)整理安全持續(xù)降本：下放前幾年的中端芯片到低端產(chǎn)品上，采用技術(shù)已經(jīng)成熟的自動(dòng)駕駛計(jì)算平臺(tái)硬件配置優(yōu)化：優(yōu)化感知系統(tǒng)硬件配置，采用國產(chǎn)性價(jià)比較高的激光雷達(dá)等硬件降低成本工程化能力提升：采用雙芯片策略提高整體算力，提升性價(jià)比，降低成本成本算法創(chuàng)新：持續(xù)推出前沿技術(shù)，如Transformer+BEV、占用網(wǎng)絡(luò)模型等，增強(qiáng)算法的環(huán)境感知能力；同時(shí)優(yōu)化算法對(duì)硬件的利用效能，如行泊一體算法的發(fā)展。硬件迭代：芯片能力持續(xù)增強(qiáng)，高通、英偉達(dá)、地平線等公司單芯片算力規(guī)模持續(xù)提升，帶來單位算力成本的降低；特斯拉推出Dojo超級(jí)計(jì)算機(jī)，加速模型算法的訓(xùn)練與迭代。測(cè)試和驗(yàn)證：仿真技術(shù)的完善，使得模擬測(cè)試以彌補(bǔ)實(shí)車測(cè)試的不足。汽車通信與數(shù)據(jù)安全：國家標(biāo)準(zhǔn)和執(zhí)行細(xì)則持續(xù)落地出臺(tái)，落實(shí)安全措施與責(zé)任主體監(jiān)管智能網(wǎng)聯(lián)汽車準(zhǔn)入和商業(yè)試點(diǎn)：已針對(duì)L3和L4級(jí)汽車出臺(tái)管理辦法；權(quán)責(zé)認(rèn)定：仍需明確不同自動(dòng)駕駛級(jí)別下自動(dòng)駕駛系統(tǒng)與人駕駛員的權(quán)責(zé)關(guān)系，特別是在L3級(jí)，需要定義事故責(zé)任，考慮人車交互設(shè)計(jì)和駕駛員監(jiān)控要求。安全監(jiān)管：完善自動(dòng)駕駛安全監(jiān)管體系，制定具體的測(cè)試評(píng)價(jià)標(biāo)準(zhǔn)，監(jiān)測(cè)系統(tǒng)在交通環(huán)境中的安全性和可靠性。建立版本管理和事故責(zé)任追溯機(jī)制。L3自動(dòng)駕駛落地展望：成本28資料來源：

汽車之家、懂車帝、Apollo官網(wǎng)、福布斯新聞、百度有駕、各車企官網(wǎng)、infnews、IEEE

Spectrum網(wǎng)站、forbes網(wǎng)站、搜狐科技、electrek、浙商證券研究所03成本仍有下降空間，低端車配載有助于加速量產(chǎn)落地搭載高級(jí)別自動(dòng)駕駛系統(tǒng)的車型正在加速落地，但由于技術(shù)復(fù)雜性和成本考量，目前主要集中于高端車型領(lǐng)域。根據(jù)市場(chǎng)現(xiàn)狀，搭載L2+自動(dòng)駕駛系統(tǒng)的車型售價(jià)約在12萬至46萬元區(qū)間，搭載L3的車型售價(jià)約在45.8萬至133.9萬元區(qū)間。我們認(rèn)為要實(shí)現(xiàn)自動(dòng)駕駛向低端車型的快速滲透，成本的降低是關(guān)鍵。車企可以通過多種方式來降低硬件成本：采用國產(chǎn)的激光雷達(dá)（如禾賽、華為和大疆等，且根據(jù)搜狐科技禾賽近三年不斷下探激光雷達(dá)價(jià)格，Yole機(jī)構(gòu)預(yù)計(jì)激光雷達(dá)市場(chǎng)在未來5年內(nèi)增長15倍，達(dá)到47億美元。）由于規(guī)模經(jīng)濟(jì)效應(yīng)和市場(chǎng)競(jìng)爭加劇，預(yù)計(jì)未來激光雷達(dá)等感知系統(tǒng)硬件配置價(jià)格將持續(xù)下降。隨著芯片性能迭代，老款芯片價(jià)格降低，可用于低端車型從而降低成本，且老款的芯片也有著成熟的技術(shù)和調(diào)校提升工程化能力，如采用雙芯片的策略也可以提高算力，提升車輛性價(jià)比，例如極氪001就采用了雙芯片（MobileyeEyeQ5H）的策略，使得總算力達(dá)到48

TOPS，可以實(shí)現(xiàn)L3以上級(jí)別自動(dòng)駕駛?？傮w來看，我們認(rèn)為自動(dòng)駕駛系統(tǒng)成本還具有較大下降空間，低成本的自動(dòng)駕駛系統(tǒng)有望在兩三年內(nèi)快速向低價(jià)位車型滲透，加速使自動(dòng)駕駛量產(chǎn)推廣。表：國內(nèi)部分L2+車輛售價(jià)車企車型售價(jià)自動(dòng)駕駛級(jí)別理想理想L731.98萬-37.98萬元L2+理想理想L833.98萬-39.98萬元L2+理想理想L942.98萬-45.98萬元L2+深藍(lán)汽車深藍(lán)S714.99萬-20.29萬元L2+深藍(lán)汽車深藍(lán)SL0314.59萬-15.69萬元L2+上汽大通大通MIFA

927.99萬-43.99萬元L2+上汽榮威榮威RX512.29萬-15.59萬元L2+吉利博越L12.57萬-17.07萬元L2+領(lǐng)克領(lǐng)克09

EM-P遠(yuǎn)航版33.98萬元-34.98萬元L2+表：國內(nèi)外部分L3車輛售價(jià)車型售價(jià)自動(dòng)駕駛級(jí)別本田L(fēng)egend

Hybrid

EX1100萬日元（約54.74萬元）L3奔馳EQS88.10-133.90萬元L3奧迪A890,600歐元（約71.04萬元）L3蔚來ET745.80-53.60萬元L3蔚來ES849.60-65.60萬元L3L3自動(dòng)駕駛落地展望：技術(shù)03未來高級(jí)別自動(dòng)駕駛技術(shù)的發(fā)展仍將沿著算法和硬件兩條主線并進(jìn)算法方面，

算法框架的優(yōu)化，

帶來算力利用效率的提升。特斯拉的前沿算法方案為行業(yè)提供指引，

引領(lǐng)迭代方向，

如Transformer+BEV和占用網(wǎng)絡(luò)模型等先進(jìn)技術(shù)，國內(nèi)各大車企也紛紛跟上潮流。此外，隨著大模型在自動(dòng)駕駛領(lǐng)域的運(yùn)用，行泊一體方案的發(fā)展，進(jìn)一步優(yōu)化算法對(duì)硬件的利用效能，減少自動(dòng)駕駛汽車對(duì)高端芯片的依賴，促進(jìn)L3級(jí)自動(dòng)駕駛汽車的落地。硬件設(shè)備方面，自動(dòng)駕駛系統(tǒng)需要大量并行計(jì)算，因此各大廠商推出了專用芯片，擁有更強(qiáng)大的并行處理能力。高通、英偉達(dá)地平線等企業(yè)芯片產(chǎn)品技術(shù)不斷更新迭代，單芯片算力規(guī)模持續(xù)提升，帶來的是單位算力成本的降低。雙芯片策略已在市場(chǎng)上廣泛運(yùn)用，采用雙芯片策略能夠提升芯片整體算力，在一定程度上解決算力短缺的問題。特斯拉發(fā)布Dojo超級(jí)計(jì)算機(jī)，應(yīng)用于對(duì)大量視頻進(jìn)行無監(jiān)督的大規(guī)模訓(xùn)練，進(jìn)一步推進(jìn)自動(dòng)駕駛大模型的發(fā)展。企業(yè) 技術(shù)路線/信息小馬智行 自研BEV，導(dǎo)航地圖實(shí)現(xiàn)高速與城市NOA功能毫末智行 NOH，空間、時(shí)間和傳感器BEV輕舟智航 OmniNet，前融合和BEV空間特征融合地平線 SuperDrive

感知融合BEV技術(shù)紐勱科技 BEVSegFormer，任意配置相機(jī)進(jìn)行

BEV語義分割百度 UniBEV車端和路端感知數(shù)據(jù)放到同一個(gè)坐標(biāo)系表：部分國內(nèi)自動(dòng)駕駛公司技術(shù)路徑整理29資料來源：北京市高級(jí)別自動(dòng)駕駛示范區(qū)公眾號(hào)

、浙商證券研究所L3自動(dòng)駕駛落地展望：監(jiān)管0330資料來源：工信部官網(wǎng)、深圳市政府官網(wǎng)、浙商證券研究所我國高級(jí)別自動(dòng)駕駛的法規(guī)政策還在逐步完善之中，法規(guī)政策持續(xù)落地一方面，工信部已經(jīng)針對(duì)L3及L4級(jí)別自動(dòng)駕駛車輛出臺(tái)管理辦法，落實(shí)了智能網(wǎng)聯(lián)汽車的準(zhǔn)入和商業(yè)通行試點(diǎn)，明確了智能網(wǎng)聯(lián)汽車的定義和分級(jí)這為自動(dòng)駕駛車輛的合法上路掃清了政策障礙。但仍需進(jìn)一步明確自動(dòng)駕駛系統(tǒng)與人駕駛員在不同自動(dòng)駕駛級(jí)別下的權(quán)責(zé)關(guān)系。另一方面，自動(dòng)駕駛安全監(jiān)管仍有待持續(xù)完善。目前尚未建立自動(dòng)駕駛系統(tǒng)事故責(zé)任追溯機(jī)制，也未制定明確統(tǒng)一的自動(dòng)駕駛測(cè)試評(píng)價(jià)標(biāo)準(zhǔn)。預(yù)計(jì)未來部門將出臺(tái)更為細(xì)致的安全監(jiān)管措施。表：深圳市自動(dòng)駕駛試點(diǎn)和立法推進(jìn)節(jié)奏日期 部門具體內(nèi)容2018/4/11 工信部、公安部、交通運(yùn)輸部 《智能網(wǎng)聯(lián)汽車道路測(cè)試管理規(guī)范（試行）》規(guī)定了智能網(wǎng)聯(lián)汽車上路測(cè)試的申請(qǐng)條件2018/5/14 深圳市交通運(yùn)輸局 深圳市為騰訊自動(dòng)駕駛實(shí)驗(yàn)室發(fā)放全市首張智能網(wǎng)聯(lián)汽車道路測(cè)試牌照，可供L3汽車上路測(cè)試《深圳市關(guān)于貫徹落實(shí)<智能網(wǎng)聯(lián)汽車道路測(cè)試管理規(guī)范（試行）>的實(shí)施意見》進(jìn)一步細(xì)化了深圳市申請(qǐng)道路測(cè)試的條件，并明確每臺(tái)測(cè)試車輛應(yīng)配備至少一名測(cè)試安全員《深圳市智能網(wǎng)聯(lián)汽車道路測(cè)試開放道路技術(shù)要求（試行）》公布了首批智能駕駛的開放路測(cè)道路2018/5/23 深圳市交通運(yùn)輸局2018/10/30 深圳市交通運(yùn)輸局2020/8/11 深圳市交通運(yùn)輸局《深圳市關(guān)于推進(jìn)智能網(wǎng)聯(lián)汽車應(yīng)用示范的指導(dǎo)意見》允許企業(yè)以智能網(wǎng)聯(lián)汽車為載體在指定的開放道路進(jìn)行載人、城市環(huán)衛(wèi)作業(yè)和載貨及其它特種作業(yè)（均為非營利性）2021/3/23深圳市人民代表大會(huì)常務(wù)委員會(huì)

《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理?xiàng)l例（征求意見稿）》明確規(guī)定智能網(wǎng)聯(lián)汽車經(jīng)登記取得登記證書、號(hào)牌和行駛證后，可上特區(qū)道路行駛、進(jìn)一步放寬智能網(wǎng)聯(lián)汽車道路測(cè)試和示范應(yīng)用相關(guān)條件，規(guī)定智能網(wǎng)聯(lián)汽車可以上特區(qū)的高速公路和城市快速路開展道路測(cè)試和示范應(yīng)用2021/7/30工信部《關(guān)于加強(qiáng)智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)及產(chǎn)品準(zhǔn)入管理的意見》規(guī)定了自動(dòng)駕駛汽車及其生產(chǎn)企業(yè)的準(zhǔn)入管理要求，為L3及L4級(jí)自動(dòng)駕駛汽車的規(guī)?；慨a(chǎn)做準(zhǔn)備。2022/2/14深圳市蘿卜運(yùn)力（深圳）科技有限公司獲批深圳市智能網(wǎng)聯(lián)汽車示范應(yīng)用，百度自動(dòng)駕駛出行服務(wù)平臺(tái)“蘿卜快跑”正式落地深圳市南山區(qū)，面向市民提供自動(dòng)駕駛示范應(yīng)用出行服務(wù)2022/6/23深圳市人民代表大會(huì)常務(wù)委員會(huì)

《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理?xiàng)l例》是全國首個(gè)對(duì)L3及以上自動(dòng)駕駛權(quán)責(zé)、定義等重要議題進(jìn)行詳細(xì)劃分的官方管理文件，為已經(jīng)達(dá)到有條件自動(dòng)駕駛的車型合法上路，掃除政策障礙。2022/11/22023/6/17工信部、公安部 《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和通行試點(diǎn)工作的通知（征求意見稿）》針對(duì)L3和L4級(jí)別自動(dòng)駕駛推出管理辦法。深圳市 蘿卜快跑獲得由深圳市坪山區(qū)頒發(fā)的首批智能網(wǎng)聯(lián)汽車無人商業(yè)化試點(diǎn)通知書，可在深圳市坪山區(qū)開展L4級(jí)無人駕駛商業(yè)化收費(fèi)運(yùn)營2023/6/21 工信部工信部表示今后一段時(shí)間要深化測(cè)試示范應(yīng)用，啟動(dòng)智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)，組織開展城市級(jí)“車路云一體化”示范應(yīng)用，支持有條件的自動(dòng)駕駛（L3級(jí)別的自動(dòng)駕駛）。L3自動(dòng)駕駛落地展望：安全0331資料來源：

工信部官網(wǎng)、《國家車聯(lián)網(wǎng)產(chǎn)業(yè)標(biāo)準(zhǔn)體系建設(shè)指南（智能網(wǎng)聯(lián)汽車）（2023版）》、央視網(wǎng)新聞、人民網(wǎng)、浙商證券研究所安全性自動(dòng)駕駛汽車實(shí)現(xiàn)商業(yè)化落地必不可少的重要因素為保證自動(dòng)駕駛系統(tǒng)的安全可靠，按照國家監(jiān)管要求，自動(dòng)駕駛車輛必須經(jīng)過5000公里以上的封閉場(chǎng)地訓(xùn)練評(píng)估，且測(cè)試駕駛員須通過不少于50小時(shí)培訓(xùn)，并通過車輛安全技術(shù)檢驗(yàn)后方可申請(qǐng)上路測(cè)試資格。目前我國智能網(wǎng)聯(lián)汽車道路測(cè)試總里程已超7000萬公里，我們預(yù)計(jì)L3級(jí)及以上自動(dòng)駕駛汽車開放個(gè)人使用上路試點(diǎn)區(qū)域仍需一定的時(shí)間才能實(shí)現(xiàn)。汽車通信安全和數(shù)據(jù)安全也需達(dá)到國標(biāo)或相關(guān)條例要求。我們預(yù)計(jì)未來中國會(huì)參考?xì)W美國家實(shí)踐，進(jìn)一步細(xì)化安全要求，加強(qiáng)相關(guān)法規(guī)制度建設(shè)，如制定自動(dòng)駕駛汽車安全評(píng)估標(biāo)準(zhǔn)、明確自動(dòng)駕駛系統(tǒng)開發(fā)生命周期各階段的安全保障要求、建立自動(dòng)駕駛汽車事故責(zé)任認(rèn)定機(jī)制等。表：部分自動(dòng)駕駛汽車安全標(biāo)準(zhǔn)標(biāo)準(zhǔn)定義和分類國家標(biāo)準(zhǔn)號(hào)對(duì)標(biāo)國際標(biāo)準(zhǔn)號(hào)道路車輛

預(yù)期功能安全國家標(biāo)準(zhǔn)20203970-T-339國際標(biāo)準(zhǔn)ISO

21448汽車整車信息安全技術(shù)要求國家標(biāo)準(zhǔn)20214422-0-339國際標(biāo)準(zhǔn)UN

R155道路車輛

信息安全工程國家標(biāo)準(zhǔn)20230389-T-339汽車信息安全應(yīng)急響應(yīng)管理規(guī)范國家標(biāo)準(zhǔn)20213611-T-339汽車信息安全通用技術(shù)要求國家標(biāo)準(zhǔn)GB/T

40861-2021車載信息交互系統(tǒng)信息安全技術(shù)要求及試驗(yàn)方法國家標(biāo)準(zhǔn)GB/T

40856-2021電動(dòng)汽車遠(yuǎn)程服務(wù)與管理系統(tǒng)信息安全技術(shù)要求及試驗(yàn)方法國家標(biāo)準(zhǔn)GB/T

40855-2021汽車網(wǎng)關(guān)信息安全技術(shù)要求及試驗(yàn)方法國家標(biāo)準(zhǔn)GB/T

40857-2021電動(dòng)汽車充電系統(tǒng)信息安全技術(shù)要求及試驗(yàn)方法國家標(biāo)準(zhǔn)GB/T

41578-2022汽車診斷接口信息安全技術(shù)要求及試驗(yàn)方法國家標(biāo)準(zhǔn)20211169-T-339表：部分車廠代表車型自動(dòng)駕駛相關(guān)信息車企車型價(jià)位上市時(shí)間自動(dòng)駕駛級(jí)別自動(dòng)駕駛芯片自動(dòng)駕駛系統(tǒng)上汽智己LS728.98-45.98萬2302L2/L3NvidiaOrin

X智己IM

AD

NOA

2.0智能駕駛輔助系統(tǒng)蔚來蔚來ET742.80-53.60萬2304L2/L3NVIDIADRIVE

OrinNAD系統(tǒng)SmartSmart精靈#320.99-28.99萬2306L2Veoneer高算力芯片smart

Pilot

Assist智能輔助駕駛系統(tǒng)理想理想L833.98-39.98萬2302L2地平線征程5理想AD

Pro系統(tǒng)華為問界M524.98-33.18萬2307L2MDC智能駕駛計(jì)算平臺(tái)華為ADS

2.0合眾新能源哪吒S15.98-32.68萬2307L2雙地平線征程3NETA

PILOT2.5比亞迪BYD漢EV19.68-32.18萬2303L2未知DiPilot智能駕駛輔助系統(tǒng)小鵬小鵬G620.99-27.69萬2306L2雙英偉達(dá)

Orin-XXNGP各車廠自動(dòng)駕駛布局節(jié)奏0332技術(shù)逐步成熟，政策有望為高級(jí)別自動(dòng)駕駛落地提供催化L3/L4級(jí)別自動(dòng)駕駛技術(shù)作為自動(dòng)駕駛領(lǐng)域的重要里程碑，一直備受關(guān)注。盡管技術(shù)已經(jīng)達(dá)到一定成熟階段，但其落地仍受政策影響，目前正處在計(jì)劃之中。然而，隨著技術(shù)的不斷發(fā)展，若政策能夠順應(yīng)趨勢(shì)，將有望推動(dòng)各家車廠加速自動(dòng)駕駛布局的節(jié)奏。L3級(jí)別自動(dòng)駕駛要求車輛在特定環(huán)境下實(shí)現(xiàn)自主駕駛，而L4級(jí)別更進(jìn)一步，使車輛在特定區(qū)域內(nèi)能夠完全自主駕駛。技術(shù)發(fā)展已經(jīng)使得L4級(jí)自動(dòng)駕駛汽車具備在特定場(chǎng)景下實(shí)現(xiàn)自主駕駛的能力，目前已經(jīng)獲批在特定道路上進(jìn)行商業(yè)化試點(diǎn)運(yùn)營。目前政策仍未放開個(gè)人使用L3/L4級(jí)別的自動(dòng)駕駛，但隨著自動(dòng)駕駛技術(shù)逐步成熟，安全性能顯著提升，政策環(huán)境有望催化L3/L4級(jí)別自動(dòng)駕駛技術(shù)的量產(chǎn)落地，對(duì)于政策的樂觀預(yù)期亦有助于加速車廠在高級(jí)別自動(dòng)駕駛領(lǐng)域的布局節(jié)奏。資料來源：懂車帝、汽車之家、智己汽車官網(wǎng)、快車評(píng)、autolab、哪吒汽車官網(wǎng)、小鵬汽車官網(wǎng)、浙商證券研究所各車廠自動(dòng)駕駛布局節(jié)奏0333國內(nèi)主機(jī)廠平均預(yù)計(jì)2024年左右落地L3級(jí)別自動(dòng)駕駛根據(jù)佐思汽車研究對(duì)于國內(nèi)主機(jī)廠自動(dòng)駕駛落地時(shí)間的規(guī)劃統(tǒng)計(jì)，各主機(jī)廠自2021年開始加速對(duì)L2+自動(dòng)駕駛的布局，且預(yù)計(jì)在2024年左右實(shí)現(xiàn)L2++（接近L3）或者更高級(jí)別的自動(dòng)駕駛功能的落地。資料來源：佐思汽研《2022

年中國乘