自動(dòng)駕駛技術(shù)路徑對(duì)比：模塊化、端到端

技術(shù)路徑：大模型成就端到端自動(dòng)駕駛，推動(dòng)感知決策一體化目前，自動(dòng)駕駛系統(tǒng)的設(shè)計(jì)主要分為兩大技術(shù)路徑：模塊化方案和端到端方案。兩大路徑可優(yōu)劣互補(bǔ)，以上路徑當(dāng)前均在積極探索、相互結(jié)合。模塊化路徑：涉及眾多模塊，每個(gè)獨(dú)立的模塊負(fù)責(zé)單獨(dú)的子任務(wù)，例如自動(dòng)駕駛系統(tǒng)的一級(jí)模塊可分為感知、規(guī)劃和控制，每個(gè)一級(jí)模塊下又分為眾多子模塊，每個(gè)模塊可基于不同的規(guī)則或算法。由于每個(gè)獨(dú)立模塊負(fù)責(zé)單獨(dú)的子任務(wù)，因此出現(xiàn)問(wèn)題時(shí)可及時(shí)回溯，并易于調(diào)試，具有較強(qiáng)的解釋性。端到端路徑：端到端（End-to-End）概念來(lái)源于深度學(xué)習(xí)，端到端路線是指AI模型只要輸入原始數(shù)據(jù)就可以輸出最終結(jié)果。在自動(dòng)駕駛的應(yīng)用中，端到端模型可以將感知、規(guī)劃和控制環(huán)節(jié)一體化，通過(guò)將車載傳感器采集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)處理后直接輸出自動(dòng)駕駛的駕駛命令，潛在性能更佳、優(yōu)化效率更高。模塊化自動(dòng)駕駛

VS

端到端自動(dòng)駕駛自動(dòng)駕駛分類原理優(yōu)點(diǎn)缺點(diǎn)模塊化設(shè)計(jì)將自動(dòng)駕駛系統(tǒng)拆分為眾多模塊。每個(gè)模塊可由基于規(guī)則的代碼程序控制；也可以由訓(xùn)練好的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型控制，每個(gè)模塊的算法可以各不相同。①安全、穩(wěn)定、可靠；②可解釋性強(qiáng)，每個(gè)獨(dú)立模塊負(fù)責(zé)單獨(dú)的子任務(wù)，便于問(wèn)題回溯，易于調(diào)試等；①系統(tǒng)龐大且復(fù)雜，涉及很多代碼或算法；②算力要求高，當(dāng)越來(lái)越多的模塊采用深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)，將引爆計(jì)算需求；③多數(shù)情況下需要使用昂貴的激光雷達(dá)來(lái)確定障礙物的位置、并需要實(shí)時(shí)更新的高清大地圖和其他輔助技術(shù)等；④存在信息損失和誤差問(wèn)題；端到端路線將自動(dòng)駕駛系統(tǒng)視為一個(gè)整體，而不是切分為模塊，最后總只用一個(gè)模型來(lái)實(shí)現(xiàn)自動(dòng)駕駛。例如。將傳感器采集的信息直接送入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)處理后直接輸出自動(dòng)駕駛的指令。①成本小，降低對(duì)激光雷達(dá)、高精地圖的依賴、減少中間環(huán)節(jié)的標(biāo)注成本等；②可借助數(shù)據(jù)的多樣性獲得不同場(chǎng)景下的泛用性；③無(wú)需人工設(shè)計(jì)繁復(fù)的規(guī)則，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練數(shù)據(jù)就能學(xué)會(huì)駕駛；④隨著海量數(shù)據(jù)的自回歸預(yù)訓(xùn)練，有望出現(xiàn)“智能涌現(xiàn)”；①解釋性差，當(dāng)系統(tǒng)出現(xiàn)錯(cuò)誤時(shí)，難以判斷是哪個(gè)隱藏層或神經(jīng)元的問(wèn)題；②閉環(huán)驗(yàn)證較難，缺少真實(shí)數(shù)據(jù)驗(yàn)證；1通過(guò)對(duì)比右側(cè)的模塊化和端到端兩大技術(shù)路徑示意圖，我們更能直觀地理解兩者的區(qū)別：模塊化方案由眾多子模塊組成，每個(gè)子模塊對(duì)應(yīng)特定的任務(wù)和功能；端到端則是輸入感知信息并直接生成控制信號(hào)的單一路徑。從端到端自動(dòng)駕駛技術(shù)路徑來(lái)看，神經(jīng)網(wǎng)絡(luò)是關(guān)鍵，強(qiáng)化學(xué)習(xí)是重要方法。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)受人腦啟發(fā)，模仿生物神經(jīng)元相互傳遞信號(hào)的方式，通過(guò)綜合各種信號(hào)做出判斷和反應(yīng)。端到端自動(dòng)駕駛主要學(xué)習(xí)方法為強(qiáng)化學(xué)

習(xí)(RL/ReinforcementLearning)，即一種學(xué)習(xí)如何從狀態(tài)映射到行為以使得獲取的獎(jiǎng)勵(lì)最大的學(xué)習(xí)機(jī)制，在自動(dòng)駕駛場(chǎng)景中，神經(jīng)網(wǎng)絡(luò)做出的駕駛決策由人類給予獎(jiǎng)勵(lì)或處罰等反饋，以此來(lái)不斷優(yōu)化駕駛行為。模塊化&端到端

自動(dòng)駕駛技術(shù)路徑示意圖神經(jīng)網(wǎng)絡(luò)技術(shù)路徑：大模型成就端到端自動(dòng)駕駛，推動(dòng)感知決策一2體化隨著端到端技術(shù)的持續(xù)發(fā)展，其在自動(dòng)駕駛系統(tǒng)中的感知環(huán)節(jié)實(shí)現(xiàn)率先應(yīng)用，眾多車企和算法公司基于Transformer架構(gòu)做算法改進(jìn)，

BEV+Transformer逐漸成為主流解決方案。BEV感知本質(zhì)上是端到端感知解決方案。在傳統(tǒng)的自動(dòng)駕駛堆棧中，2D圖像被輸入感知模塊以生成2D結(jié)果，然后通過(guò)傳感器融合方案將多個(gè)攝像機(jī)的2D結(jié)果轉(zhuǎn)換為3D圖像，以供系統(tǒng)進(jìn)行預(yù)測(cè)和規(guī)劃。在端到端感知中，BEV感知模型可以使車輛直接在BEV空間中感知環(huán)境，輔助自動(dòng)駕駛。端到端有望突破性能天花板，找到近似最優(yōu)解。對(duì)比分而治之和端到端兩種解決辦法，分而治之可以在有限的精力內(nèi)快速實(shí)現(xiàn)性能的提升、并形成解決方案，但該方法容易陷入局部最優(yōu)解，導(dǎo)致性能上限僅為80%。而端到端解決方案通過(guò)反復(fù)多次、集中優(yōu)化一系列組件，從而不斷突破性能天花板，直至實(shí)現(xiàn)完全的端到端解決方案，從而擺脫局部最優(yōu)解的痛點(diǎn)，找到近似全局的最優(yōu)解。技術(shù)路徑：車企率先聚焦端到端感知，BEV+Transformer成為主流BEV感知本質(zhì)上是端到端感知分而治之與端到端的性能增長(zhǎng)曲線3BEVformerEncoder

StructureTransformer架構(gòu)在自動(dòng)駕駛系統(tǒng)的感知環(huán)節(jié)中的運(yùn)用優(yōu)勢(shì)：①Transformer在自然語(yǔ)言處理領(lǐng)域和計(jì)算機(jī)視覺(jué)感知領(lǐng)域均能發(fā)揮作用。②Transformer在處理大規(guī)模數(shù)據(jù)量場(chǎng)景上具備優(yōu)勢(shì)，較神經(jīng)網(wǎng)絡(luò)可以更好地在海量圖像數(shù)據(jù)中識(shí)別數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，更有利于構(gòu)建向量空間。③Transformer網(wǎng)絡(luò)架構(gòu)引入注意力機(jī)制，關(guān)注重要信息而非全部信息，在時(shí)間性方面具有更高的并行計(jì)算效率，在空間性能方面具有更強(qiáng)的泛化能力。BEVformer編碼器具有兩種注意機(jī)制：①

時(shí)間自注意機(jī)制：

通過(guò)自我信息校準(zhǔn)對(duì)由previousBEVfeature和currentBEV

feature初始化的bev

query執(zhí)行可變形注意(deformableattention)。②空間交叉注意機(jī)制：從2D攝像頭特征中提取BEV特征，且同樣運(yùn)用可變形注意機(jī)制，采用多攝像頭query，增加兩大模塊，一是攝像頭掩模模塊，可生成BEV空間中的每個(gè)攝像頭掩模，另一個(gè)是多級(jí)偏移模塊，可獲得4個(gè)級(jí)別的參考點(diǎn)偏移。技術(shù)路徑：車企率先聚焦端到端感知，BEV+Transformer成為主流4

采用端到端感知方案的代表企業(yè)包括特斯拉、小鵬汽車等。2021年特斯拉于AI

Day首次在算法