中小盤智能汽車系列深度（十）自動駕駛算法篇大模型助力自動駕駛有望迎來奇點

目 錄1、自動駕駛——數據驅動下的算法迭代 5、自動駕駛算法是感知、預測、規(guī)劃、控制的結合體 5、感知：感知外部世界 5、預測：理解外部環(huán)境和當前狀態(tài) 6、規(guī)劃：思考如何行動 6、數據：算法的養(yǎng)料，現實與虛擬的交織 72、大模型橫空出世，自動駕駛奇點來臨 8、BEV+Transformer橫空出世，大模型推動自動駕駛邁向普及 8、BEV感知助力成為感知外部世界標準范式 8、Transformer大模型為構建BEV空間提供最優(yōu)解 9、特斯拉引領打開自動駕駛天花板 10、BEV+Transformer大模型提供遠強于傳統(tǒng)自動駕駛算法的感知能力 12、占用網絡提供3D世界感知，形成通用障礙物識別能力 15、規(guī)控算法由基于規(guī)則邁向基于神經網，大模型開始嶄露頭角 16、人工智能逐步滲透進入規(guī)控算法 17、大模型賦能，車道線預測等復雜任務得以實現 18、端到端（感知決策一體化：大模型為自動駕駛徹底實現帶來希望 20、回歸自動駕駛第一性原理，端到端自動駕駛成為市場遠期共識 20、工業(yè)界已經開啟探索，邁向完全自動駕駛 20、大模型的思考，自動駕駛或許并非終點 21、數據端：大模型推動數據閉環(huán)和仿真落地 22、數據閉環(huán)：自動化運行，降本增效推升規(guī)模是關鍵 22、仿真：從提升效率到不可或缺 243、自動駕駛算法變革引領產業(yè)鏈變化 29、兵馬未動糧草先行，云端算力軍備競賽開啟 29、特斯拉自研算力平臺Dojo，2024年沖刺100EFlops算力 29、國內自動駕駛領先玩家亦積極布局，算力成為自駕競爭入場券” 30、自動駕駛芯片格局有望被重塑 31、Transformer大模型對芯片架構提出新的要求 31、芯片玩家開始著力加大產品對Transformer的適配度 32、自動駕駛產業(yè)加速成熟，配套公司全面受益 32、BEV+Transformer大模型的自動駕駛算法構建形式被市場廣為接受 32、受益標的 334、風險提示 34圖表目錄圖1：自動駕駛算法框架包含感知、預測、規(guī)劃、控制 5圖2：百度Apollo視覺算法模塊包含諸多視覺處理任務 5圖3：百度Apollo的算法中，預測模塊包含場景理解、評估、預測等環(huán)節(jié) 6圖4：規(guī)劃部分決定汽車將如何行動 6圖5：自動駕駛長尾問題出現概率較低 7圖6：毫末智行認為自動駕駛能力與數據量直接相關 7圖7：數據可顯著改善自動駕駛的CornerCase情況 7圖8：Cruise等公司采用高精度地圖+激光雷達解決方案 8圖9：無人駕駛出租車擁有先進的傳感器 8圖10：BEV視角更加直觀，便于規(guī)劃和決策駕駛路徑和行為 9圖Transformer可將多張2D圖像和傳感器信息融合并轉化為3D視角 10圖12：特斯拉采用九頭蛇”算法架構 10圖13：特斯拉開創(chuàng)性的采用Transformer來實現二維圖像到三維空間的轉換 圖14：特斯拉為感知部分加入時序信息已增強其記憶” 12圖15：利用Transformer實現視角轉換的效果顯著提升 13圖16：傳感器融合方式多種多樣，大體分為前融合和后融合兩類 14圖17：傳統(tǒng)算法做后融合拼接很容易出現誤檢或漏檢 14圖18：時序融合能大幅提高遮擋情況下的感知效果 15圖19：高精度地圖擁有詳細的地圖信息 15圖20：HDMAPnet等神經網絡可實現實時建圖 15圖21：特斯拉采用占用網絡處理數據 16圖22：占用網絡感知物體對空間網格的占據情況 16圖23：占用網絡亦可在機器人領域使用 16圖24：自動駕駛的目標：安全、舒適、效率 17圖25：復雜場景下基于規(guī)則的規(guī)控算法難以應對 17圖26：人工智能逐步在算法的各個環(huán)節(jié)中嶄露頭角 17圖27：特斯拉采用混合傳統(tǒng)優(yōu)化算法和神經網絡的規(guī)劃方案 18圖28：復雜路口的車道拓普結構識別難度較高 19圖29：車道線網絡是嫁接在感知網絡上的一個解碼器 19圖30：車道線網絡采用語言模型的形式判斷拓撲結構 19圖31：理想汽車采用NPN神經先驗網絡處理復雜路口 20圖32：NPN神經先驗網絡可更加穩(wěn)定的還原路口結構 20圖33：端到端的自動駕駛解決方案接收傳感器信息，直接輸出控制信號或策略 20圖34：UniAD實現端到端的自動駕駛模型構建 21圖35：的自動駕駛1.0架構采用模塊化部署 21圖36：的自動駕駛2.0架構采用端到端的算法 21圖37：嘗試讓人工智能描述自己的行駕駛行為 22圖38：GPT帶來了業(yè)界對自動駕駛算法構建的新思考 22圖39：特斯拉提出世界模型實現多種任務 22圖40：世界模型不僅可被用于汽車 22圖41：特斯拉數據引擎包含完整的數據閉環(huán)流程 23圖42：特斯拉標注工作逐步向自動標注演進 24圖43：虛幻引擎支持高精度仿真場景重建 24圖44：Carla平臺支持多種交通主體仿真 24圖45：場景庫豐富素材能夠滿足不同測試需求 25圖46：通過泛化能夠生成不同路況的仿真場景 25圖47：自動駕駛仿真架構包含三維場景重建、海量仿真場景庫和車輛動力學模型 25圖48：場景構建數據來源于三大方面，實現三個維度的目標 26圖49：DRIVESim場景編輯能力強大 27圖50：DRIVESim能夠滿足多傳感仿真的需求 27圖51：使用三代OVX搭建高性能數據中心 28圖52：DRIVESim能夠快速生成復雜的數據集 28圖53：51Sim-One實現數據驅動閉環(huán)云仿真 28圖54：云端并發(fā)仿真技術大大縮短測試時間 28圖55：DIL仿真測試水平業(yè)界領先 28圖56：51Sim-One操作界面貼近國內使用習慣 28圖57：自動標注和占用網絡訓練合計占據模型50% 29圖58：Dojo計算瓦為AI訓練而生 30圖59：ExaPOD超級計算機擁有1.1EFLOP算力 30圖60：特斯拉算力需求將迎來快速增長 30圖61：傳統(tǒng)卷積神經網絡所需要的計算和Transformer差別較大 31表1：2D視角到3D視角通采用四大類方式 12表2：仿真軟件產品眾多，產品特點不一 26表3：本土廠商積極布局算力構建 30表4：領先汽車芯片玩家開始著手加強對Transformer算法的適配 32表5：BEV+Transformer算法被業(yè)界廣泛采用 32表6：城市輔助駕駛迎來井噴 33表7：受益公司盈利預測與估值 331、自動駕駛——數據驅動下的算法迭代、自動駕駛算法是感知、預測、規(guī)劃、控制的結合體自動駕駛算法反應了工程師們根據人的思維模式，對自動駕駛所需處理過程的思考。通常包含感知、預測、規(guī)劃模塊，同時輔助一些地圖、定位等模塊，實現自動駕駛功能的落地。圖1：自動駕駛算法框架包含感知、預測、規(guī)劃、控制資料來源：Apollo開發(fā)者社區(qū)公眾號、研究所、感知：感知外部世界1（3）BEV（4Apollo2D3D部分通常采用全卷積神經網絡或者YOLO圖：百度Apollo資料來源：Apollo開放平臺預測模塊實際上是算法對外部環(huán)境和自車狀態(tài)的理解。預測模塊首先收集感知模塊輸入的車道線、障礙物、紅綠燈、地圖、定位等信息對主車的狀況進行判斷。RNN圖3：百度Apollo的算法中，預測模塊包含場景理解、評估、預測等環(huán)節(jié)資料來源：Apollo開發(fā)者社區(qū)公眾號、研究所、規(guī)劃：思考如何行動規(guī)劃指找到合理路徑來到達目的地。規(guī)劃通常分為全局路徑規(guī)劃、行為規(guī)劃與運動規(guī)劃幾個部分。其中，全局路徑規(guī)劃指智能汽車依靠地圖規(guī)劃出理想狀態(tài)下到達目的地的路徑。行為規(guī)劃則是主車在實際行駛的過程中，面臨實時的交通環(huán)境，做出的各類駕駛行為，如跟車、換道、避讓等。運動規(guī)劃生成與駕駛行為對應的駕駛軌跡，包含路徑規(guī)劃和速度規(guī)劃。最后再采用一些優(yōu)化方式讓變道加速等行為變得平順以滿足舒適性要求。算法層面，通常采用基于規(guī)則的規(guī)劃決策算法，前沿的玩家也開始引入機器學習等方式，以提升決策效能。圖4：規(guī)劃部分決定汽車將如何行動資料來源：《智能網聯汽車》、研究所、數據：算法的養(yǎng)料，現實與虛擬的交織算法、算力和數據是人工智能的三大要素，數據在模型訓練中擁有不可忽視的影響。Transformer2022AI14圖自動駕駛長尾問題現率較低 圖毫末智行認為自動駛力與數據量直接相關資料來源：紐勱科技公眾號 資料來源：毫末智行公眾號CornerCase1.4經網絡便理解了這輛車里面沒有司機，將其判別為永久停車。圖7：數據可顯著改善自動駕駛的CornerCase情況資料來源：特斯拉官網2、大模型橫空出世，自動駕駛奇點來臨waymo+高精圖8：Cruise等公司采用高精地圖激光雷達解決案 圖無人駕駛出租車有先進的傳感器資料來源：Cruise官網 資料來源：太平洋汽車高昂的單車成本和高精度地圖成為自動駕駛大規(guī)模推廣瓶頸。Robotaxi20（量產落地過程中，高精度地圖面臨：采集成本對象也僅局限在商用車領域。市場亟待出現一種單車性能強大、成本低廉的自動駕、BEV+Transformer橫空出世，大模型推動自動駕駛邁向普及2021年特斯拉推出BEV+transformer、BEVBEVBird’s“上帝視角”的鳥瞰圖，同時加入時序信息，3D2D3D圖10：BEV視角更加直觀，便于規(guī)劃和決策駕駛路徑和行為資料來源：特斯拉AIDAY2021、研究所、大模型為構建BEV空間提供最優(yōu)解2021年特斯拉在AIDay上第一次將BEV+transformerBEV2D3D多次嘗試，特斯拉最終引入了TransformerTransformerTransformerTransformerCNNTransformerTransformer3DTransformerCNNTransformerCNN算力實現效果。因此業(yè)界通常會將CNN和Transformer圖11：Transformer可將多張2D圖像和傳感器信息融合并轉化為3D視角資料來源：《AttentionIsAllYouNeed》（AshishVaswani等）、《Safety-EnhancedAutonomousDrivingUsingInterpretableSensorFusionTransformer》（HaoShao等）、研究所RegnetBiFPN特征送入TransformerTransformer2D圖像特征到三維向量空間的轉換和多攝像頭特征系信息的融合，之后接入不同的“頭”如美實現數據驅動的感知算法。由于不同的“頭”之間采用了共享的特征提取網絡，圖12：特斯拉采用“九頭蛇”算法架構資料來源：特斯拉AIDAY2021、研究所特斯拉的BEV+Transformer算法中兩個環(huán)節(jié)尤為關鍵：（1）2D圖像到3D空間的轉換以及圖像融合：2D3DTransformer。具體而言，先構建一個想要輸出的三維的柵格空間，并對其進行位置編碼成為查詢向Que（eau，最終輸入到注意力機制中輸出想要的結果。類似于每個圖像中的特征都廣播自己是什么物體的一部分，而每個輸出空間的位置像素像拼圖一樣，尋找對應的特征，最終（QueryKey分別為Transformer）圖13：特斯拉開創(chuàng)性的采用Transformer來實現二維圖像到三維空間的轉換資料來源：特斯拉AIDAY2021（2（eaueQeue（（Spatial圖14：特斯拉為感知部分加入時序信息已增強其“記憶”資料來源：特斯拉AIDAY2021、研究所、BEV+Transformer改善2D-3D引入BEV+Transformer2D3DBEV2D3D2D-3D（）的幾何變換的IPM（）BEV之作LSSBEV2021TransformerBEVIPM（逆透視變換）將透視空間的特征反向映射到BEV空間。類似于小孔成像，通（IPM（逆透視變換）將透視空間的特征反向映射到BEV空間。類似于小孔成像，通（（在一定的條件下可以估算出環(huán)境的深度信息簡單易用需要基于地平線是完美平面的假設精度可靠性不佳企業(yè)名稱 示意圖 原理 優(yōu)點 缺點LSSLSS算法（Lift-Splat-shoot）將2D圖片特拖拽（it到 每個像素預精度相比相機的視錐體特征，即對每個像 了一系列的深IPM更高，可素點的不同距離的概率進行估 度概率，計使用數據驅計并在BEV視角上進“拍平” 量動（plat，實現轉換 精度有限MLP（多層感知機/神經網絡）通過MLP自行學習（多層感知機實現簡單，易性能相比/神經網絡）相機透視空間到BEV于在車端部Transformer空間的映射關系署系列天花板低企業(yè)名稱 示意圖 原理 優(yōu)點 缺點Transformer系列

通過交叉注意力機制（cross-attention，Transformer解碼器中的模塊）來實現圖像的空間變換

訓練難度高高資料來源：小鵬汽車官方公眾號、《PredictingSemanticMapRepresentationsfromImagesusingPyramidOccupancyNetworks》（ThomasRoddick等）、研究所圖15：利用Transformer實現視角轉換的效果顯著提升資料來源：特斯拉AIDAY2021、研究所B+nsoer（）6-8（前融合目標級融合（后融合：該方案是此前自動駕駛主流采用的方案，被廣泛應用于攝像頭之間、不同傳感器之間的信息融合。優(yōu)勢在于算法簡單、解耦性好即插即用。但也存在致命問題，由于融合前的處理損失了大量關鍵信息，影響感知精度，融合結果容易沖突或錯誤。此外后融合中的融合算法仍然基于規(guī)則，無法進行數據驅動，存在局限性。（中融合BEV+transformer圖16：傳感器融合方式多種多樣，大體分為前融合和后融合兩類資料來源：《智能網聯汽車》、研究所5成物體檢測，相當于“腦補”了看不到的部分，誤差較大拼接困難，經常會識別為BEV+Transformer圖17：傳統(tǒng)算法做后融合拼接很容易出現誤檢或漏檢資料來源：特斯拉AIDAY2021、研究所（注：輪子、油箱等特征為示意）BEV+transformer3D圖18：時序融合能大幅提高遮擋情況下的感知效果資料來源：特斯拉AIDAY2021、研究所BEV+Transformer圖19：高精度地圖擁有詳的圖信息 圖20：HDMAPnet等神經網絡實現實時建圖資料來源：HERE官網 資料來源《HDMapNet:AnOnlineHDMapConstructionandEvaluationFramework（QiLi等）、占用網絡提供3D世界感知，形成通用障礙物識別能力占用網絡構建通用障礙物感知體系，提升對未知物體感知效果。3D格流ner2DBEV+3DBEV+FSD10ms100FPS圖21：特斯拉采用占用網絡處理數據資料來源：特斯拉AIDAY2022（1）其改變了神經網絡算法先“認識”才能“識別”的特Cornercase（2）（3）對特斯拉來說，通用障礙物感知能力可以復用到其他產品如機器人上，形成了統(tǒng)一的算法框架。圖22：占用網絡感知物體空網格的占據情況 圖23：占用網絡亦可在機人域使用資料來源：特斯拉AI2022 資料來源：特斯拉AI20223D、規(guī)控算法由基于規(guī)則邁向基于神經網，大模型開始嶄露頭角發(fā)力安全性、舒適性和效率，規(guī)控算法成為當前頭部玩家主攻方向。人能夠基于非常有限的感知信息完美實現駕駛行為，很大程度因為人類擁有強大的“規(guī)控”能力。對自動駕駛而言，采取一種讓安全性、舒適性和效率都達到最大化的駕駛策略無疑是各大廠商不懈追求的目標。而該環(huán)節(jié)也直接決定了自動駕駛功能的消費者體驗，目前頭部玩家已經將主攻方向轉移到規(guī)控算法領域。圖24：自動駕駛的目標：安全、舒適、效率資料來源：特斯拉AIDAY2021干道、強交互（如多個物體在同一場環(huán)境下決策會相互影響，存在一定博弈性、強主觀（如駕駛員的駕駛風格，很難用有限標準量化表示）于規(guī)則的系統(tǒng)需要不斷補充新的規(guī)則以實現對各類環(huán)境的良好應付，日積月累代碼量龐大，占用算力資源，且不易維護。因此依靠數據驅動的基于人工智能的規(guī)控算法日益走向臺前。面對復雜的外部環(huán)境，人工智能模型能夠更加平滑的以“類人”圖25：復雜場景下基于規(guī)的控算法難以應對 圖26：人工智能逐步在算的個環(huán)節(jié)中嶄露頭角資料來源：車右智能公眾號 資料來源：智能車情報局公眾號法的主流。小鵬汽車自動駕駛負責人吳新宙曾表示，基于大數據和深度學習的算法控算法有諸多優(yōu)勢，但目前如訓練過程中數據的清洗、一致性；面向一些小場景特定的算法調整；可解釋性差等問題仍客觀存在。因此諸多玩家目前仍采用以人工智能和基于規(guī)則結合的方式來部署規(guī)控算法，制定一些規(guī)則來對人工智能產生的行為進行兜底，實現較好的規(guī)控效果，未來隨著人工智能能力的提升，規(guī)控算法人工智能化已經成為大勢所趨。交互搜索+1（2）軌跡規(guī)劃：通過傳統(tǒng)搜索和神經網絡的方式同步構建抵達3接管可能性和與人的相似程度等對生成的軌跡打分，決定走哪條路線?；谶@種方圖27：特斯拉采用混合傳統(tǒng)優(yōu)化算法和神經網絡的規(guī)劃方案資料來源：特斯拉AIDAY2022、研究所復雜道路的車道拓普結構識別難度較高。自動駕駛車輛在行駛過程中需要明確自車的道路情況和車道線拓撲情況，以此來決定如何規(guī)劃自己的行駛軌跡。但當車道線模糊，或者十字路口等場景下，需要算法自己計算出車道線情況，來指導自身的自動駕駛行為。我們看到一些玩家針對這樣的場景做出了優(yōu)化，來完美應對各類突發(fā)情況，產業(yè)算法不斷進化和成熟。圖28：復雜路口的車道拓普結構識別難度較高資料來源：特斯拉AIDAY2022特斯拉采用訓練語言模型的形式來訓練車道線網絡模型。嫁接在感知網絡上的一個anoercode中間點等、分叉點、交叉點等進行編碼，形成類似語言模型中單詞的屬性，輸入Transformer圖29：車道線網絡是嫁接感網絡上的一個解碼器 圖30：車道線網絡采用語模的形式判斷拓撲結構資料來源：特斯拉AI2022 資料來源：特斯拉AI2022理想汽車在理想家庭日上也展示了其用于增強路口性能的算法NPN神經先驗網絡。為了解決大模型在十字路口不穩(wěn)定的問題，對復雜路口，提前進行路口的特征提取和存儲，當車輛再次行駛到路口時刻，將過去提取好的特征和BEV感知大模型融合，形成更加完美的感知結果。圖31：理想汽車采用NPN神經驗網絡處理復雜路口 圖32：NPN神經先驗網絡可穩(wěn)定的還原路口結構資料來源：理想汽車官網 資料來源：理想汽車官網、端到端（感知決策一體化：大模型為自動駕駛徹底實現帶來希望模塊化的自動駕駛算法設計存在諸多問題。前述文章中提到的感知、預測、規(guī)端到端自動駕駛解決方案回歸自動駕駛第一性原理。到端的自動駕駛算法形式，即設計一個算法模型，直接輸入傳感器感知的信息，輸（1）的第一性原理：即無論感知、規(guī)劃、決策模塊如何設計，最終是為了實現更好的自動駕駛效果，因此現有的方法聚焦單獨某個模塊的優(yōu)化，對整體的效果提升未必有（3）資料來源：研究所目前全球無論學術界還是工業(yè)界均對該方案進行了不懈探索。如英偉達2016年即提出端到端的自動駕駛解決方案，而Uber更多次發(fā)相關的論文探索有關算法。最CVPR2023OpenDriveLabTransformer圖34：UniAD實現端到端的自動駕駛模型構建資料來源：清華大學智能產業(yè)研究院公眾號“自己看世界”FSDV12圖的自動駕駛1.0架構采用模塊化部署 圖的自動駕駛2.0架構采用端到端的算法資料來源：科創(chuàng)板日報公眾號 資料來源：科創(chuàng)板日報公眾號但機器則需要海量的數據和訓練?？赡艿脑蛟谟谌祟愒趯W習駕駛之前就已經充分對整個世界有了全面的認知，并可以將這些認識泛化到各類場景下。如在學校附近應該減速、遇到老人應當小心等，面對形狀怪異的紅綠燈人類幾乎不加思考就可理解其想表達的意思。通識知識，強泛化能力可以對自動駕駛行為產生重大幫助。GPT駛模型和自然語言結合，讓自動駕駛模型能夠描述自己的行為，進而增強模型的性量駕駛場景編碼成語料，投喂給模型進行無監(jiān)督學習，接著再加入人類反饋強化學習幫助其掌握駕駛員的行為，進而讓模型擁有接近人的自動駕駛能力。大語言模型圖嘗試讓人工智能述自己的行駕駛行為 圖38：GPT帶來了業(yè)界對自駛算法構建的新思考資料來源官網 資料來源：HiEV視頻號世界模型浮上水面，面向通用場景，解決通用問題。在最新的CVPR2023會議上，特斯拉提出了世界模型，即構建一個模型，可觀察所有需要觀察的事物，并將其轉化為向量空間，鏈接各類豐富的下游任務。該模型不止用于汽車，還可用于機器人等等嵌入式人工智能場景。通過該模型可預測未來、構建仿真場景，通過語言提示，讓它生成各類場景如直行、向右變道等。圖39：特斯拉提出世界模實多種任務 圖40：世界模型不僅可被于車資料來源CVPR2023資料來源CVPR2023、數據端：大模型推動數據閉環(huán)和仿真落地神經網絡只決定了算法的上限，而是否能讓神經網絡發(fā)揮其效能，數據起到了決定性的作用，因此如何尋找純凈且多樣化的海量數據集相比算法而言同等重要。完整的數據閉環(huán)系統(tǒng)，通經常包含數據采集、數據挖掘、數據標注、模型訓練等環(huán)節(jié)。4k8003GB40G19Tb數據采集：通常自動駕駛算法會采取一定的觸發(fā)（Trigger）2022AI221數據清洗挖掘：數據標注：2D圖41：特斯拉數據引擎包含完整的數據閉環(huán)流程資料來源：特斯拉AIDAY2022、研究所數據閉環(huán)收益顯著但成本不可忽視，降本增效是關鍵。數據標注方面，AI2D8現自動標注，大幅提升標注效率。此外特斯拉通過多車輛聯合優(yōu)化等方式來提升標注的精確度，起到了良好的效果。行業(yè)其他玩家亦開發(fā)自動標注工具以降本增效，17200個人年才能完成的標注任務。數據閉環(huán)方面，特斯拉、小鵬、理想汽車均提到了各自的自動化數據閉環(huán)體系，能夠全自動完成數據的采集、挖掘、標注、存儲等環(huán)節(jié)，大大提升模型的訓練和迭代效率。圖42：特斯拉標注工作逐步向自動標注演進資料來源：特斯拉AIDAY2022仿真是自動駕駛系統(tǒng)構建不可或缺的環(huán)節(jié)。：理論上完美的仿真能夠取代實車測試，進而以較低成本達到安全測試效果，縮短自動駕駛算法研發(fā)周期，是自動駕駛開發(fā)迭代的重要環(huán)節(jié)。圖43：虛幻引擎支持高精仿場景重建 圖44：Carla平臺支持多種交主體仿真資料來源：UnrealOpenDay2020 資料來源：Carla官網圖45：場景庫豐富素材能滿不同測試需求 圖46：通過泛化能夠生成同況的仿真場景資料來源：51sim、研究所 資料來源：51sim、研究所不同的算法對仿真環(huán)境的構建提出不同要求。算法需要引入精準的車輛動力學模型。虛擬場景構建方面，（真方面，包含攝像頭仿真（引擎來構建，如百度阿波羅采用Unity3D其中包含車體、懸架系統(tǒng)、轉向系統(tǒng)、制動系統(tǒng)、動力系統(tǒng)、傳動系統(tǒng)等多個真實圖47：自動駕駛仿真架構包含三維場景重建、海量仿真場景庫和車輛動力學模型資料來源：《中國自動駕駛仿真藍皮書》、51World官網、研究所符合邏輯規(guī)律，以實現更好的仿真效果。圖48：場景構建數據來源于三大方面，實現三個維度的目標資料來源：《中國自動駕駛仿真藍皮書》、51World官網、研究所自動駕駛仿真平臺市場競爭激烈，促使平臺仿真性能提升。企業(yè)名稱 仿真軟件 應用特點快速成長。表2：仿真軟件產品眾多，產品特點不一企業(yè)名稱 仿真軟件 應用特點傳統(tǒng)仿真軟件企業(yè)

MathWorksSimulationIPG

MATLABSIMULINKCarSimCarMaker

實現系統(tǒng)建模、感知算法、路徑規(guī)劃算法、數學分析SIL、MIL、HIL、DIL10種車型的數據集，安裝方便易操作CarMaker：支持車輛動力學仿真，車輛參數任意設定TruckMaker：可應用于卡車及大型客車的動力學仿真PTV PTVVissimMSC

AdamsVTD

Adams：多體動力學仿真，可分析車輛系統(tǒng)性能VTDADAS支持Simulink、RSIM、NI等多種仿真平臺，可構建復雜的3D道路模型，傳感器仿真TESIS

數量無限制，具備自動測試并生成測試報告功能仿真軟件初

PanoSim PanoSim 支持場景、車輛、傳感器編輯，可進行道路、交通、天氣、光照等環(huán)境仿真51WORLD 51Sim-One OpenX標準格式動靜態(tài)場景創(chuàng)企業(yè)

TassInternational

PreScan

支持ADAS仿真，環(huán)境仿真以及MIL、SIL、HIL仿真，可用于設計和評估V2X、V2I等通信應用RightHook RightHook 的模擬Cognata Cognata Metamoto 微軟 AirSim

(SimulationasaService)，通過測試邊緣場景增加系統(tǒng)可靠性擬英偉達 DRIVESim基于Omniverse平臺，使用神經重建引擎，具有完整仿真工具鏈與強大的拓展性游戲技術和真實數據雙擎驅動，內置高精度地圖，支持云端運行與完整的MIL、SIL、科技公司

騰訊

HIL等仿真百度 Apollo-AADS基于Unity引擎的虛擬仿真環(huán)境，為端到端的自動駕駛提供仿真工作自動駕駛云服務，具有豐富的仿真場景，高并發(fā)實例處理能力，每日虛擬測試里程可超華為 Octopus混合式仿真

過500萬公里使用真實路測數據自動生成仿真場景，還可通過人為隨機干預，實時模擬加大避障訓練阿里巴巴

測試平臺 難度資料來源：《2022中國自動駕駛仿真藍皮書》、英偉達官網、研究所DRIVEDRIVESimDRIVESim”圖49：DRIVESim場景編輯能強大 圖50：DRIVESim能夠滿足多感仿真的需求資料來源：英偉達官網 資料來源：英偉達官網DRIVESimDRIVESimOmniverseOVX顆DRIVESim（ERAI開發(fā)者可在仿真環(huán)境中修改場景、添加合成對象，并應用隨機化技術，大大增加真（2）NVIDIAOmniverseKitSDK，DRIVESim3DDRIVEReplicatorDNN。DRIVESim圖51：使用三代OVX搭建高能數據中心 圖52：DRIVESim能夠快速生復雜的數據集資料來源：英偉達官網 資料來源：英偉達官網51Sim-One：本土仿真系統(tǒng)助力中國自動駕駛量產落地。Sim-One是51World（1）場景方面，Sim-One具有豐富的場景生成方式，（2）平臺方面，Sim-One具有豐富的功能，包括靜態(tài)和動態(tài)數據導入、測試場景案例編輯、各類仿真、測試與回放、虛擬數據集生成以及各類在環(huán)測試；Sim-One基于原生云架構仿真平臺，支持大規(guī)模并發(fā)仿真（3）評價方面，Sim-One具備豐富的指標庫可供用戶自行選擇進行評價，涵蓋安全性、違規(guī)性、舒適性、高效性、經濟能耗性、控圖53：51Sim-One實現數據驅閉環(huán)云仿真 圖54：云端并發(fā)仿真技術大短測試時間資料來源：51Sim官網 資料來源：51Sim官網圖55：DIL仿真測試水平界先 圖56：51Sim-One操作界面貼國內使用習慣資料來源：51Sim官網 資料來源：51Sim官網AIAIAgentAIAIAIAIAI3、自動駕駛算法變革引領產業(yè)鏈變化、兵馬未動糧草先行，云端算力軍備競賽開啟2024100EFlops、特斯拉自研算力平臺Dojo，2024年沖刺100EFlops算力2021AI2501002021年AI1年AI上這一1.450%圖57：自動標注和占用網絡訓練合計占據模型50%資料來源：特斯拉AIDAY2022自研D1芯片和Dojo年起特斯拉開始自研D1人工智能芯片和Dojo25D1芯片封裝成Dojo120個訓練模塊結合Dojo接口處理器等組件融合形成Dojo10機柜的DojoExaPOD1.1EFlops圖58：Dojo計算瓦為AI訓練而生 圖59：ExaPOD超級計算機有1.1EFLOP算力資料來源：特斯拉AI2022 資料來源：特斯拉AI2021AI2024110A100GPU202410100EFlops30圖60：特斯拉算力需求將迎來快速增長資料來源：IDC圈公眾號2022年86PP·670PFLOPS20231月吉2023公司名稱 地點 算力（PFLOPS） 內容表公司名稱 地點 算力（PFLOPS） 內容小鵬汽車烏蘭察布小鵬汽車烏蘭察布600升自動駕駛訓練效率理想汽車山西1200 2023年與火山引擎合作建立自由的智算中心。公司名稱 地點 算力（公司名稱 地點 算力（PFLOPS） 內容毫末智行 670吉利汽車 湖州 81

2023年與火山引擎聯合推出雪湖·綠洲智算中心，支撐毫末智行模型訓練、仿真、自動化標注等需求，基于對算力的優(yōu)化，大幅提升產品迭代速率2023年與阿里云合作建立星睿智算中心，承載智能網聯、智能駕駛、新能源安全等算力需求，預計到2025年算力擴充至1200PFLOPS資料來源：CDCC公眾號、IDC圈公眾號、研究所、自動駕駛芯片格局有望被重塑、大模型對芯片架構提出新的要求Transformer大模型對芯片架構提出新的要求。芯片架構決定著算法運行效率，近年隨著Transformer算法風靡AI界，特斯拉引領下，Transformer在自動自動駕駛行業(yè)行業(yè)被廣泛使用，芯片對Transformer適配性將影響未來芯片的競爭格局。與傳統(tǒng)卷積神經網絡（CNN）架構相比，Transformer算法擁有顯著的不同：Transformer（int88FP1616bitanoerTransformerAITransformer圖61：傳統(tǒng)卷積神經網絡所需要的計算和Transformer差別較大資料來源：機器之心公眾號、《AttentionIsAllYouNeed》（AshishVaswani等）、研究所的適配度Transformer能夠良好適配Transformer公司名稱 地點 內容表4：領先汽車芯片玩家開始著手加強對Transformer算法的適配公司名稱 地點 內容Thor 征程5 地平

Transformer位浮點整型TransformerHopperGPU打造的車載產品。Swin-TransformerTransformer和大規(guī)模交互式博弈優(yōu)化。C1200 黑芝麻 BEV模型可部署于C1200芯片上，同時也可部署在A1000芯片上資料來源：英偉達官方公眾號、地平線官方公眾號、黑芝麻智能官方公眾號、研究所、自動駕駛產業(yè)加速成熟，配套公司全面受益、BEV+TransformerBEV+TransformerNOA和城市NOA品牌名稱 類型 進展表5：BEV+Transformer算法被業(yè)界廣泛采用品牌名稱 類型 進展小鵬 理想

2021TransformerBEVXnet；可以不依賴高精度地圖，覆蓋范圍進一步擴大。Transformer大模型+BEVTIN網絡與識別NPNNOA。上汽智己 M 201年布局rnorr模型和時序B（俯視圖23年發(fā)布rnorr架構的..人工智能模型。長城魏牌 OEM 采用毫末智行自研BEVTransfomer重感知輕地圖算法，用于解決城市路況的各種挑戰(zhàn)。賽力斯問界 OEM 搭載華為ADS2.0方案，已搭載基于Transformer的BEV架構與GOD網絡。感知模型的開發(fā)已經實現100%數據驅動，并研發(fā)了擁有多相機的BEV模型，計劃年內做到量產；決策規(guī)比亞迪

劃大模型將采用Transformer架構。蔚來 OEM 2021年開始搭建BEV+Transformer的技術架構；BEV+Transformer模型將于2023年6月下旬向用戶推送。HUAWEIADS1.0已實現基于Transformer的BEV架構；HUAWEIADS2.0在融合BEV感知能力基礎上，華為 Tier1毫末智行 Tier1紐勱科技 Tier1

使用GOD網絡，實現更為精確的多模態(tài)感知與車身控制。在MANA感知架構中，毫末智行采用了BEV融合感知（視覺Camera+Lidar）技術，利用自研的Transformer算法，實現對純視覺信息的BEV轉化以及即跨模態(tài)rawdata的融合。MaxDriveBEVTransformer智駕科技 Tier1 MAXIPILOT?2.0-Pro與MAXIPILOT?3.0-M