2023中國智駕大模型應用報告

2023中國智駕大模型應用研究報告目錄CONTENTS

智駕大模型發(fā)展綜述01大模型技術發(fā)展歷程01大模型適合應用智駕產(chǎn)業(yè)原因挖掘如何定義智駕大模型02智駕大模型在云邊端一體化的技術應用探索02智駕大模型技術應用總覽智駕大模型產(chǎn)業(yè)應用探索03智駕大模型產(chǎn)業(yè)布局情況分析03產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜典型玩家布局情況分析04智駕大模型面臨挑戰(zhàn)與發(fā)展建議04智駕大模型面臨的挑戰(zhàn)智駕大模型未來發(fā)展建議目錄CONTENTS

智駕大模型在云邊端一體化的技術應用探索01 智駕大模型發(fā)展綜述大模型技術發(fā)展歷程01 智駕大模型發(fā)展綜述大模型技術發(fā)展歷程大模型適合應用智駕產(chǎn)業(yè)原因挖掘如何定義智駕大模型02智駕大模型產(chǎn)業(yè)應用探索03智駕大模型產(chǎn)業(yè)布局情況分析03產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜典型玩家布局情況分析04智駕大模型面臨挑戰(zhàn)與發(fā)展建議04智駕大模型面臨的挑戰(zhàn)智駕大模型未來發(fā)展建議數(shù)據(jù)來源：億歐智庫數(shù)據(jù)來源：億歐智庫1.1應運而生，促進2023年智駕相關大模型開始涌現(xiàn)19501998型發(fā)展的基礎。2006年-2019年，以Transformer為代表的卷積神經(jīng)網(wǎng)絡模型開始出現(xiàn)，模型的性能開始加速上升。2020年之后，卷積神經(jīng)網(wǎng)絡模型的參數(shù)量或模型層數(shù)急劇上升，多個通用類模型出現(xiàn)，其中，以GPT-4為主的多模態(tài)預訓練大模型引起了廣泛的關注。20212023DriveGPT等。性能語言類大模型CV類大模型語言類大模型CV類大模型智駕相關大模型阿里巴巴M6華為GoogleSwitchtransformer導入期OpenAIGPT4Google百度UniSimNVDIAMT-NLGOpenAI開發(fā)期微軟GoogleT5毫末DriveGPTUniADOpenAIGPT2BEV+TransformerThinkTwiceGANGoogle Bert微軟OpenAIDALL-E2et-5 基于規(guī)則的少量數(shù)據(jù)處理

億歐智庫：大模型發(fā)展歷程

成長期1950

1998

2006

2014

2018

2019 2020 2021 2022 2023 時間1.2.1數(shù)據(jù)端：基于的融合架構，可使大規(guī)模多模態(tài)數(shù)據(jù)更好地融合（（于提高整體感知融合精度。億歐智庫：多傳感器的融合趨勢變化 億歐智庫：基于架構的特征級感知融合方案優(yōu)勢目標級融合/后融合 目標級融合/后融合 激光雷達 毫米波雷達 攝像頭 達 毫米波雷達 輪速計 IMU

視覺算法 點云算法 毫米波雷達感知算法毫米波雷達感知算法數(shù)據(jù)同步（時間、空間同步）數(shù)據(jù)級融合數(shù)據(jù)同步（時間、空間同步）數(shù)據(jù)級融合

輪速計

IMU

目標級融合（后融合）劣勢：關鍵信息容易丟失、整體融合精度低雖然方案整體的算法開發(fā)難度較低，但有效信息容易缺失，易引起感知系統(tǒng)誤報、漏報等問題。數(shù)據(jù)級融合（前融合）優(yōu)勢：關鍵信息不易丟失、融合效果好誤差大特征級融合（中融合）

可能是卡車，體積3X3X3可能是卡車，體積3X3X2可能是卡車，體積3X3X7自車可能是卡車，體積3X3X3可能是卡車，體積3X3X2可能是卡車，體積3X3X7自車可能是卡車，體積2X3X7無法判斷

卡爾曼濾波基于規(guī)則的算法識別難度大，融識別難度大，融合復雜且低效目標級融合（后融合）車輪、油箱、煙囪、窗戶等車輪、油箱、煙囪、窗戶等車輪、油箱、煙囪、窗戶等車輪、油箱、煙囪、窗戶等窗戶、車身、挖掘機等自車車身、輪子等車身、輪子等融合效果好，容融合效果好，容易識別目標物特征級融合（中融合）結果匯總目標識別 頭 結果匯總目標識別 激光雷達 毫米波雷達 輪速計 IMUIMU

特征提取 特征提取 特征提取 特征提取 特征提取

之間融合效果較好匯總識別特征級融合劣勢：算力消耗大、不同模態(tài)間語義差異較大匯總識別特征級融合取后，再進行融合，其是目前架構下，較常用的一種融合方式。

特斯拉在2021年的AIDAY上，展示過一個大型卡車路過自車的場景，在某個時刻卡車同時出現(xiàn)在5個攝像頭（共8顆攝像頭）中，但是每個攝像頭可能只露出了卡車部分車體。對于傳統(tǒng)規(guī)則算法（比如卡爾曼濾波），再將檢測結果進行融合，但該方法只識別出了部分卡車車體特征，仍需要對看不到的部分進行拼接，最終可能使得模型感知結果的誤差較大。遮擋區(qū)域的目標，提高識別與融合精度。數(shù)據(jù)來源：公開資料、億歐智庫數(shù)據(jù)來源：公開資料、億歐智庫如何降本增效如何降本增效cornercase億歐智庫：自動駕駛在數(shù)據(jù)處理中面臨的痛點低效率低效率?高價值數(shù)據(jù)的比例低高價值數(shù)據(jù)通常指的是cornercase（即長尾場景數(shù)據(jù)），隨著L2級以上的自動駕駛功能不斷演進，越來越多的cornercase會被挖掘出來，從而轉換為commoncase。但是，通過采集車收集回來的數(shù)據(jù)，由于數(shù)據(jù)量有限，使得cornercase的比例會越來越低。?各類型數(shù)據(jù)的需求同步難?數(shù)據(jù)處理的自動化程度低高成本?地圖數(shù)據(jù)采集成本高：在無圖技術仍未成熟下，無論是重圖方案還是輕圖方案，量產(chǎn)車的定位仍然需要高精地圖或?qū)Ш降貓D的支持。據(jù)公開資料顯示，地圖精度達到10厘米級別時，每公里測量成本為元，而精度達到1厘米級別時，每公里的測量成本則飆升至1000元。?數(shù)據(jù)標注成本高：5元/張，而自動駕駛所需的數(shù)據(jù)體量約幾十億張，可見數(shù)據(jù)標注的成本非常高。?數(shù)據(jù)存儲成本高：Robotaxi單臺車每天產(chǎn)生4000GB數(shù)據(jù)量，按照亞馬遜的收費標準來看，存儲一年的成本約35萬美元（折合人民幣約244萬元）。億歐智庫：數(shù)據(jù)閉環(huán)為主機廠帶來的降本增效優(yōu)勢處理/采樣/篩檢專業(yè)測試車輛數(shù)據(jù)生成輸入/快遞/存儲處理/采樣/篩檢專業(yè)測試車輛數(shù)據(jù)生成輸入/快遞/存儲...訓練控制邏輯驗證場景編輯結果生成/分析標注、大模型應用重復（下一步）模擬/存儲軟件仿真模擬社會化量產(chǎn)車輛壓縮/加密/轉換OTA升級優(yōu)化車端模型部署仿真測試模型訓練數(shù)據(jù)標注應用部署數(shù)據(jù)采集?降本減少車端無效數(shù)據(jù)的采集制定合理的數(shù)據(jù)存儲方案?增效優(yōu)化車端采集數(shù)據(jù)的邏輯強化模型的訓練和部署能力優(yōu)化工具鏈數(shù)據(jù)來源：朱西產(chǎn)教授公開演講、億歐智庫；ODD：OperationalDesignDomain（運行設計域）數(shù)據(jù)來源：朱西產(chǎn)教授公開演講、億歐智庫；ODD：OperationalDesignDomain（運行設計域）L2L3L3感知挑戰(zhàn)基于規(guī)則的算法模型識別與融合精度低感知挑戰(zhàn)基于規(guī)則的算法模型識別與融合精度低ODD范圍擴大基于的算法模型提取多模態(tài)數(shù)據(jù)特征，增加融合精度建立3D鳥瞰圖空間，增強拓撲信息增加時序信息，提升未知物體感知效果定位挑戰(zhàn)有圖方案地圖采集成本高地圖更新頻率慢、鮮度低合規(guī)要求高去高精地圖輕圖&無圖實時建立局部拓撲地圖采用SDMap或者眾包地圖+L0~L2：用戶期待<系統(tǒng)能力，系統(tǒng)被認為是安全的L3+L0~L2：用戶期待<系統(tǒng)能力，系統(tǒng)被認為是安全的L3L4~L5：用戶期待=系統(tǒng)能力，系統(tǒng)被認為是安全的L5L4人的接受程度（安全感）恐怖谷L2L0L1自動駕駛能力提升L3-用戶期待<系統(tǒng)能力安全用戶期待>系統(tǒng)能力 用戶期待=系統(tǒng)能不安全 安全L3本從人轉移到車端，系統(tǒng)需要具備處理更復雜的極端場景能力L3本從人轉移到車端，系統(tǒng)需要具備處理更復雜的極端場景能力駕駛員駕駛工作駕駛操作和周邊監(jiān)控突發(fā)情況的冗余安全更復雜的交通規(guī)則：線、環(huán)島等更高要求的地圖覆蓋率：動態(tài)道路信息

的關鍵，是的理解，處理能力數(shù)據(jù)來源：專家訪談、億歐智庫數(shù)據(jù)來源：專家訪談、億歐智庫研專家E：全與其它垂域模型是不相同的。 研專家E：全與其它垂域模型是不相同的。 專家D：自動駕駛大模型是在云端部署文本單模態(tài)通用大型語言模型或多模態(tài)通用類語言大模型，在邊緣端部署垂域BEV多模態(tài)大模型，最后在移動端實現(xiàn)局部自主。ChatGPT產(chǎn) 專家A： 專家B：當一個模型在多模態(tài)預訓練領域有一定突破 自動駕駛大模型一方面需要模型后，它既能處理文字信息，也能處理圖片信 參數(shù)量達到至少10B到100B的息，同時也能對一些自動駕駛模型做出一點 規(guī)模，另一方面預訓練數(shù)據(jù)需要微調(diào)，這類模型可以稱之為自動駕駛大模型。 達到500萬至1000萬幀的圖像專家C：個任務，最終形成一個基于Transformer網(wǎng)絡架構的端到端的模型。部署難度高：產(chǎn) 專家A： 專家B：當一個模型在多模態(tài)預訓練領域有一定突破 自動駕駛大模型一方面需要模型后，它既能處理文字信息，也能處理圖片信 參數(shù)量達到至少10B到100B的息，同時也能對一些自動駕駛模型做出一點 規(guī)模，另一方面預訓練數(shù)據(jù)需要微調(diào)，這類模型可以稱之為自動駕駛大模型。 達到500萬至1000萬幀的圖像專家C：個任務，最終形成一個基于Transformer網(wǎng)絡架構的端到端的模型。部署難度高：劃等。數(shù)據(jù)維度廣：語音等多模態(tài)數(shù)據(jù)，相比于語言類NLP模型（僅針對文本數(shù)據(jù)為主），型能夠有一定自我認知能力。模型設計復雜：自動駕駛大模型兼具了通用類大模型自上而下的學習方式，會解決不同類型系統(tǒng)任務。同時，在車端橫向上需要采用端到端的學習方式，將各子任務統(tǒng)一到一個框架內(nèi)，實現(xiàn)更好的自動駕駛算法效果。多模態(tài)輸入：確性。自監(jiān)督學習：幅減少對標注數(shù)據(jù)的依賴。端到端學習范式：個模塊之間的信息傳遞和集成問題。大規(guī)模參數(shù)：力和泛化能力。智駕大模型與通用類大模型的差異智駕大模型的特征從產(chǎn)學研角度的不同定義數(shù)據(jù)來源：億歐智庫數(shù)據(jù)來源：億歐智庫仿真建模等工作。在邊端，通過垂域的模型來完成多模態(tài)數(shù)據(jù)融合和實時建圖工作。在車端，主要是先利用云端已預處理并標注的真值數(shù)據(jù)和仿真生成的數(shù)據(jù)來訓練和優(yōu)化邊緣端垂域模型，然后投喂給車端的小模型。億歐智庫：大模型賦能智駕系統(tǒng)的流程 億歐智庫：基于端到端的自動駕駛大模型傳感器感知預測規(guī)劃傳感器感知預測規(guī)劃控制提升算法性能大模型數(shù)據(jù)挖掘自動標注生成仿真環(huán)境采集評估仿真訓練數(shù)據(jù)生成車端邊端云端端到端自動駕駛實時建圖規(guī)劃控制3D感知融合感知預測傳感器端到端自動駕駛模型控制端到端方案：模塊化方案帶來的問題：模塊化方案帶來的問題：端到端方案優(yōu)勢：01智駕大模型發(fā)展綜述01大模型技術發(fā)展歷程大模型適合應用智駕產(chǎn)業(yè)原因挖掘02 02 智駕大模型技術應用總覽智駕大模型產(chǎn)業(yè)應用探索目錄CONTENTS

智駕大模型產(chǎn)業(yè)布局情況分析03產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜03典型玩家布局情況分析04智駕大模型面臨挑戰(zhàn)與發(fā)展建議04智駕大模型面臨的挑戰(zhàn)智駕大模型未來發(fā)展建議數(shù)據(jù)來源：億歐智庫數(shù)據(jù)來源：億歐智庫注、模型訓練、仿真測試組成了云端的主要基礎功能；在平臺架構層，由云服務器支持四個主要的平臺工具鏈。2D3D3D識別檢測；在基礎功能層，分別通過3DBEV架構下的特征提取后，來實現(xiàn)建圖和識別檢測功能；在平臺架構層，BEV技術可以提供全局視角的環(huán)境感知，有助于提高自動駕駛系統(tǒng)在復雜場景下的表現(xiàn)，而Transformer作為基于自注意力機制的深度學習模型，提高了自動駕駛的系統(tǒng)性能。億歐智庫：智駕大模型云邊端一體化的技術解決方案總覽云端 邊端 車端實時局部建圖多模態(tài)輸入應用層多模態(tài)輸入基 數(shù)

文本語音圖像視頻通用類大模型數(shù)據(jù)解析與清洗 數(shù)通用類大模型

云磁盤存儲

多模態(tài)數(shù)據(jù)多模態(tài)輸出垂域智駕大模型多模態(tài)輸出剪枝/量

AIGC

2D->3D實時局部建圖圖像特征提取實時局部建圖圖像特征提取空間映射外參轉換要素檢測拓撲地圖構建圖像特征提取3圖像特征提取

感知算法 定位 決策規(guī)劃算法 感知算法定位決策規(guī)劃算法控制算法端到端的感知決策一體化模型視覺算法全局路徑規(guī)劃視覺算法全局路徑規(guī)劃礎 數(shù) 處功據(jù)功管能 理 數(shù)據(jù)層 傳輸云服務器標注工具平臺平臺架構層云服務器標注工具平臺

時間同步、抽幀 存脫敏脫密/匿名化通過4G/5G上傳 數(shù)標通過充電樁/換電設備模型評測平臺訓練工具平臺WiFi/藍牙上傳模型評測平臺訓練工具平臺

對象存儲動態(tài)標注靜態(tài)標注車聯(lián)網(wǎng)中間件SoC芯片BEV架構仿真工具平臺通用障礙物標注車聯(lián)網(wǎng)中間件SoC芯片BEV架構仿真工具平臺

模 餾型 模型微調(diào)訓練 模型測評價

仿 NeRF真 仿真模型測試 仿真場景場景測試

D BEV下的特征級融合BEV下的特征級融合行為決策點云算法決策規(guī)劃模塊運動規(guī)劃雷達算法感知模塊識BEV下的特征級融合行為決策點云算法決策規(guī)劃模塊運動規(guī)劃雷達算法感知模塊動態(tài)/靜態(tài)BEV網(wǎng)絡SD地圖控制模塊橫向控制定位模塊別 動態(tài)/靜態(tài)BEV動態(tài)/靜態(tài)BEV網(wǎng)絡SD地圖控制模塊橫向控制定位模塊檢占用模型Occupancy融合定位縱向控制測 占用模型Occupancy占用模型Occupancy融合定位縱向控制Transformer模型架構 感知系統(tǒng)定位系統(tǒng)決策規(guī)劃系統(tǒng)控制系統(tǒng)Transformer模型架構感知系統(tǒng)定位系統(tǒng)決策規(guī)劃系統(tǒng)控制系統(tǒng)數(shù)據(jù)來源：百度、億歐智庫數(shù)據(jù)來源：百度、億歐智庫開發(fā)成本高、開發(fā)周期長且效率低。億歐智庫：智駕大模型云端技術解決方案數(shù)據(jù)管理平臺

數(shù)據(jù)標注平臺

模型訓練平臺

仿真測試平臺 場景庫 場景挖掘 Log-to-world 場景庫 場景挖掘 Log-to-world數(shù)據(jù)存儲管理多模態(tài)數(shù)據(jù)標注圖片點云語音…模型訓練模型評測工作流引擎調(diào)度服務算法框架數(shù)據(jù)處理分析高價值數(shù)據(jù)集數(shù)據(jù)處理分析高價值數(shù)據(jù)集數(shù)據(jù)挖掘算法提效標注預標輔助質(zhì)檢數(shù)據(jù)挖掘算法提效標注預標輔助質(zhì)檢

加速模型迭代

SIL/仿真測試MIL仿真測試原始數(shù)據(jù)采樣回流算法迭代

工作流數(shù)據(jù)清洗回流 感數(shù)據(jù)清洗結果 訓

工作流下發(fā)

送標標注真值數(shù)據(jù)真值json真值XMLMark圖…標注真值數(shù)據(jù)真值json真值XMLMark圖…真值送訓、送評真值BadCase采集/挖掘任務

訓練算法迭代樣本數(shù)據(jù)增加訓練數(shù)據(jù)算法迭代樣本數(shù)據(jù)

下發(fā)推理服務迭代模型推理結果推理服務迭代模型存儲回流模塊回流報告結論仿真回放存儲回流模塊回流報告結論仿真回放

收集結果更新特征回流結果算法引擎 感知算法 收集結果更新特征回流結果算法引擎感知算法規(guī)控算法指標評估算法迭代需求指標評估數(shù)據(jù)來源：特斯拉、毫末智行、億歐智庫數(shù)據(jù)來源：特斯拉、毫末智行、億歐智庫3D億歐智庫：架構

可解決的部分cornercasekeyvaluequerykeyvaluequeryImage-to-BEVtransform+multi-camerafusionMLPpoolcontextsummarypositionalencodermulti-scalefeaturesmulti-scalefeaturesmulti-scalefeaturesRegNetrawrawrawMainMainMainRegNetRegNetBiFPNBiFPNBiFPN

億歐智庫：毫末智行人駕自監(jiān)督認知大模型行人和其他交通參與者。應對惡劣天氣條件。合不同類型傳感器，從而補足攝像頭的不足之處。預測異常行為。借助全局視角，BEV能更準確地跟蹤和預測行人和其他交通參與者地動態(tài)。狹窄或遮擋的道路。個更全面的視圖。并車和交通合流。憑借全局視角可以清晰地了解車輛周圍的交

高水平駕駛數(shù)據(jù)普通司機駕駛數(shù)據(jù)

期望擬合效果期望擬合效果通狀況。從BEV（2D）到占用網(wǎng)絡（3D），感知效率全面提升BEV架構的缺點：BEV架構獲取的圖像仍然是一個2D圖像，缺少高度信息，無法真實反映出目標物在3D是多少。雖然BEV架構也可以將圖像映射出3D空間模型，但也是通過矩陣框的形式，易導致一定的信息誤差。OccupancyNetworks（占用網(wǎng)絡）：在2022年發(fā)布，為了解決BEV架構的問題，它的核心思想是把3D空間分為大小一致的網(wǎng)格單元（Gridcell），然后判斷每個單元（Cell）用。該算法優(yōu)勢是：實現(xiàn)了BEV從2D到3D的優(yōu)化有效解決了垂直高度上不同立方體的空間占用情況實時預測被遮擋物體的狀態(tài)10ms內(nèi)可以完成計算，處理頻率很高解決了目標檢測的長尾問題

毫末智行在2023年的AIDAY上發(fā)布了自動駕駛認知大模型（人駕自監(jiān)督認知大模型），并正式升級為DriveGPT。?該認知決策算法進化分為三個階段：第一個階段：擬合人駕行為；第二個階段：通過Prompt的方式實現(xiàn)認知決策的可控、可解釋；第三個階段：引入真實接管數(shù)據(jù)，并在大模型中開始使用RLHF算法，讓模型學習人駕接管數(shù)據(jù)。為了更好地擬合模型，毫末智行構建了一套獎勵規(guī)則（即獎勵模型，rewardmodel）：在同一個駕駛環(huán)境下，如果人類駕駛行為和算法決策一致，不選擇接管，計為一個goodcasebadcase。通過把goodcase和badcase這種“好壞”的價值判斷模數(shù)據(jù)來源：公開資料、億歐智庫；*int8為運算數(shù)精度單位，Int8指8位整型數(shù)，即用8bit來表示一個整數(shù)數(shù)字；float32為32位浮點數(shù)，也稱單精度浮點數(shù)數(shù)據(jù)來源：公開資料、億歐智庫；*int8為運算數(shù)精度單位，Int8指8位整型數(shù)，即用8bit來表示一個整數(shù)數(shù)字；float32為32位浮點數(shù)，也稱單精度浮點數(shù)20個10通用任務性能?通用任務性能?型所具備的能力0.11010^210^310^4算力當量（PetaFlops/s-day，PD）?參數(shù)量、算力需求、模型能力之間的關系參數(shù)量與模型能力成正比。隨著智駕大模型的參數(shù)量上升，所需要訓練的token模型的泛化能力也會上升，使得整體模型的loss在平滑下降。參數(shù)量和算力需求成正比。當智駕大模型的參數(shù)量上升后，為了保證所需的算力需求和計算效率，就需要提高車端的芯片算力，而當前市場上最高算力是英偉達的OrinX（254TOPS），據(jù)了解，該算力平臺也無法直接部署現(xiàn)有的垂域大模型，比如。最終，車端的智駕大模型，需要對上層智駕大模型進行壓縮后，才能通過車聯(lián)網(wǎng)技術直接對車端系統(tǒng)進行OTA升級。剪枝Nas量化蒸餾剪枝：類似“化學結構式的減肥”，將模型結構中對預測結果不重要的網(wǎng)絡結構剪裁掉，使網(wǎng)息的影響微乎其微。如果將這些權重較小的神經(jīng)元刪除，則既能保證模型精度不受大影響，又能減小模型大小。神經(jīng)網(wǎng)絡架構搜索（Nas）：模型結構搜索，從而獲得更高效的網(wǎng)絡結構。量化：類似“量子級別的減肥”，神經(jīng)網(wǎng)絡模型的參數(shù)一般都用float32的數(shù)據(jù)表示，但如果將float32的數(shù)據(jù)計算精度變成int8的計算精度，則可以犧牲一點模型精度來換取更快的計算速度。提供更多的軟分類信息量，所以會訓練出一個效果接近大模型的小模型。將小模型的精度提高計算量及模型體積減少設計更高效的網(wǎng)絡結構將大模型的參數(shù)量變少將大模型的知識遷移到小模型上將float32計算變成int8計算以模型大小和推理速度為約束的模型結構搜索卷積網(wǎng)絡通道數(shù)剪枝數(shù)據(jù)來源：專家訪談、億歐智庫數(shù)據(jù)來源：專家訪談、億歐智庫億歐智庫：自動駕駛數(shù)據(jù)閉環(huán)圖示

采集傳輸存儲采集傳輸存儲處理智能電動汽車數(shù)據(jù)集部署自動駕駛數(shù)據(jù)閉環(huán)清洗算法模型云服務器驗證訓練仿真標注1.0階段：2013-2017閉環(huán)通路初步構建

2.0階段：2018-2024數(shù)據(jù)驅(qū)動閉環(huán)升級隨著技術的進步和自動駕駛等級的發(fā)展，傳統(tǒng)的數(shù)據(jù)閉環(huán)不能適應快速迭代的產(chǎn)業(yè)和指數(shù)級增長的數(shù)據(jù)量。這一階段，面向更大規(guī)模數(shù)據(jù)的閉環(huán)及相應技術和服務被車企及供應商廣泛應用。

3.0階段：2025-2030場景催化商業(yè)落地未來，自動駕駛數(shù)據(jù)閉環(huán)將進一步更新升級，逐步從測試車→小規(guī)模量產(chǎn)→大規(guī)模量產(chǎn)，面向多樣化場景都能夠流暢、安全的賦能自動駕駛，從車、路、云多端助力自動駕駛的終極實現(xiàn)。2013201320182025?數(shù)據(jù)閉環(huán)的定義：?數(shù)據(jù)閉環(huán)的定義：通過專業(yè)測試車隊和社會化量產(chǎn)車輛采集其行駛數(shù)據(jù)、位置軌跡、路況數(shù)據(jù)、場景數(shù)據(jù)等多種數(shù)據(jù)信息，處理形成數(shù)據(jù)集，經(jīng)過清洗、標注等，基于智能云底座進行傳輸、存儲等操作，結合仿真場景，在輸入-訓練-部署-驗證的循環(huán)反復中，對自動駕駛算法進行迭代和升級，覆蓋更多cornercase，自動駕駛規(guī)?；慨a(chǎn)落地。數(shù)據(jù)挖掘自動標注模型訓練數(shù)據(jù)挖掘自動標注模型訓練測試數(shù)據(jù)來源：億歐“MindBridge”閉門研討會、《十一號組織》公眾號、公開資料、億歐智庫數(shù)據(jù)來源：億歐“MindBridge”閉門研討會、《十一號組織》公眾號、公開資料、億歐智庫cornercasecornercase約40~50GB）帶來的流量成本非常高。單車每月采集帶來的流量成本非常高。單車每月采集據(jù) 每GB收費約40~50GB 1元十萬輛車月數(shù)據(jù)流量成本高達約500萬元模型冷啟動階段1.0選擇采集車采集數(shù)據(jù)量產(chǎn)車的初期數(shù)據(jù)采集規(guī)只能先通過數(shù)據(jù)采集車采集數(shù)據(jù)的方式，來獲取模型冷啟動的基礎數(shù)據(jù)數(shù)據(jù)達到一定規(guī)模階段2.0選擇量產(chǎn)車采集數(shù)據(jù)當cornercase幾乎無相應數(shù)據(jù)

兩種采集方式該如何選

數(shù)據(jù)挖掘的關鍵是在數(shù)據(jù)采集做好篩選器設置采集方式數(shù)據(jù)采集車量產(chǎn)車車隊規(guī)模約幾十輛車約萬輛以上感知傳感器配置攝像頭、毫米波雷達、激光雷達等多種傳感器以量產(chǎn)車所配置的傳感器為主（一般為攝像頭）數(shù)據(jù)傳輸方式合規(guī)員隨車采集數(shù)據(jù)，以硬盤形式存儲數(shù)據(jù)，并以物理搬運的模式將數(shù)據(jù)送到合規(guī)室車端軌跡偏轉插件和圖商密鑰加密無線上傳的模式，傳輸介質(zhì)為4G/5G網(wǎng)絡數(shù)據(jù)規(guī)模整體規(guī)模小，但單車數(shù)據(jù)量大整體規(guī)模大，但單車數(shù)據(jù)量小功能用途主要用于自動駕駛功能/算法的開發(fā)變化而導致的異常視頻數(shù)據(jù)如何利用智駕大模型做好數(shù)據(jù)篩選器科學的場景分類優(yōu)化車端采集邏輯合理設計觸發(fā)器靈活更新篩選器以OTA方式更新車端篩選機制，備案流程非常繁瑣，可利用智駕大模型定期更新車端數(shù)據(jù)篩選相關的算子在設計trigger（數(shù)據(jù)回傳觸發(fā)器）層時，按照重要程度對場景進行分組，優(yōu)先回傳稀缺場景的數(shù)據(jù)結合自監(jiān)督預訓練，利用智駕大模型來優(yōu)化車端基于規(guī)則的數(shù)據(jù)采集邏輯，讓篩選規(guī)則能靈活多變根據(jù)實際業(yè)務需求，對場景庫進行分類，利用智駕大模型已訓練過的模型，來細化每個細分場景庫的使用標簽如何利用智駕大模型做好數(shù)據(jù)篩選器科學的場景分類優(yōu)化車端采集邏輯合理設計觸發(fā)器靈活更新篩選器以OTA方式更新車端篩選機制，備案流程非常繁瑣，可利用智駕大模型定期更新車端數(shù)據(jù)篩選相關的算子在設計trigger（數(shù)據(jù)回傳觸發(fā)器）層時，按照重要程度對場景進行分組，優(yōu)先回傳稀缺場景的數(shù)據(jù)結合自監(jiān)督預訓練，利用智駕大模型來優(yōu)化車端基于規(guī)則的數(shù)據(jù)采集邏輯，讓篩選規(guī)則能靈活多變根據(jù)實際業(yè)務需求，對場景庫進行分類，利用智駕大模型已訓練過的模型，來細化每個細分場景庫的使用標簽數(shù)據(jù)來源：地平線、專家訪談、億歐智庫數(shù)據(jù)來源：地平線、專家訪談、億歐智庫4D動，再到全自動化標注，自動標注提升了標注整體的效率和精度，能夠處理更大規(guī)模的數(shù)據(jù)集，提升人機協(xié)作的能力以及適用多個應用場景。2D的透視圖轉換到了3D3DBEV4D自動駕駛為何需要數(shù)據(jù)標注系統(tǒng)優(yōu)化：數(shù)據(jù)標注可以用于優(yōu)化自動駕駛系統(tǒng)。通過對標注數(shù)據(jù)的分析，可以發(fā)現(xiàn)系統(tǒng)中存在的問題和缺陷，并進行優(yōu)化和改進。這些改進可以讓自動駕駛系統(tǒng)更加智能和高效，更好地滿足用戶的需求。自動駕駛為何需要數(shù)據(jù)標注系統(tǒng)優(yōu)化：數(shù)據(jù)標注可以用于優(yōu)化自動駕駛系統(tǒng)。通過對標注數(shù)據(jù)的分析，可以發(fā)現(xiàn)系統(tǒng)中存在的問題和缺陷，并進行優(yōu)化和改進。這些改進可以讓自動駕駛系統(tǒng)更加智能和高效，更好地滿足用戶的需求。提升效率：通過大量的數(shù)據(jù)標注，可以讓自動駕駛系統(tǒng)更快地識別各種物體，提高整個自動所以需要已標注的數(shù)據(jù)。而規(guī)控側主要采用規(guī)則模型，無需標注數(shù)據(jù)進行處理GT數(shù)據(jù)發(fā)版人工標注與質(zhì)檢云端模型訓練????面向BEV感知的4D標注方案4D主要是3D空間+時序通過4D重建實現(xiàn)點云級別或object級別的重建，通過人工標注積累原始數(shù)據(jù)隨著數(shù)據(jù)積累到一定程度，可以訓練云端大模型逐步替換人工標注，可提升80%+的標注效率采集數(shù)據(jù)4D重建模型預測GT數(shù)據(jù)發(fā)版多傳感器交叉驗證Lidar/Camera/IMU/GPS…動、靜態(tài)場景…3DorBEV3Ddet+2DDete.g.真值數(shù)據(jù)4D標注采集數(shù)據(jù) （動、靜態(tài)標注）場景合成場景素材庫仿真測試?4D標注為后續(xù)數(shù)據(jù)仿真提供場景庫支持在采集數(shù)據(jù)后，通過4D標注技術，為動、靜態(tài)數(shù)據(jù)進行數(shù)據(jù)標注，并逐步建立場景素材庫，隨后把某個場景的車輛或目標物信息進行修改編輯后，得到一個新場景，再對新場景進行渲染得到訓練樣本，同時可以獲取其中的結構化數(shù)據(jù)（即動、靜態(tài)數(shù)據(jù)真值），用于仿真測試，包括規(guī)控和感知的仿真。??特斯拉數(shù)據(jù)標注歷經(jīng)4個階段，精度、效率不斷提升如今，特斯拉自動標注系統(tǒng)可以取代500萬小時的人工作業(yè)量，人工僅需要檢查補漏。2018年及之前只有純?nèi)斯?維圖像標注，效率較低2019年人工進行3D固定框圖像標注2020年采用BEV空間進行標注2021年提出占用網(wǎng)絡方案，在4D空間中進行標注?從人工標注到自動化標注，自動標注帶來哪些優(yōu)提高效率和準確性適用于大規(guī)模數(shù)據(jù)集提升人機協(xié)作能力可適用多個應用場景自動標注能應用于多個應用場景，例如圖像分類、目標檢測、分割等任務，自動標注可以與人工標注相結合，實現(xiàn)人機協(xié)作的標注方式，可以對人工標注的數(shù)據(jù)進行驗證校對。自動標注可以應用于大規(guī)模的數(shù)據(jù)集，處理速度更快，同時可以處理自動標注可以大大提高標注效率，減少人工標注的時間和成本，同時數(shù)據(jù)來源：公開資料、億歐智庫數(shù)據(jù)來源：公開資料、億歐智庫（HPC）模型訓練的概述模型訓練：在監(jiān)督學習中，通過對數(shù)據(jù)的分析和處理，建立一種映射關系，使得模型能夠?qū)π碌臄?shù)據(jù)進行分析和預測，并解決各種實際問題。大模型訓練用俗話來講就是人工智能算法訓練，大模型訓練類似于一個正在學習的學生，而他學習的過程就是大模型訓練過程。模型訓練的兩個階段：預訓練與微調(diào)。預訓練：較大，若采用單機單卡的訓練方式，訓練時間較長、精度也會較低，所以主要會采用分布式的訓練模式。了一個小的知識模塊，讓這個小模塊去適配下游的任務。舉例來說，云端的大語言模型就可以通過預訓練的過程來進行無監(jiān)督的學習，而通過微調(diào)可以擬合出下游感知任務的垂域大模型。

GPU提高模型訓練的速度、效率及精度量的GPU來支持。模型訓練需要使用GPU的原因：高顯存和高帶寬：以提升模型訓練速度；支持并行處理：加高效。在分布式訓練架構下，為了提升模型訓練的速度和效率，就需要不斷地增加GPU的數(shù)量，這也使得越來越多的自動駕駛公司或者主機廠開始布局超算中心 億歐智庫：自動駕駛廠商超算中心建設布局情況公司名稱特斯拉小鵬蔚來理想汽車比亞迪上汽智己吉利汽車長安汽車毫末智行百度商湯絕影企業(yè)類別主機廠主機廠主機廠主機廠主機廠主機廠主機廠主機廠Tier1Tier1Tier1超算中心Dojo超算中心扶搖“蔚來云”智算中心理想智算中心云輦智算中心云上數(shù)據(jù)超級工廠星睿智算中心-雪湖?綠洲昆侖芯智算中心陽泉智算中心AIDC時間2021.82022.82022.11原計劃2023Q3發(fā)布2023.42022.32023.12023.82023.12022.92022.122022.1算力（億億次/秒浮點運算）18060-75--81（預計2025年擴充到120）-6720400491合作云廠商自建阿里云騰訊云火山引擎-阿里云阿里云百度云火山引擎自建自建數(shù)據(jù)來源：專家訪談、億歐智庫；*SDF(signeddistancefunction，符號距離函數(shù))數(shù)據(jù)來源：專家訪談、億歐智庫；*SDF(signeddistancefunction，符號距離函數(shù))）casecornercase場景數(shù)據(jù)。UniSim億歐智庫：自動駕駛數(shù)據(jù)閉環(huán)仿真測試環(huán)節(jié)架構示意圖功能安全測試駕駛員在環(huán)測試硬件在環(huán)測試軟件在環(huán)測試車輛（制動性能….）環(huán)境（天氣、光照...）道路信息功能安全測試駕駛員在環(huán)測試硬件在環(huán)測試軟件在環(huán)測試車輛（制動性能….）環(huán)境（天氣、光照...）道路信息（車道、路燈...）傳感器（攝像頭…）交通流（行人、臨時車輛、紅綠燈...） 實車道路試驗 仿真是高階智駕功能開發(fā)的作用實驗評價結果三者緊密耦合提升場景泛化能力：可利用仿真的泛化能力，生成一些算法需要的實驗評價結果三者緊密耦合降低數(shù)據(jù)標注成本：型進行運算，減少了前期標注的工作；提升云端規(guī)控仿真測試效果：算法提供安全的測試環(huán)境。場景真實度和泛化能力的關鍵在于：仿真測試模型需要有一定的冷啟動數(shù)據(jù)，來驗證模型的運營效率。仿真測試的泛化能力需要一定的項目經(jīng)驗積累。合作時，會給與一部分數(shù)據(jù)，用以支持模型的參數(shù)調(diào)優(yōu)。實 ?以UniSim為例，打通仿真測試的端到端閉環(huán)測試現(xiàn)UniSim是CVPR2023論文中提出的一種全新的自動駕駛仿真平臺，現(xiàn)端利用NeRF（神經(jīng)輻射場）渲染自動駕駛場景中的相機和雷達數(shù)據(jù)，實現(xiàn)高逼真度的全方位仿真，從而實現(xiàn)無人車的端到端的閉環(huán)測試端到 包括感知，預測和規(guī)劃。端 不同于以往工作，UniSim優(yōu)點在于:的 ? 高度逼真(highrealism):可以準確地模擬真實世界(圖片和LiDAR),閉 減小真實世界和仿真的鴻溝環(huán) ? 閉環(huán)測試(closed-loopsimulation):可以生成罕見的危險場景，測 測試無人車，并允許無人車和環(huán)境自由交互試scalable):可以很容易的擴展到更多的場景，只需要采集一試次數(shù)據(jù)，就能重建并仿真測試UniSim重放準確地重建原始數(shù)據(jù)，因為使用了SDF,UniSim還能夠重建各種幾何信息，比如normal/depth。

動態(tài)物體行為控制控制他們不同的行為，或者將其他場景中的車輛插入到當前場景中，以生成

自由視角渲染可以生成不同與原始視角的數(shù)據(jù)，比如向左變道，改變相機/Lidar的位置。

閉環(huán)仿真(closed-loopsimulation)輸出路徑規(guī)劃的結果目錄CONTENTS

智駕大模型發(fā)展綜述01大模型技術發(fā)展歷程01大模型適合應用智駕產(chǎn)業(yè)原因挖掘如何定義智駕大模型02智駕大模型在云邊端一體化的技術應用探索02智駕大模型技術應用總覽智駕大模型產(chǎn)業(yè)應用探索03 產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜03 產(chǎn)業(yè)鏈概況與產(chǎn)業(yè)圖譜典型玩家布局情況分析04智駕大模型面臨的挑戰(zhàn)智駕大模型未來發(fā)展建議數(shù)據(jù)來源：億歐智庫數(shù)據(jù)來源：億歐智庫3.1配套軟硬件服務供應商、智駕大模型開發(fā)供應商及應用方共同構建整個產(chǎn)業(yè)鏈億歐智庫：2023中國智駕大模型產(chǎn)業(yè)圖譜 試 云服務商 芯片 配套軟硬件服務供應商數(shù)據(jù)標注供應商 云端通用類模型開發(fā)供商 垂域大模型開發(fā)供應商 智駕大模型開發(fā)供應商 傳統(tǒng)主機廠 造車新勢力主機廠 智駕大模型應用方數(shù)據(jù)來源：專家訪談、億歐智庫數(shù)據(jù)來源：專家訪談、億歐智庫3智駕Tier1玩家在布局智駕大模型時，由于沒有資本去投入建設云端Tier1 開發(fā)一些垂域大模型，比如。4芯片企業(yè)芯片企業(yè)玩家將基于端側的芯片硬件，提供給主機廠或者智駕Tier1提供優(yōu)化的算子，來配合主機廠或者智駕Tier1更好地部署智駕大模型。芯片企業(yè)會提供軟硬一體化的解決方案3智駕Tier1玩家在布局智駕大模型時，由于沒有資本去投入建設云端Tier1 開發(fā)一些垂域大模型，比如。4芯片企業(yè)芯片企業(yè)玩家將基于端側的芯片硬件，提供給主機廠或者智駕Tier1提供優(yōu)化的算子，來配合主機廠或者智駕Tier1更好地部署智駕大模型。芯片企業(yè)會提供軟硬一體化的解決方案一套完善的開發(fā)工具為主。智駕Tier1依然會延續(xù)前期提供自動駕駛解決方案的模式助客戶打造數(shù)據(jù)閉環(huán)體系。Tier1Tier1Tier11主機廠周期長，大部分主機廠會優(yōu)先選擇外部合作?？萍计髽I(yè)1主機廠周期長，大部分主機廠會優(yōu)先選擇外部合作。科技企業(yè)科技企業(yè)玩家具有技術儲備，前期在其它賽道的技術投入，可以反哺到自動駕駛領域，整個know-how部分會自建云服務器，前期會以行業(yè)通用的語言大模型為基礎，逐步滲透到合適的垂域領域，但短期內(nèi)云端的通用類模型很難形成商業(yè)閉環(huán)。2派。對于傳統(tǒng)主機廠與腰部以下的新勢力更多會持有保守態(tài)度，會以外部合作為主對于頭部新勢力優(yōu)勢，更多會偏向于全棧自研。MaaS（模型即服務）為垂域賽道的客戶提供融合云計算、算力、模型能力等資源，自動駕駛賽道的客戶可以調(diào)用云端的通用大模型，開發(fā)和部署智駕大模型。四類玩家的智駕大模型合作模式數(shù)據(jù)來源：公開資料、億歐智庫；*SDPro地圖介于SDMap與HDMap之間數(shù)據(jù)來源：公開資料、億歐智庫；*SDPro地圖介于SDMap與HDMap之間FSDV12WorldModel同時，國內(nèi)主機廠也開始逐步追隨特斯拉的技術路線，對于已開通或者將要開通城市NOA功能的主機廠，都有布局相關智駕大模型，比如，這已然成為了能解決“去地圖”或者“輕地圖”路線下感知側重要的垂域大模型。從目前已開通城市TOPS以上才可支持相應功能需求，英偉達的Orin-X、地平線的征程5、華為的麒麟芯片等都成為了國內(nèi)車企布局架構的首選。億歐智庫：部分主機廠智駕大模型布局及對應智駕功能情況主機廠相關智駕大模型應用場景是否支持城市NOA車型對應芯片和算力地圖方案特斯拉端到端自動駕駛、WorldModel智駕：端到端自動駕駛、仿真地圖生成城市NGPModelSModel3ModelYModelX2個FSD/144TOPS重感知小鵬智駕：側重感知城市NOAXNGP小鵬G6Max小鵬G9Max小鵬P7iMax2個Orin-X/508TOPS當前依賴SDPro地圖，未來采用重感知理想、Occupancy智駕：側重感知城市NOA（計劃2023年底推送100座城市）理想L7Max理想L8Max理想L9Max2個Orin-X/508TOPS預計采用SDPro地圖蔚來智駕：側重感知城市NAD（計劃2023年Q3推送NADBeta版本）未公布-未公布華為系品牌、GOD網(wǎng)絡智駕：側重感知城市NCAADS2.0阿維塔11問界M5智駕版極狐阿爾法S全新Hi版麒麟990A/400TOPS昇騰610/200TOPS2個昇騰610/400TOPS當前依賴SDPro地圖，未來采用重感知上汽智己智駕：側重感知城市NOA（預計2023年10月份開始公測）智己L7智己LS7智己LS6Orin-X/254TOPS當前依賴SDPro地圖，未來采用重感知比亞迪智駕：側重感知城市NOA（具體開通時間未公布）漢征程5/128TOPS預計采用SDPro地圖數(shù)據(jù)來源：億歐智庫數(shù)據(jù)來源：億歐智庫3.2.2科技企業(yè)依托強大的云服務基建，憑借各自的優(yōu)勢賦能智駕產(chǎn)業(yè)生態(tài)云、圖一體化的模式，結合自身在高精地圖方面的優(yōu)勢，為客戶提供云端多程建圖，實現(xiàn)要素級、最快分鐘級的在線更新。華為云 騰訊云華為云在2023年7月發(fā)布了盤古大模型3.0，是一個完全面向行業(yè)的大模型系列，包括“5+N+X”三層架構。公司采用存儲-緩存-計算三層分離架構，打造數(shù)智融合平臺，利用盤古大模型深度賦能數(shù)據(jù)閉環(huán)核心場景。在自動駕駛方面，盤古大模型3.0期整理，然后進行場景化管理，再進行數(shù)據(jù)標注、訓練、仿真，最后回給采集需求。其中，每一個過程都有大數(shù)據(jù)可以發(fā)力的機會點。億歐智庫：華為云數(shù)智融合平臺架構

騰訊云在2023年9月的騰訊全球數(shù)字生態(tài)大會·智慧出行專場上，發(fā)布了能座艙等領域的最新升級產(chǎn)品和方案。隨著自動駕駛步入量產(chǎn)深水區(qū)，地圖成為決定駕駛體驗的關鍵要素。為了解決傳統(tǒng)地圖模式成本高、鮮度低，且數(shù)據(jù)來源單一等問題，騰訊結合自身云服務和圖商資質(zhì)優(yōu)勢，發(fā)布了智駕云圖。資產(chǎn)，進行云端多程建圖，實現(xiàn)要素級、最快分鐘級的在線更新。億歐智庫：騰訊智駕云圖布局情況資產(chǎn)搜索定位全局血緣分析資產(chǎn)搜索定位全局血緣分析數(shù)據(jù)資產(chǎn)熱度分析

數(shù)據(jù)閉環(huán)場景數(shù)據(jù)預處理 數(shù)據(jù)回收 場景標簽化

盤古大模型深度賦能大模型KPI指標分析大模型KPI指標分析

地圖要素靈活發(fā)布更新title素差分能力更新

駕駛經(jīng)驗圖層共建基于大模型的環(huán)境經(jīng)驗圖層和務統(tǒng)一元數(shù)據(jù)數(shù)據(jù)訪問控制務統(tǒng)一元數(shù)據(jù)數(shù)據(jù)訪問控制數(shù)據(jù)生命周期管理

統(tǒng)一計算服務

車信數(shù)據(jù)生成數(shù)據(jù)標注難例挖掘數(shù)據(jù)生成數(shù)據(jù)標注難例挖掘車道線地面交通標識牌

危險路段信息變道模式

彎道建議車速經(jīng)驗變道區(qū)能指數(shù)多模態(tài)檢索大模型預標注大模型實時計算引擎批量計算引擎多模態(tài)檢索大模型預標注大模型實時計算引擎批量計算引擎交互處理引擎計算引擎數(shù)據(jù)緩存?基于車端感知進行數(shù)據(jù)回傳

靈活ODD線服務，支持協(xié)同運營統(tǒng)一存儲服務KPI數(shù)據(jù)統(tǒng)一存儲服務KPI數(shù)據(jù)仿真數(shù)據(jù)集訓練數(shù)據(jù)標注數(shù)據(jù)集場景數(shù)據(jù)脫敏后數(shù)據(jù)原始數(shù)據(jù)

惡劣天氣開放客戶圖層

運營工具鏈代運營服務覺非科技覺非科技自研的基于BEV的數(shù)據(jù)閉環(huán)融合智能駕駛解決方案覺非科技覺非科技自研的基于BEV的數(shù)據(jù)閉環(huán)融合智能駕駛解決方案，可通過量產(chǎn)車BEV的實時感知結果，提供完整的城市Map-lite及Map-free數(shù)據(jù)閉環(huán)融合解決方案，并滿足城市NOA，記憶通勤/泊車以及感知大模型訓練的需要?；贐EV的數(shù)據(jù)閉環(huán)感知大模型架構：PerspectiveSpaceBEVSpace3.2.2基于BEV架構的感知方案和數(shù)據(jù)閉環(huán)體系已成為智駕Tier1企業(yè)新的技術布局方向輕舟智航輕舟智航自研了感知大模型OmniNet，這是一個應用于前中融合階段、實現(xiàn)數(shù)據(jù)/特征融合的全任務大模型。以下為輕舟自研的OmniNet超融合和數(shù)據(jù)閉環(huán)工具鏈。OmniNet超融合?將不同的傳感器信息按需結輕舟智航輕舟智航自研了感知大模型OmniNet，這是一個應用于前中融合階段、實現(xiàn)數(shù)據(jù)/特征融合的全任務大模型。以下為輕舟自研的OmniNet超融合和數(shù)據(jù)閉環(huán)工具鏈。OmniNet超融合?將不同的傳感器信息按需結綜合利用多種融合方式的優(yōu)勢多模態(tài)融合更好線上問題快速響應以仿真為核心的“輕舟矩陣”標注平臺-各類數(shù)據(jù)的自動標注訓練平臺-高效的模型訓練和評估仿真工具-回灌測試和硬件在環(huán)評估超融合OmniNet架構：…KPontsgMukti-ObjectTrackinPanopticSegmentationFPNRoadGeometryDepthEstimation2DDetection3DDetectionStateEstimationMukti-ObjectTrackingPredictionRoadGeometryPanopticSegmentation3DDetectionJointTemporal&SensorFusionVisionBackboneViewTransformationMulti-ScaleViewTransformationLidarBEVBackboneVisionBEVBackboneRadarBEVBackboneLidarFeatureHistoryBufferVisionFeatureHistoryBufferRadarFeatureHistoryBuffer商湯絕影商湯絕影商湯絕影UniAD架構：UniAD是商湯絕影在自動駕駛技術領域中研發(fā)的自蹤、建圖、預測及規(guī)劃，整合到一個Transformer在數(shù)據(jù)閉環(huán)方面，商湯絕影將構建一個面向決策規(guī)劃算法的數(shù)據(jù)閉環(huán)體系，以及相應的數(shù)據(jù)驅(qū)動決策規(guī)劃算法庫，讓自動駕駛系統(tǒng)可以像經(jīng)驗豐富的老司機一樣開車。30% 38% 28%在線建圖準確率目標軌跡預測誤差 規(guī)劃誤差多目標追蹤準確率20%多指標超越SOTA結果：PerspectiveLaserBackboneRange3DDetectionSemanticSegmentationInstanceSegmentation…Tracking數(shù)據(jù)來源：億歐“MindBridge”閉門研討會、公開資料、億歐智庫數(shù)據(jù)來源：億歐“MindBridge”閉門研討會、公開資料、億歐智庫3.2.2芯片廠商為了更好地適配Transformer算法，從而優(yōu)化芯片設計和算子開發(fā)生態(tài)相比于CNN備算力要求較高、運算精度要求較高及算子復雜度較高的特點，所以在開發(fā)部署時，就需要選取合適的芯片。國內(nèi)外芯片廠商在開發(fā)后續(xù)芯片時，都會側重于更好地讓芯片去適配Transformer算法，在相關算子加速器的開發(fā)生態(tài)上都做了有意識的部署。以目前主流的英偉達OrinXBPU??Transformer算法具有以下特征：對算力要求較高。Transformer通常計算量非常大，由于算力限制，需要采用浮點運算提升運算精度；算子復雜度較高。相比于CNN卷積矩陣乘法運算，Transformer有較多訪存密集型算子，會加大芯片帶寬和儲存容量要求Transformer算法VSCNN卷積算法?算法相比傳統(tǒng)CNN卷積算法，對芯片要求會更高芯片廠商代表芯片圖例雷神Thor簡要介紹Thor可以同時支持ADAS系統(tǒng)和IVI系統(tǒng)，具備770芯片廠商代表芯片圖例雷神Thor簡要介紹Thor可以同時支持ADAS系統(tǒng)和IVI系統(tǒng)，具備770算力將會達到2000TOPS以上，或者是2000TFLOPs；該芯片分別對CPU（Grace）、GPU（AdaLovelace）和處理Transformer模型的引擎（Hopper）進行了升級征程J5的量化損失降低到1%左右，同時部143FPSGPU功耗的50%；地平線下一代納什架構能夠支持在單顆SoC芯片上進行千億參數(shù)級GPT模型的推理武當C1200C12007nmCPU為A78AE（算力150KDMIPS），GPU采用的是G78AE32KDIPMS的MCU算力主流的架構模型可部署在C1200上GPCSMSMSMSMSMSMSMSM英偉達英偉達O