自動駕駛行業(yè)報告-端到端漸行漸近-2024-07-自動駕駛

o智能化在購車決策中的重要性日益凸顯，這也促使眾多汽車制造商加快了智能化技術(shù)的研發(fā)和工程o在眾多廠商的推動下，重視“智能化”的汽車越來越受消費(fèi)者青睞，尤其是那些配備自動泊車和L2車企競爭的焦點(diǎn)，預(yù)示著未來缺乏NOA功能的車輛可能失去競爭力。8642Jan-23Aug-23Jan-23Aug-23Jan-24 54321Jan-23Aug-23Jan-23Aug-23Jan-24o盡管一級市場融資受到整體投融資環(huán)境的影響，但自動駕駛公司通過不斷優(yōu)化核心軟硬件產(chǎn)品，向更商業(yè)化進(jìn)程，眾多企業(yè)開始準(zhǔn)備IPO。的合作更加緊密，進(jìn)一步推動了智能駕駛技術(shù)的商業(yè)化應(yīng)用。 禾賽科技美股2023年2月上市激光雷達(dá)傳感器海創(chuàng)光電科創(chuàng)板2023年5月提交申請激光雷達(dá)傳感器 黑芝麻智能港交所2023年6月提交申請圖達(dá)通美股2023年8月完成IPO備案 如祺出行港交所圖達(dá)通美股2023年8月完成IPO備案文遠(yuǎn)知行美股2023年8月完成IPO備案 賽目科技港交所20知行科技港交所2023年12月已上市自動駕駛解和自動駕駛解決方案提供商都已構(gòu)建數(shù)據(jù)閉環(huán)系統(tǒng)，以支持自動駕駛系統(tǒng)的模型訓(xùn)練和持續(xù)迭代。圖：打造數(shù)據(jù)閉環(huán)，量產(chǎn)時代下的自動駕駛?人工智能技術(shù)加持，數(shù)據(jù)篩選、標(biāo)注、訓(xùn)練、驗證形成?相比過去工程師制定的規(guī)則算法，能夠?qū)崿F(xiàn)低成本、高輛進(jìn)行OTA功能升級的同時，為后續(xù)更高級別的自動駕———含數(shù)據(jù)積累———含每一次技術(shù)革新背后，都伴隨著深度學(xué)習(xí)等基礎(chǔ)AI技術(shù)的突破性進(jìn)展。正是AI技Transformer大模型基于大規(guī)模數(shù)據(jù)訓(xùn)練，具備更強(qiáng)的魯棒性與泛化能力，Transformer大模型基于大規(guī)模數(shù)據(jù)訓(xùn)練，具備更強(qiáng)的魯棒性與泛化能力，在自動駕駛行業(yè)大方異彩?結(jié)合Transformer更強(qiáng)的處理序列數(shù)據(jù)?結(jié)合Transformer更強(qiáng)的處理序列數(shù)據(jù)實(shí)現(xiàn)更精確的環(huán)境感知、更長遠(yuǎn)的運(yùn)動規(guī)劃和更全局 提出后，深度學(xué)習(xí)進(jìn)入爆發(fā)期，自主學(xué)習(xí)能力被釋放CNN 提出后，深度學(xué)習(xí)進(jìn)入爆發(fā)期，自主學(xué)習(xí)能力被釋放CNN?長期時序建模能力弱；數(shù)據(jù)質(zhì)量難把控；實(shí)時性要求無法滿足o特斯拉在2021年就展示了其基于BEV視角結(jié)合Tran 大模型的泛化性能用于挖掘長尾數(shù)據(jù)，如使用CLIP模 圖：從云端到車端，大模型已經(jīng)在自動駕駛感知模塊開始規(guī)?；瘧?yīng)用 大模型的泛化性能用于挖掘長尾數(shù)據(jù)，如使用CLIP模 利用大模型通過自監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練，配合極少量人工使用NeRF技術(shù)隱式存儲場景，通過渲染圖片的監(jiān)督使用NeRF技術(shù)隱式存儲場景，通過渲染圖片的監(jiān)督目錄o傳統(tǒng)自動駕駛系統(tǒng)已經(jīng)發(fā)展得相當(dāng)成熟，通常采用模塊化串聯(lián)的部署方式：其核心模塊涵蓋感知其子模塊都承擔(dān)著特定的職責(zé)，且每個模塊的輸入通常來源于前一模塊的輸出。數(shù)據(jù)驅(qū)動的方向發(fā)展，模塊化設(shè)計的某些局限性也逐漸血血o模塊化自動駕駛的核心在于不同子模型在各個模預(yù)測、決策模塊也正在神經(jīng)網(wǎng)絡(luò)化的進(jìn)程中預(yù)測、決策模塊也正在神經(jīng)網(wǎng)絡(luò)化的進(jìn)程中BEV+Transformer極大推動自動駕駛通用感知網(wǎng)絡(luò)的發(fā)展速度 ↓ 滲透 ↓ 滲透決策過程，過程中不涉及任何顯式的中間表示或人為設(shè)o盡管端到端自動駕駛的具體定義仍存在一定的模糊性，但端到端自動駕駛：統(tǒng)一的神經(jīng)網(wǎng)絡(luò)架構(gòu)，一步到位輸出 周邊環(huán)境傳感器 周邊環(huán)境傳感器 o特斯拉FSDV12的卓越性能令業(yè)界觀察家年在人工智能和智能駕駛領(lǐng)域的深厚積累。o端到端自動駕駛技術(shù)的發(fā)展遵循著漸進(jìn)的路徑：目前，BEV+OCC+Transformer已經(jīng)實(shí)現(xiàn)了感知模塊寫規(guī)則向基于深度學(xué)習(xí)的模式轉(zhuǎn)變，最終目標(biāo)是實(shí)現(xiàn)模塊化聯(lián)合與單一模型的端到端自動駕駛。國--------------國--------------o端到端自動駕駛通過將傳感器收集到的全面信息作為輸入，在單一網(wǎng)絡(luò)中直接生成車輛的控制指?不僅感知模塊，決策規(guī)劃與控制模塊也由數(shù)據(jù)驅(qū)動，實(shí)現(xiàn)全棧?無需或僅需少量人工編碼、手寫規(guī)則，簡化?提升數(shù)據(jù)規(guī)模與質(zhì)量能夠顯著提升產(chǎn)品性能，不斷提升系統(tǒng)的?端到端是一體化架構(gòu)，為汽車行駛的全局任務(wù)為統(tǒng)一目標(biāo)?不需要通過頻繁的patch和參數(shù)?一體化的模型結(jié)構(gòu)能夠減少信息傳遞的延遲，加快?消除各模塊之間信息傳遞的誤差累積，全棧神經(jīng)網(wǎng)絡(luò)的上下層o模仿學(xué)習(xí)主要通過逆最優(yōu)控制（InverseOptimalControl）和行為克?。˙ehaviorCloning）為來學(xué)習(xí)最優(yōu)策略。而強(qiáng)化學(xué)習(xí)則是一種通過試錯來學(xué)習(xí)的領(lǐng)域，其中獎勵函數(shù)的設(shè)現(xiàn)定大能策oo大型語言模型、視覺模型（如世界模型）、以及多模態(tài)大型模型等基礎(chǔ)模型展現(xiàn)出了強(qiáng)大的能力oo這些基礎(chǔ)模型通過預(yù)訓(xùn)練獲得了推理能力和豐富的知識，能夠升級傳統(tǒng)的基于規(guī)則的if-else的挑戰(zhàn)，提升在感知、預(yù)測、規(guī)劃等關(guān)鍵領(lǐng)域的性能，升級自動駕駛?推理和規(guī)劃：LLM利用其在邏輯推理、代?用戶交互：通過理解自然語言并執(zhí)行用戶指令，LLM使智能駕駛系統(tǒng)更加用戶友好，實(shí)現(xiàn)個?常識性駕駛知識：LLM的預(yù)?仿真和測試：VFM的視頻生成能力，為創(chuàng)建逼真的駕駛場景提供了支持，這對于自動駕駛系統(tǒng)的安全性和可靠性提?仿真和測試：VFM的視頻生成能力，為創(chuàng)建逼真的駕駛場景提供了支持，這對于自動駕駛系統(tǒng)的安全性和可靠性提?視覺理解與空間推理：MFM結(jié)合了視覺和語言信息，展現(xiàn)出卓越的視覺理解和空間推理能力，對自?綜合感知與預(yù)測：MFM通過整合視覺和語言 機(jī)器人公司以及自動駕駛芯片制造商。MmomenTMmomenTO落地的公司。o特斯拉無疑是電動汽車和自動駕駛行業(yè)的領(lǐng)軍者，它已于2024年1月向北美用戶正式推送FSDV12，成為首落地的公司。展性的端到端自動駕駛系統(tǒng)。展性的端到端自動駕駛系統(tǒng)。ooWayve在端到端自動駕駛技術(shù)領(lǐng)域取得了顯著進(jìn)展，先后推出了大型語言模型LINGO-1/2，視訓(xùn)練和測試而設(shè)計的PRISM-1。圖：將世界模型融入自動駕駛，Wayve加速端到端visionGAIA-1LINGO-2GAIA-1LINGO-2駛視頻的生成式Al世界模型生成多個合理的未來,時長可達(dá)幾分鐘可通過語言、動作進(jìn)行控制生成的內(nèi)容駛視頻的生成式Al世界模型生成多個合理的未來,時長可達(dá)幾分鐘可通過語言、動作進(jìn)行控制生成的內(nèi)容使用自然語言訓(xùn)練,可解釋Al駕駛模型,使用自然語言訓(xùn)練,可解釋Al駕駛模型,顯著提升了系統(tǒng)的可解釋性最新發(fā)布的LINGO-2增加了人機(jī)交互功能,司機(jī)可通過語言命令控制汽車.增強(qiáng)其自動駕駛技術(shù)的測試和訓(xùn)練臺已在城市線級不同的多個城市進(jìn)行泛化測試，這些等級不同的城市人 ?駕駛行為更加“人性化”在2024年，商湯科技推出了適用于實(shí)車部署、面向量產(chǎn)的真正端到端自動駕駛解決方案UniAD。與決策的一體化，同時保持了模塊化系統(tǒng)的優(yōu)勢，便于進(jìn)行問題的回溯和分析。 UniAD端到端解決方案演進(jìn)路徑?UniAD包括四個基于T?UniAD包括四個基于T?并不限于特定的Transformer解碼器，可以加入其他的替代方?查詢Q起到連接管道的作用，方便聯(lián)合訓(xùn)練與交互建模?將各個任務(wù)進(jìn)行層級式的結(jié)合，并對不同任務(wù)間的信息進(jìn)行了?通過端到端聯(lián)合訓(xùn)練避免了多任務(wù)訓(xùn)練的融合難題，實(shí)現(xiàn)全局最優(yōu)，同時保留了分模塊系統(tǒng)的優(yōu)勢，可以拋出中間模UniAD的聯(lián)合訓(xùn)練實(shí)現(xiàn)方法UniAD:Planning-orientedAutonomousDriving，o在2024年的520AIDay上，小鵬汽車發(fā)布了其端到端大模型，以及XBrain大語言模型。實(shí)現(xiàn)30倍的提升（接管率指標(biāo)）。?感知范圍提升2倍，面積可達(dá)1.8個足球場大小，能精準(zhǔn)識別50+?AI大語言模型，是自動駕駛汽車的“大腦”?具備理解學(xué)習(xí)能力，泛化能力提升，可處理復(fù)雜甚至未知場景?系統(tǒng)能夠認(rèn)識待轉(zhuǎn)區(qū)、潮汐車道、特殊車道、路牌文字，秒懂各種令行禁止、快慢緩急的行為指令，進(jìn)而做出兼顧安全?基于神經(jīng)網(wǎng)絡(luò)的規(guī)劃大模型，是自動駕駛汽車的“小腦”?擁有“老司機(jī)般的腳法”，前后頓挫減少50%、違?？ㄋ罍p少40%、安全接管減少60%的加入，顯著提升了方案的通行效率，使得復(fù)雜路口的通過率達(dá)到96%以上。通過快速的更新迭代，ADS3.0將能幫助車主實(shí)現(xiàn)“越開越好開” visionLidarRadarPDPvisionLidarRadarPDP網(wǎng)絡(luò)GOD網(wǎng)絡(luò)），?相較于ADS2.0，ADS3.0在感知部分部分采用PDP網(wǎng)絡(luò)，完成了決策規(guī)劃模塊的神?ADS3.0可實(shí)現(xiàn)車位到車位的NCA領(lǐng)航輔助功能，實(shí)現(xiàn)從公開道路到園?云端訓(xùn)練，快速迭代：學(xué)習(xí)訓(xùn)練算力達(dá)3 到端自動駕駛在落地和商業(yè)化方面仍然面臨諸多挑戰(zhàn)。到端自動駕駛在落地和商業(yè)化方面仍然面臨諸多挑戰(zhàn)。oo構(gòu)建所需的強(qiáng)大算力、獲取用于模型訓(xùn)練的高質(zhì)量海量數(shù)據(jù)，以及端到端大模型的“不透明性”全保障的關(guān)鍵問題，需要行業(yè)各方共同努力，攜手解決。昂昂4技術(shù)路線不確定4技術(shù)路線不確定要強(qiáng)大的算力和海量數(shù)據(jù)來支撐模型的訓(xùn)練。算力顯卡儲備·與GPT類似,端到端自動駕駛訓(xùn)練遵循的也是大算力+海量數(shù)據(jù)的暴力美學(xué)特斯拉的算力儲備將在2024年達(dá)到萬PFLOPS,國內(nèi)一眾廠商與特斯拉超算中心的算力水平差距極大,更崖論還有GPU采購的算力顯卡儲備·與GPT類似,端到端自動駕駛訓(xùn)練遵循的也是大算力+海量數(shù)據(jù)的暴力美學(xué)特斯拉的算力儲備將在2024年達(dá)到萬PFLOPS,國內(nèi)一眾廠商與特斯拉超算中心的算力水平差距極大,更崖論還有GPU采購的難題.根據(jù)目前的發(fā)展情況,想要研發(fā)端到端自動駕駛,干卡集群是必備的真正做到數(shù)據(jù)飛輪高效落地的企業(yè),研發(fā)端到端自動駕駛有優(yōu)勢門將3/4的精力用在采集、清洗、分類、標(biāo)注高質(zhì)量的數(shù)據(jù)上面,只有1/4的工-/供應(yīng)商消費(fèi)者軟件付費(fèi)意識仍未形成，自動駕駛商業(yè)升，但他們的支付意愿和金額卻普遍呈現(xiàn)下降趨勢。