AI大模型對智能汽車產(chǎn)業(yè)的影響

AI大模型對智能汽車產(chǎn)業(yè)的影響第七屆國際絲路新能源與智能網(wǎng)聯(lián)汽車大會9月23日｜西安22ChatGPT與AI大模型AIAI大模型在汽車業(yè)的應(yīng)用3AI大模型對汽車產(chǎn)業(yè)鏈的影響ChatGPT可回復(fù)自然語言輸入的問題ChatGPT可回復(fù)自然語言輸入的問題2022年11月，美國科技公司OpenAI發(fā)布ChatGPT，因能很好地與人實現(xiàn)互動而迅速成為爆款產(chǎn)品：上線5天用戶過100萬，2個月后用戶就突破1億，成為歷史上用戶數(shù)增長最快的消費者應(yīng)用。各明星應(yīng)用程序注冊用戶達(dá)1億時間各明星應(yīng)用程序注冊用戶達(dá)1億時間ChatGPTTikTokChatGPTTikTokInstagramSnapchatFacebook263942參數(shù)量參數(shù)量參數(shù)量2022年7月ChatGPT成功關(guān)鍵之一：大參數(shù)量參數(shù)量參數(shù)量2022年7月ChatGPT（ChatGenerativePre-trainedTransformer是一種適用于自然語言交流的人工智能大模型，它成功的關(guān)鍵之一，是OpenAI使用了海量數(shù)據(jù)進行預(yù)訓(xùn)練。5年間，GPT的參數(shù)量已從億級飆升至萬億級。四代四代GPT參數(shù)量變化GPTGPT-12018年6月?lián)煌耆y(tǒng)計，目前已發(fā)布參數(shù)量超過10億的有79個，其中，參數(shù)量最高的達(dá)到174萬億。資料來源：OpenAI公司，新汽車研究所制圖GPTGPT-2GPT-32019年2月2023年3月參數(shù)量循環(huán)神經(jīng)網(wǎng)絡(luò)模型（RNN）Transformer模型ChatGPT成功關(guān)鍵之二：新模型循環(huán)神經(jīng)網(wǎng)絡(luò)模型（RNN）Transformer模型ChatGPT取得成功的另一個關(guān)鍵，是使用了Transformer模型。該模型采用自注意力（self-attention）機制，其優(yōu)點在于并行度高，可一次性處理所有輸入數(shù)據(jù)，使ChatGPT能對詞語序列的概率分布進行建模，利用上下文信息預(yù)測后續(xù)詞語出現(xiàn)的概率分布。三種常見模型的特點對比三種常見模型的特點對比卷積神經(jīng)網(wǎng)絡(luò)模型（卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）CNN模型只能對標(biāo)注過的物體進行相似度的比對RNN模型無法進行并行計算，CNN模型只能對標(biāo)注過的物體進行相似度的比對率嚴(yán)重受限?；蛘哒f，它的聯(lián)想能力更強。Transformer模型的工作原理Tf模型的另一個重要用處：計算機視覺Transformer模型的工作原理2020年，微軟亞洲研究院首次將Tf模型應(yīng)用于圖像分類任務(wù)，在評測中實現(xiàn)88.55%的準(zhǔn)確率。而且Tf模型在數(shù)據(jù)量越大的情況下表現(xiàn)越好，特別適用于自動駕駛這類大規(guī)模數(shù)據(jù)訓(xùn)練場景。TransformerTransformer模型可將2D圖像融合成3D視角資料來源：《AttentionIsAllYouNeed》、《Safety-EnhancedAutonomousDrivingUsingInterpretableSensorFusionTransformer》1111ChatGPTChatGPT與AI大模型AIAI大模型在汽車業(yè)的應(yīng)用23AI大模型對汽車產(chǎn)業(yè)鏈的影響自動駕駛近年來一直未能進入L3時代自動駕駛是過去10年最火熱的賽道，但直到2022年才有部分企業(yè)推出具備L3級功能的車型。究其原因，除法規(guī)發(fā)展落后于產(chǎn)業(yè)發(fā)展外，很重要的一點在于自動駕駛系統(tǒng)積累的數(shù)據(jù)量還不夠，存在安全隱患。SAESAE對自動駕駛的分級標(biāo)準(zhǔn)級別名稱定義駕駛操作環(huán)境感知支援系統(tǒng)作用域0無自動化?由駕駛者完全操控汽車駕駛者駕駛者駕駛者無1駕駛支援?系統(tǒng)有時能夠輔助駕駛者完成方向盤和加減速等駕駛操作駕駛者與系統(tǒng)部分行駛?cè)蝿?wù)2部分自動化?系統(tǒng)能夠完成某項駕駛?cè)蝿?wù)?駕駛者需要監(jiān)控駕駛環(huán)境?其余駕駛操作由駕駛者完成駕駛者與系統(tǒng)3條件自動化?系統(tǒng)負(fù)責(zé)某些情況下環(huán)境感知?駕駛員需要時刻準(zhǔn)備取回駕駛控制權(quán)系統(tǒng)系統(tǒng)4高度自動化?系統(tǒng)能夠進行環(huán)境感知?駕駛員不需重新取得駕駛控制權(quán)?系統(tǒng)只能在特定環(huán)境條件下運行系統(tǒng)全部行駛?cè)蝿?wù)5完全自動化?系統(tǒng)能夠完成所有環(huán)境條件下的所有駕駛?cè)蝿?wù)為解決長尾問題，測試數(shù)據(jù)需達(dá)10億~1000億公里道路交通具有場景復(fù)雜、參與者多、場景異質(zhì)性強等特點，存在大量不可預(yù)見性。為避免長尾問題，廠商需要對車輛自動駕駛系統(tǒng)進行大量測試，以確保盡可能多地覆蓋場景，但也會帶來成本的大幅增加。 業(yè)界對L4級別自動駕駛所需測試數(shù)據(jù)的預(yù)估100億公里馬斯克曾在推特點贊了這樣的觀點：實現(xiàn)超越人類的自動駕駛能力至少需要100億公里駕駛數(shù)據(jù)。1000億公里自動駕駛初創(chuàng)公司MOMENTA在其公眾號上提出：要實現(xiàn)L4級駕駛，至少需要千億公2400億我國20222400億資料來源：廣汽集團，案頭研究AI大模型將從根本上改變自動駕駛產(chǎn)業(yè)的發(fā)展人工智能大模型在汽車業(yè)的應(yīng)用，首推它對自動駕駛的賦能，主要體現(xiàn)為城市導(dǎo)航輔助駕駛系統(tǒng)（城市NOA）的量產(chǎn)應(yīng)用上。從2022年Q3起，國內(nèi)外智能汽車頭部企業(yè)開始應(yīng)用投放各自的城市NOA系統(tǒng)。 智能汽車頭部公司NOA系統(tǒng)發(fā)展概況資料來源：中信證券要實現(xiàn)NOA對智能傳感器硬件要求很高硬件配置方面，需要車輛使用滿足L3級自動駕駛功能的智能化傳感器，如攝像頭、激光雷達(dá)、毫米波雷達(dá)等，能實時感知各類路面情況；還需要車輛的自動駕駛芯片有足夠高的算力，能在毫秒之內(nèi)識別信息，并提出應(yīng)對策略。 應(yīng)用智能傳感器是實現(xiàn)NOA的基礎(chǔ)小鵬G9特斯拉Model小鵬G9無論是多傳感器融合派廠商，還是視覺派廠商，都大量使用智能化傳感器，他們是實現(xiàn)NOA的必要條件。要實現(xiàn)NOA還需要高水平算法的支持廠商要搭建起高效的算法模型，開發(fā)的系統(tǒng)既要能精準(zhǔn)識別并處理各傳感器獲得的數(shù)據(jù)，還要能有效應(yīng)對模型未考慮到的長尾問題。這大大增加了系統(tǒng)所需數(shù)據(jù)量，增加了開發(fā)難度。 軟件在NOA系統(tǒng)中起決定性作用特斯拉的NOA系統(tǒng)不僅能規(guī)劃車輛行進路線等，還會實時提供預(yù)警信息，并能主動停止可能導(dǎo)致危險發(fā)生的并線等行為。小鵬汽車開發(fā)的城市NGP的代碼量、感知模型數(shù)量、預(yù)測/規(guī)劃/控制相關(guān)代碼量，分別是其高速NGP是6倍、4倍和88倍。特斯拉率先在汽車業(yè)應(yīng)用AI大模型2021年，特斯拉在其AIDay上宣布將基于BEV+Tf架構(gòu)開發(fā)其新版的完全自動駕駛系統(tǒng)（FSD），并于當(dāng)年開始重新編寫底層代碼，成為在汽車業(yè)第一個使用AI大模型的主流廠商。 新架構(gòu)下特斯拉自動駕駛軟件的融合效果上圖：攝像頭獲得的車輛左、中、右三方的感特斯拉自動駕駛軟件對上圖感知結(jié)果進行融合后的效果。資料來源：特斯拉2021AIDay傳統(tǒng)的自動駕駛算法是基于規(guī)則開發(fā)的傳統(tǒng)算法將自動駕駛系統(tǒng)劃分為感知、規(guī)劃、控制等3大塊，每個部分又可細(xì)分為不同的模塊和子模塊。每個模塊各司其職，有著獨立且明確的目標(biāo)。傳統(tǒng)的自動駕駛算法框架傳統(tǒng)的自動駕駛算法框架感知模塊感知模塊的作用主要有3點：?識別周邊物體，?檢測交通信號，?明確物體坐標(biāo)，規(guī)劃模塊控制模塊規(guī)劃模塊的作用主要是根據(jù)車輛實際行駛時面臨的實時交通環(huán)境，生成對應(yīng)的行進規(guī)劃，如跟車、加速、換道、制動等。控制模塊的作用是操縱車輛，協(xié)調(diào)車輛的動力系統(tǒng)、制動系統(tǒng)等，按照規(guī)劃模塊輸入行進規(guī)劃，實施駕駛行為。感知模塊規(guī)劃模塊控制模塊端到端模型基于數(shù)據(jù)的AI大模型將徹底改變自動駕駛算法的底層邏輯感知模塊規(guī)劃模塊控制模塊端到端模型應(yīng)用AI大模型后，自動駕駛算法的底層邏輯將變成“場景→車輛控制”的端到端模型，將感知、規(guī)劃和控制環(huán)節(jié)一體化，傳感器采集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過處理后直接輸出自動駕駛的駕駛命令，不存在各子模塊目標(biāo)與總系統(tǒng)目標(biāo)存在偏差的情況，保證效益最大化。當(dāng)前，端到端模型暫時只被用于感知系統(tǒng)。模塊化與端到端方案對比模塊化與端到端方案對比類別優(yōu)點缺點模塊化方案.由眾多子模塊組成，每個對應(yīng)特定的任務(wù)和功能；易于調(diào)試等。.存在多個編解碼環(huán)節(jié)，會產(chǎn)生計算的冗余浪費，對算力要求高，需要使用激光雷達(dá)、.長尾部分需一事一議，會耗費大量精力解決。端到端方案.可借助數(shù)據(jù)的多樣性獲得不同場景下的泛用性；.減少感知、決策等中間模塊的.黑盒模式，解釋性差，當(dāng)系統(tǒng)出現(xiàn)錯誤時，難以判斷是哪個隱藏層或神經(jīng)元的問題；.閉環(huán)驗證較難，缺少真實數(shù)據(jù)驗證。資料來源：新汽車研究所繪制鳥瞰圖，一種新的融合算法鳥瞰圖（BEV，Bird‘sEyeView是利用算法將各傳感器獲取的二維信號轉(zhuǎn)換成類似直升機俯視視角的三維坐標(biāo)，可在感知算法的層面實現(xiàn)端到端的架構(gòu)開發(fā)。優(yōu)點通過融合多個視角解決遮擋和物體重疊問題，解決多傳感器融合問題，方便下游任務(wù)共享圖像特征；在BEV視角下沒有物體變形問題，使得模型集中精力解決分類問題；能夠把傳統(tǒng)感知方案中3D目標(biāo)檢測、障礙物實例分割、車道線分割、軌跡預(yù)測等多項任務(wù)在一個算法框架內(nèi)實現(xiàn)，大幅減少人力需求，提升算法開發(fā)效率。缺點鳥瞰圖是基于2D信號合成的，缺少高度信息，無法真實反映出物體在3D空間實際的占用體積是多少。為解決這一問題，算法通過矩形框進行標(biāo)記，這導(dǎo)致了細(xì)節(jié)損失。對于未被預(yù)訓(xùn)練過的物體，系統(tǒng)無法識別。圖片來源：特斯拉2021AIDay占用網(wǎng)絡(luò)感知技術(shù)，特斯拉給BEV算法打的補丁2022年，特斯拉推出OccupancyNetworks（占用網(wǎng)絡(luò)）感知技術(shù)，通過算法對物理世界進行數(shù)據(jù)化和泛化建模，在3D空間上測出不同物體的高度，賦予鳥瞰圖算法高度信息。占用網(wǎng)絡(luò)感知技術(shù)原理占用網(wǎng)絡(luò)感知技術(shù)原理擺脫了神經(jīng)網(wǎng)絡(luò)算法需先“認(rèn)識”才能擺脫了神經(jīng)網(wǎng)絡(luò)算法需先“認(rèn)識”才能“識別”的特性，大大增強了對不規(guī)則外形障礙物的感知能力，大幅提升了模型的泛化能力。的概率，無需考慮這個物體到底是什么，只考慮網(wǎng)格是否被占用。圖片來源：特斯拉2022AIDayAI大模型可以大大降低自動駕駛成本自動駕駛感知模塊有視覺派、融合派2種技術(shù)路線，前者以攝像頭為主傳感器，后者以激光雷達(dá)為主傳感器。應(yīng)用AI大模型降低了硬件的要求，及軟件開發(fā)的成本。 AI大模型對自動駕駛成本的影響特斯拉堅持走視覺路線，其Model3應(yīng)用的是8個攝像頭+1個毫米波雷達(dá)的配置方案。大多數(shù)廠商選擇多傳感器融合路線，以激光雷達(dá)為主傳感器，輔之以攝像頭、毫米波雷達(dá)等。圖片來源：特斯拉、毫末智行車載感知硬件成本降低。自動標(biāo)注的效率提升，帶動成本大幅度下降。大模型的開發(fā)成本。廠商需要新增大量云端算力。1.4萬個GPU訓(xùn)練集群特斯拉預(yù)期其算力規(guī)模會在2024年2月進入全AI大模型可大幅減少長尾效應(yīng)，提高自動駕駛安全性由于基于規(guī)則的算法泛化性不足、仍面臨諸多長尾問題，目前完善算法的方式是“打補丁”，又會導(dǎo)致最終代碼量龐大且難以維護。AI大模型具備更強的泛化能力，可大幅度減少長尾效應(yīng)，大大提升安全性。汽車的汽車的傳統(tǒng)自動駕駛方案依靠貼標(biāo)簽的方式挖掘長尾數(shù)據(jù)，通常僅能識別已知的圖像類別。而大模型可通過文本將收集到的圖像進行相關(guān)性分類，并依照文本描述檢索圖像，因此有較強的泛化性。自動駕駛能力的提升需要大量算法訓(xùn)需模擬出大量仿真場景做補充。如果僅憑借工程師的理解設(shè)計仿真場景，能模擬的場景數(shù)量有限。而大模型的應(yīng)用將使自動泛化成為可能，生成仿生場景數(shù)據(jù)的效率提升，AI大模型驅(qū)動下，L3級自動駕駛的安全性已高于人2021年，特斯拉開始應(yīng)用大模型重構(gòu)自動駕駛軟件，當(dāng)年7月推送的FSDBetaV9是大模型算法下的版本。2022年的實際測試顯示，特斯拉L3級自動駕駛系統(tǒng)FSD的安全性能已高于人。 FSD已具備高于人駕駛的安全性資料來源：特斯拉，案頭研究100億公里馬斯克曾在推特點贊了這樣的實現(xiàn)超越人類的自動駕駛能力1000億公里自動駕駛初創(chuàng)公司MOMENTA要實現(xiàn)L4級駕駛，至少需要千2022年，特斯拉的自動駕駛算法已全面切換到AI大模新版FSD的事故率，每行駛百萬英里（主要是非高速公路）發(fā)生事故的次數(shù)是0.31。NHTSA的數(shù)據(jù)，美國所有車輛每行駛百萬英里發(fā)生事故的次數(shù)是1.53，是FSD的4.9倍。112112ChatGPTChatGPT與AI大模型AIAI大模型在汽車業(yè)的應(yīng)用3AI大模型對汽車產(chǎn)業(yè)鏈的影響軟件定義汽車有了新的含義軟件定義汽車的概念近年來逐步被業(yè)界接受，但更多的還是從產(chǎn)品開發(fā)的角度，強調(diào)要重視軟件的功能、作用與價值。隨著大模型得到更多的應(yīng)用，軟件定義汽車的內(nèi)涵有了新的變化，后續(xù)可能是“數(shù)據(jù)定義汽車”。 業(yè)界對軟件定義汽車的常見理解產(chǎn)品開發(fā)過程視軟件；整車由硬件主導(dǎo)轉(zhuǎn)向軟件主導(dǎo)。資料來源：清華大學(xué)，麥肯錫數(shù)據(jù)驅(qū)動時代，對算力的要求更高自動駕駛功能的不斷升級，對車用芯片算力的要求越來越高，用戶需求倒逼上游企業(yè)開發(fā)出集合AI加速器的系統(tǒng)級芯片（SoC），提升車輛的算力。今后的算力將來到云端，對整車廠商提出更高要求。 Transformer模型所需算力是指數(shù)級增長2021年，蔚來發(fā)布新車ET7，該車使用的超算平臺NIOAdam，配備由四顆英偉達(dá)Drive過特斯拉發(fā)布的FSD平臺算力的7倍。為更好地訓(xùn)練FSD，特斯拉AI計算中心Dojo總計使用了1.4萬個英偉達(dá)的GPU來訓(xùn)練AI模型，使用了14億幀畫面訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，對應(yīng)的是10萬個GPU工時。資料來源：蔚來汽車，新汽車研究所激