特斯拉FSD自動駕駛方案深度解析

01020304請務(wù)必閱讀正文之后的信息披露及法律聲明。1概要目

錄CONTENTS特斯拉FSD架構(gòu)詳解FSDV12展望投資建議01請務(wù)必閱讀正文之后的信息披露及法律聲明。2概要ABSTRACT

概要FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動駕駛軟硬件架構(gòu)Planning—我該怎么走Neural

Networks——為什么要這么走Training

Data——這么走是正確的嗎規(guī)劃感知數(shù)據(jù)Occupancy——我周圍有什么？如何分布Lanes&

Objects——周圍的物體下一步去哪里Auto

Labeling——數(shù)據(jù)標注Simulation——仿真模擬Data

Engine——數(shù)據(jù)引擎Training

Infra——拿什么運算AICompiler&

Inference——如何在計算機上運行神經(jīng)網(wǎng)絡(luò)硬件平臺請務(wù)必閱讀正文之后的信息披露及法律聲明。3軟硬耦合資料來源：TESLA

2022

AI

day，

youtube

，德邦研究所02請務(wù)必閱讀正文之后的信息披露及法律聲明。4特斯拉FSD架構(gòu)詳解FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動駕駛軟硬件架構(gòu)FSD架構(gòu)：在數(shù)據(jù)、算法、算力等各個層面打造了一套包含感知、規(guī)控、執(zhí)行在內(nèi)的全鏈路自動駕駛軟硬件架構(gòu)規(guī)劃（Planning）:本質(zhì)是解決多物體關(guān)聯(lián)路徑規(guī)劃問題，處理自我和所有對象的行進軌跡，指導(dǎo)汽車完成相應(yīng)的執(zhí)行動作神經(jīng)網(wǎng)絡(luò)（Neural

Networks）：通過分析視頻流等信息，輸出完整的運動學(xué)狀態(tài)（位置/速度/加速度/顛簸）控制車輛訓(xùn)練數(shù)據(jù)（Training

Data）：通過最新的4D自動標注技術(shù)、升級模擬仿真及云端計算資源，形成數(shù)據(jù)閉環(huán)訓(xùn)練基礎(chǔ)設(shè)施

（Training

Infra）：包括CPU、GPU、神經(jīng)網(wǎng)絡(luò)加速器單元（Neural

Network

Accelerator）、AI編譯器等，其中AI編譯器能夠支持神經(jīng)網(wǎng)絡(luò)所需的新操作，將它們映射到最佳的底層硬件資源上AI編譯與推理（AI

Compiler

&

Inference）：即如何在計算機上運行神經(jīng)網(wǎng)絡(luò)。當前的推理引擎能夠?qū)蝹€神經(jīng)網(wǎng)絡(luò)的執(zhí)行分配到兩個獨立的芯片系統(tǒng)上執(zhí)行，可以理解為有兩臺獨立的計算機在同一臺自動駕駛計算機內(nèi)相互連接

圖表：特斯拉FSD架構(gòu) 資料來源：TESLA

2022

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。52.1請務(wù)必閱讀正文之后的信息披露及法律聲明。6自動駕駛規(guī)劃（Planning）——我該怎么走？采用混合規(guī)劃系統(tǒng)，提供最優(yōu)規(guī)控解決方案圖表：十字路口三種不同方案的選擇資料來源：TESLA

2022

AI

day，youtube，德邦研究所×

方案一：搶在行人前面通過×

方案二：在行人和右面來車之間通過√方案三：找到合適的間隙，在不干擾其他車輛的情況下通過自動駕駛規(guī)控的目標：基于感知網(wǎng)絡(luò)輸出的結(jié)果，通過規(guī)劃汽車行為和行車路徑使得汽車達到指定目的地，同時盡可能確保行車安全性、效率性和舒適性圖表：FSD最終規(guī)劃路線選擇特斯拉FSD解決方案：將傳統(tǒng)規(guī)劃控制與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，構(gòu)建一套【混合規(guī)劃系統(tǒng)】，依靠“互動搜索（Interaction

Search）”的框架，以任務(wù)分解的方式對一堆可能的運動軌跡進行并行研究圖表：特斯拉視覺規(guī)控解決方案資料來源：TESLA

2022

AI

day，youtube，德邦研究所

資料來源：TESLA

2021AI

day，youtube，德邦研究所 三維向量空間基于既定目標進行初步搜索凸優(yōu)化持續(xù)微調(diào)優(yōu)化全局最優(yōu)解請務(wù)必閱讀正文之后的信息披露及法律聲明。7基于Vector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解具體解決路徑：從一組視覺測量開始，包括車道、占用率、移動物體等（這些都表現(xiàn)為稀疏的抽象和潛在特征），感知得到的Vector

Space，

通過Vector

Space規(guī)劃出后續(xù)潛在目標狀態(tài)，進一步考慮細分互動，得到?jīng)Q策規(guī)劃的路徑圖表：FSD互動搜索框架資料來源：TESLA

2022

AI

day，youtube，德邦研究所整理決策樹生成最初用經(jīng)典的優(yōu)化方法來創(chuàng)建規(guī)劃路徑，隨著約束條件增加，每個動作都需要1-5ms的時間最終建立了輕量級可查詢網(wǎng)絡(luò)?！綯esla車隊中人類駕駛員駕駛數(shù)據(jù)】VS【寬松時間約束的離線條件下系統(tǒng)規(guī)劃的全局最優(yōu)路徑】，兩者不斷進行對比訓(xùn)練。能夠在100us內(nèi)生成一個候選規(guī)劃路徑?jīng)Q策樹剪枝/評分采用混合規(guī)劃系統(tǒng)，將傳統(tǒng)方法與數(shù)據(jù)驅(qū)動相結(jié)合，通過四個方法進行候選路徑評估完成剪枝請務(wù)必閱讀正文之后的信息披露及法律聲明。8基于Vector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解對于未知及不確定性（corner

case）的決策——通過Occupancy

Network對可視區(qū)域進行建模用來處理未知不可見場景需要根據(jù)這些假想的參與者做相應(yīng)的保護性駕駛，將控制反應(yīng)與存在可能性函數(shù)相協(xié)調(diào)，得到非常類似人的行為圖表：通過Occupancy

Network對可視區(qū)域進行建模用來處理未知不可見場景資料來源：TESLA

2022AI

day，youtube，德邦研究所整理至此，特斯拉FSD最終架構(gòu)浮出水面：首先，通過視覺感知網(wǎng)絡(luò)生成三維向量空間，對于僅有唯一解的問題，可直接生成明確的規(guī)控方案，而對于有多個可選方案的復(fù)雜問題，使用向量空間和感知網(wǎng)絡(luò)提取的中間層特征，訓(xùn)練神經(jīng)網(wǎng)絡(luò)規(guī)劃器，得到軌跡分布其次，融入成本函數(shù)、人工干預(yù)數(shù)據(jù)或其他仿真模擬數(shù)據(jù)，獲得最優(yōu)的規(guī)控方案最終生成轉(zhuǎn)向、加速等控制指令，由執(zhí)行模塊接受控制指令實現(xiàn)自動駕駛圖表：特斯拉FSD感知-規(guī)劃-控制整體架構(gòu)資料來源：TESLA

2021

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。92.2請務(wù)必閱讀正文之后的信息披露及法律聲明。10神經(jīng)網(wǎng)絡(luò)（Neural

Networks）——為什么要這么走？算法經(jīng)歷多次迭代，BEV+Transformer+Occupancy為當前架構(gòu)

圖表：特斯拉FSD算法迭代歷程 資料來源：汽車之心微信公眾號，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。112.2.1請務(wù)必閱讀正文之后的信息披露及法律聲明。12占用網(wǎng)絡(luò)（Occupancy

Network）——我周圍有什么？如何分布升級至Occupancy能夠有效優(yōu)化障礙物識別問題圖表：Occupancy有效解決了一般障礙物識別問題資料來源：THINK

AUTONOMOUS官網(wǎng)，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。13HydraNets（九頭蛇網(wǎng)絡(luò)）為視覺感知網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)進行多任務(wù)訓(xùn)練并輸出感知結(jié)果在BEV空間內(nèi)進行特征層融合，并融入時序信息輸入原始數(shù)據(jù)，通過backbone進行特征提取圖表：特斯拉HydraNets（九頭蛇網(wǎng)絡(luò)）架構(gòu)示意圖資料來源：TESLA

2021

AI

day，youtube，德邦研究所整理cacheBackboneNeckHead請務(wù)必閱讀正文之后的信息披露及法律聲明。14HeadHead網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)—九頭蛇網(wǎng)絡(luò)（HydraNets）由主干（Backbone）、頸部(Neck)）

與多個分支頭部(Head）共同組成。主干層將原始視頻數(shù)據(jù)通過殘差神經(jīng)網(wǎng)絡(luò)(RegNet)及多尺度特征融合結(jié)構(gòu)(BiFPN)完成端到端訓(xùn)練，提取出頸部層的多尺度視覺特征空間

(multi-scale

features），最后在頭部層根據(jù)不同任務(wù)類型完成子網(wǎng)絡(luò)訓(xùn)練并輸出感知結(jié)果優(yōu)勢一：特征共享(Feature

Sharing)。使用同一主干網(wǎng)絡(luò)提取特征并共享給頭部使用，可以在測試階段分攤在車上運行的前向判斷，避免不同任務(wù)之間重復(fù)計算現(xiàn)象，提升網(wǎng)絡(luò)運行效率優(yōu)勢二：任務(wù)解耦（De-Couples

Tasks）。不同類型子任務(wù)之間可以進行解耦，這樣可以單獨處理每一項任務(wù)，對單項任務(wù)的升級不必驗證其他任務(wù)是否正常，升級成本更低優(yōu)勢三：特征緩存（Representation

Bottleneck）。因為這里存在頸部，可以將特征緩存到硬盤，具有較強

的擴展性通過端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出Step

1

圖像輸入（Image

Input）：校準每個相機的圖片，將原始12位RGB圖像（而非典型的8位）輸送給網(wǎng)絡(luò)。多了4位信息能夠使得動態(tài)范圍提升16倍，同時減少延遲（無需在循環(huán)中運行圖像信號處理ISP）Step

2

圖像校準（Rectify）：通過不同的汽車采集到的數(shù)據(jù)共同構(gòu)建一個通用感知網(wǎng)絡(luò)架構(gòu)，不同汽車由于攝像頭安裝外參的差異，可能導(dǎo)致采集的數(shù)據(jù)存在微小偏差，為此特斯拉在感知框架中加入了一層“虛擬標準相機(virtual

camera)”，引入攝像頭標定外參將每輛車采集到的圖像數(shù)據(jù)通過去畸變、旋轉(zhuǎn)等方式處理后，統(tǒng)一映射到同一套虛擬標準攝像頭坐標中，從而實現(xiàn)各攝像頭原始數(shù)據(jù)校準，消除外參誤差，確保數(shù)據(jù)一致性，將校準后的數(shù)據(jù)傳輸給主干神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練Step

3

特征提?。↖mage

Featurizers）：用一組RegNet（特定殘差網(wǎng)絡(luò)，specific

class

of

resnets）和BiFPN（加權(quán)雙向特征金字塔網(wǎng)絡(luò)）作為提取圖像空間特征的主干圖表：加入virtual

camera校準圖像數(shù)據(jù)偏差資料來源：TESLA

2021AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。15Step

4

構(gòu)造空間位置（Spacial

Attention）：將攝像頭采集到的數(shù)據(jù)通過【BEV空間轉(zhuǎn)換層】構(gòu)造一組3D位置，同時將圖像信息作為鍵(key)值(value)，輸入給一個注意力模型（核心模塊是【Transformer神經(jīng)網(wǎng)絡(luò)】）。注意力模型的輸出是高維空間特征，這些高維空間特征與車輛上的里程數(shù)據(jù)進行暫時協(xié)調(diào)，來推導(dǎo)出運動。該方案厲害之處在于可以將地面坡度、曲率等幾何形狀的變化情況內(nèi)化進神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)中Step

5

時間對齊（Temporal

Alignment）：上述高維空間暫時特征經(jīng)過一組反卷積，產(chǎn)生最終的占用率和占用率流輸出。它們生成的是固定尺寸塊的網(wǎng)格，為了提高精度，模型還生成了per

volex

feature

MAP輸入到MLP中，借助3D空間點查詢（query）來獲取任意點的位置和語義信息

圖表：BEV+Transformer實現(xiàn)二維圖像空間向三維向量空間的轉(zhuǎn)變 資料來源：TESLA

2021AI

day，youtube，德邦研究所

圖表：通過輸入視頻片段為自動駕駛增添短時記憶能力 資料來源：TESLA

2021AI

day，youtube，德邦研究所通過端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出請務(wù)必閱讀正文之后的信息披露及法律聲明。162.2.2請務(wù)必閱讀正文之后的信息披露及法律聲明。17車道線及障礙物感知(Lanes

&

Objects)——周圍的物體下一步去往哪里？基于3D

Occupancy迭代車道線及障礙物感知模型早期，將車道檢測問題建模為一個圖像空間內(nèi)實時分割的任務(wù)，只能從幾種不同的幾何形狀中辨別車道。具體而言，可以分別出當前車道、相鄰車道，能特別處理一些交叉和合并的情況，然后用粗略的地圖數(shù)據(jù)對其進行增強。這種簡化模型對高速這種高度結(jié)構(gòu)化的路是有效的當前，引入Map

Component，使用了低精度地圖中關(guān)于車道線幾何/拓撲關(guān)系的信息（車道線數(shù)量/寬度、特殊車道屬性等），并將這些信息整合起來進行編碼，與視覺感知到的特征信息一起生成車道線（Dense

World

Tensor）給到后續(xù)Vector

Lane模塊圖表：車道線及障礙物感知模型資料來源：TESLA

2022AI

day，youtube，德邦研究所基于2D

BEV基于3D

Occupancy，是具有高低起伏變化的車道線感知請務(wù)必閱讀正文之后的信息披露及法律聲明。18問題一：如何預(yù)測車道？圖表：特斯拉車道預(yù)測方案資料來源：TESLA

2022AI

day，youtube，德邦研究所從某一點（綠點）開始進行預(yù)測描繪先對現(xiàn)實世界做粗略處理，做一個可能的位√置熱點圖，鎖定在可能性最大的位置上。以×該位置被編碼到一個離散化的3D粗略網(wǎng)絡(luò)中,但并不直接在3D網(wǎng)格中做預(yù)測描繪（計算成本較高）此為條件對預(yù)測進行改進，獲得準確的點最有可能的位置然后不斷重復(fù)該過程，直到枚舉了車道中所有的點請務(wù)必閱讀正文之后的信息披露及法律聲明。19車道圖—也即希望從網(wǎng)絡(luò)上獲得最終結(jié)果問題二：如何預(yù)測道路上其他對象的未來行為圖表：障礙物感知是一個兩階段的感知資料來源：TESLA

2022AI

day，youtube，德邦研究所預(yù)測所有物體的屬性，在實時系統(tǒng)上造成了一些具體實施問題。需要讓對象堆棧部分實現(xiàn)幀率最大化，自動駕駛才能對變化的環(huán)境做出快速反應(yīng)。為了盡量減少延遲，神經(jīng)網(wǎng)絡(luò)被分為兩個階段：第一階段，確定對象在3D空間中的位置第二階段，在這些3D位置取得張量，附加車輛上的額外數(shù)據(jù)和一些其他處理這個規(guī)范步驟使得神經(jīng)網(wǎng)絡(luò)專注于計算最關(guān)鍵的區(qū)域，能夠付出很小的延遲成本獲得優(yōu)異性能請務(wù)必閱讀正文之后的信息披露及法律聲明。202.3請務(wù)必閱讀正文之后的信息披露及法律聲明。21訓(xùn)練數(shù)據(jù)（Training

Data）——為什么這么走是正確的？2.3.1請務(wù)必閱讀正文之后的信息披露及法律聲明。22自動數(shù)據(jù)標注（Auto

Labeling）由2D手工標注逐步升級為4D自動標注，數(shù)據(jù)閉環(huán)趨于完善外包第三方進行數(shù)據(jù)標注組建超1000人團隊進行手工標注自動標注圖表：特斯拉數(shù)據(jù)標注由2D手工標注逐步升級為4D自動標注基于2D圖像進行標注在BEV空間下進行4D自動標注資料來源：TESLA

2021

AI

day，youtube，德邦研究所做法：在2D圖像上標注出各種物體，具體表現(xiàn)為在單個物體上繪制出一些多邊形和折線，用以描繪出邊界框（Bounding

Boxes）缺點：數(shù)據(jù)量很大的情況下，工作量極大，標注效率低請務(wù)必閱讀正文之后的信息披露及法律聲明。23含義：在三維或四維空間中，為不同的時間點和空間位置賦予獨特的標簽或標識符做法：直接在向量空間中進行標注，將其投影到相機圖像中優(yōu)點：能夠支持大量數(shù)據(jù)標注；由于只需要在空間中標注一次，然后自動投影，標注效率大幅提升為什么要采用4D自動標注？——大幅提升標注效率圖表：特斯拉數(shù)據(jù)標注發(fā)展歷程資料來源：TESLA

2022AI

day，youtube，德邦研究所標注請務(wù)必閱讀正文之后的信息披露及法律聲明。24全人工標注地圖標注先場景重建，再4D

建圖基于BEV感知，采用衛(wèi)星

使用3D特征進行多趟采集軌跡的聚合重建可以取代500萬小時的人工操作標記，只需在集群中運行12小時，就可以完成10000次行駛軌跡的標記如何進行4D自動標注？—采集Clips通過機器算法生成Labels圖表：4D自動標注過程資料來源：TESLA

2021AI

day，youtube，德邦研究所自動標注步驟：通過汽車在一段時間內(nèi)采集到的視頻、IMU、GPS、

里程表等數(shù)據(jù)構(gòu)成最小標注單元

（Clip，約45-60秒）將最小標注單元上傳至服務(wù)器，由離線神經(jīng)網(wǎng)絡(luò)系統(tǒng)訓(xùn)練得到中間層結(jié)果，如分割、深度等通過大量機器算法生成最終用以訓(xùn)練的標簽集（Labels）請務(wù)必閱讀正文之后的信息披露及法律聲明。254D自動標注的幾個關(guān)鍵步驟

圖表：4D自動標注的3個關(guān)鍵步驟 資料來源：TESLA

2022

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。262.3.2請務(wù)必閱讀正文之后的信息披露及法律聲明。27仿真模擬（Simulation）為什么要做仿真模擬？—泛化Corner

Case，賦能模型迭代資料來源：TESLA

2022

AI

day，youtube，德邦研究所仿真模擬可以提供現(xiàn)實世界中難以獲得或是難以標記的數(shù)據(jù)，從而加速FSD能力的訓(xùn)練，賦能模型迭代圖表：仿真模擬示意圖基于數(shù)據(jù)標記，疊加一些全新工具，可以在5Min內(nèi)生成這類場景請務(wù)必閱讀正文之后的信息披露及法律聲明。28如何進行仿真模擬？——五大步驟Step

1

準確的傳感器仿真（Accurate

Sensor

Simulation）:由于FSD的感知系統(tǒng)是基于純攝像頭，因此需要對攝像頭的各種屬性進行軟硬件建模，如傳感器噪聲、曝光時間、光圈大小、運動模糊、光學(xué)畸變等Step

2

逼真的視覺渲染（Photorealistic

Rendering）：為了更真實的模擬現(xiàn)實世界場景，需要仿真渲染盡可能做到逼真。特斯拉利用神經(jīng)網(wǎng)絡(luò)視覺技術(shù)提升視覺渲染效果，同時用光線追蹤的方法模擬逼真的光照效果Step

3多元化的交通參與者與地理位置（Diverse

Actors

&

Locations）：為了避免仿真環(huán)境過于單一，導(dǎo)致感知系統(tǒng)過擬合的問題，特斯拉對仿真環(huán)境參與物進行了充分建模，包括多元化的交通參與者和靜態(tài)物體圖表：實現(xiàn)仿真模擬的五大步驟資料來源：TESLA

2021

AI

day，youtube，德邦研究所圖表：實現(xiàn)仿真模擬的五大步驟資料來源：TESLA

2021

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。29如何進行仿真模擬？——五大步驟Step

4大規(guī)模場景生成（Scalable

Sensor

Generation）：由計算機通過調(diào)整參數(shù)生成不同的場景形態(tài)。同時由于大量的仿真場景可能是的無用的，為了避免浪費計算資源，引入MLB等神經(jīng)網(wǎng)絡(luò)尋找故障點，重點圍繞故障點進行仿真數(shù)據(jù)創(chuàng)建，反哺實際規(guī)劃網(wǎng)絡(luò)，形成閉環(huán)Step5

場景重現(xiàn)（Sensor

Recontruction）:在完成真實世界片段的自動標注重建后，疊加視覺圖像信息，生成與真實世界“孿生”的虛擬世界，復(fù)現(xiàn)真實世界中FSD失敗的場景，實現(xiàn)在仿真環(huán)境下的優(yōu)化迭代后再反哺汽車算法模型，實現(xiàn)“數(shù)據(jù)閉環(huán)”圖表：實現(xiàn)仿真模擬的五大步驟資料來源：TESLA

2021

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。302.3.3請務(wù)必閱讀正文之后的信息披露及法律聲明。31數(shù)據(jù)引擎（Data

Engine）自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)

圖表：特斯拉數(shù)據(jù)引擎示意圖 資料來源：TESLA

2022

AI

day，youtube，德邦研究所最終通過影子模式部署回車端進行新的測試比較不同版本指標，直到最后經(jīng)過驗證的新模型部署車端由標配自動駕駛硬件的車隊數(shù)據(jù)采集通過各種規(guī)則及影子模式下人腦與AI差異，篩選有語義信息的數(shù)據(jù)回傳云端云端通過工具對錯誤的AI輸出進行糾正，放入數(shù)據(jù)集群利用這些有效數(shù)據(jù)訓(xùn)練車端在線模型和云端離線模型請務(wù)必閱讀正文之后的信息披露及法律聲明。32自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)圖表：數(shù)據(jù)引擎優(yōu)化神經(jīng)網(wǎng)絡(luò)的案例資料來源：TESLA

2022

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。332.4請務(wù)必閱讀正文之后的信息披露及法律聲明。34訓(xùn)練基礎(chǔ)設(shè)施（Training

Infra）——用什么進行訓(xùn)練Dojo何以為道？——化繁為簡，以少為多的集群架構(gòu)架構(gòu)方式：近乎對稱的分布式計算架構(gòu)優(yōu)勢：D1芯片擴展性好；算力的編程靈活性高拓展性高：通用CPU芯片加速迭代：2d

Mesh連接，大幅提升集群性能的線性度輕裝上陣：削減對計算非必須功能，簡化結(jié)構(gòu)，減少功耗和面積使用，極大程度釋放性能圖表：D1芯片 資料來源：Tesla

2021

AI

day，youtube，德邦研究所圖表：Dojo架構(gòu)資料來源：Tesla

2021

AI

day，youtube，德邦研究所圖表：Dojo算力迭代情況資料來源：Tesla公告，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。35圖表：Dojo

Compiler 資料來源：Tesla

2021

AI

day，youtube，德邦研究所Dojo助力加速自動標注、Occupancy

Networks性能對比：在4D自動標注任務(wù)和使用OccupancyNetworks完成環(huán)境感知任務(wù)時，相比英偉達A100，Dojo能實現(xiàn)性能的倍增請務(wù)必閱讀正文之后的信息披露及法律聲明。36不止于此，Dojo的更大野心不斷擴大的集群規(guī)模、Dojo超算中心的投產(chǎn)，意味著特斯拉有望再次加速FSD的迭代速度；在擁有如此大規(guī)模的算力后，特斯拉擁有的海量數(shù)據(jù)有望釋放出巨大價值圖表：Dojo不但將釋放擺脫英偉達之后的潛力，還有望帶來人形機器人Optimus

的不斷突破資料來源：TESLA：《Dojo:The

Microarchitecture

ofTesla’s

Exa-Scale

Computer》

，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。372.5請務(wù)必閱讀正文之后的信息披露及法律聲明。38AI編譯與推理（AI

compiler&inference）——如何在計算機上運行神經(jīng)網(wǎng)絡(luò)對端到端延遲進行嚴格控制+部署更先進的調(diào)度代碼

圖表：AI編譯與推理原理 所有的模型、架構(gòu)運算加起來大約有10億個參數(shù)，產(chǎn)生了大約1000個神經(jīng)網(wǎng)絡(luò)信號。因此，需要確保共同優(yōu)化它們，才能最大限度優(yōu)化吞吐量，并盡量減少延遲編譯：建立了一個專門針對神經(jīng)網(wǎng)絡(luò)的編譯器(CombileToolchain)，與傳統(tǒng)編譯器共享架構(gòu)運行：設(shè)計了混合調(diào)度系統(tǒng)（Hybrid

Parallelism），基本上可以在單SOC上執(zhí)行異構(gòu)調(diào)度，在兩個SOC上進行分布式調(diào)度，以模型并行的方式運行這些網(wǎng)絡(luò)資料來源：TESLA

2022

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。39目標：將所有操作在計算機上運行圖表：如何在計算機上運行神經(jīng)網(wǎng)絡(luò)Goals：compilealloperationstonativelyrunonTRIP

engine目標：快速運行密集點積（DenseDot

Product）難點：但是Lanes

Network架構(gòu)是自回歸和迭代的，它在內(nèi)循環(huán)中緊縮多個注意力塊，在每一步都直接產(chǎn)生稀疏點（sparse

point），那么最大的挑戰(zhàn)是如何在密集點積引擎上做稀疏點預(yù)測資料來源：TESLA

2022

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。40如何做？——將得到的One-Hot編碼通過矩陣乘法運算實現(xiàn)在網(wǎng)絡(luò)預(yù)測出最有可能的空間位置熱圖后，通過算法得到空間位置索引的One-Hot編碼選擇與這個索引相關(guān)的嵌入。為了在芯片上實現(xiàn)它，在SRAM中建立了一個查詢表，并且設(shè)計了這個嵌入的尺寸，以便可以用矩陣乘法實現(xiàn)所有將這個嵌入存儲到一個標記緩存中，這樣就可以無需在每次迭代時都重新計算，而是能夠在未來的預(yù)測中重新使用

圖表：AI編譯與推理步驟 資料來源：TESLA

2022

AI

day，youtube，德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。41效果如何？—運行7500萬個參數(shù)的模型延遲不到10ms，消耗功率8W圖表：運行7500萬參數(shù)的模型只有不到10ms延遲，消耗8W功率資料來源：TESLA

2022

AI

day，youtube，德邦研究所7500萬參數(shù)請務(wù)必閱讀正文之后的信息披露及法律聲明。429.6ms延遲消耗8W功率03請務(wù)必閱讀正文之后的信息披露及法律聲明。43FSD

V12展望FSD

V12或?qū)⑼耆D(zhuǎn)向端到端自動駕駛技術(shù)方案23年8月26日，特斯拉CEO馬斯克開啟了一場路測特斯拉FSD

V12的直播。直播全程45分鐘，馬斯克只有一次駕駛干預(yù)，這發(fā)生在一個繁忙的十字路口，馬斯克所駕駛的特斯拉試圖闖紅燈，他立即控制了車輛。直播中儀表盤中的實時道路場景可以看出，V12保留了當前FSD輸出的感知結(jié)果以UniAD為例，利用多組query實現(xiàn)了全棧

Transformer

的端到端模型。圖中UniAD

由2個感知模塊，2個預(yù)測模塊以及一個規(guī)劃模塊組成。其中感知和預(yù)測模塊是通過Transformer架構(gòu)進行預(yù)測，每個模塊輸出的特征會傳遞到之后的模塊來輔助下游任務(wù)，這樣的模型結(jié)構(gòu)實現(xiàn)了端到端可導(dǎo)，顯著提升了模型的可解釋性

圖表：自動駕駛大模型UniAD

Pipeline 資料來源：《Planning-oriented

Autonomous

Driving》（Yihan

Hu,

Jiazhi

Yang等），德邦研究所請務(wù)必閱讀正文之后的信息披露及法律聲明。44資料來源：賽博汽車微信公眾號，德邦研究所端到端方案中神經(jīng)網(wǎng)絡(luò)是關(guān)鍵，有望實現(xiàn)全局最優(yōu)解原理：與模塊化方案相比，端到端自動駕駛方案將感知、規(guī)劃、控制各環(huán)節(jié)一體化，去除了各模塊基于規(guī)則的代碼，將傳感器收集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過處理后能夠直接輸出自動駕駛指令，使得整個系統(tǒng)端到端可導(dǎo)優(yōu)點：能夠降低對激光雷達、高精地圖、人工的依賴，減少中間環(huán)節(jié)的成本；模型上限高，可以得到近似全局最優(yōu)解缺點：模型能力起步較慢，解釋簡單場景不如模塊化架構(gòu)，模型下限低；中間“黑盒”解釋性差

圖表：

模塊化與端到端的性能增長曲線 資料來源：《Recent

Advancements

in

End-to-End

AutonomousDrivingusingDeepLearning:ASurvey》（PranavSinghChib,Pravendra

Singh），德邦研究所

圖表：多模塊化方案VS端到端方案 模塊化方案請務(wù)必閱讀正文之后的信