特斯拉FSD自動(dòng)駕駛方案深度解析

01020304請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。1概要目

錄CONTENTS特斯拉FSD架構(gòu)詳解FSDV12展望投資建議01請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。2概要ABSTRACT

概要FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動(dòng)駕駛軟硬件架構(gòu)Planning—我該怎么走Neural

Networks——為什么要這么走Training

Data——這么走是正確的嗎規(guī)劃感知數(shù)據(jù)Occupancy——我周圍有什么？如何分布Lanes&

Objects——周圍的物體下一步去哪里Auto

Labeling——數(shù)據(jù)標(biāo)注Simulation——仿真模擬Data

Engine——數(shù)據(jù)引擎Training

Infra——拿什么運(yùn)算AICompiler&

Inference——如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)硬件平臺(tái)請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。3軟硬耦合資料來源：TESLA

2022

AI

day，

youtube

，德邦研究所02請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。4特斯拉FSD架構(gòu)詳解FSD為一套包含感知/規(guī)控/執(zhí)行的全鏈路自動(dòng)駕駛軟硬件架構(gòu)FSD架構(gòu)：在數(shù)據(jù)、算法、算力等各個(gè)層面打造了一套包含感知、規(guī)控、執(zhí)行在內(nèi)的全鏈路自動(dòng)駕駛軟硬件架構(gòu)規(guī)劃（Planning）:本質(zhì)是解決多物體關(guān)聯(lián)路徑規(guī)劃問題，處理自我和所有對(duì)象的行進(jìn)軌跡，指導(dǎo)汽車完成相應(yīng)的執(zhí)行動(dòng)作神經(jīng)網(wǎng)絡(luò)（Neural

Networks）：通過分析視頻流等信息，輸出完整的運(yùn)動(dòng)學(xué)狀態(tài)（位置/速度/加速度/顛簸）控制車輛訓(xùn)練數(shù)據(jù)（Training

Data）：通過最新的4D自動(dòng)標(biāo)注技術(shù)、升級(jí)模擬仿真及云端計(jì)算資源，形成數(shù)據(jù)閉環(huán)訓(xùn)練基礎(chǔ)設(shè)施

（Training

Infra）：包括CPU、GPU、神經(jīng)網(wǎng)絡(luò)加速器單元（Neural

Network

Accelerator）、AI編譯器等，其中AI編譯器能夠支持神經(jīng)網(wǎng)絡(luò)所需的新操作，將它們映射到最佳的底層硬件資源上AI編譯與推理（AI

Compiler

&

Inference）：即如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)。當(dāng)前的推理引擎能夠?qū)蝹€(gè)神經(jīng)網(wǎng)絡(luò)的執(zhí)行分配到兩個(gè)獨(dú)立的芯片系統(tǒng)上執(zhí)行，可以理解為有兩臺(tái)獨(dú)立的計(jì)算機(jī)在同一臺(tái)自動(dòng)駕駛計(jì)算機(jī)內(nèi)相互連接

圖表：特斯拉FSD架構(gòu) 資料來源：TESLA

2022

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。52.1請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。6自動(dòng)駕駛規(guī)劃（Planning）——我該怎么走？采用混合規(guī)劃系統(tǒng)，提供最優(yōu)規(guī)控解決方案圖表：十字路口三種不同方案的選擇資料來源：TESLA

2022

AI

day，youtube，德邦研究所×

方案一：搶在行人前面通過×

方案二：在行人和右面來車之間通過√方案三：找到合適的間隙，在不干擾其他車輛的情況下通過自動(dòng)駕駛規(guī)控的目標(biāo)：基于感知網(wǎng)絡(luò)輸出的結(jié)果，通過規(guī)劃汽車行為和行車路徑使得汽車達(dá)到指定目的地，同時(shí)盡可能確保行車安全性、效率性和舒適性圖表：FSD最終規(guī)劃路線選擇特斯拉FSD解決方案：將傳統(tǒng)規(guī)劃控制與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，構(gòu)建一套【混合規(guī)劃系統(tǒng)】，依靠“互動(dòng)搜索（Interaction

Search）”的框架，以任務(wù)分解的方式對(duì)一堆可能的運(yùn)動(dòng)軌跡進(jìn)行并行研究圖表：特斯拉視覺規(guī)控解決方案資料來源：TESLA

2022

AI

day，youtube，德邦研究所

資料來源：TESLA

2021AI

day，youtube，德邦研究所 三維向量空間基于既定目標(biāo)進(jìn)行初步搜索凸優(yōu)化持續(xù)微調(diào)優(yōu)化全局最優(yōu)解請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。7基于Vector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解具體解決路徑：從一組視覺測(cè)量開始，包括車道、占用率、移動(dòng)物體等（這些都表現(xiàn)為稀疏的抽象和潛在特征），感知得到的Vector

Space，

通過Vector

Space規(guī)劃出后續(xù)潛在目標(biāo)狀態(tài)，進(jìn)一步考慮細(xì)分互動(dòng)，得到?jīng)Q策規(guī)劃的路徑圖表：FSD互動(dòng)搜索框架資料來源：TESLA

2022

AI

day，youtube，德邦研究所整理決策樹生成最初用經(jīng)典的優(yōu)化方法來創(chuàng)建規(guī)劃路徑，隨著約束條件增加，每個(gè)動(dòng)作都需要1-5ms的時(shí)間最終建立了輕量級(jí)可查詢網(wǎng)絡(luò)?！綯esla車隊(duì)中人類駕駛員駕駛數(shù)據(jù)】VS【寬松時(shí)間約束的離線條件下系統(tǒng)規(guī)劃的全局最優(yōu)路徑】，兩者不斷進(jìn)行對(duì)比訓(xùn)練。能夠在100us內(nèi)生成一個(gè)候選規(guī)劃路徑?jīng)Q策樹剪枝/評(píng)分采用混合規(guī)劃系統(tǒng)，將傳統(tǒng)方法與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合，通過四個(gè)方法進(jìn)行候選路徑評(píng)估完成剪枝請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。8基于Vector

Space的FSD路徑規(guī)劃，能夠快速產(chǎn)生最優(yōu)解對(duì)于未知及不確定性（corner

case）的決策——通過Occupancy

Network對(duì)可視區(qū)域進(jìn)行建模用來處理未知不可見場(chǎng)景需要根據(jù)這些假想的參與者做相應(yīng)的保護(hù)性駕駛，將控制反應(yīng)與存在可能性函數(shù)相協(xié)調(diào)，得到非常類似人的行為圖表：通過Occupancy

Network對(duì)可視區(qū)域進(jìn)行建模用來處理未知不可見場(chǎng)景資料來源：TESLA

2022AI

day，youtube，德邦研究所整理至此，特斯拉FSD最終架構(gòu)浮出水面：首先，通過視覺感知網(wǎng)絡(luò)生成三維向量空間，對(duì)于僅有唯一解的問題，可直接生成明確的規(guī)控方案，而對(duì)于有多個(gè)可選方案的復(fù)雜問題，使用向量空間和感知網(wǎng)絡(luò)提取的中間層特征，訓(xùn)練神經(jīng)網(wǎng)絡(luò)規(guī)劃器，得到軌跡分布其次，融入成本函數(shù)、人工干預(yù)數(shù)據(jù)或其他仿真模擬數(shù)據(jù)，獲得最優(yōu)的規(guī)控方案最終生成轉(zhuǎn)向、加速等控制指令，由執(zhí)行模塊接受控制指令實(shí)現(xiàn)自動(dòng)駕駛圖表：特斯拉FSD感知-規(guī)劃-控制整體架構(gòu)資料來源：TESLA

2021

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。92.2請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。10神經(jīng)網(wǎng)絡(luò)（Neural

Networks）——為什么要這么走？算法經(jīng)歷多次迭代，BEV+Transformer+Occupancy為當(dāng)前架構(gòu)

圖表：特斯拉FSD算法迭代歷程 資料來源：汽車之心微信公眾號(hào)，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。112.2.1請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。12占用網(wǎng)絡(luò)（Occupancy

Network）——我周圍有什么？如何分布升級(jí)至Occupancy能夠有效優(yōu)化障礙物識(shí)別問題圖表：Occupancy有效解決了一般障礙物識(shí)別問題資料來源：THINK

AUTONOMOUS官網(wǎng)，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。13HydraNets（九頭蛇網(wǎng)絡(luò)）為視覺感知網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)進(jìn)行多任務(wù)訓(xùn)練并輸出感知結(jié)果在BEV空間內(nèi)進(jìn)行特征層融合，并融入時(shí)序信息輸入原始數(shù)據(jù)，通過backbone進(jìn)行特征提取圖表：特斯拉HydraNets（九頭蛇網(wǎng)絡(luò)）架構(gòu)示意圖資料來源：TESLA

2021

AI

day，youtube，德邦研究所整理cacheBackboneNeckHead請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。14HeadHead網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)—九頭蛇網(wǎng)絡(luò)（HydraNets）由主干（Backbone）、頸部(Neck)）

與多個(gè)分支頭部(Head）共同組成。主干層將原始視頻數(shù)據(jù)通過殘差神經(jīng)網(wǎng)絡(luò)(RegNet)及多尺度特征融合結(jié)構(gòu)(BiFPN)完成端到端訓(xùn)練，提取出頸部層的多尺度視覺特征空間

(multi-scale

features），最后在頭部層根據(jù)不同任務(wù)類型完成子網(wǎng)絡(luò)訓(xùn)練并輸出感知結(jié)果優(yōu)勢(shì)一：特征共享(Feature

Sharing)。使用同一主干網(wǎng)絡(luò)提取特征并共享給頭部使用，可以在測(cè)試階段分?jǐn)傇谲嚿线\(yùn)行的前向判斷，避免不同任務(wù)之間重復(fù)計(jì)算現(xiàn)象，提升網(wǎng)絡(luò)運(yùn)行效率優(yōu)勢(shì)二：任務(wù)解耦（De-Couples

Tasks）。不同類型子任務(wù)之間可以進(jìn)行解耦，這樣可以單獨(dú)處理每一項(xiàng)任務(wù)，對(duì)單項(xiàng)任務(wù)的升級(jí)不必驗(yàn)證其他任務(wù)是否正常，升級(jí)成本更低優(yōu)勢(shì)三：特征緩存（Representation

Bottleneck）。因?yàn)檫@里存在頸部，可以將特征緩存到硬盤，具有較強(qiáng)

的擴(kuò)展性通過端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出Step

1

圖像輸入（Image

Input）：校準(zhǔn)每個(gè)相機(jī)的圖片，將原始12位RGB圖像（而非典型的8位）輸送給網(wǎng)絡(luò)。多了4位信息能夠使得動(dòng)態(tài)范圍提升16倍，同時(shí)減少延遲（無需在循環(huán)中運(yùn)行圖像信號(hào)處理ISP）Step

2

圖像校準(zhǔn)（Rectify）：通過不同的汽車采集到的數(shù)據(jù)共同構(gòu)建一個(gè)通用感知網(wǎng)絡(luò)架構(gòu)，不同汽車由于攝像頭安裝外參的差異，可能導(dǎo)致采集的數(shù)據(jù)存在微小偏差，為此特斯拉在感知框架中加入了一層“虛擬標(biāo)準(zhǔn)相機(jī)(virtual

camera)”，引入攝像頭標(biāo)定外參將每輛車采集到的圖像數(shù)據(jù)通過去畸變、旋轉(zhuǎn)等方式處理后，統(tǒng)一映射到同一套虛擬標(biāo)準(zhǔn)攝像頭坐標(biāo)中，從而實(shí)現(xiàn)各攝像頭原始數(shù)據(jù)校準(zhǔn)，消除外參誤差，確保數(shù)據(jù)一致性，將校準(zhǔn)后的數(shù)據(jù)傳輸給主干神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練Step

3

特征提取（Image

Featurizers）：用一組RegNet（特定殘差網(wǎng)絡(luò)，specific

class

of

resnets）和BiFPN（加權(quán)雙向特征金字塔網(wǎng)絡(luò)）作為提取圖像空間特征的主干圖表：加入virtual

camera校準(zhǔn)圖像數(shù)據(jù)偏差資料來源：TESLA

2021AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。15Step

4

構(gòu)造空間位置（Spacial

Attention）：將攝像頭采集到的數(shù)據(jù)通過【BEV空間轉(zhuǎn)換層】構(gòu)造一組3D位置，同時(shí)將圖像信息作為鍵(key)值(value)，輸入給一個(gè)注意力模型（核心模塊是【Transformer神經(jīng)網(wǎng)絡(luò)】）。注意力模型的輸出是高維空間特征，這些高維空間特征與車輛上的里程數(shù)據(jù)進(jìn)行暫時(shí)協(xié)調(diào)，來推導(dǎo)出運(yùn)動(dòng)。該方案厲害之處在于可以將地面坡度、曲率等幾何形狀的變化情況內(nèi)化進(jìn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)中Step

5

時(shí)間對(duì)齊（Temporal

Alignment）：上述高維空間暫時(shí)特征經(jīng)過一組反卷積，產(chǎn)生最終的占用率和占用率流輸出。它們生成的是固定尺寸塊的網(wǎng)格，為了提高精度，模型還生成了per

volex

feature

MAP輸入到MLP中，借助3D空間點(diǎn)查詢（query）來獲取任意點(diǎn)的位置和語義信息

圖表：BEV+Transformer實(shí)現(xiàn)二維圖像空間向三維向量空間的轉(zhuǎn)變 資料來源：TESLA

2021AI

day，youtube，德邦研究所

圖表：通過輸入視頻片段為自動(dòng)駕駛增添短時(shí)記憶能力 資料來源：TESLA

2021AI

day，youtube，德邦研究所通過端到端的感知訓(xùn)練模型，從數(shù)據(jù)輸入到空間向量輸出請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。162.2.2請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。17車道線及障礙物感知(Lanes

&

Objects)——周圍的物體下一步去往哪里？基于3D

Occupancy迭代車道線及障礙物感知模型早期，將車道檢測(cè)問題建模為一個(gè)圖像空間內(nèi)實(shí)時(shí)分割的任務(wù)，只能從幾種不同的幾何形狀中辨別車道。具體而言，可以分別出當(dāng)前車道、相鄰車道，能特別處理一些交叉和合并的情況，然后用粗略的地圖數(shù)據(jù)對(duì)其進(jìn)行增強(qiáng)。這種簡(jiǎn)化模型對(duì)高速這種高度結(jié)構(gòu)化的路是有效的當(dāng)前，引入Map

Component，使用了低精度地圖中關(guān)于車道線幾何/拓?fù)潢P(guān)系的信息（車道線數(shù)量/寬度、特殊車道屬性等），并將這些信息整合起來進(jìn)行編碼，與視覺感知到的特征信息一起生成車道線（Dense

World

Tensor）給到后續(xù)Vector

Lane模塊圖表：車道線及障礙物感知模型資料來源：TESLA

2022AI

day，youtube，德邦研究所基于2D

BEV基于3D

Occupancy，是具有高低起伏變化的車道線感知請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。18問題一：如何預(yù)測(cè)車道？圖表：特斯拉車道預(yù)測(cè)方案資料來源：TESLA

2022AI

day，youtube，德邦研究所從某一點(diǎn)（綠點(diǎn)）開始進(jìn)行預(yù)測(cè)描繪先對(duì)現(xiàn)實(shí)世界做粗略處理，做一個(gè)可能的位√置熱點(diǎn)圖，鎖定在可能性最大的位置上。以×該位置被編碼到一個(gè)離散化的3D粗略網(wǎng)絡(luò)中,但并不直接在3D網(wǎng)格中做預(yù)測(cè)描繪（計(jì)算成本較高）此為條件對(duì)預(yù)測(cè)進(jìn)行改進(jìn)，獲得準(zhǔn)確的點(diǎn)最有可能的位置然后不斷重復(fù)該過程，直到枚舉了車道中所有的點(diǎn)請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。19車道圖—也即希望從網(wǎng)絡(luò)上獲得最終結(jié)果問題二：如何預(yù)測(cè)道路上其他對(duì)象的未來行為圖表：障礙物感知是一個(gè)兩階段的感知資料來源：TESLA

2022AI

day，youtube，德邦研究所預(yù)測(cè)所有物體的屬性，在實(shí)時(shí)系統(tǒng)上造成了一些具體實(shí)施問題。需要讓對(duì)象堆棧部分實(shí)現(xiàn)幀率最大化，自動(dòng)駕駛才能對(duì)變化的環(huán)境做出快速反應(yīng)。為了盡量減少延遲，神經(jīng)網(wǎng)絡(luò)被分為兩個(gè)階段：第一階段，確定對(duì)象在3D空間中的位置第二階段，在這些3D位置取得張量，附加車輛上的額外數(shù)據(jù)和一些其他處理這個(gè)規(guī)范步驟使得神經(jīng)網(wǎng)絡(luò)專注于計(jì)算最關(guān)鍵的區(qū)域，能夠付出很小的延遲成本獲得優(yōu)異性能請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。202.3請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。21訓(xùn)練數(shù)據(jù)（Training

Data）——為什么這么走是正確的？2.3.1請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。22自動(dòng)數(shù)據(jù)標(biāo)注（Auto

Labeling）由2D手工標(biāo)注逐步升級(jí)為4D自動(dòng)標(biāo)注，數(shù)據(jù)閉環(huán)趨于完善外包第三方進(jìn)行數(shù)據(jù)標(biāo)注組建超1000人團(tuán)隊(duì)進(jìn)行手工標(biāo)注自動(dòng)標(biāo)注圖表：特斯拉數(shù)據(jù)標(biāo)注由2D手工標(biāo)注逐步升級(jí)為4D自動(dòng)標(biāo)注基于2D圖像進(jìn)行標(biāo)注在BEV空間下進(jìn)行4D自動(dòng)標(biāo)注資料來源：TESLA

2021

AI

day，youtube，德邦研究所做法：在2D圖像上標(biāo)注出各種物體，具體表現(xiàn)為在單個(gè)物體上繪制出一些多邊形和折線，用以描繪出邊界框（Bounding

Boxes）缺點(diǎn)：數(shù)據(jù)量很大的情況下，工作量極大，標(biāo)注效率低請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。23含義：在三維或四維空間中，為不同的時(shí)間點(diǎn)和空間位置賦予獨(dú)特的標(biāo)簽或標(biāo)識(shí)符做法：直接在向量空間中進(jìn)行標(biāo)注，將其投影到相機(jī)圖像中優(yōu)點(diǎn)：能夠支持大量數(shù)據(jù)標(biāo)注；由于只需要在空間中標(biāo)注一次，然后自動(dòng)投影，標(biāo)注效率大幅提升為什么要采用4D自動(dòng)標(biāo)注？——大幅提升標(biāo)注效率圖表：特斯拉數(shù)據(jù)標(biāo)注發(fā)展歷程資料來源：TESLA

2022AI

day，youtube，德邦研究所標(biāo)注請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。24全人工標(biāo)注地圖標(biāo)注先場(chǎng)景重建，再4D

建圖基于BEV感知，采用衛(wèi)星

使用3D特征進(jìn)行多趟采集軌跡的聚合重建可以取代500萬小時(shí)的人工操作標(biāo)記，只需在集群中運(yùn)行12小時(shí)，就可以完成10000次行駛軌跡的標(biāo)記如何進(jìn)行4D自動(dòng)標(biāo)注？—采集Clips通過機(jī)器算法生成Labels圖表：4D自動(dòng)標(biāo)注過程資料來源：TESLA

2021AI

day，youtube，德邦研究所自動(dòng)標(biāo)注步驟：通過汽車在一段時(shí)間內(nèi)采集到的視頻、IMU、GPS、

里程表等數(shù)據(jù)構(gòu)成最小標(biāo)注單元

（Clip，約45-60秒）將最小標(biāo)注單元上傳至服務(wù)器，由離線神經(jīng)網(wǎng)絡(luò)系統(tǒng)訓(xùn)練得到中間層結(jié)果，如分割、深度等通過大量機(jī)器算法生成最終用以訓(xùn)練的標(biāo)簽集（Labels）請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。254D自動(dòng)標(biāo)注的幾個(gè)關(guān)鍵步驟

圖表：4D自動(dòng)標(biāo)注的3個(gè)關(guān)鍵步驟 資料來源：TESLA

2022

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。262.3.2請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。27仿真模擬（Simulation）為什么要做仿真模擬？—泛化Corner

Case，賦能模型迭代資料來源：TESLA

2022

AI

day，youtube，德邦研究所仿真模擬可以提供現(xiàn)實(shí)世界中難以獲得或是難以標(biāo)記的數(shù)據(jù)，從而加速FSD能力的訓(xùn)練，賦能模型迭代圖表：仿真模擬示意圖基于數(shù)據(jù)標(biāo)記，疊加一些全新工具，可以在5Min內(nèi)生成這類場(chǎng)景請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。28如何進(jìn)行仿真模擬？——五大步驟Step

1

準(zhǔn)確的傳感器仿真（Accurate

Sensor

Simulation）:由于FSD的感知系統(tǒng)是基于純攝像頭，因此需要對(duì)攝像頭的各種屬性進(jìn)行軟硬件建模，如傳感器噪聲、曝光時(shí)間、光圈大小、運(yùn)動(dòng)模糊、光學(xué)畸變等Step

2

逼真的視覺渲染（Photorealistic

Rendering）：為了更真實(shí)的模擬現(xiàn)實(shí)世界場(chǎng)景，需要仿真渲染盡可能做到逼真。特斯拉利用神經(jīng)網(wǎng)絡(luò)視覺技術(shù)提升視覺渲染效果，同時(shí)用光線追蹤的方法模擬逼真的光照效果Step

3多元化的交通參與者與地理位置（Diverse

Actors

&

Locations）：為了避免仿真環(huán)境過于單一，導(dǎo)致感知系統(tǒng)過擬合的問題，特斯拉對(duì)仿真環(huán)境參與物進(jìn)行了充分建模，包括多元化的交通參與者和靜態(tài)物體圖表：實(shí)現(xiàn)仿真模擬的五大步驟資料來源：TESLA

2021

AI

day，youtube，德邦研究所圖表：實(shí)現(xiàn)仿真模擬的五大步驟資料來源：TESLA

2021

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。29如何進(jìn)行仿真模擬？——五大步驟Step

4大規(guī)模場(chǎng)景生成（Scalable

Sensor

Generation）：由計(jì)算機(jī)通過調(diào)整參數(shù)生成不同的場(chǎng)景形態(tài)。同時(shí)由于大量的仿真場(chǎng)景可能是的無用的，為了避免浪費(fèi)計(jì)算資源，引入MLB等神經(jīng)網(wǎng)絡(luò)尋找故障點(diǎn)，重點(diǎn)圍繞故障點(diǎn)進(jìn)行仿真數(shù)據(jù)創(chuàng)建，反哺實(shí)際規(guī)劃網(wǎng)絡(luò)，形成閉環(huán)Step5

場(chǎng)景重現(xiàn)（Sensor

Recontruction）:在完成真實(shí)世界片段的自動(dòng)標(biāo)注重建后，疊加視覺圖像信息，生成與真實(shí)世界“孿生”的虛擬世界，復(fù)現(xiàn)真實(shí)世界中FSD失敗的場(chǎng)景，實(shí)現(xiàn)在仿真環(huán)境下的優(yōu)化迭代后再反哺汽車算法模型，實(shí)現(xiàn)“數(shù)據(jù)閉環(huán)”圖表：實(shí)現(xiàn)仿真模擬的五大步驟資料來源：TESLA

2021

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。302.3.3請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。31數(shù)據(jù)引擎（Data

Engine）自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)

圖表：特斯拉數(shù)據(jù)引擎示意圖 資料來源：TESLA

2022

AI

day，youtube，德邦研究所最終通過影子模式部署回車端進(jìn)行新的測(cè)試比較不同版本指標(biāo)，直到最后經(jīng)過驗(yàn)證的新模型部署車端由標(biāo)配自動(dòng)駕駛硬件的車隊(duì)數(shù)據(jù)采集通過各種規(guī)則及影子模式下人腦與AI差異，篩選有語義信息的數(shù)據(jù)回傳云端云端通過工具對(duì)錯(cuò)誤的AI輸出進(jìn)行糾正，放入數(shù)據(jù)集群利用這些有效數(shù)據(jù)訓(xùn)練車端在線模型和云端離線模型請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。32自成閉環(huán)的數(shù)據(jù)引擎能夠更好地優(yōu)化神經(jīng)網(wǎng)絡(luò)圖表：數(shù)據(jù)引擎優(yōu)化神經(jīng)網(wǎng)絡(luò)的案例資料來源：TESLA

2022

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。332.4請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。34訓(xùn)練基礎(chǔ)設(shè)施（Training

Infra）——用什么進(jìn)行訓(xùn)練Dojo何以為道？——化繁為簡(jiǎn)，以少為多的集群架構(gòu)架構(gòu)方式：近乎對(duì)稱的分布式計(jì)算架構(gòu)優(yōu)勢(shì)：D1芯片擴(kuò)展性好；算力的編程靈活性高拓展性高：通用CPU芯片加速迭代：2d

Mesh連接，大幅提升集群性能的線性度輕裝上陣：削減對(duì)計(jì)算非必須功能，簡(jiǎn)化結(jié)構(gòu)，減少功耗和面積使用，極大程度釋放性能圖表：D1芯片 資料來源：Tesla

2021

AI

day，youtube，德邦研究所圖表：Dojo架構(gòu)資料來源：Tesla

2021

AI

day，youtube，德邦研究所圖表：Dojo算力迭代情況資料來源：Tesla公告，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。35圖表：Dojo

Compiler 資料來源：Tesla

2021

AI

day，youtube，德邦研究所Dojo助力加速自動(dòng)標(biāo)注、Occupancy

Networks性能對(duì)比：在4D自動(dòng)標(biāo)注任務(wù)和使用OccupancyNetworks完成環(huán)境感知任務(wù)時(shí)，相比英偉達(dá)A100，Dojo能實(shí)現(xiàn)性能的倍增請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。36不止于此，Dojo的更大野心不斷擴(kuò)大的集群規(guī)模、Dojo超算中心的投產(chǎn)，意味著特斯拉有望再次加速FSD的迭代速度；在擁有如此大規(guī)模的算力后，特斯拉擁有的海量數(shù)據(jù)有望釋放出巨大價(jià)值圖表：Dojo不但將釋放擺脫英偉達(dá)之后的潛力，還有望帶來人形機(jī)器人Optimus

的不斷突破資料來源：TESLA：《Dojo:The

Microarchitecture

ofTesla’s

Exa-Scale

Computer》

，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。372.5請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。38AI編譯與推理（AI

compiler&inference）——如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)對(duì)端到端延遲進(jìn)行嚴(yán)格控制+部署更先進(jìn)的調(diào)度代碼

圖表：AI編譯與推理原理 所有的模型、架構(gòu)運(yùn)算加起來大約有10億個(gè)參數(shù)，產(chǎn)生了大約1000個(gè)神經(jīng)網(wǎng)絡(luò)信號(hào)。因此，需要確保共同優(yōu)化它們，才能最大限度優(yōu)化吞吐量，并盡量減少延遲編譯：建立了一個(gè)專門針對(duì)神經(jīng)網(wǎng)絡(luò)的編譯器(CombileToolchain)，與傳統(tǒng)編譯器共享架構(gòu)運(yùn)行：設(shè)計(jì)了混合調(diào)度系統(tǒng)（Hybrid

Parallelism），基本上可以在單SOC上執(zhí)行異構(gòu)調(diào)度，在兩個(gè)SOC上進(jìn)行分布式調(diào)度，以模型并行的方式運(yùn)行這些網(wǎng)絡(luò)資料來源：TESLA

2022

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。39目標(biāo)：將所有操作在計(jì)算機(jī)上運(yùn)行圖表：如何在計(jì)算機(jī)上運(yùn)行神經(jīng)網(wǎng)絡(luò)Goals：compilealloperationstonativelyrunonTRIP

engine目標(biāo)：快速運(yùn)行密集點(diǎn)積（DenseDot

Product）難點(diǎn)：但是Lanes

Network架構(gòu)是自回歸和迭代的，它在內(nèi)循環(huán)中緊縮多個(gè)注意力塊，在每一步都直接產(chǎn)生稀疏點(diǎn)（sparse

point），那么最大的挑戰(zhàn)是如何在密集點(diǎn)積引擎上做稀疏點(diǎn)預(yù)測(cè)資料來源：TESLA

2022

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。40如何做？——將得到的One-Hot編碼通過矩陣乘法運(yùn)算實(shí)現(xiàn)在網(wǎng)絡(luò)預(yù)測(cè)出最有可能的空間位置熱圖后，通過算法得到空間位置索引的One-Hot編碼選擇與這個(gè)索引相關(guān)的嵌入。為了在芯片上實(shí)現(xiàn)它，在SRAM中建立了一個(gè)查詢表，并且設(shè)計(jì)了這個(gè)嵌入的尺寸，以便可以用矩陣乘法實(shí)現(xiàn)所有將這個(gè)嵌入存儲(chǔ)到一個(gè)標(biāo)記緩存中，這樣就可以無需在每次迭代時(shí)都重新計(jì)算，而是能夠在未來的預(yù)測(cè)中重新使用

圖表：AI編譯與推理步驟 資料來源：TESLA

2022

AI

day，youtube，德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。41效果如何？—運(yùn)行7500萬個(gè)參數(shù)的模型延遲不到10ms，消耗功率8W圖表：運(yùn)行7500萬參數(shù)的模型只有不到10ms延遲，消耗8W功率資料來源：TESLA

2022

AI

day，youtube，德邦研究所7500萬參數(shù)請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。429.6ms延遲消耗8W功率03請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。43FSD

V12展望FSD

V12或?qū)⑼耆D(zhuǎn)向端到端自動(dòng)駕駛技術(shù)方案23年8月26日，特斯拉CEO馬斯克開啟了一場(chǎng)路測(cè)特斯拉FSD

V12的直播。直播全程45分鐘，馬斯克只有一次駕駛干預(yù)，這發(fā)生在一個(gè)繁忙的十字路口，馬斯克所駕駛的特斯拉試圖闖紅燈，他立即控制了車輛。直播中儀表盤中的實(shí)時(shí)道路場(chǎng)景可以看出，V12保留了當(dāng)前FSD輸出的感知結(jié)果以UniAD為例，利用多組query實(shí)現(xiàn)了全棧

Transformer

的端到端模型。圖中UniAD

由2個(gè)感知模塊，2個(gè)預(yù)測(cè)模塊以及一個(gè)規(guī)劃模塊組成。其中感知和預(yù)測(cè)模塊是通過Transformer架構(gòu)進(jìn)行預(yù)測(cè)，每個(gè)模塊輸出的特征會(huì)傳遞到之后的模塊來輔助下游任務(wù)，這樣的模型結(jié)構(gòu)實(shí)現(xiàn)了端到端可導(dǎo)，顯著提升了模型的可解釋性

圖表：自動(dòng)駕駛大模型UniAD

Pipeline 資料來源：《Planning-oriented

Autonomous

Driving》（Yihan

Hu,

Jiazhi

Yang等），德邦研究所請(qǐng)務(wù)必閱讀正文之后的信息披露及法律聲明。44資料來源：賽博汽車微信公眾號(hào)，德邦研究所端到端方案中神經(jīng)網(wǎng)絡(luò)是關(guān)鍵，有望實(shí)現(xiàn)全局最優(yōu)解原理：與模塊化方案相比，端到端自動(dòng)駕駛方案將感知、規(guī)劃、控制各環(huán)節(jié)一體化，去除了各模塊基于規(guī)則的代碼，將傳感器收集到的信息直接輸入神經(jīng)網(wǎng)絡(luò)，經(jīng)過處理后能夠直接輸出自動(dòng)駕駛指令，使得整個(gè)系統(tǒng)端到端可導(dǎo)優(yōu)點(diǎn)：能夠降低對(duì)激光雷達(dá)、高精地圖、人工的依賴，減少中間環(huán)節(jié)的成本；模型上限高，可以得到近似全局最優(yōu)解缺點(diǎn)：模型能力起步較慢，解釋簡(jiǎn)單場(chǎng)景不如模塊化架構(gòu)，模型下限低；中間“黑盒”解釋性差

圖表：

模塊化與端到端的性能增長(zhǎng)曲線 資料來源：《Recent

Advancements

in

End-to-End

AutonomousDrivingusingDeepLearning:ASurvey》（PranavSinghChib,Pravendra

Singh），德邦研究所

圖表：多模塊化方案VS端到端方案 模塊化方案請(qǐng)務(wù)必閱讀正文之后的信