深度學(xué)習(xí)及自動(dòng)駕駛應(yīng)用 課件 第8章 基于Transformer的自動(dòng)駕駛目標(biāo)檢測(cè)理論與實(shí)踐

基于Transformer的自動(dòng)駕駛目標(biāo)檢測(cè)理論與實(shí)踐第八章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第2頁8.4Transformer自動(dòng)駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實(shí)踐項(xiàng)目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第3頁8.1Transformer概述為什么要用TransformerDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第4頁8.1Transformer概述Seq2Seq任務(wù)：指的是輸入和輸出都是序列，且輸出長(zhǎng)度不確定時(shí)采用的模型;這種情況一般是在機(jī)器翻譯的任務(wù)中出現(xiàn)，將一句中文翻譯成英文，那么這句英文的長(zhǎng)度有可能會(huì)比中文短，也有可能會(huì)比中文長(zhǎng)，所以輸出的長(zhǎng)度就不確定了。輸入的中文長(zhǎng)度為4，輸出的英文長(zhǎng)度為2Seq2Seq任務(wù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第5頁8.1Transformer概述如何處理Seq2Seq任務(wù)其實(shí)在之前我們使用的是RNN（或者是其的單向或者雙向變種LSTM/GRU等）來作為編解碼器，RNN模塊每次只能夠吃進(jìn)一個(gè)輸入token和前一次的隱藏狀態(tài)，然后得到輸出。它的時(shí)序結(jié)構(gòu)使得這個(gè)模型能夠得到長(zhǎng)距離的依賴關(guān)系，但是這也使得它不能夠并行計(jì)算，模型效率十分低。在沒有transformer的時(shí)候，我們都是用什么來完成這系列的時(shí)序任務(wù)的呢？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第6頁8.1Transformer概述Encoder-Decoder模型Seq2Seq任務(wù)最常見的是使用Encoder+Decoder的模式，先將一個(gè)序列編碼成一個(gè)上下文矩陣，在使用Decoder來解碼。當(dāng)然，我們僅僅把contextvector作為編碼器到解碼器的輸入。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第7頁8.1Transformer概述Attention注意力機(jī)制在介紹什么是注意力機(jī)制之前，先讓大家看一張圖片。當(dāng)大家看到右邊這張圖片，會(huì)首先看到什么內(nèi)容？當(dāng)過加載信息映入眼簾時(shí)，我們的大腦會(huì)把注意力放在主要的信息上，這就是大腦的注意力機(jī)制。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第8頁8.1Transformer概述Attention注意力機(jī)制DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第9頁8.1Transformer概述Transformer整體模型架構(gòu)2017年google的機(jī)器翻譯團(tuán)隊(duì)在NIPS上發(fā)表了Attentionisallyouneed的文章，開創(chuàng)性地提出了在序列轉(zhuǎn)錄領(lǐng)域，完全拋棄CNN和RNN，只依賴Attention-注意力結(jié)構(gòu)的簡(jiǎn)單的網(wǎng)絡(luò)架構(gòu)，名為Transformer；論文實(shí)現(xiàn)的任務(wù)是機(jī)器翻譯。Multi-HeadAttentionAdd&NormInputEmbeddingOutputEmbeddingFeedForwardAdd&NormMaskedMulti-HeadAttentionAdd&NormMulti-HeadAttentionAdd&NormFeedForwardAdd&NormLinearSoftmaxInputsOutputs(shiftedright)PositionalEncodingPositionalEncodingTransformer結(jié)構(gòu)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第10頁8.1Transformer概述每個(gè)詞的Attention計(jì)算每個(gè)詞的Q會(huì)跟整個(gè)序列中每一個(gè)K計(jì)算得分，然后基于得分再分配特征Q:

query，要去查詢的K:

key，等著被查的V:

value，實(shí)際的特征信息DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第11頁8.4Transformer自動(dòng)駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實(shí)踐項(xiàng)目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第12頁8.1Transformer概述Attention的優(yōu)點(diǎn)1.參數(shù)少：相比于CNN、RNN，其復(fù)雜度更小，參數(shù)也更少。所以對(duì)算力的要求也就更小。2.速度快：Attention解決了RNN及其變體模型不能并行計(jì)算的問題。Attention機(jī)制每一步計(jì)算不依賴于上一步的計(jì)算結(jié)果，因此可以和CNN一樣并行處理。3.效果好：在Attention機(jī)制引入之前，有一個(gè)問題大家一直很苦惱：長(zhǎng)距離的信息會(huì)被弱化，就好像記憶能力弱的人，記不住過去的事情是一樣的。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第13頁8.2Transformer基本理論Transformer模型黑盒模式從宏觀的視角開始首先將這個(gè)模型看成是一個(gè)黑箱操作。在機(jī)器翻譯中，就是輸入一種語言，輸出另一種語言。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第14頁8.2Transformer基本理論Transformer模型Encoder-Decoder架構(gòu)模式那么拆開這個(gè)黑箱，我們可以看到它是由編碼組件、解碼組件和它們之間的連接組成。編碼組件部分由一堆編碼器（encoder）構(gòu)成（論文中是將6個(gè)編碼器疊在一起）。解碼組件部分也是由相同數(shù)量（與編碼器對(duì)應(yīng)）的解碼器（decoder）組成的。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第15頁8.2Transformer基本理論DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第16頁8.2Transformer基本理論編碼器所有的編碼器在結(jié)構(gòu)上都是相同的，但它們沒有共享參數(shù)。每個(gè)編碼器都可以分解成兩個(gè)子層。每個(gè)編碼器由兩個(gè)子層組成：Self-Attention層（自注意力層）和Position-wiseFeedForwardNetwork（前饋網(wǎng)絡(luò)）DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第17頁8.2Transformer基本理論解碼器從編碼器輸入的句子首先會(huì)經(jīng)過一個(gè)自注意力（self-attention）層，這層幫助編碼器在對(duì)每個(gè)單詞編碼時(shí)關(guān)注輸入句子的其他單詞。自注意力層的輸出會(huì)傳遞到前饋（feed-forward）神經(jīng)網(wǎng)絡(luò)中。每個(gè)位置的單詞對(duì)應(yīng)的前饋神經(jīng)網(wǎng)絡(luò)都完全一樣（譯注：另一種解讀就是一層窗口為一個(gè)單詞的一維卷積神經(jīng)網(wǎng)絡(luò)）。解碼器中也有編碼器的自注意力（self-attention）層和前饋（feed-forward）層。除此之外，這兩個(gè)層之間還有一個(gè)注意力層，用來關(guān)注輸入句子的相關(guān)部分（和seq2seq模型的注意力作用相似）。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第18頁8.2Transformer基本理論每個(gè)單詞都被嵌入為512維的向量，詞嵌入過程只發(fā)生在最底層的編碼器中。所有的編碼器都有一個(gè)相同的特點(diǎn)，即它們接收一個(gè)向量列表，列表中的每個(gè)向量大小為512維。在底層（最開始）編碼器中它就是詞向量，但是在其他編碼器中，它就是下一層編碼器的輸出（也是一個(gè)向量列表）。各種向量或張量是怎樣在模型的不同部分中，將輸入轉(zhuǎn)化為輸出的？像大部分NLP應(yīng)用一樣，我們首先將每個(gè)輸入單詞通過詞嵌入算法轉(zhuǎn)換為詞向量。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第19頁8.2Transformer基本理論Transformer的一個(gè)核心特性，在這里輸入序列中每個(gè)位置的單詞都有自己獨(dú)特的路徑流入編碼器。在自注意力層中，這些路徑之間存在依賴關(guān)系。而前饋(feed-forward)層沒有這些依賴關(guān)系。因此在前饋(feed-forward)層時(shí)可以并行執(zhí)行各種路徑將輸入序列進(jìn)行詞嵌入之后，每個(gè)單詞都會(huì)流經(jīng)編碼器中的兩個(gè)子層。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第20頁8.2Transformer基本理論編碼過程編碼器會(huì)接收一個(gè)向量作為輸入。編碼器首先將這些向量傳遞到Self-Attention層，然后傳遞到前饋網(wǎng)絡(luò)，最后將輸出傳遞到下一個(gè)編碼器。輸入序列的每個(gè)單詞都經(jīng)過自編碼過程。然后，它們各自通過前向傳播神經(jīng)網(wǎng)絡(luò)：完全相同的網(wǎng)絡(luò)，而每個(gè)向量都分別通過它。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第21頁8.2Transformer基本理論編碼過程假如，我們要翻譯下面這個(gè)句子：Theanimaldidn’tcrossthestreetbecauseitwastootired.這個(gè)句子中的it指的是什么？是指animal還是street？對(duì)人來說，這是一個(gè)簡(jiǎn)單的問題，但是算法來說卻不那么簡(jiǎn)單。當(dāng)模型在處理it時(shí)，Self-Attention機(jī)制使其能夠?qū)t和animal關(guān)聯(lián)起來。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第22頁8.2Transformer基本理論當(dāng)我們?cè)诰幋a器（堆棧中的頂部編碼器）中對(duì)單詞”it“進(jìn)行編碼時(shí)，有一部分注意力集中在”Theanimal“上，并將它們的部分信息融入到”it“的編碼中。編碼過程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第23頁8.2Transformer基本理論編碼過程計(jì)算自注意力的第一步就是從每個(gè)編碼器的輸入向量（每個(gè)單詞的詞向量）中生成三個(gè)向量。也就是說對(duì)于每個(gè)單詞，我們創(chuàng)造一個(gè)查詢向量(Q)、一個(gè)鍵向量(K)和一個(gè)值向量(V)。這三個(gè)向量是通過詞嵌入與三個(gè)權(quán)重矩陣后相乘創(chuàng)建的。X1與WQ權(quán)重矩陣相乘得到q1,就是與這個(gè)單詞相關(guān)的查詢向量。最終使得輸入序列的每個(gè)單詞的創(chuàng)建一個(gè)查詢向量Q、一個(gè)鍵向量K和一個(gè)值向量V。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第24頁8.2Transformer基本理論

計(jì)算得分

將每個(gè)值向量乘以softmax分?jǐn)?shù)(這是為了準(zhǔn)備之后將它們求和)。

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第25頁8.2Transformer基本理論通過矩陣運(yùn)算實(shí)現(xiàn)自注意力機(jī)制

x矩陣中的每一行對(duì)應(yīng)于輸入句子中的一個(gè)單詞。我們?cè)俅慰吹皆~嵌入向量(512，或圖中的4個(gè)格子)和q/k/v向量(64，或圖中的3個(gè)格子)的大小差異。最后，由于我們處理的是矩陣，我們可以用一個(gè)公式來計(jì)算自注意力層的輸出。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第26頁8.2Transformer基本理論“多頭”注意力（“multi-headed”attention）機(jī)制一組Q,K,V得到了一組當(dāng)前詞的特征表達(dá)類似卷積神經(jīng)網(wǎng)絡(luò)中的filter提取多種特征？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第27頁8.2Transformer基本理論可以看到Multi-HeadAttention輸出的矩陣Z與其輸入的矩陣X的維度是一樣的?！岸囝^”注意力（“multi-headed”attention）機(jī)制DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第28頁8.2Transformer基本理論“multi-headed”attention全部流程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第29頁8.2Transformer基本理論使用位置編碼表示序列的順序到目前為止，我們對(duì)模型的描述缺少了一種理解輸入單詞順序的方法。為了解決這個(gè)問題，Transformer為每個(gè)輸入的詞嵌入添加了一個(gè)向量。這些向量遵循模型學(xué)習(xí)到的特定模式，這有助于確定每個(gè)單詞的位置，或序列中不同單詞之間的距離。這里的直覺是，將位置向量添加到詞嵌入中使得它們?cè)诮酉聛淼倪\(yùn)算中，能夠更好地表達(dá)的詞與詞之間的距離。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第30頁8.2Transformer基本理論使用位置編碼表示序列的順序?yàn)榱俗屇Ｐ屠斫鈫卧~的順序，我們添加了位置編碼向量，這些向量的值遵循特定的模式。如果我們假設(shè)詞嵌入的維數(shù)為4，則實(shí)際的位置編碼如下：DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第31頁8.2Transformer基本理論DecoderDecoder和Encoder中的模塊類似，都包含Attention層、前饋網(wǎng)絡(luò)層、融合歸一化層，不同的是Decoder中多了一個(gè)Encoder-DecoderAttention層。

Decoder模塊的輸入輸出和解碼過程：DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第32頁8.2Transformer基本理論DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第33頁8.4Transformer自動(dòng)駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實(shí)踐項(xiàng)目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第34頁8.3VisionTransformer介紹DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第35頁8.3VisionTransformer介紹圖片分類的原理背景知識(shí)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第36頁8.3VisionTransformer介紹背景知識(shí)為什么需要用transformerCNN（如ResNet）是圖像分類的最佳解決方案。如果預(yù)訓(xùn)練的數(shù)據(jù)集足夠大（至少一億張圖像），則VisionTransformer（ViT）將擊敗CNN（小幅度）VisionTransformer（ViT）實(shí)際上就是Transformer的encode網(wǎng)絡(luò)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第37頁8.3VisionTransformer介紹VisionTransformer(ViT)提出ViT模型的這篇文章題名為AnImageisWorth16x16Words:TransformersforImageRecognitionatScale，發(fā)表于2020年10月份，雖然相較于一些Transformer的視覺任務(wù)應(yīng)用模型(如DETR)提出要晚了一些，但作為一個(gè)純Transformer結(jié)構(gòu)的視覺分類網(wǎng)絡(luò)，其工作還是有較大的開創(chuàng)性意義的。論文下載鏈接：/abs/2010.11929

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第38頁8.3VisionTransformer介紹VisionTransformer(ViT)對(duì)于一個(gè)標(biāo)準(zhǔn)的Transformer模塊，要求輸入的是token(向量)序列，即二維矩陣[num_token,token_dim]。對(duì)于一個(gè)圖像數(shù)據(jù)而言，其數(shù)據(jù)格式為三維矩陣[H,W,C]，這明顯不是Transformer想要的，所以我們需要進(jìn)行一個(gè)圖像預(yù)處理步驟。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第39頁8.3VisionTransformer介紹VisionTransformer(ViT)先將圖片分成NxN的patch塊(原始論文是16x16)patch塊可以重疊(上圖沒有重疊，是9x9的patch塊)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第40頁8.3VisionTransformer介紹VisionTransformer(ViT)將patch打平，對(duì)每個(gè)patch進(jìn)行線性映射，提取特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第41頁8.3VisionTransformer介紹VisionTransformer(ViT)提取特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第42頁8.3VisionTransformer介紹VisionTransformer(ViT)類似NLP問題，我們給PatchEmbedding加上了一個(gè)位置編碼PositionEmbedding。接著我們進(jìn)行Transformer編碼操作，就能反饋得到很多輸出。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第43頁8.3VisionTransformer介紹VisionTransformer(ViT)將位置編碼信息加入提取的特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第44頁8.3VisionTransformer介紹VisionTransformer(ViT)將位置編碼信息加入提取的特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第45頁8.3VisionTransformer介紹VisionTransformer(ViT)結(jié)論:編碼有用,但是怎么編碼影響不大,干脆用簡(jiǎn)單的得了2D(分別計(jì)算行和列的編碼,然后求和)的效果還不如1D的每一層都加共享的位置編碼也沒啥太大用位置編碼信息對(duì)準(zhǔn)確率的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第46頁8.3VisionTransformer介紹VisionTransformer(ViT)

Transformer提取特征DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第47頁8.3VisionTransformer介紹VisionTransformer(ViT)

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第48頁8.3VisionTransformer介紹VisionTransformer(ViT)

至于這個(gè)TransformerEncoder，實(shí)際上是一個(gè)標(biāo)準(zhǔn)的Transformer。

當(dāng)你有這些patch的時(shí)候，先進(jìn)來做一次LayerNorm，然后再做Multi-HeadAttention，然后再LayerNorm，再做一個(gè)MLP，這就是一個(gè)Transformerblock。然后我們可以把它疊加L次，就得到了我們的TransformerEncoder。

所以說從整體上來看，VisionTransformer的架構(gòu)還是相當(dāng)簡(jiǎn)潔的，它的特殊之處就在于如何把一個(gè)圖片變成這里的一系列的token。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第49頁8.3VisionTransformer介紹VisionTransformer模型整體思路1.圖片切分為patch2.patch轉(zhuǎn)化為embedding3.位置embedding和tokensembedding相加4.輸入到Transformer模型5.CLS輸出做多分類任務(wù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第50頁8.3VisionTransformer介紹VisionTransformer(ViT)輸入輸入輸入注意力注意力注意力來自輸入空間的注意力表達(dá)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第51頁8.3VisionTransformer介紹DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第52頁8.4Transformer自動(dòng)駕駛應(yīng)用8.1Transformer概述8.3VisionTransformer介紹8.2Transformer基本理論8.5實(shí)踐項(xiàng)目目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第53頁8.4Transformer自動(dòng)駕駛應(yīng)用目標(biāo)檢測(cè)DETR

：End-to-EndObjectDetectionwithTransformers第一步是通過一個(gè)CNN對(duì)輸入圖片抽取特征，然后將特征圖拉直輸入TransformerEncoder-Decoder;第二步的TransformerEncoder部分就是使得網(wǎng)絡(luò)更好地去學(xué)習(xí)全局的特征；第三步使用TransformerDecoder以及ObjectQuery從特征中學(xué)習(xí)要檢測(cè)的物體；第四步就是將ObjectQuery的結(jié)果和真值進(jìn)行二分圖匹配（Set-to-SetLoss），最后在匹配上的結(jié)果上計(jì)算分類Loss和位置回歸Loss;DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第54頁8.4Transformer自動(dòng)駕駛應(yīng)用目標(biāo)檢測(cè)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第55頁8.4Transformer自動(dòng)駕駛應(yīng)用語義分割StratifiedTransformerfor3DPointCloudSegmentation第一步：輸入的三維點(diǎn)云數(shù)據(jù)首先通過第一層點(diǎn)嵌入模塊，以聚合每個(gè)點(diǎn)的局部信息;第二步：對(duì)于每個(gè)查詢點(diǎn)，對(duì)附近的點(diǎn)進(jìn)行密集采樣，并以分層方式稀疏采樣遠(yuǎn)點(diǎn)作為其關(guān)鍵點(diǎn)；第三步：使用抽樣密鑰來計(jì)算每個(gè)查詢點(diǎn)的注意力權(quán)重，這些權(quán)重用于聚合按鍵中的信息；第四步：聚合信息通過多層Transformer網(wǎng)絡(luò)傳遞，以捕獲長(zhǎng)期依賴關(guān)系并生成最終的分段結(jié)果DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第56頁8.4Transformer自動(dòng)駕駛應(yīng)用語義分割DeepLe