深度學(xué)習(xí)及自動(dòng)駕駛應(yīng)用 課件 第6章 基于CNN的自動(dòng)駕駛場(chǎng)景語(yǔ)義分割理論與實(shí)踐

Chapter6基于CNN的自動(dòng)駕駛場(chǎng)景語(yǔ)義分割理論與實(shí)踐第六章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第2頁(yè)6.4DeepLab系列6.1圖像分割概述6.3U-Net/Seg-Net6.2FCN全卷積神經(jīng)網(wǎng)絡(luò)6.5圖卷積網(wǎng)絡(luò)方法目錄Content6.6自動(dòng)駕駛圖像分割技術(shù)應(yīng)用及案例介紹6.7實(shí)踐項(xiàng)目DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第3頁(yè)6.1圖像分割概述本節(jié)內(nèi)容：

（1）圖像分割的基本介紹

（2）圖像分割的發(fā)展

（3）數(shù)據(jù)格式與評(píng)估指標(biāo)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第4頁(yè)圖像分割的基本介紹把圖像按照一定規(guī)則分割成“有意義”的多個(gè)區(qū)域的技術(shù)叫做圖像分割，圖像分割是計(jì)算機(jī)視覺(jué)領(lǐng)域里一項(xiàng)重要的基礎(chǔ)技術(shù)。與目標(biāo)檢測(cè)不同，目標(biāo)檢測(cè)的最終輸出是“輸入的圖像里面有哪些我關(guān)心的目標(biāo)”，以及其所在的矩形范圍；而圖像分割的最終輸出是一幅圖片的逐像素的分類結(jié)果，其類別數(shù)量更多，不同類別的物體之間位置要求精確到像素。因此，圖像分割對(duì)于類別數(shù)、位置精確度的要求更高，模型更復(fù)雜。根據(jù)任務(wù)和輸入數(shù)據(jù)類型的不同，圖像分割可以細(xì)化為以下三種具體任務(wù)：語(yǔ)義分割、實(shí)例分割、全景分割DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第5頁(yè)圖像分割的發(fā)展語(yǔ)義分割是圖像分割方法的基礎(chǔ)，實(shí)例分割、全景分割在某種程度上其實(shí)是語(yǔ)義分割與目標(biāo)檢測(cè)算法融合的應(yīng)用。因此，本章接下來(lái)所說(shuō)的圖像分割與圖像分割方法，若無(wú)特殊說(shuō)明，均指語(yǔ)義分割和語(yǔ)義分割方法。圖像分割算法與目標(biāo)檢測(cè)算法一樣，存在著傳統(tǒng)圖像分割算法與基于深度學(xué)習(xí)的圖像分割算法兩大類，如右圖所示DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第6頁(yè)數(shù)據(jù)格式與評(píng)估指標(biāo)與目標(biāo)檢測(cè)任務(wù)相同，圖像分割任務(wù)主流的數(shù)據(jù)格式仍然是PASCALVOC格式和COCO格式。這兩種數(shù)據(jù)集都被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)、圖像分割任務(wù)中。評(píng)價(jià)一個(gè)圖像分割算法的好壞，常用兩個(gè)指標(biāo)：mIoU（meanIntersectionoverUnion，平均交并比）和mAcc（meanAccuracy，平均準(zhǔn)確率）。指標(biāo)mAcc表征的是預(yù)測(cè)結(jié)果與真實(shí)結(jié)果之間的差距。由于圖像分割任務(wù)通常是逐像素的分類問(wèn)題，因此該值計(jì)算的是圖像上類別預(yù)測(cè)正確的像素?cái)?shù)量占圖像像素總數(shù)的比率。mAcc越大，說(shuō)明越多的像素被正確預(yù)測(cè)，預(yù)測(cè)的準(zhǔn)確性越高。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第7頁(yè)評(píng)價(jià)指標(biāo)mIoU指標(biāo)mIoU表征的是圖像上所有類別的交并比的總和，此處IoU的概念與第五章相同，都是某一類的預(yù)測(cè)區(qū)域與真實(shí)區(qū)域所占面積的比值如下圖所示，左邊是圖像分割的真實(shí)值，右邊是圖像分割輸出的預(yù)測(cè)值。對(duì)于右圖中每一個(gè)類別分別求IoU，再求平均數(shù)，即為mIoU。mIoU越大，說(shuō)明每個(gè)類別都被較好的預(yù)測(cè)，預(yù)測(cè)的準(zhǔn)確性越好。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第8頁(yè)6.2FCN全卷積神經(jīng)網(wǎng)絡(luò)本節(jié)內(nèi)容：

（1）FCN網(wǎng)絡(luò)結(jié)構(gòu)

（2）上采樣過(guò)程

（3）特征融合DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第9頁(yè)SDS方法（基于DCNN）在FCN提出之前，便已經(jīng)有了一系列圖像分割的DCNN算法，如SDS方法（SimultaneousDetectionandSegmentation，協(xié)同檢測(cè)和分割），其利用RCN網(wǎng)絡(luò)框架對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，抽取輸入圖片中的多個(gè)“似物性推薦區(qū)域（proposal）”，保留與人工標(biāo)注區(qū)域交叉的部分作為前景區(qū)域，根據(jù)每個(gè)proposal的類別信息進(jìn)行訓(xùn)練，得到了用于圖像分割的DCNN。SDS整體上的架構(gòu)為：MCG+AlexNet+SVM+NMS。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第10頁(yè)FCN網(wǎng)絡(luò)結(jié)構(gòu)FCN網(wǎng)絡(luò)即全卷積神經(jīng)網(wǎng)絡(luò)（FullyConvolutionalNetworks），F(xiàn)CN網(wǎng)絡(luò)的結(jié)構(gòu)右圖所示。FCN與DCNN的區(qū)別在于，F(xiàn)CN中沒(méi)有全連接層（FC層）。由于僅有卷積層，輸出的是特征圖。FCN中對(duì)于FC的處理是，使用C個(gè)通道的1×1的卷積核對(duì)FC層進(jìn)行替換（1×1卷積核的作用在于，不改變輸入的長(zhǎng)和寬的情況下，將輸出的通道數(shù)調(diào)整為C；該過(guò)程也被稱作“降維”或“升維”）。接下來(lái)，在通過(guò)上采樣過(guò)程，將特征圖還原到輸入圖像的大小，每個(gè)位置的值即為對(duì)應(yīng)像素的類別，對(duì)該特征圖進(jìn)行可視化。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第11頁(yè)上采樣過(guò)程：雙線性插值經(jīng)過(guò)了一系列的卷積層后，特征圖的尺寸變得很小，此時(shí)需要進(jìn)行上采樣過(guò)程將特征圖還原到輸入圖像的尺寸。常見(jiàn)的上采樣方式有：雙線性插值、上池化、反卷積等。雙線性插值（BilinearInterpolation）的計(jì)算過(guò)程如右圖所示，已知Q11、Q12、Q21、Q22四個(gè)點(diǎn)的像素值，如果想在內(nèi)部一點(diǎn)進(jìn)行雙線性插值，首先假定矩形的每條邊上點(diǎn)的像素值變化都為線性過(guò)渡。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第12頁(yè)上采樣過(guò)程：上池化（NearestNeighbor、BedofNails）Un-pooling為上池化，即Pooling的反向操作，其目的是對(duì)特征圖的尺寸進(jìn)行放大，例如從2×2大小擴(kuò)為4×4大小。Un-pooling常見(jiàn)的操作有NearestNeighbor、BedofNails等方式，如下圖所示。除此之外，常用的還有MaxUnpooling，其是MaxPooling的反向操作（見(jiàn)下頁(yè)）。但需要注意的是，進(jìn)行MaxPooling時(shí)需要先記住池化后的元素在原圖像上的位置。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第13頁(yè)上采樣過(guò)程：上池化（MaxUnpooling）DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第14頁(yè)上采樣過(guò)程：反卷積TransposeConvolution是第三種上采樣方式，顧名思義，其是卷積過(guò)程的反向操作。卷積的過(guò)程如下圖左邊所示，對(duì)于一個(gè)6×6大小的輸入，通過(guò)一個(gè)3×3大小的卷積核，在不加Padding的情況下可以得到一個(gè)4×4的特征圖。而反卷積如下圖右邊所示，就是以4×4大小的特征圖為輸入，通過(guò)一個(gè)3×3大小的卷積核，得到一個(gè)6×6大小的特征圖。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第15頁(yè)上采樣過(guò)程：反卷積的計(jì)算過(guò)程反卷積具體的計(jì)算過(guò)程如下圖所示。首先將3×3的卷積核進(jìn)行翻轉(zhuǎn)，接下來(lái)令其以下圖的方式，在2×2的特征圖上滑動(dòng)，重合處的數(shù)字相乘、所有乘積相加，便得到了所需位置處的輸出值。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第16頁(yè)特征融合FCN中采用了多尺度特征圖融合的方式，使最后的特征圖能夠得到更多信息。如下圖所示，F(xiàn)CN對(duì)conv7的進(jìn)行一次上采樣，并使其與pool4層的特征進(jìn)行融合；對(duì)conv7的進(jìn)行兩次上采樣，并使其與pool3層的特征進(jìn)行融合；最后對(duì)融合后的特征圖進(jìn)行上采樣，得到整個(gè)網(wǎng)絡(luò)輸出的結(jié)果。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第17頁(yè)FCN雖然FCN訓(xùn)練和預(yù)測(cè)的速度比同時(shí)期的傳統(tǒng)圖像分割算法較慢，

但其移植方便、適應(yīng)性極強(qiáng)，使深度學(xué)習(xí)首次引入了圖像分割領(lǐng)域。FCN的缺點(diǎn)主要有：

（1）分割結(jié)果不夠精細(xì)；

（2）且由于其是對(duì)各個(gè)像素進(jìn)行分類，沒(méi)有考慮像素與像素之間的關(guān)系，導(dǎo)致輸出結(jié)果中像素所屬類別在空間上的分布較為零碎，一致性差。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第18頁(yè)6.3U-Net/Seg-Net本節(jié)內(nèi)容：

（1）U-Net

（2）Seg-NetDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第19頁(yè)U-Net網(wǎng)絡(luò)結(jié)構(gòu)U-Net最初是為了解決生物醫(yī)學(xué)圖像方面的問(wèn)題而提出的。U-Net是基于Encoder-Decoder的U型結(jié)構(gòu)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第20頁(yè)U-Net過(guò)程在U-Net中，Encoder負(fù)責(zé)特征提取、Decoder負(fù)責(zé)恢復(fù)圖像的原始分辨率。對(duì)于一幅大小為572×572的輸入圖像，在Encoder部分，通過(guò)五次“3×3卷積+ReLU、3×3卷積+ReLU、2×2最大值池化”的操作，得到一張大小為28×28像素、1024通道的特征圖。在Decoder部分，通過(guò)四次“上采樣、特征融合（拼接操作）、3×3卷積+ReLU、3×3卷積+ReLU”的操作，得到與338×338大小、64通道的特征圖；最后再使用1×1卷積，將通道數(shù)量設(shè)定為類別數(shù)量，得到最終的特征圖。該特征圖通過(guò)Softmax和Argmax操作，輸出最終的圖像分割結(jié)果。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第21頁(yè)特征融合方式：拼接上述過(guò)程中，特征融合采用的方式是“拼接”，即把Encode中不同尺寸卷積層的輸出復(fù)制并裁剪（copyandcrop）出一個(gè)與Decoder中待拼接的上采樣結(jié)果尺寸相同的部分，直接進(jìn)行“拼接”。該方式能夠使不同尺寸的特征較好的融合，減少了細(xì)節(jié)的丟失。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第22頁(yè)U-Net損失函數(shù)設(shè)計(jì)U-Net的損失函數(shù)使用的是關(guān)于類別的交叉熵，如下式所示。其中，w(x)是權(quán)重變量。原論文是醫(yī)學(xué)細(xì)胞檢測(cè)，因此不同細(xì)胞之間的交界比較明顯，某一像素點(diǎn)距離細(xì)胞邊界第一近和第二近的距離為d1、d2。的設(shè)置可以使距離邊界越近的像素懲罰越大、越遠(yuǎn)的懲罰越小。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第23頁(yè)Seg-Net網(wǎng)絡(luò)結(jié)構(gòu)Seg-Net的結(jié)構(gòu)如下圖所示，其同樣是一個(gè)Encoder-Decoder結(jié)構(gòu)。Encoder部分是一個(gè)與VGG16類似的網(wǎng)絡(luò)模型，主要由卷積層（Conv）、歸一化層（BatchNormal，BN層）、激活函數(shù)層（ReLU）、池化層（Pooling）組成。其中，卷積層負(fù)責(zé)提取區(qū)域特征；池化層對(duì)特征圖進(jìn)行下采樣并傳送到下一層；而B(niǎo)N層則對(duì)特征圖的數(shù)值進(jìn)行分布?xì)w一化，加速訓(xùn)練過(guò)程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第24頁(yè)Seg-Net網(wǎng)絡(luò)的Decoder部分Decoder部分主要由上采樣層（Upsampling）、卷積層（Conv）組成。其中，上采樣層與以往的網(wǎng)絡(luò)不同，其是借助“池化索引”來(lái)進(jìn)行上采樣的，如下圖所示。池化索引，就是指在Encoder部分的MaxPooling過(guò)程中，建立一個(gè)矩陣來(lái)記錄最大值所在的位置；在Decoder部分的上采樣過(guò)程中，根據(jù)池化索引矩陣的記錄來(lái)填寫(xiě)原來(lái)位置上的新的特征值，空缺的位置用0填充，這種上采樣方式得到的是一個(gè)稀疏特征圖。后續(xù)再繼續(xù)通過(guò)卷積層得到稠密特征圖，再進(jìn)行上采樣，循環(huán)往復(fù)，直到特征圖的大小與輸入圖像一致。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第25頁(yè)6.4DeepLab系列本節(jié)內(nèi)容：

（1）DeepLabV1

（2）DeepLabV2

（3）DeepLabV3

（4）DeepLabV3+DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第26頁(yè)DCNN類圖像分割網(wǎng)絡(luò)的不足在DeepLabV1出現(xiàn)之前，圖像分割所使用一類DCNN網(wǎng)絡(luò)，存在兩個(gè)問(wèn)題：

首先，最大池化等采樣方式會(huì)導(dǎo)致圖像中的細(xì)節(jié)丟失；

其次，分類器使用以對(duì)象為中心的決策，依賴于特征圖變換的空間不變性，該特點(diǎn)限制了DCNN的空間精度。因此，DeepLabV1針對(duì)上述兩個(gè)問(wèn)題，分別使用“空洞卷積”、“條件隨機(jī)場(chǎng)（CRF）”的方式，解決了分辨率下降的問(wèn)題、提高了模型捕獲細(xì)節(jié)的能力。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第27頁(yè)DeepLabV1DeepLabV1的整體結(jié)構(gòu)如右圖所示。

圖中的5個(gè)VGGlayer與以往不同，其內(nèi)部的卷積層使用的是空洞卷積，F(xiàn)C6同樣使用了空洞卷積，F(xiàn)C7使用的是一個(gè)1×1的普通卷積。6個(gè)Classification內(nèi)部有三個(gè)卷積層，其作用是通過(guò)雙線性插值統(tǒng)一特征圖大小、通過(guò)卷積操作使輸出特征圖的通道數(shù)等于類別數(shù)。最后，進(jìn)行按像素疊加、按原圖大小進(jìn)行插值縮放，得到最終的輸出。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第28頁(yè)空洞卷積空洞卷積是一種能夠增大感受野的卷積方法，而感受野是指計(jì)算特征圖上某個(gè)點(diǎn)的像素值時(shí)，計(jì)算使用的像素值的在輸入圖片上覆蓋范圍。上圖中，輸出的每一個(gè)像素點(diǎn)，其感受野的范圍都是3×3。而空洞卷積是指在不改變計(jì)算量（9個(gè)像素值）的情況下，對(duì)特征圖上的原始區(qū)域進(jìn)行卷積時(shí)，沒(méi)有逐像素進(jìn)行計(jì)算、而是間隔一定步長(zhǎng)來(lái)進(jìn)行計(jì)算。下圖中，輸出的每一個(gè)像素點(diǎn)，其感受野的范圍都是5×5。普通卷積：感受野3×3空洞卷積：感受野5×5DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第29頁(yè)條件隨機(jī)場(chǎng)（CRF）條件隨機(jī)場(chǎng)（CRF）是一種無(wú)向圖，圖中的頂點(diǎn)代表隨機(jī)變量，頂點(diǎn)之間的連線代表相互關(guān)系。上圖展示了CRF在DeepLabV1整體網(wǎng)絡(luò)結(jié)構(gòu)中的作用。下圖展示了CRF比其他方法更能使分類結(jié)果的邊緣更加精細(xì)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第30頁(yè)DeepLabV2DeepLabV2是DeepLabV1的改進(jìn)版，其網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。首先，V2使用ResNet替換了V1所使用的VGG網(wǎng)絡(luò)。其次，引入了一個(gè)ASPP（AtrousSpatialPyramidPooling，空間空洞金字塔池化）層，使不同尺寸的特征圖都擴(kuò)大了自身的感受野，獲得了更多的上下文信息。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第31頁(yè)ASPP層ASPP層的作用在于，其使用不同感受野的卷積核，如圖所示。具體來(lái)說(shuō)，就是將輸入的特征圖，以四個(gè)不同擴(kuò)張率（rate）的3×3卷積核進(jìn)行空洞卷積的計(jì)算，以此獲得了多尺度、不同感受野的上下文信息。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第32頁(yè)DeepLabV3DeepLabV3直接去除了CRF的過(guò)程，并引入了Multi-Grid策略、優(yōu)化ASPP的結(jié)構(gòu)，僅憑卷積網(wǎng)絡(luò)便達(dá)到了DeepLabV2的效果。DeepLabV3的網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。輸入的圖像經(jīng)過(guò)4個(gè)ResNet后，進(jìn)入ASPP’（即改進(jìn)后的ASPP），再進(jìn)行后續(xù)的圖像分割過(guò)程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第33頁(yè)空洞卷積的弊端越高層的空洞卷積，擴(kuò)張率越大，其對(duì)輸入的采樣就會(huì)越稀疏，很多局部信息就會(huì)被丟失，使得輸出的特征圖出現(xiàn)gridding問(wèn)題，如圖所示。第一行是真實(shí)值，第二行是具有g(shù)ridding問(wèn)題的特征圖。該現(xiàn)象的產(chǎn)生源自于空洞卷積使用了相同間隔的膨脹率，導(dǎo)致其在某一特定像素的周圍總是對(duì)相對(duì)固定位置的那些像素進(jìn)行多次采樣，造成過(guò)擬合，導(dǎo)致失真。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第34頁(yè)Multi-Grid策略DeepLabV3中便采用了Multi-Grid策略，其在一個(gè)ResBlock中連續(xù)使用多個(gè)不同擴(kuò)張率的空洞卷積。

即在不同的空洞卷積層上，使用不同間隔的膨脹率來(lái)替代固定間隔的膨脹率。如圖所示，膨脹率rate不再固定間隔的增加（如2,4,6,8），而是非等間隔的增加（如2,4,8,16）。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第35頁(yè)BN（BatchNormalization）層BN層能夠均衡特征圖上的像素值分布情況，減輕計(jì)算壓力、進(jìn)而減少訓(xùn)練和預(yù)測(cè)的總時(shí)間。此外，作者發(fā)現(xiàn)，膨脹率越大，卷積核中的有效權(quán)重越少；當(dāng)膨脹率足夠大時(shí)，只有卷積核最中間的權(quán)重是有效的，此時(shí)卷積核退化成了1×1卷積核，此時(shí)空洞卷積便丟失了預(yù)期的上下文信息。因此，作者對(duì)最后一層的特征圖進(jìn)行全局池化，經(jīng)過(guò)256個(gè)1×1卷積核和BN層，使用雙線性插值得到最終所需維度的特征圖。綜上，改進(jìn)后的ASPP即ASPP’，如圖所示，其融合了Multi-grid策略、BN層、全局池化，使模型訓(xùn)練的時(shí)間更短、效果也更好。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第36頁(yè)DeepLabV3+在圖像分割的方法中，對(duì)于上下文信息的提取主要有兩種思路：一種是利用空間金字塔池化（SPP）結(jié)構(gòu)（如圖(a)）、另一種是編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)（如圖(b)）。而DeepLabV3+則是DeepLabV3的改進(jìn)版，其融合了上述兩種思路，即在Encoder-Decoder結(jié)構(gòu)的基礎(chǔ)上，加入了SPP模塊，如圖(c)所示。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第37頁(yè)DeepLabV3+因此，DeepLabV3+很好的融合了上述兩種結(jié)構(gòu)的優(yōu)點(diǎn)：通過(guò)SPP來(lái)利用多種感受野池化不同分辨率的特征來(lái)挖掘上下文信息；通過(guò)Encoder-Decoder來(lái)逐步重構(gòu)空間信息來(lái)捕捉物體的邊緣。引入空洞卷積后，Encoder-Decoder模型的運(yùn)行時(shí)間有所減少。DeepLabV3+的運(yùn)行時(shí)間和輸出精度，是可以通過(guò)空洞卷積的膨脹率等參數(shù)來(lái)進(jìn)行動(dòng)態(tài)調(diào)整的。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第38頁(yè)6.5圖卷積網(wǎng)絡(luò)方法本節(jié)內(nèi)容：

（1）圖卷積的定義

（2）BeyondGrids

（3）GloRe

（4）GINetDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第39頁(yè)圖卷積的定義圖是由節(jié)點(diǎn)（node）和邊（edge）構(gòu)成的，節(jié)點(diǎn)表示實(shí)體，而邊描述了實(shí)體與實(shí)體之間的關(guān)系。圖有四種基本類型，如無(wú)向圖、有向圖、加權(quán)圖、混合圖等。實(shí)際上，根據(jù)圖的形狀和特點(diǎn)，圖還可以細(xì)分為更多種類，規(guī)則簡(jiǎn)單的類別有樹(shù)、環(huán)、軌道等；規(guī)則復(fù)雜的類別有連通圖、偶圖、邊圖、弦圖、歐拉圖、哈密頓圖等。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第40頁(yè)復(fù)習(xí)：卷積的定義復(fù)習(xí)二維平面卷積運(yùn)算的定義：

其計(jì)算過(guò)程就是利用卷積核，在輸入圖像上滑動(dòng)，將圖像上點(diǎn)的像素值與卷積核上對(duì)應(yīng)位置的數(shù)值相乘，再將所有乘積相加求和，作為輸出特征圖上卷積核中間位置的特征值，重復(fù)該過(guò)程直到遍歷完輸入圖片上所有的像素。圖卷積則與之類似，將每個(gè)節(jié)點(diǎn)描述為一個(gè)特征向量，通過(guò)設(shè)計(jì)一個(gè)可以遍歷全部節(jié)點(diǎn)的矩陣運(yùn)算，該運(yùn)算方法便命名為圖卷積。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第41頁(yè)圖卷積的一種定義圖中，節(jié)點(diǎn)1共有5個(gè)鄰居，對(duì)于節(jié)點(diǎn)1進(jìn)行圖卷積，則就是對(duì)節(jié)點(diǎn)1及其鄰居節(jié)點(diǎn)的信息進(jìn)行聚合。其中，每個(gè)節(jié)點(diǎn)都用一個(gè)向量來(lái)表示，所有的節(jié)點(diǎn)向量則構(gòu)成了節(jié)點(diǎn)矩陣n×c維的矩陣（n是節(jié)點(diǎn)數(shù)量，c是節(jié)點(diǎn)向量的維度）；A是n×n維的鄰接矩陣，Aij=1表示節(jié)點(diǎn)i與節(jié)點(diǎn)j相鄰、Aij=0表示不相鄰；I是單位矩陣；D是對(duì)角矩陣，其作為歸一化的因子參與矩陣乘積運(yùn)算；W是可學(xué)習(xí)的參數(shù)矩陣。本質(zhì)上，圖卷積也是一種消息傳遞網(wǎng)絡(luò)：L描述了節(jié)點(diǎn)間消息的傳遞過(guò)程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第42頁(yè)BeyondGrids在BeyondGrids提出之前，應(yīng)用于圖像分割的深度學(xué)習(xí)網(wǎng)絡(luò)大多數(shù)都是通過(guò)堆疊多個(gè)卷積層、池化層來(lái)增大感受野，進(jìn)而獲得目標(biāo)與場(chǎng)景的上下文關(guān)系。實(shí)際上，這種方法得到的有效感受野非常有限，并不能很好的對(duì)上下文進(jìn)行建模。因此，BeyondGrids方法定義了GCU（GraphConvolutionUnit，圖卷積單元）來(lái)處理相關(guān)問(wèn)題。一個(gè)GCU由三部分構(gòu)成：GraphProjection、GraphConvolution、GraphRe-Projection。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第43頁(yè)BeyondGrids的GCU單元其中，GraphProjection為特征投影過(guò)程，即將2維特征圖投影到圖G=(V,E)上（V是節(jié)點(diǎn)的集合，E是節(jié)點(diǎn)間相互關(guān)系的集合）。對(duì)于V中的各個(gè)節(jié)點(diǎn)，其都是通過(guò)特征聚合的方式得到的。GraphConvolution為圖卷積過(guò)程，其采用上一節(jié)所述的公式進(jìn)行運(yùn)算，通過(guò)訓(xùn)練的方式來(lái)學(xué)習(xí)參數(shù)W。GraphRe-Projection為反投影過(guò)程，將經(jīng)過(guò)圖卷積運(yùn)算的圖表征重新投影到2維空間。下圖展示了一個(gè)GCU的處理過(guò)程。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第44頁(yè)BeyondGrids的GCU單元DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第45頁(yè)GloRe的交互空間GloRe提出了一種推理方法：將坐標(biāo)空間（CoordinateSpace）的像素級(jí)特征聚合投影到交互空間（InteractionSpace）中，經(jīng)過(guò)一系列運(yùn)算后再投回到原始的坐標(biāo)空間。圖(b)描述了坐標(biāo)空間下的區(qū)域劃分，同種顏色的區(qū)域內(nèi)部，其像素是相似的，即根據(jù)像素的相似性劃分坐標(biāo)空間中的區(qū)域；(c)描述了坐標(biāo)空間與交互空間中區(qū)域的投影與反投影關(guān)系。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第46頁(yè)GloRe的流程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第47頁(yè)GloRe的流程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第48頁(yè)GINet的語(yǔ)義上下文之前的方法都是基于視覺(jué)圖像來(lái)表征、推理上下文的方式，但GINet的作者認(rèn)為上下文信息僅靠其他像素點(diǎn)的信息來(lái)捕捉并不夠，于是作者引入了語(yǔ)義上下文的概念，如圖中的GraphInteraction過(guò)程所示。GINet仍然是一種圖交互網(wǎng)絡(luò)，其提出了一種基于數(shù)據(jù)集的語(yǔ)義知識(shí)的圖交互單元GIUnit來(lái)進(jìn)行上下文的推理建模；同時(shí)提出了上下文損失SC-loss來(lái)增強(qiáng)訓(xùn)練過(guò)程，強(qiáng)調(diào)出現(xiàn)在場(chǎng)景中的類別，抑制沒(méi)有出現(xiàn)在場(chǎng)景中的類別。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第49頁(yè)GINet網(wǎng)絡(luò)框架GINet方法的框架如下頁(yè)ppt所示，其過(guò)程大致分為五個(gè)步驟。第一步，將經(jīng)過(guò)預(yù)訓(xùn)練的ResNet作為骨干網(wǎng)絡(luò)，對(duì)給定的輸入圖像進(jìn)行提取特征，即視覺(jué)特征（VisualRepresentation）。與此同時(shí)，根據(jù)分類網(wǎng)絡(luò)或先驗(yàn)信息得到該輸入圖片中的類別信息，將其以文本的形式提取出來(lái)經(jīng)過(guò)WordEmbedding，將單詞映射為方便處理的多維向量，即語(yǔ)義信息（LinguisticKnowledge）。第二步，將視覺(jué)特征和語(yǔ)義信息，通過(guò)GIUnit進(jìn)行投影，得到視覺(jué)圖（VisG）和語(yǔ)義圖（SemG）。其中，視覺(jué)圖中的節(jié)點(diǎn)表示原圖像中某一區(qū)域的特征，邊表示區(qū)域之間的關(guān)系；語(yǔ)義圖中的節(jié)點(diǎn)表示文本特征，邊表示相互關(guān)系。第三步，在GIUnit中通過(guò)GraphInteraction過(guò)程來(lái)進(jìn)行圖推理。其中，語(yǔ)義圖用于在視覺(jué)圖中促進(jìn)上下文關(guān)系，指導(dǎo)視覺(jué)圖的生成；視覺(jué)圖反過(guò)來(lái)又可以強(qiáng)化語(yǔ)義圖中語(yǔ)義之間的聯(lián)系。第四步，由GIUnit生成的視覺(jué)圖通過(guò)反投影操作，回到原特征空間上，來(lái)增強(qiáng)每個(gè)局部視覺(jué)表示的區(qū)分能力；語(yǔ)義圖則在訓(xùn)練過(guò)程中根據(jù)上下文損失（SC-loss）不斷進(jìn)行更新。最后，使用1×1卷積、上采樣，得到最終的圖像分割結(jié)果。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第50頁(yè)GINet網(wǎng)絡(luò)框架DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第51頁(yè)GINet的損失函數(shù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第52頁(yè)6.6自動(dòng)駕駛圖像分割技術(shù)應(yīng)用及案例介紹本節(jié)內(nèi)容：

（1）自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述

（2）礦區(qū)自動(dòng)駕駛路面特征提取案例介紹

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第53頁(yè)自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述在自動(dòng)駕駛場(chǎng)景下，圖像分割需要能夠準(zhǔn)確識(shí)別和分割出道路上不同的物體和區(qū)域，如車道線、行人、交通標(biāo)志、車輛等。傳統(tǒng)的圖像分割方法，本質(zhì)上是基于規(guī)則的語(yǔ)義分割算法，至于規(guī)則如何設(shè)定，完全由方法的提出者進(jìn)行設(shè)計(jì)，其主觀因素極強(qiáng)，泛化能力較差；且每一種規(guī)則僅對(duì)某種特定的分割場(chǎng)景有效，人工設(shè)計(jì)分割規(guī)則的效率也十分低下。因此，傳統(tǒng)圖像分割方法很難應(yīng)用到自動(dòng)駕駛領(lǐng)域中。本文以閾值法、邊緣檢測(cè)法來(lái)介紹傳統(tǒng)圖像分割方法在自動(dòng)駕駛領(lǐng)域中的應(yīng)用。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第54頁(yè)自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述閾值法是指使用圖像的灰度特征來(lái)計(jì)算灰度值，通過(guò)與設(shè)定的閾值相比較，來(lái)將特定的像素分類到相應(yīng)的類別。以自動(dòng)駕駛場(chǎng)景中的行人區(qū)域分割為例，由于人體的表面溫度高于周圍環(huán)境，因此使用紅外檢測(cè)設(shè)備或算法，可以檢測(cè)圖像中的熱源區(qū)域，進(jìn)而從圖像或熱成像中分割出行人區(qū)域。Ge等人提出了一種基于自適應(yīng)局部雙閾值分割的感興趣區(qū)域（RegionofRegion）提取方法，其通過(guò)計(jì)算同一水平線上的行人亮度比背景亮度高的假設(shè)來(lái)計(jì)算局部閾值，進(jìn)而將行人從圖像中分離出來(lái)。邊緣檢測(cè)法是目標(biāo)對(duì)象的邊緣線往往具有相似的灰度、顏色、紋理等特點(diǎn)，其主要通過(guò)微分算子來(lái)進(jìn)行檢測(cè)。使用Sobel算子進(jìn)行圖像分割便是一個(gè)典型的應(yīng)用。劉瓊等人提出了一種加權(quán)Sobel算子的方法來(lái)強(qiáng)化行人的豎直邊緣，以此來(lái)更好的分割道路場(chǎng)景下的行人區(qū)域。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第55頁(yè)自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述FCN網(wǎng)絡(luò)已經(jīng)提出，便展現(xiàn)了其在自動(dòng)駕駛領(lǐng)域中應(yīng)用的潛力：其實(shí)現(xiàn)了端到端的輸出，可以幫助自動(dòng)駕駛系統(tǒng)理解場(chǎng)景并做出合理的決策。但FCN并不能對(duì)駕駛場(chǎng)景的上下文進(jìn)行充分利用，因此并沒(méi)有真正地應(yīng)用于自動(dòng)駕駛。Zhao等人通過(guò)一個(gè)金字塔集合模塊，對(duì)輸入圖像進(jìn)行多尺度的特征提取，再通過(guò)一個(gè)帶有上采樣層的解碼器來(lái)恢復(fù)原始分辨率。這種方式極大地方便和簡(jiǎn)化了自動(dòng)駕駛的數(shù)據(jù)圖像輸入過(guò)程。然而重復(fù)的池化和下采樣操作會(huì)導(dǎo)致輸入圖像的細(xì)節(jié)丟失和畸變，因此Chen等人在PSPNet基礎(chǔ)上引入了DeepLab，引入了ASPP模塊。該模塊通過(guò)不同擴(kuò)張率的卷積濾波器，提取了多尺度的特征；同時(shí)，DeepLab還通過(guò)跳躍連接的方式將ASPP模塊輸出的特征圖與不同層級(jí)的解碼器輸出進(jìn)行融合，使得車道線的邊緣更加的精細(xì)和完整，更有利于車輛自身位置的確定。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第56頁(yè)自動(dòng)駕駛圖像分割技術(shù)應(yīng)用概述胡航等人基于編碼器-解碼器模型，使用HRNet(High-ResolutionNet)保持高分辨率特征，同引入OCRNet(Object-ContextualRepresentationsforSemanticSegmentation)增強(qiáng)對(duì)象級(jí)別的語(yǔ)義信息。車子軒等人針對(duì)城市街景中的小目標(biāo)分割問(wèn)題，采用特征加權(quán)和多尺度特征融合改進(jìn)SOLO實(shí)例分割算法，提出F-SOLO（FeatureEnhancementSOLO）實(shí)例分割算法。其在特征提取網(wǎng)絡(luò)之后對(duì)特征通道進(jìn)行加權(quán)重構(gòu)，提升算法對(duì)重要特征的利用率；陳善繼等人提出了一種基于計(jì)算機(jī)視覺(jué)的高速路面狀態(tài)檢測(cè)方法。該方法首先將融合了空間注意力機(jī)制和通道注意力機(jī)制。注意力模塊與具有高分割精度的U-net網(wǎng)絡(luò)相結(jié)合，對(duì)路面區(qū)域圖像進(jìn)行分割提??；之后實(shí)現(xiàn)了一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的路面陰影消除算法，對(duì)已經(jīng)提取的路面圖像進(jìn)行陰影消除；最后基于殘差結(jié)構(gòu)構(gòu)建了路面狀態(tài)分類器，實(shí)現(xiàn)高準(zhǔn)確率的路面狀態(tài)檢測(cè)。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第57頁(yè)礦區(qū)路面特征提取案例：背景介紹車輛在礦區(qū)非結(jié)構(gòu)化路面上行駛時(shí)，由于路面翻漿及路面積水區(qū)域具有凹凸不平的特點(diǎn)，在這種路面狀態(tài)下行駛時(shí)，車輛抗沖擊性能很高，導(dǎo)致其劇烈振動(dòng)，容易損壞部件，還會(huì)因機(jī)械故障引發(fā)事故。自動(dòng)駕駛車輛有效對(duì)礦區(qū)非結(jié)構(gòu)化路面的道路翻漿（凸起）區(qū)域（左圖）以及路面積水（右圖）等路面狀態(tài)進(jìn)行檢測(cè)并輸出相應(yīng)的路面狀態(tài)屬性（高度、面積）能夠提升礦區(qū)自動(dòng)駕駛車輛前向感知能力，為車輛決策、規(guī)劃、控制提供保障。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第58頁(yè)礦區(qū)路面特征提取案例：技術(shù)路線單一傳感器信息對(duì)于自動(dòng)駕駛車輛環(huán)境感知具有一定的局限性，多傳感器信息融合不僅可以彌補(bǔ)單一傳感器多維信息的不足，還可以形成一定的信息冗余增強(qiáng)環(huán)境感知結(jié)果的可靠性。本案例采用長(zhǎng)焦相機(jī)和激光雷達(dá)傳感器信息融合感知技術(shù)對(duì)礦區(qū)非結(jié)構(gòu)化路面狀態(tài)進(jìn)行研究：激光雷達(dá)傳感器可以彌補(bǔ)圖像沒(méi)有深度信息的不足，圖像可以為點(diǎn)云提供路面狀態(tài)的語(yǔ)義信息。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第59頁(yè)礦區(qū)路面特征提取案例：礦區(qū)路面數(shù)據(jù)集的構(gòu)建本案例將激光雷達(dá)點(diǎn)云和長(zhǎng)焦相機(jī)的圖像作為整體算法的輸入，首先運(yùn)用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)圖像中具體的路面特征進(jìn)行分割與提取，然后根據(jù)圖像與點(diǎn)云的關(guān)系對(duì)應(yīng)地獲得不同路面狀態(tài)的點(diǎn)云信息，最后提出一種路面狀態(tài)輸出算法實(shí)現(xiàn)路面狀態(tài)的感知，完成關(guān)于礦區(qū)路面狀態(tài)的檢測(cè)與輸出。圖像與點(diǎn)云聯(lián)合標(biāo)定的過(guò)程如右圖所示。為了使得所采集的礦區(qū)圖像及點(diǎn)云數(shù)據(jù)中的路面特征能夠更好的匹配，多模態(tài)數(shù)據(jù)需要在時(shí)間上進(jìn)行同步，空間上進(jìn)行對(duì)齊處理。同時(shí)，點(diǎn)云測(cè)量的是物體到激光雷達(dá)中心的距離，則在同一幀點(diǎn)云中不同激光點(diǎn)的坐標(biāo)系不同，因此需要把采集過(guò)程中的雷達(dá)的運(yùn)動(dòng)計(jì)算出來(lái)進(jìn)行點(diǎn)云去畸變處理。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第60頁(yè)礦區(qū)路面特征提取案例：礦區(qū)路面數(shù)據(jù)集的構(gòu)建DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第61頁(yè)礦區(qū)路面特征提取案例：基于圖像的礦區(qū)路面特征提取本案例中，采取了編碼器-解碼器結(jié)構(gòu)的DeepLabV3+作為圖像語(yǔ)義分割框架，在此基礎(chǔ)上進(jìn)行優(yōu)化來(lái)獲取圖片的像素級(jí)類別信息。基于改進(jìn)的DeepLabv3+語(yǔ)義分割網(wǎng)絡(luò)主要是由通道注意力模塊、混合注意力模塊以及改進(jìn)DeepLabv3+網(wǎng)絡(luò)模型，改進(jìn)的DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第62頁(yè)礦區(qū)路面特征提取案例：基于圖像的礦區(qū)路面特征提取本案例中，所采用的數(shù)據(jù)按照PASCALVOC2007數(shù)據(jù)集格式進(jìn)行標(biāo)注，用實(shí)際應(yīng)用場(chǎng)景來(lái)檢驗(yàn)改進(jìn)網(wǎng)絡(luò)的性能。在所構(gòu)建的礦區(qū)非結(jié)構(gòu)化路面數(shù)據(jù)集中，主要包含行駛主路徑直道、彎道以及礦區(qū)作業(yè)區(qū)等場(chǎng)景，場(chǎng)景中的路面主要是車輛來(lái)回碾壓過(guò)在松軟路面上形成的翻漿等凸起以及在下雨天氣下在凹坑中的積水等路面狀態(tài)。標(biāo)注的類別主要有：非結(jié)構(gòu)化道路路邊擋墻、非結(jié)構(gòu)化路面翻漿（凸起）區(qū)域、路面積水區(qū)域以及其它非有效區(qū)域等四類區(qū)域，DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第63頁(yè)礦區(qū)路面特征提取案例：基于圖像的礦區(qū)路面特征提取為驗(yàn)證基于DeepLabv3+網(wǎng)絡(luò)的基礎(chǔ)上所添加模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)，對(duì)在網(wǎng)絡(luò)中相同位置分別添加ECA注意力機(jī)制和CBAM混合注意力機(jī)制模塊與同時(shí)添加兩種模塊的改進(jìn)網(wǎng)絡(luò)進(jìn)行對(duì)比。本案例中，基于DeepLabv3+網(wǎng)絡(luò)添加ECA注意力機(jī)制以及CBAM混合注意力機(jī)制的改進(jìn)網(wǎng)絡(luò)在mIoU和mPA指標(biāo)上，相對(duì)于DeepLabv3+網(wǎng)絡(luò)本身以及分別添加不同注意力模塊的網(wǎng)絡(luò)相比表現(xiàn)良好，選取訓(xùn)練過(guò)程中得到的最優(yōu)權(quán)重，