第9章 語義分割

第九章語義分割章節(jié)介紹Introduction在前面我們介紹了圖像分類、目標(biāo)檢測的基礎(chǔ)知識，語義分割作為計(jì)算機(jī)視覺領(lǐng)域中的另一個(gè)基礎(chǔ)任務(wù)在近些年來受到了廣泛的關(guān)注并且也取得了巨大的進(jìn)步，目前廣泛應(yīng)用于醫(yī)學(xué)圖像和自動(dòng)駕駛等領(lǐng)域。相比于分類和檢測兩種任務(wù)，語義分割的要求更高、難度更大，在未來的計(jì)算機(jī)視覺領(lǐng)域仍然存在很多問題亟待解決。本章旨在對語義分割的原理、評價(jià)指標(biāo)等知識進(jìn)行介紹，并幫助讀者了解現(xiàn)有的經(jīng)典分割網(wǎng)絡(luò)。學(xué)習(xí)目標(biāo)Learningaims（1）理解語義分割的基本原理；（2）掌握語義分割評價(jià)指標(biāo)的計(jì)算方法；（3）掌握經(jīng)典的語義分割網(wǎng)絡(luò)結(jié)構(gòu)和各自的創(chuàng)新之處。學(xué)習(xí)內(nèi)容Learningcontent1語義分割介紹Introductiontosemanticsegmentation基本原理我們已經(jīng)在前面介紹了圖像分類和目標(biāo)檢測的相關(guān)知識，我們再來認(rèn)識一下語義分割。相比于前兩種任務(wù)它的要求更高，要求按照“語義”給圖像中的每一個(gè)像素點(diǎn)打上標(biāo)簽，使得不同種類的物體在圖像上被區(qū)分出來，簡單來說，就是為每一個(gè)像素點(diǎn)進(jìn)行分類。以下圖為例，圖像中存在人、背包、草地、人行道、建筑物5種類別的實(shí)物，分別用號碼1、2、3、4、5表示，圖像經(jīng)過分割網(wǎng)絡(luò)的預(yù)測，最終得到的圖像分辨率與原圖像相同，并且相應(yīng)的像素點(diǎn)都被分類，即在原圖像中人所占的像素點(diǎn)標(biāo)記為1，草地所占的像素點(diǎn)標(biāo)記為3，以此類推?；驹砭唧w的實(shí)現(xiàn)方法為：為每個(gè)類別創(chuàng)建One-Hot編碼，輸入圖像經(jīng)過網(wǎng)絡(luò)預(yù)測得到的結(jié)果通道數(shù)等于類別數(shù)，如下圖所示。在每個(gè)通道上只存在0和1，這時(shí)我們可以通過argmax得到每個(gè)像素點(diǎn)在通道方向上的索引值，即最終得到的分類標(biāo)簽。常用數(shù)據(jù)集目前常見的語義分割模型都屬于監(jiān)督學(xué)習(xí)的范疇，因此用于指導(dǎo)訓(xùn)練的數(shù)據(jù)集是必不可少的。公開的數(shù)據(jù)集有很多，最常見的有PascalVOC2012、Cityspaces和ADE20K，下面將分別對這幾種數(shù)據(jù)集進(jìn)行介紹。PascalVOC2012：PascalVOC數(shù)據(jù)集可以同時(shí)用于分類、檢測和分割任務(wù)。對于分割任務(wù)，PascalVOC2012中訓(xùn)練集包含1464張圖片，驗(yàn)證集中包含1449張圖片，測試集包含1456張圖片。整個(gè)數(shù)據(jù)集共分為21個(gè)類別（包含背景）。常用數(shù)據(jù)集Cityspaces：Cityspaces數(shù)據(jù)集，即城市景觀數(shù)據(jù)集，包含了5000張（2975張用于訓(xùn)練,500張用于驗(yàn)證,1525張用于測試）城市環(huán)境駕駛場景的圖像，記錄了在不同季節(jié)、天氣等條件下的50個(gè)城市的街道場景。ADE20K：ADE20K數(shù)據(jù)集包含了在室內(nèi)、室外、自然場景等的圖像，共包含150個(gè)類別，包含20000多張（25574張用于訓(xùn)練,2000張用于測試）圖像，語義信息標(biāo)注在灰度圖上，每個(gè)點(diǎn)的取值范圍為0-150，其中0代表背景。評價(jià)指標(biāo)語義分割的評價(jià)指標(biāo)會(huì)用到混淆矩陣，但是常見的混淆矩陣只適用于最簡單的二分類任務(wù)，即類別只分為正例和反例，現(xiàn)在我們將混淆矩陣擴(kuò)展到K類，如下表所示。評價(jià)指標(biāo)為了方便表示，我們做出如下假設(shè)：共有K+1類，Pij表示屬于第i類但被預(yù)測為第j類的像素?cái)?shù)量，則Pii表示預(yù)測正確的像素?cái)?shù)量。PA（像素精度）：標(biāo)記正確的像素?cái)?shù)量占總像素?cái)?shù)量的比例，計(jì)算公式如下：MPA（均像素精度）：首先對每個(gè)類計(jì)算標(biāo)記正確的像素占比，之后對多個(gè)類別求平均值。計(jì)算公式如下：評價(jià)指標(biāo)IoU（交并比）:某個(gè)類別的預(yù)測結(jié)果與真實(shí)標(biāo)簽之間交集與并集的比值，計(jì)算公式如下：MIoU（均交并比）:首先對每個(gè)類別計(jì)算IoU，之后對每個(gè)類別計(jì)算平均值，計(jì)算公式如下：2經(jīng)典語義分割網(wǎng)絡(luò)ClassicalsemanticsegmentationnetworksFCN2015年JonathanLong在CVPR發(fā)表《FullyConvolutionalNetworksforSemanticSegmentation》，成為了語義分割領(lǐng)域的開山之作。傳統(tǒng)的CNN由于其出色特征提取能力廣泛應(yīng)用于圖像分類、目標(biāo)檢測等領(lǐng)域，但是在CNN當(dāng)中，通常會(huì)在卷積層后接上若干個(gè)全連接層，最終得到一個(gè)一維向量用于表示屬于某一類的概率，這種分類是屬于圖像級的分類，而語義分割需要像素級分類，所以這種全連接的方式不適用于語義分割。FCN在全卷積網(wǎng)絡(luò)中，作者利用卷積層替換了全連接層，輸出不再是一維的類別概率向量。此外，一般的卷積操作之后都會(huì)進(jìn)行下采樣等，即進(jìn)行一系列操作之后圖像相比于原圖像會(huì)縮小，分辨率降低，所以為了實(shí)現(xiàn)對原圖像每個(gè)像素都進(jìn)行分類的功能，則需要進(jìn)行上采樣操作，將圖像恢復(fù)至原圖像大小并進(jìn)行分類。FCN但是通常來說直接對特征圖進(jìn)行上采樣得到的預(yù)測結(jié)果是比較粗糙的，所以在FCN網(wǎng)絡(luò)當(dāng)中作者使用了跳躍結(jié)構(gòu)來優(yōu)化預(yù)測結(jié)果。具體來說，就是將網(wǎng)絡(luò)當(dāng)中不同池化層得到的下采樣特征圖進(jìn)行上采樣然后再進(jìn)行特征圖之間的融合最后得到預(yù)測結(jié)果，基于不同的融合方式FCN又可以被分為FCN-32s、FCN-16s、FCN-8s等。U-NetU-Net是FCN網(wǎng)絡(luò)的升級版，最早出自于2015年MICCAI醫(yī)學(xué)圖像頂級會(huì)議中，最初是用來解決醫(yī)學(xué)圖像分割問題，在2015年獲得了細(xì)胞追蹤挑戰(zhàn)賽和齲齒檢測挑戰(zhàn)賽冠軍，在此后的很多圖像分割網(wǎng)絡(luò)中都將U-Net網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，并且應(yīng)用在各個(gè)方面，例如衛(wèi)星圖像分割、人像分割等。U-Net從結(jié)構(gòu)圖中可以看到U-Net網(wǎng)絡(luò)呈U型的對稱結(jié)構(gòu)，并且沒有全連接層，所以它也是一種經(jīng)典的全卷積網(wǎng)絡(luò)。U-Net網(wǎng)絡(luò)也是一種編碼器-解碼器結(jié)構(gòu)，其輸入為一張572*572大小的經(jīng)過原圖像（512*512）鏡像操作的圖片。網(wǎng)絡(luò)的左側(cè)稱為壓縮路徑，包括4個(gè)子模塊，每個(gè)子模塊包含兩個(gè)卷積層和一個(gè)最大池化層，最終得到32*32大小的特征圖。網(wǎng)絡(luò)右側(cè)稱為拓展路徑，四個(gè)子模塊通過上采樣的方式逐漸恢復(fù)分辨率，并且在每一次進(jìn)行上采樣結(jié)束時(shí)會(huì)與編碼器同分辨率的特征圖進(jìn)行拼接作為下一個(gè)解碼器的輸入。由于圖中所示結(jié)構(gòu)是一個(gè)二分類任務(wù)，所以最終該網(wǎng)絡(luò)的輸出為二通道的特征圖。SegNetSegNet是由劍橋大學(xué)團(tuán)隊(duì)開發(fā)的圖像分割的開源項(xiàng)目。與FCN、U-Net一樣，SegNet同樣采用了編碼器-解碼器結(jié)構(gòu)。在編碼器方面，它采用的是VGG16網(wǎng)絡(luò)進(jìn)行特征提取，在解碼器方面，它使用了在相應(yīng)編碼器的最大池化步驟中計(jì)算的池化索引來執(zhí)行非線性上采樣，這種方式可以避免對上采樣過程的學(xué)習(xí)。經(jīng)過上采樣后得到稀疏的特征圖，再經(jīng)過卷積操作來得到密集的特征圖。PSPNetPSPNet全名為PyramidSceneParsingNetwork，即金字塔場景解析網(wǎng)絡(luò)，其核心模塊為金字塔模塊（PyramidPoolingModule）。金字塔模塊的主要作用就是融合不同尺度的特征和不同區(qū)域的上下文信息，從而提高獲取全局上下文信息的能力。此外PSPNet還在ResNet101網(wǎng)絡(luò)當(dāng)中加入了輔助損失函數(shù)，將它和最后的sofmax損失函數(shù)一起進(jìn)行反向播并優(yōu)化網(wǎng)絡(luò)。DeepLabDeepLab是谷歌提出的一系列語義分割算法，到目前為止DeepLab系列已經(jīng)有DeepLabV1、DeepLabV2、DeepLabV3和DeepLabV3+四個(gè)版本。其中DeepLabV1是深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）的改進(jìn)版本，它主要是為了解決兩個(gè)問題：(1)池化和下采樣等操作導(dǎo)致的分辨率降低而丟失細(xì)節(jié)。(2)由于空間不變性導(dǎo)致的精度不夠。針對上面兩種問題，DeepLabV1分別采用了空洞卷積和全連接CRF來提高模型的分割精度。它不僅可以增大感受野，還能捕獲多尺度的上下文信息。全連接CRF是用來對分割邊界進(jìn)行優(yōu)化。DeepLabDeepLabV2在V1的基礎(chǔ)上進(jìn)行了改進(jìn)，包括利用空洞卷積代替原來的上采樣、使用空間金字塔池化ASPP來解決圖像中存在多尺度物體的問題、結(jié)合DCNN和概率圖模型來改善定位的性能。DeepLabV3主要是對以前的模塊進(jìn)行了升級和改進(jìn)，并且不再使用全連接CRF。DeepLabV3+在V3的基礎(chǔ)上提出了深度可分離卷積，將DeepLabV3當(dāng)做編碼器并擴(kuò)展一個(gè)解碼器構(gòu)成了DeepLabV3+模型。5小結(jié)Summary本章