基于深度學(xué)習(xí)的圖像摳圖領(lǐng)域應(yīng)用及挑戰(zhàn)

Word基于深度學(xué)習(xí)的圖像摳圖領(lǐng)域應(yīng)用及挑戰(zhàn)

圖1.圖像

摳圖輸入，預(yù)測結(jié)果和一些人工輔助信息的展示，例如三分圖，背景，粗糙分割，用戶點(diǎn)擊，用戶涂抹等等。該圖中的語言輸入可以為：圖像中間的可愛的微笑的小狗。同時(shí)，為了使得圖像摳圖能被快速應(yīng)用于（工業(yè)）場景，全自動(dòng)摳圖也在近年內(nèi)被提出。這些方法可以直接從圖像中預(yù)測出最終的結(jié)果，不需要任何額外的人工輔助信息。但是，因?yàn)槭苡?xùn)練數(shù)據(jù)集的數(shù)據(jù)分布的影響，它們傾向于得到圖中全部顯著性的前景。

為了促進(jìn)深度學(xué)習(xí)方法的研究，近年來被研究者構(gòu)建了大量的相關(guān)數(shù)據(jù)集，包括合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集。本文對(duì)相關(guān)的研究（算法）和訓(xùn)練與測試數(shù)據(jù)集做了詳盡的介紹。同時(shí)，我們總結(jié)了深度學(xué)習(xí)時(shí)代相關(guān)算法的時(shí)間軸，列圖如下，可以看出近年來該領(lǐng)域的研究熱度不斷增加。

圖2.基于深度學(xué)習(xí)的圖像摳圖方法時(shí)間軸

圖3.基于深度學(xué)習(xí)的圖像摳圖方法總結(jié)表，包括出版刊物，輸入模態(tài)，是否自動(dòng)化，摳圖目標(biāo)，網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集等。

二、具體研究進(jìn)展及討論

鑒于圖像摳圖任務(wù)是一個(gè)未知參數(shù)很多的病態(tài)問題，使用用戶輔助信息作為輸入是非常常見的解決方法。從傳統(tǒng)時(shí)代開始，一張定義了指定前景，背景，和未知區(qū)域的三分圖（trimap）就被廣泛使用，隨之一起出現(xiàn)的是指定前景背景的用戶涂抹圖像（scribble）。到了深度學(xué)習(xí)時(shí)代，多種多樣的下游任務(wù)催生出了更多類型的用戶輔助信息，諸如背景圖，粗糙的二元分割圖，用戶交互式點(diǎn)擊，語言引導(dǎo)等等。這些方法的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)大致可分為三類，如圖4所示：1）單階段網(wǎng)絡(luò)；2）單階段網(wǎng)絡(luò)，附加邊緣模塊用以提取輔助信息中更多的圖像特征；3）雙分支或多分支網(wǎng)絡(luò)，用以分別處理圖像和輔助信息，并一起經(jīng)過融合網(wǎng)絡(luò)以得到最終輸出。

這些方法每一項(xiàng)都彌補(bǔ)了前序方法的不足，對(duì)輔助信息進(jìn)行了更輸入的挖掘和信息提煉，以得到更優(yōu)秀的摳圖結(jié)果。然而，此類方法依然存在兩個(gè)問題。首先他們依然依賴于不同程度的人力，使得在實(shí)用場景的自動(dòng)化應(yīng)用有些困難。第二點(diǎn)是這些方法很多依然對(duì)輔助信息非常敏感，比如三分圖的未知區(qū)域大小，用戶交互點(diǎn)擊的密度等等。因此研發(fā)更魯棒的方法既是一個(gè)挑戰(zhàn)也是一個(gè)非常有前景的研究方向。更多詳情可見文章第三章。

圖4.基于深度學(xué)習(xí)和輔助信息的圖像摳圖方法框架分類圖。（a）單階段網(wǎng)絡(luò)。（b）帶有邊緣模塊的單階段網(wǎng)絡(luò)。

（3）雙分支或者多分支網(wǎng)絡(luò)。

為了克服基于輔助信息的圖像摳圖方法的局限性，近年來，全自動(dòng)摳圖也成為了研究熱點(diǎn)。這些方法旨在不經(jīng)過任何人工參與的情況下，直接預(yù)測出圖中的細(xì)致前景。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)也可以大體分為三類，如圖5所示：1）單階段網(wǎng)絡(luò)并利用旁支的全局模塊引導(dǎo)圖像高層的語意信息；2）兩階段網(wǎng)絡(luò)來首先預(yù)測輔助信息，再設(shè)計(jì)基于輔助信息的第二階段網(wǎng)絡(luò)；3）用共享的編碼網(wǎng)絡(luò)獲取不同層次的圖像信息，通過多分支的解碼網(wǎng)絡(luò)分別預(yù)測高層語意和低層細(xì)節(jié)，并通過硬融合得到最終的結(jié)果。這一類方法由于沒有任何額外信息的引導(dǎo)，非常容易受到訓(xùn)練數(shù)據(jù)集的影響。因此大部分方法局限于某些特定的摳圖目標(biāo)，比如人像，動(dòng)物，透明物體等等。

近年來，也有方法探索通過將通用物體分為三類，即顯著性閉合前景，顯著性透明或細(xì)致前景，以及非顯著前景，并用同一個(gè)網(wǎng)絡(luò)進(jìn)行全種類摳圖。全自動(dòng)摳圖方法因?yàn)椴恍枰魏稳斯さ母深A(yù)，在工業(yè)界得到了廣泛的實(shí)用。然而，此類研究依然存在一些挑戰(zhàn)，例如如何提高方法的泛化性，尤其在訓(xùn)練數(shù)據(jù)集中未見到的圖像上得到很好的效果，或者如何在保有高質(zhì)量摳圖結(jié)果的同時(shí)提高運(yùn)算效率，減小模型大小。更多詳情可見文章第四章。

圖5.基于深度學(xué)習(xí)的全自動(dòng)圖像摳圖方法框架分類圖。（a）基于全局引導(dǎo)信息的單階段網(wǎng)絡(luò)。（b）兩階段網(wǎng)絡(luò)。（c）共享（編碼器）的雙分支網(wǎng)絡(luò)。作為深度學(xué)習(xí)方法不可或缺的驅(qū)動(dòng)力，構(gòu)建大型數(shù)據(jù)集非常關(guān)鍵。因此，本文對(duì)于摳圖領(lǐng)域內(nèi)近年來涌現(xiàn)的數(shù)據(jù)集做了統(tǒng)一的介紹和比較，包括早期的合成圖像數(shù)據(jù)集和最近的真實(shí)圖像數(shù)據(jù)集。如圖6所示，我們對(duì)現(xiàn)有數(shù)據(jù)集按照輸入模態(tài)，標(biāo)簽類型，摳圖目標(biāo)，平均尺寸，標(biāo)注方法，訓(xùn)練集和測試集的數(shù)目，是否公開，進(jìn)行了歸類整理和對(duì)比。詳情可參見文章第五章。

圖6.圖像摳圖數(shù)據(jù)集比較，包括出版刊物，模態(tài)，標(biāo)簽類型，是否是自然圖像，摳圖目標(biāo)，平均尺寸，標(biāo)注方式，訓(xùn)練數(shù)據(jù)量，測試數(shù)據(jù)量，是否公開等等。

三、評(píng)測基準(zhǔn)

在這一節(jié)里，我們?cè)敿?xì)介紹了整個(gè)摳圖領(lǐng)域內(nèi)深度學(xué)習(xí)算法常用的損失函數(shù)，評(píng)價(jià)標(biāo)準(zhǔn)，預(yù)處理方式和訓(xùn)練技巧。對(duì)于基于輔助信息的方法和全自動(dòng)方法，我們分別在兩類常用的數(shù)據(jù)集上對(duì)具有代表性的算法進(jìn)行了詳盡的比較。包括主觀客觀結(jié)果比較，方法的模型慘數(shù)量，復(fù)雜度，以及處理512x512分辨率的圖像的推理時(shí)間。我們?cè)谕N設(shè)定下進(jìn)行了大量的實(shí)驗(yàn)以公正的評(píng)測目前的深度學(xué)習(xí)方法與早先的傳統(tǒng)算法。相關(guān)客觀指標(biāo)結(jié)果如圖7所示。為了給讀者一個(gè)對(duì)于目前主流方法結(jié)果直觀的感受，我們?cè)趫D8展示了一些實(shí)際結(jié)果例子。

圖7.圖像摳圖算法的客觀指標(biāo)結(jié)果

圖8.圖像摳圖算法主觀對(duì)比圖

四、挑戰(zhàn)與展望

圖像摳圖，作為一個(gè)基礎(chǔ)的圖像底層算法，在諸多的下游任務(wù)中都有非常廣泛的應(yīng)用，包括視覺感知能力例如物體（檢測），語義分割，障礙物去除，圖像編輯應(yīng)用例如圖像合成，圖像補(bǔ)全，圖像風(fēng)格轉(zhuǎn)換，（視頻）處理應(yīng)用例如視頻特效關(guān)聯(lián)，淺景深合成，視頻摳圖，多模態(tài)和3D應(yīng)用例如遙感，3D圖像渲染等等。這些年來，圖像摳圖領(lǐng)域迅速的崛起與發(fā)展也帶來了很多挑戰(zhàn)與新的研究機(jī)會(huì)。我們?cè)谶@里做一個(gè)簡要的討論，更多詳情請(qǐng)見文章第八章。

1、更精確的評(píng)價(jià)指標(biāo)

現(xiàn)有的評(píng)價(jià)指標(biāo)可以從客觀上表示預(yù)測結(jié)果和標(biāo)簽之間的相似度，然而如何更加精確的反應(yīng)人類對(duì)于預(yù)測結(jié)果的主觀評(píng)價(jià)是一個(gè)困難的問題。例如S（AD）可以評(píng)價(jià)出全圖或者未知區(qū)域的相似度，但是對(duì)于人類主觀關(guān)注的區(qū)域，比如頭發(fā)，耳環(huán)，或者眼鏡框等等卻無法進(jìn)行精確的評(píng)估。一個(gè)可能的解決方案是利用基于結(jié)構(gòu)相似性的度量，例如SSIM，來對(duì)細(xì)節(jié)信息進(jìn)行更精確的評(píng)估。

2、更輕量級(jí)的模型設(shè)計(jì)

鑒于圖像摳圖會(huì)在實(shí)時(shí)的全自動(dòng)化工業(yè)領(lǐng)域內(nèi)有廣泛的應(yīng)用，如何設(shè)計(jì)一個(gè)輕量級(jí)的模型并保有精確的預(yù)測結(jié)果是一個(gè)長久而充滿潛力的研究方向。一些有效的策略包括降維處理，特征復(fù)用，剪枝操作，或者混合分辨率結(jié)構(gòu)。

3、多模態(tài)摳圖

將圖像摳圖領(lǐng)域與多模態(tài)領(lǐng)域進(jìn)行融合可以進(jìn)一步擴(kuò)展圖像摳圖的適用范圍。已經(jīng)有的研究將摳圖和人類語言輸入進(jìn)行結(jié)合，預(yù)測出符合人類描述的指定前景。更多的輸入模態(tài)可以包括，語音指令，目光注視點(diǎn)，以及3D的可渲染光線神經(jīng)場模型。

4、擴(kuò)散模型

近期，擴(kuò)散模型已經(jīng)在圖像生成領(lǐng)域表現(xiàn)出了優(yōu)秀的潛力。大語言模型和跨模態(tài)預(yù)訓(xùn)練的顯著進(jìn)展為擴(kuò)散模型的多模態(tài)應(yīng)用提供了極速發(fā)展的動(dòng)力，使得從空白畫板生成并編輯高質(zhì)量的圖像成為了可能性。這也為圖像摳圖領(lǐng)域帶來了一個(gè)開放性的問題：在擴(kuò)散模型的新時(shí)代里，圖像摳圖領(lǐng)域會(huì)有怎樣的走向，會(huì)是一個(gè)方向的終結(jié)，還是一個(gè)嶄新的開端。

五、總結(jié)

我們提供了一份深度學(xué)習(xí)驅(qū)動(dòng)的圖像摳圖領(lǐng)域的綜述，涵蓋了該領(lǐng)域詳盡的背景介紹，基于輔助信