基于卷積神經(jīng)網(wǎng)絡(luò)的U-net模型的人像分離工具

基于卷積神經(jīng)網(wǎng)絡(luò)的U-net模型的人像分離工具portraitseparationtoolofu-netmodelbasedonconvolutionalneuralnetwork

內(nèi)容摘要圖像信息是人類視覺(jué)感知信息的重要部分，隨著計(jì)算機(jī)、電子技術(shù)日益進(jìn)步，大規(guī)模運(yùn)算和信息的數(shù)-模轉(zhuǎn)換走入現(xiàn)實(shí)，由此催生出分為圖像識(shí)別、分割、重建等領(lǐng)域的數(shù)字處理技術(shù)蓬勃發(fā)展。作為圖像分割的典型應(yīng)用場(chǎng)景，人像分割是進(jìn)行人像美化、背景處理、人臉識(shí)別等領(lǐng)域的重要前提。因此通過(guò)人像分割從圖像中精確且完整地提取出人像目標(biāo)，對(duì)后續(xù)處理有必要作用。本文以深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，研究如何利用U-Net模型在人像照片較有限的情況下達(dá)到人像分離合格的準(zhǔn)確率。最終實(shí)現(xiàn)模型的IOU在92.1%左右，Dice系數(shù)在95.7%左右。對(duì)比早期的分割方法，卷積神經(jīng)網(wǎng)絡(luò)U-Net模型通過(guò)類似編碼器—解碼器的“U”型結(jié)構(gòu)實(shí)現(xiàn)更簡(jiǎn)便、穩(wěn)定地提取數(shù)據(jù)的特征，且能更加有效的提高分割的準(zhǔn)確度。關(guān)鍵詞：深度學(xué)習(xí)；人像分割；U-Net模型AbstractImageinformationisanimportantpartofhumanvisualperceptioninformation.Withthedevelopmentofcomputerandelectronictechnology,large-scaleoperationanddigital-to-analogconversionofinformationcomeintoreality,Therefore,thedigitalprocessingtechnologyincludingimagerecognition,segmentationandreconstructionhasbeendevelopedvigorously..Asatypicalapplicationsceneofimagesegmentation,isanimportantpremiseofimagebeautification,backgroundprocessing,facerecognitionandsoon.Therefore,itisnecessarytoextracttheimageobjectaccuratelyandcompletelyfromtheimagebyportraitsegmentationInthispaper,basedontheconvolutionalneuralnetworkindeeplearning,westudyhowtousetheU-Netmodeltoachievethequalifiedaccuracyrateofhumanimageseparationunderthelimitedsituationofhumanimage.TheIOUofthefinalmodelisabout92.1%,andtheDicecoefficientisabout95.7%.Comparedwiththeearliersegmentationmethods,TheconvolutionalneuralnetworkU-Netmodelextractsthefeaturesofdatamoreeasilyandstablythrougha"U"-likestructureintheencoder-decoder,It’scanimprovethesegmentationaccuracymoreeffectively.Keywords：deeplearning;portraitsegmentation;U-Netmodel廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)（論文）1目錄TOC\o"1-3"\h\u第一章緒論 第三章基于Tensorflow的神經(jīng)網(wǎng)絡(luò)搭建3.1系統(tǒng)環(huán)境配置3.1.1配置tensorflow實(shí)驗(yàn)環(huán)境TF環(huán)境是進(jìn)行本次課題研究的基礎(chǔ)。安裝tensorflow：下載安裝好Anaconda。Anaconda是一個(gè)iDE及環(huán)境管理工具，可以按照IDE、配置環(huán)境、安裝所需工具包等，大大減少了用戶使用難度。配置好tensorflow環(huán)境。圖3-1Anaconda主界面本次實(shí)驗(yàn)的環(huán)境是基于python3.7的tensorflow-cpu版本。安裝實(shí)驗(yàn)所需工具包：在Anaconda中安裝工具包是一件很容易的事，打開(kāi)anaconda軟件,切換到要用到的環(huán)境，點(diǎn)擊首頁(yè)左側(cè)的環(huán)境,就可以配置tensorflow的環(huán)境了。圖3-2安裝工具包3.2數(shù)據(jù)集選擇我們本次選擇的是CelebA—HQ數(shù)據(jù)集，但囿于計(jì)算能力，我們僅使用前兩千張圖片及其對(duì)應(yīng)的掩膜（Mask），該數(shù)據(jù)集介紹如下：CelebA—HQ是大規(guī)模人臉圖像數(shù)據(jù)集，包含三萬(wàn)張高分辨率人臉圖像(從CelebA數(shù)據(jù)集選擇而來(lái))及人臉屬性分割蒙版。CelebA是CelebFacesAttribute的縮寫(xiě)，意即名人人臉屬性數(shù)據(jù)集，為了為人臉語(yǔ)義分割和屬性操作打下更好的研究基礎(chǔ)，研究人員在CelebA的基礎(chǔ)上構(gòu)建了包含30000張高分辨率512×512的人臉圖片，包含了面部19類詳細(xì)的信息標(biāo)注。針對(duì)被部分遮擋的面部區(qū)域，標(biāo)注員還進(jìn)行了推斷補(bǔ)全了語(yǔ)義標(biāo)簽。到此可以了解到對(duì)應(yīng)蒙版細(xì)分到頭發(fā)耳眼鼻眉嘴等人臉屬性，所以需要在數(shù)據(jù)預(yù)處理時(shí)進(jìn)行合成。圖3-3數(shù)據(jù)集圖像3.3數(shù)據(jù)預(yù)處理3.3.1Mask（掩膜)合并處理及轉(zhuǎn)換數(shù)組形式打開(kāi)mask文件夾可以看到許多不同的人臉屬性掩膜。圖3-4Mask文件夾圖像在代碼中，我們新建一個(gè)convert_image類，包含兩個(gè)函數(shù)read_images和to_npy，read_images函數(shù)用來(lái)讀取圖像及對(duì)圖像對(duì)應(yīng)的各人臉屬性掩膜合成并讀取圖3-5read_images函數(shù)代碼將圖片和掩膜轉(zhuǎn)換成數(shù)組形式并作長(zhǎng)久保存。圖3-6to_npy函數(shù)代碼3.3.2訓(xùn)練集驗(yàn)證集劃分訓(xùn)練集驗(yàn)證集按照8:2劃分，也就是訓(xùn)練集驗(yàn)證集分別是1600和400張圖像及對(duì)應(yīng)掩膜。訓(xùn)練集的功能是通過(guò)設(shè)置分類器的參數(shù)來(lái)訓(xùn)練模型。當(dāng)與驗(yàn)證集結(jié)合訓(xùn)練驗(yàn)證時(shí)，將選出同一參數(shù)的不同值以分別擬合出多個(gè)分類器。驗(yàn)證集：用訓(xùn)練集訓(xùn)練出的多個(gè)模型來(lái)對(duì)驗(yàn)證集進(jìn)行預(yù)測(cè)，記錄下各個(gè)模型的準(zhǔn)確率，最后選出最好的模型及其對(duì)應(yīng)的參數(shù)，用來(lái)逐漸調(diào)整模型參數(shù)。測(cè)試集：是模型在前面訓(xùn)練驗(yàn)證一直沒(méi)接觸過(guò)的數(shù)據(jù)，是用來(lái)測(cè)試訓(xùn)練出來(lái)的最佳模型的性能。設(shè)置訓(xùn)練集、驗(yàn)證集、測(cè)試集主要是防止訓(xùn)練的模型逐漸過(guò)擬合。圖3-7訓(xùn)練集驗(yàn)證集劃分代碼3.4搭建u-net卷積神經(jīng)網(wǎng)絡(luò)U-Net模型由FCN結(jié)構(gòu)發(fā)展而來(lái)，因其整體結(jié)構(gòu)似字母U而得名，在醫(yī)學(xué)圖像領(lǐng)域應(yīng)用廣泛。它由左半部分的下采樣的部分（特征提取部分），右半部分的上采樣部分組成。通過(guò)反復(fù)的卷積獲得輸入圖像的特征信息，并且將其映射到高維使得圖像最豐富的特征信息存在于整個(gè)模型的高維。不同于FCN，u-net模型不直接對(duì)與原始圖像大小相同的輸出圖像進(jìn)行池化，反而通過(guò)反卷積，將特征從高緯重新映射到低維。圖3-8構(gòu)建U-Net模型部分代碼3.5模型訓(xùn)練與結(jié)果在模型進(jìn)行訓(xùn)練之前，還需用compile設(shè)置一些學(xué)習(xí)條件。本次研究中主要需設(shè)置的參數(shù)有兩個(gè)：（1）優(yōu)化器我們知道，通過(guò)訓(xùn)練以不斷調(diào)整模型的參數(shù)，使得每次變換后參數(shù)對(duì)輸入作非線性變化以逐漸擬合輸出，最后求得最佳的參數(shù)也就是最佳模型。而優(yōu)化器也就是更新參數(shù)的算法。本次研究選用的優(yōu)化算法是adam。（2）損失函數(shù)損失函數(shù)也是本次模型訓(xùn)練中的必備參數(shù)。在訓(xùn)練過(guò)程中通過(guò)loss可以明了模型的好壞。本次實(shí)驗(yàn)選擇的激活函數(shù)是sigmoid函數(shù)，損失函數(shù)選用二元交叉熵函數(shù)（binary_crossentropy）。關(guān)于訓(xùn)練塊（batch_size）的大小，經(jīng)過(guò)多次嘗試，最終選擇了4，迭代100次.本文實(shí)驗(yàn)使用的訓(xùn)練函數(shù)是fit_generator（）。相比f(wàn)it（）函數(shù)，fit_generator（）函數(shù)通過(guò)“邊生成邊訓(xùn)練”的方法，讓該網(wǎng)絡(luò)與生成器將一起執(zhí)行，大大地節(jié)省了內(nèi)存。經(jīng)過(guò)訓(xùn)練后。最終的模型驗(yàn)證集準(zhǔn)確率在85%左右。圖3-9模型損失函數(shù)圖像第四章人像分割的設(shè)計(jì)與實(shí)現(xiàn)4.1加載模型及測(cè)試集加載之前訓(xùn)練好并保存的模型讀取測(cè)試集數(shù)組及掩膜圖4-1模型加載及讀取數(shù)據(jù)代碼4.2測(cè)試開(kāi)始測(cè)試并計(jì)算出測(cè)試每張圖片用時(shí)，用cpu跑的，可以看到測(cè)出單張圖片將近0.8秒。圖4-2測(cè)試代碼4.3預(yù)測(cè)圖片呈現(xiàn)圖4-3部分預(yù)測(cè)圖片4.4計(jì)算IOU及Dice系數(shù)人眼只能大概感知分割效果如何，那么如何理性地準(zhǔn)確量化呢？本實(shí)驗(yàn)采用IOU和Dice系數(shù)兩種指標(biāo)來(lái)評(píng)價(jià)模型最終的分割效果。所謂的分割效果也就是分割結(jié)果與標(biāo)準(zhǔn)Mask之間的相似程度。IOU和Dice系數(shù)計(jì)算公式分別如下圖4-4IOU計(jì)算公式圖4-5Dice系數(shù)計(jì)算公式IOU(IntersectionOverUnion，交并比)在本實(shí)驗(yàn)中即分割出來(lái)的人像部分與Mask二者的交集除以二者的并集。Dice系數(shù)（dicesimilaritycoefficient）相當(dāng)于在IOU分子分母上同時(shí)加了一個(gè)二者的交集。最后算出本模型的IOU在92.1%左右，Dice系數(shù)在95.7%左右。圖4-6計(jì)算IOU及Dice系數(shù)代碼

五．總結(jié)與展望5.1總結(jié)為了解放全人類，即讓人從必要而自身不感興趣的任務(wù)中逐漸解放出來(lái)，能夠讓機(jī)器像人一樣學(xué)習(xí)、思考、決策、行動(dòng)一直是部分人的夢(mèng)想。而機(jī)器做到這一切之前的前提就是他能像人一樣感知，即能夠解讀得到的信息。圖像信息就是其中一部分，而學(xué)會(huì)圖像分割是必要的。就像人的眼睛一樣，首先要通過(guò)鎖定整個(gè)視覺(jué)中的目標(biāo)物體，然后才能精準(zhǔn)地進(jìn)行下一步行動(dòng)。本文首先編寫(xiě)了課題的研究背景與國(guó)內(nèi)外研究現(xiàn)狀、研究目的和意義，然后介紹了卷積神經(jīng)網(wǎng)絡(luò)、U-Net模型及框架等理論知識(shí)以及基于Tensorflow構(gòu)建U-Net模型，最后描述了如何通過(guò)訓(xùn)練好的U-Net對(duì)測(cè)試集圖片進(jìn)行預(yù)測(cè)。最終實(shí)現(xiàn)模型的IOU在92.1%左右，Dice系數(shù)在95.7%左右。對(duì)比早期的分割方法，卷積神經(jīng)網(wǎng)絡(luò)U-Net模型通過(guò)類似編碼器—解碼器的“U”型結(jié)構(gòu)實(shí)現(xiàn)更簡(jiǎn)便、穩(wěn)定地提取數(shù)據(jù)的特征，且能更加有效的提高分割的準(zhǔn)確度。5.2展望與不足通過(guò)本次課題的研究，讓我對(duì)卷積神經(jīng)網(wǎng)絡(luò)、U-Net模型、圖像分割以及tensorflow框架等都有更進(jìn)一步的了解。囿于自身能力、實(shí)驗(yàn)時(shí)間、硬件能力等原因，對(duì)于人像分割的研究實(shí)現(xiàn)還有如下改進(jìn)空間：由于使用的CelebA-HQ訓(xùn)練集有部分掩膜標(biāo)注不十分準(zhǔn)確，可以更換其他更合適人像數(shù)據(jù)集以改進(jìn)模型。因?yàn)殡娔X硬件原因，只能使用tenflowcpu版，訓(xùn)練的圖片量有限，之后可以升級(jí)硬件以改進(jìn)模型。由于時(shí)間有限，往后希望可以把模型加載進(jìn)一個(gè)小程序或軟件或網(wǎng)站，呈現(xiàn)一個(gè)更完善的人像分割系統(tǒng)。

參考文獻(xiàn)[1]趙明君李杰毛明禾.基于標(biāo)簽傳遞的人像分割[J].數(shù)據(jù)采集與處理,2019(01):179-186.

[2]王澤榮.移動(dòng)端實(shí)時(shí)人像分割算法研究[J].現(xiàn)代計(jì)算機(jī)：中旬刊,2018(3):4-4.[3]魏秀參《解析深度學(xué)習(xí)：卷積神經(jīng)網(wǎng)絡(luò)原理與視覺(jué)實(shí)踐》2018.11[4]U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation,