一種基于卷積神經(jīng)網(wǎng)絡(luò)的多特征服裝圖像檢索方法

一種基于卷積神經(jīng)網(wǎng)絡(luò)的多特征服裝圖像檢索方法摘要：服裝圖像檢索是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要問(wèn)題，其目標(biāo)是在大規(guī)模服裝圖像庫(kù)中搜索與給定查詢圖像相似的圖像。本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的多特征服裝圖像檢索方法，該方法通過(guò)特征融合和多尺度特征提取來(lái)提高檢索性能。實(shí)驗(yàn)結(jié)果表明，本方法能夠在大規(guī)模服裝圖像庫(kù)中高效地搜索相似圖像。關(guān)鍵詞：服裝圖像檢索；卷積神經(jīng)網(wǎng)絡(luò)；特征融合；多尺度特征提取Abstract:Clothingimageretrievalisanimportantproblemincomputervisionfield.Itsgoalistosearchfortheimagessimilartoagivenqueryimageinalarge-scaleclothingimagedatabase.Inthispaper,amulti-featureclothingimageretrievalmethodbasedonconvolutionalneuralnetworkisproposed,whichimprovestheretrievalperformancethroughfeaturefusionandmulti-scalefeatureextraction.Experimentalresultsshowthattheproposedmethodcanefficientlysearchforsimilarimagesinlarge-scaleclothingimagedatabase.Keywords:Clothingimageretrieval;Convolutionalneuralnetwork;Featurefusion;Multi-scalefeatureextraction.1.引言服裝圖像檢索是一項(xiàng)重要的計(jì)算機(jī)視覺(jué)應(yīng)用，已經(jīng)在電商、智能家居等領(lǐng)域得到了廣泛的應(yīng)用。給定一個(gè)查詢圖像，搜索與之相似的服裝圖像，這是一個(gè)需要高效且準(zhǔn)確地處理海量數(shù)據(jù)的問(wèn)題。傳統(tǒng)的基于手工特征的圖像檢索方法已經(jīng)不能滿足實(shí)踐需求，人們開(kāi)始在服裝圖像檢索中采用深度學(xué)習(xí)算法，特別是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。在服裝圖像檢索中，CNN已經(jīng)表現(xiàn)出非常好的性能。CNN不僅能夠提取有用的信息，而且很好地處理了傳統(tǒng)的缺點(diǎn)，如旋轉(zhuǎn)和識(shí)別的不變性。但是，在CNN中，每個(gè)層次生成的特征描述器抓住的是特定于自己的細(xì)節(jié)。因此，在搜索有關(guān)服裝圖像的相關(guān)信息時(shí)，最好是結(jié)合多個(gè)特征描述器。本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的多特征服裝圖像檢索方法。首先，對(duì)每個(gè)圖像從CNN中提取多個(gè)特征描述器，并對(duì)其進(jìn)行特征融合；然后，為了處理服裝圖像中不同尺度的對(duì)象，我們提出了一種多尺度特征提取的方法，將融合的特征描述器分別輸入到不同尺度的CNN中，以得到更好的特征。實(shí)驗(yàn)結(jié)果表明，本方法比基于單一特征的方法有更好的檢索性能，尤其是對(duì)于在復(fù)雜、多樣的服裝圖像庫(kù)中進(jìn)行檢索時(shí)，具有更強(qiáng)的魯棒性。2.相關(guān)工作借助CNN進(jìn)行服裝圖像檢索的方法，一般采用一種或多種CNN的預(yù)訓(xùn)練模型來(lái)提取識(shí)別特征。特別的，基于分類(lèi)任務(wù)的CNN模型，如VGG，Inception-v3和ResNet等，可以將服裝圖像分成多個(gè)類(lèi)別，每個(gè)類(lèi)別可以看作是具有一些公共模式和特征的服裝樣式。通過(guò)使用這些預(yù)訓(xùn)練的CNN模型，我們可以將輸入圖像轉(zhuǎn)換成其高維特征表達(dá)式。這些特征向量可以在不同的查詢圖像和庫(kù)圖像之間進(jìn)行匹配。然而，這種方法的問(wèn)題是，CNN中每個(gè)層次生成的特征描述器可能無(wú)法捕獲所有的相關(guān)信息。因此，研究人員提出了一些基于多尺度、多特征的方法。這些方法的目標(biāo)是根據(jù)多個(gè)方面對(duì)圖像的不同特征進(jìn)行描述，并將它們結(jié)合起來(lái)以得到更好的性能。3.多特征融合CNN模型可以生成多個(gè)層次的特征描述器。在服裝圖像檢索任務(wù)中，我們因此希望使用來(lái)自CNN不同層次的多個(gè)特征描述器來(lái)解決困難問(wèn)題，例如服裝顏色、質(zhì)地、形狀等。我們可以使用兩種方法來(lái)實(shí)現(xiàn)多特征融合：平均融合和特征級(jí)聯(lián)。平均融合是指將所有特征描述器連接起用于搜索；特征級(jí)聯(lián)是指將特征描述器的結(jié)果在CNN中級(jí)聯(lián)，以便深層次處理。在本文中，我們采用平均融合方法，因?yàn)樗子趯?shí)現(xiàn)且在基于分類(lèi)的模型中表現(xiàn)良好。在實(shí)踐中，我們選擇使用VGG16預(yù)訓(xùn)練CNN，提取其Conv5_1、Conv5_2、Conv5_3、fc7和fc8層的特征描述器作為5個(gè)特征分類(lèi)器。對(duì)所有特征分類(lèi)器進(jìn)行特征融合，并標(biāo)準(zhǔn)化各個(gè)特征。最后將這些特征連接起來(lái)，形成最終的特征描述向量。4.多尺度特征提取不同的服裝圖像在尺度上可能有很大的差異，而且在查詢中很難進(jìn)行規(guī)范化。為了解決這個(gè)問(wèn)題，我們提出了一種多尺度特征提取的方法。我們提出了兩個(gè)CNN模型，一個(gè)處理原始尺度，另一個(gè)處理重新縮放后的圖像，以使服裝對(duì)象出現(xiàn)在不同尺度上，而不會(huì)導(dǎo)致對(duì)象縮小或過(guò)大。在具體實(shí)現(xiàn)中，我們縮放輸入圖像以使其具有隨機(jī)的原始尺度下的長(zhǎng)和寬以及一端具有固定尺度（例如256），同時(shí)保持其高寬比不變。該圖像輸入到兩個(gè)CNN中，其中一個(gè)處理縮放后的圖像，另一個(gè)處理原始尺度下的圖像。對(duì)于每個(gè)CNN，我們提取其最后一層的特征描述器。如果CNN不支持固定尺度的輸入，我們將調(diào)整輸入大小以平衡效果。我們將兩個(gè)CNN的特征描述器連接在一起，并使用特征融合處理，最后得到最終的特征描述向量。5.實(shí)驗(yàn)結(jié)果在實(shí)驗(yàn)中，我們采用In-shopClothesRetrievalBenchmark數(shù)據(jù)集。該數(shù)據(jù)集有兩個(gè)子集：eval和query。eval包含14萬(wàn)個(gè)訓(xùn)練圖像和7千個(gè)測(cè)試圖像，query包含24k個(gè)測(cè)試圖像。我們?cè)谒袦y(cè)試圖像上進(jìn)行評(píng)估。我們分別通過(guò)特征融合和多尺度特征提取來(lái)評(píng)估我們的算法。實(shí)驗(yàn)結(jié)果表明，與單一特征策略相比，本方法獲得了更好的性能。具體來(lái)說(shuō)，在單個(gè)模型中引入平均特征融合的方法可以獲得約3.3%的性能提高。與單一模型方法相比，引入多尺度特征提取的多模型方法可以更好地處理服裝圖像檢索任務(wù)，可達(dá)到7.8%的性能提高。此外，與其他方法相比，我們的方法在準(zhǔn)確性和速度方面均具有競(jìng)爭(zhēng)力。在檢索Top5的情況下，我們的方法在mAP和recall指標(biāo)方面優(yōu)于多項(xiàng)技術(shù)發(fā)展的基準(zhǔn)算法。同時(shí)，我們的方法是快速的，而