基于深度學(xué)習(xí)的行人重識(shí)別算法研究

基于深度學(xué)習(xí)的行人重識(shí)別算法研究

0基于深度學(xué)習(xí)網(wǎng)絡(luò)的reid行人重建（reid）是在不重疊監(jiān)控區(qū)域內(nèi)識(shí)別同一個(gè)人，并在計(jì)算機(jī)視覺(jué)和其他領(lǐng)域引起學(xué)術(shù)界的關(guān)注。從最近相關(guān)研究可以發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于ReID任務(wù)。利用大規(guī)模的PersonReID數(shù)據(jù)集，如CUHK03、Market-1501和DukeMTMC-Reid，使采用深度學(xué)習(xí)網(wǎng)絡(luò)的ReID取得了很好的性能。目前的一些ReID方法本文的主要思想就是通區(qū)域分割，來(lái)獲得不同粒度的特征，將全局和局部特征以及更細(xì)粒度的局部特征，通過(guò)一個(gè)網(wǎng)絡(luò)的不同分支得到這些特征，每個(gè)分支都對(duì)不同的分割塊進(jìn)行特征提取。使得不同級(jí)別的網(wǎng)絡(luò)分支能夠關(guān)注不同粒度的分辨信息，也能夠有效兼顧整體信息。損失函數(shù)部分只使用了在深度學(xué)習(xí)中非常常見(jiàn)的SoftmaxLoss與TripletLoss。1新圖式的語(yǔ)義特征編碼深度神經(jīng)網(wǎng)絡(luò)能夠在整個(gè)行人圖像中提取主體上的近似響應(yīng)，通過(guò)此機(jī)制獲取行人局部區(qū)域特征作為更細(xì)粒度的特征，特定語(yǔ)義的分區(qū)不需要在局部區(qū)域標(biāo)記出來(lái)，將原始圖像進(jìn)行等分就可以。通過(guò)實(shí)驗(yàn)表明，判別響應(yīng)的粒度隨著水平條帶數(shù)目的增加確實(shí)變得更細(xì)。在此原理基礎(chǔ)上，提出了采用一種不同粒度的網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)構(gòu)是多分支網(wǎng)絡(luò)，其中一個(gè)為全局分支另外兩個(gè)為局部分支。在該網(wǎng)絡(luò)的兩個(gè)局部分支部分，參考中基礎(chǔ)網(wǎng)絡(luò)部分為ResNet-50。然后對(duì)ResNet-50進(jìn)行了調(diào)整，使用ResNet-50前三層提取圖像的基礎(chǔ)特征，將后續(xù)部分劃分為3個(gè)獨(dú)立的分支，即在高層次的語(yǔ)義級(jí)特征采用3個(gè)獨(dú)立分支，分別為全局分支、part-2、part-3。第一個(gè)全局分支負(fù)責(zé)整張圖片的全局信息提取，Part-2會(huì)將圖片分為上下兩個(gè)部分提取中粒度的語(yǔ)意信息，Part-3會(huì)將圖片分為上中下三個(gè)部分提取更細(xì)粒度的信息。這三個(gè)分支既有合作又有分工，前面三個(gè)低層權(quán)重是共享的，后面的高級(jí)層每層的權(quán)重是獨(dú)立的，這樣就能夠像人類(lèi)認(rèn)知事物的原理一樣即可以看到行人的整體信息與又可以兼顧到多粒度的局部信息。下面兩個(gè)分支是Part-2跟Part-3，在第四層的位置，初始有一個(gè)stride等于2的下采樣的操作與全局分支相同，將其stride改成1，相當(dāng)于沒(méi)有下采樣，這個(gè)地方的尺寸就不會(huì)縮小，所以Part-2跟Part-3在第五層特征圖比全局分支大一倍的尺寸。接下來(lái)對(duì)part-2跟part-3做一個(gè)從上到下的縱向分割，part-2在第五層特征圖譜分成兩塊，part-3對(duì)特征圖譜從上到下分成三塊。在分割完成后，對(duì)其進(jìn)行pooling，相當(dāng)于求一個(gè)最值，采用的是Max-pooling，得到一個(gè)2048維的向量。但是part-2跟part-3的操作跟全局分支是不一樣的，part-2有兩個(gè)pooling，目的是強(qiáng)制part-2去學(xué)習(xí)細(xì)節(jié)的聯(lián)合信息。后面從2048維做成256維，這個(gè)主要方便特征計(jì)算，因?yàn)榭梢越稻S，更快更有效。在測(cè)試的時(shí)候，把這8個(gè)256維的特征串聯(lián)一個(gè)2048維的特征，用這個(gè)特征替代前面輸入的圖片，使用歐氏距離作為兩個(gè)行人相似度的度量。2類(lèi)標(biāo)簽的距離度量采用SoftmaxLoss與TripletLoss。其中SoftmaxLoss可表示為：n為批量，xi為第i個(gè)樣本的特征，yi為xi對(duì)應(yīng)的類(lèi)標(biāo)簽，Wj和bj為類(lèi)j的權(quán)重及偏置，C為類(lèi)的數(shù)目。TripletLoss函數(shù)公式可表示為：該方法采用歐式距離進(jìn)行度量，+表示當(dāng)[]內(nèi)的值大于零的時(shí)候，把[]得到的值作為損失，當(dāng)[]內(nèi)的值小于零的時(shí)候，損失值為零。當(dāng)x＿a與x＿n之間的距離<x＿a與x＿p之間的距離加這里寫(xiě)圖片描述時(shí)，[]內(nèi)的值大于零，就會(huì)產(chǎn)生損失。當(dāng)x＿a與x＿n之間的距離>=x＿a與x＿p之間的距離加這里寫(xiě)圖片描述時(shí)，損失為零。3結(jié)果與分析3.1gpu/3gjm錨點(diǎn)本次實(shí)驗(yàn)采用Anaconda的py-torchframework，SGDmomentum為0.9，Learningrate：0.01(init)，1e-3(40epoch)，1e-4(50epoch)，使用GPU型號(hào)為GTX1080Ti、操作系統(tǒng)為Windows10。3.2行人矩形框的檢測(cè)Market-1501數(shù)據(jù)集是在清華校園采集得到的。有6個(gè)攝像頭進(jìn)行不同角度及場(chǎng)景拍，5個(gè)攝像頭為高清拍攝，另外1個(gè)是較低像素?cái)z像頭。共采集到行人1501人、能夠檢測(cè)到的行人矩形框多達(dá)32668個(gè)。由至少2個(gè)及以上數(shù)量的攝像頭對(duì)每個(gè)行人進(jìn)行圖像采集，每個(gè)攝像頭可能拍到行人的多張不同圖像。將采集到的數(shù)據(jù)進(jìn)行劃分，其中訓(xùn)練集含有751人，一共12936張圖像，平均每個(gè)人有17.2張圖像作為訓(xùn)練時(shí)的數(shù)據(jù)；測(cè)試集為剩下的750人，一共19732張圖像，平均每個(gè)人有26.3張測(cè)試數(shù)據(jù)。另外3368張作為query的行人檢測(cè)矩形框是已經(jīng)規(guī)定好的，在gallery中，通過(guò)DPM檢測(cè)器對(duì)圖像數(shù)據(jù)進(jìn)行檢測(cè)得到行人檢測(cè)矩形框。3.3不同網(wǎng)絡(luò)模型下的仿真結(jié)果將多分支卷積神經(jīng)網(wǎng)絡(luò)與其他的方法相對(duì)比，singlerank-1情況下，采用TriNet方法的準(zhǔn)確率為84.9%，采用AACN方法的準(zhǔn)確率為85.9%，采用DPFL方法的準(zhǔn)確率為88.6%，而本文采用多分支的網(wǎng)絡(luò)結(jié)構(gòu)可以將準(zhǔn)確率提高到90.1