基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法研究

答辯人：胡長雨指導(dǎo)教師：王愛麗TheGraduationThesisDefense基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法研究哈爾濱理工大學(xué)HarbinUniversityofScienceandTechnology哈爾濱理工大學(xué)-測通學(xué)院CONTENTS142536研究背景研究方法2理論基礎(chǔ)結(jié)論研究方法1科研成果RESEARCHBACKGROUNDSRESEARCHFRAMWORKRESEARCHMETHODSANALYSISANDDISCUSSIONCONCLUSIONSCIENTIFICACHIEVEMENTS哈爾濱理工大學(xué)HarbinUniversityofScienceandTechnology1研究背景RESEARCHBACKGROUNDS內(nèi)容簡介

BRIEFINTRODUCTION本文以智能交通為背景，針對智能視頻監(jiān)控系統(tǒng)進(jìn)行剖析，對其中目標(biāo)檢測算法進(jìn)行了具體的研究和改進(jìn)。首先，針對目標(biāo)檢測特征提取環(huán)節(jié)，本文以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，構(gòu)建深度特征提取器，提取深度特征訓(xùn)練可變形部件模型，作為最終的檢測模型，并有效的提高檢測精度。另外，在目標(biāo)后處理環(huán)節(jié)中，將抑制重復(fù)檢測和誤檢的面積重疊率閾值動態(tài)化后，進(jìn)一步的提高了檢測精度，減少了誤檢和重檢。1研究背景RESEARCHBACKGROUNDSPPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

哈爾濱理工大學(xué)HarbinUniversityofScienceandTechnology智能交通中的目標(biāo)檢測傳統(tǒng)的視頻監(jiān)控解決方案只是進(jìn)行視頻圖像的記錄、存儲與調(diào)取等機(jī)械的操作，用來記錄發(fā)生的事情，不具有針對異常情況進(jìn)行預(yù)測和報(bào)警的作用。需要工作人員時時刻刻查看顯示屏，才能進(jìn)行預(yù)測和報(bào)警。由于傳統(tǒng)視頻監(jiān)控技術(shù)的不足，所以智能視頻監(jiān)控被用來幫助工作人員發(fā)現(xiàn)異常情況并及時報(bào)警。1研究背景RESEARCHBACKGROUNDS智能視頻監(jiān)控的功能是讓計(jì)算機(jī)模擬人類的大腦對圖像的處理機(jī)制，利用攝像頭模擬的人類的眼睛，運(yùn)行圖像處理算法，分析從攝像頭中獲取的圖像序列，并對被監(jiān)控場景中的內(nèi)容進(jìn)行理解，實(shí)現(xiàn)對異常行為的自動預(yù)警和報(bào)警。智能監(jiān)控的智能化主要表現(xiàn)在對圖像序列中的目標(biāo)進(jìn)行檢測、目標(biāo)識別，理解目標(biāo)的行為。目前常用的智能監(jiān)控系統(tǒng)主要包括視頻獲取、圖像預(yù)處理、目標(biāo)檢測、目標(biāo)分類、目標(biāo)跟蹤、目標(biāo)行為分析和理解等七個部分，圖1-1給出了智能監(jiān)控系統(tǒng)具體的流程圖。圖1-1國內(nèi)現(xiàn)狀大部分目標(biāo)檢測算法任然使用單一或者幾種手工設(shè)計(jì)的特征。手工設(shè)計(jì)的特征，不僅計(jì)算開銷大，降低算法的執(zhí)行速度，對于目標(biāo)多樣性的變化并沒有很好地魯棒性，嚴(yán)格限制應(yīng)用前提。因此亟需對特征提取進(jìn)行改進(jìn)。1研究背景RESEARCHBACKGROUNDS國外現(xiàn)狀在國外，也經(jīng)歷了由人工設(shè)計(jì)特征到算法自動設(shè)計(jì)并提取特征的過程。2010年，

Dalai等利用人工設(shè)計(jì)的方向梯度直方圖特征，訓(xùn)練出來多視角的可變形的檢測模型，雖然有效的提高了檢測精度，但仍然存在計(jì)算復(fù)雜，對小目標(biāo)魯棒性不強(qiáng)等問題。2012年，卷積神經(jīng)網(wǎng)絡(luò)在全球圖像分類比賽中得到最優(yōu)的成績，因此卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)的提取圖像特征受到重視，卷積神經(jīng)網(wǎng)絡(luò)通過反向傳播算法進(jìn)行網(wǎng)絡(luò)參數(shù)的更新，通過自適應(yīng)的調(diào)整不同特征的權(quán)重有效的組合特征，得到魯棒性更好的高層特征。因此，如果讓計(jì)算機(jī)主動學(xué)習(xí)圖像的特征，相對于人工設(shè)計(jì)的特征而言，能夠有效的提高檢測精度，改善實(shí)驗(yàn)結(jié)果。1研究背景RESEARCHBACKGROUNDS國外現(xiàn)狀1研究背景RESEARCHBACKGROUNDS研究目的目標(biāo)檢測；卷積神經(jīng)網(wǎng)絡(luò)；非極大值抑制本文研究的最終目的是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測任務(wù)中：如何避免手工設(shè)計(jì)的特征，減少計(jì)算的復(fù)雜度，提高算法執(zhí)行速度，最終提高檢測精度。具體的基于現(xiàn)有的開發(fā)庫，在現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，利用遷移學(xué)習(xí)和重新訓(xùn)練，更新模型參數(shù)，提取深度特征并訓(xùn)練分類器。同時在滑動窗口檢測后，動態(tài)化面積重疊率閾值，進(jìn)一步提高檢測精度。目標(biāo)檢測針對不同場景圖像，能夠?qū)Σ煌惸繕?biāo)進(jìn)行自動檢測和識別，定位目標(biāo)的位置和識別目標(biāo)的類型。卷積神經(jīng)網(wǎng)絡(luò)一種模擬人類大腦皮層視覺處理機(jī)制，由多個神經(jīng)元連接并列成一層，多層神經(jīng)元構(gòu)成多層視覺處理結(jié)構(gòu)。非極大值抑制檢測過程得到的重復(fù)檢測和誤檢，需要利用非極大值抑制算法來減少，對于不同類的目標(biāo)需要動態(tài)化面積重疊率閾值。1研究背景RESEARCHBACKGROUNDS研究內(nèi)容深度學(xué)習(xí)研究了深度學(xué)習(xí)的背景知識：包括深度學(xué)習(xí)的概念，以及典型的常用的深度學(xué)習(xí)模型。卷積神經(jīng)網(wǎng)絡(luò)研究了卷積神經(jīng)網(wǎng)絡(luò)的基本原理，組成和連接方式?；谏疃忍卣鞯哪繕?biāo)檢測研究了基于現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型Alexnet,通過遷移學(xué)習(xí)，獲得深度特征提取器，提取特征訓(xùn)練多組件的可變形部件模型，對不同類目標(biāo)的多樣姿態(tài)進(jìn)行檢測?；趧討B(tài)閾值的非極大值抑制

研究了目標(biāo)檢測后處理過程，分析了其中的非極大值抑制算法，對核心的閾值進(jìn)行了動態(tài)化，實(shí)現(xiàn)了自適應(yīng)的抑制重檢和誤檢。1研究背景RESEARCHBACKGROUNDS2理論基礎(chǔ)RESEARCHFRAMWORKS理論基礎(chǔ)123深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的連接方式卷積神經(jīng)網(wǎng)絡(luò)2研究框架RESEARCHFRAMWORKS深度學(xué)習(xí)概念典型的深度學(xué)習(xí)模型卷積神經(jīng)網(wǎng)絡(luò)基本原理前向傳播和反向傳播局部感受野和權(quán)值共享多核卷積2研究框架RESEARCHFRAMWORKS在大數(shù)據(jù)，大模型，大計(jì)算的驅(qū)動下，深度學(xué)習(xí)屬于一種深度學(xué)習(xí)模型。其實(shí)深度學(xué)習(xí)實(shí)質(zhì)就是將低層特征進(jìn)行有效的組合從而生成更豐富的深層特征，現(xiàn)有的許多識別和分類模型都是淺層模型，限制較多，在樣本數(shù)量較少，計(jì)算機(jī)計(jì)算單元不足的情況下，對高非線性的復(fù)雜函數(shù)的逼近能力不足，所以應(yīng)用于識別和檢測問題時，會出現(xiàn)分類準(zhǔn)確率不高，泛化性不足等問題。而利用深度學(xué)習(xí)框架則不同，通過訓(xùn)練深層非線性的多層網(wǎng)絡(luò)模型，學(xué)習(xí)到的最優(yōu)模型參數(shù)可以將樣本的最本質(zhì)的特征表示出來。

深度學(xué)習(xí)最經(jīng)典的模型就是全連接的神經(jīng)網(wǎng)絡(luò)，如自適應(yīng)編碼器，深度置信網(wǎng)絡(luò)，還有就是卷積神經(jīng)網(wǎng)絡(luò)。1.深度學(xué)習(xí)深度學(xué)習(xí)的基本概念深度學(xué)習(xí)的典型結(jié)構(gòu)2研究框架RESEARCHFRAMWORKS2.卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的基本原理卷積神經(jīng)網(wǎng)絡(luò)是第一個真正訓(xùn)練多層神經(jīng)元連接的深度學(xué)習(xí)模型，該模型構(gòu)造方式是受到人類視覺系統(tǒng)處理機(jī)制的影響，利用權(quán)值共享的神經(jīng)元在輸入圖像上進(jìn)行卷積計(jì)算，則能獲得同一種特征，當(dāng)利用多種不同權(quán)值的神經(jīng)元在輸入圖像上進(jìn)行卷積操作，則能獲得多種特征。該網(wǎng)絡(luò)可以直接輸入原始圖像，避免了對圖像進(jìn)行復(fù)雜的前期預(yù)處理，因而得到廣泛的應(yīng)用。2研究框架RESEARCHFRAMWORKSCNN模型AlexNet，是由多層神經(jīng)元構(gòu)成，其中前5層為卷積層，因?yàn)檫@些層神經(jīng)元的連接方式是通過卷積核模板連接，是非全連接的方式連接，所以稱為卷積層。后三層為全連接層，采用的連接方式為全連接，所以稱為全連接層。卷積神經(jīng)網(wǎng)絡(luò)的基本原理卷積層，每一層和前一層之間依靠卷積核連接，每一個卷積核都在前一層特征映射圖的局部感受野進(jìn)行卷積操作，同時由于卷積核表示的是神經(jīng)元權(quán)重。卷積模板為22，上一層的特征圖分辨率是44，用這個卷積核在特征圖上按固定的步長和順序遍歷計(jì)算一遍，計(jì)算得到33的特征圖池化層也是CNN模型中重要的一層，對于降低特征向量的維數(shù)，避免維數(shù)災(zāi)難有重要的作用。所以一般情況下，池化層都是跟隨在卷積層的后面。圖像在某一區(qū)域的特征分布與其他區(qū)域的特征分別類似。所以在描述大的圖像時，可以對不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，聚合統(tǒng)計(jì)后在求均值或者最大值，均值或者是最大值即為池化后的結(jié)果。2.卷積神經(jīng)網(wǎng)絡(luò)2研究框架RESEARCHFRAMWORKS**大學(xué)**學(xué)院**University2.卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的基本原理從人類大腦角度理解神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元與我們的大腦無關(guān)，是通過函數(shù)f將輸入圖像轉(zhuǎn)變成類別評分。2研究框架RESEARCHFRAMWORKS2.卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的基本原理從人類大腦角度理解神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元與我們的大腦無關(guān)，是通過函數(shù)f將輸入圖像轉(zhuǎn)變成類別評分。2研究框架RESEARCHFRAMWORKS卷積神經(jīng)網(wǎng)絡(luò)的基本原理2.卷積神經(jīng)網(wǎng)絡(luò)2研究框架RESEARCHFRAMWORKS前向傳播和反向傳播2.卷積神經(jīng)網(wǎng)絡(luò)2研究框架RESEARCHFRAMWORKS前向傳播和反向傳播2.卷積神經(jīng)網(wǎng)絡(luò)2研究框架RESEARCHFRAMWORKS局部感受野和權(quán)值共享2.卷積神經(jīng)網(wǎng)絡(luò)（a）神經(jīng)元在感受野全連接（b）神經(jīng)元在感受野局部連接2研究框架RESEARCHFRAMWORKS多核卷積2.卷積神經(jīng)網(wǎng)絡(luò)邊緣特征LBP特征3研究方法1RESEARCHMETHODS3研究方法1RESEARCHMETHODS1研究方法11基于深度特征的目標(biāo)檢測提取深度特征訓(xùn)練分類器目標(biāo)檢測結(jié)果與分析遷移學(xué)習(xí)深度特征金字塔訓(xùn)練LSVMPASCAL數(shù)據(jù)集單組件目標(biāo)檢測多組件目標(biāo)檢測3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測Felzenswalb等人[40]研究了基于可變形部件模型DPM，通過提取目標(biāo)的HOG特征，對組成目標(biāo)的局部模型建模，采用多樣本學(xué)習(xí)并進(jìn)行推理，最后利用根濾波器和部分濾波器對測試圖像進(jìn)行匹配檢測實(shí)現(xiàn)目標(biāo)檢測。該方法為基于模型的檢測方法提供了新的思路,但是局部判別式模型只采用了HOG特征，忽略的一些可靠的高層和底層特征，在一定程度上制約了檢測的精度。本章利用CNN對DPM算法進(jìn)行改進(jìn)。首先通過遷移學(xué)習(xí)獲取CNN模型AlexNet，然后將其截?cái)喃@得AlexNet的卷積層，用來提取豐富的高層特征，具體是利用模型的前5層卷積層來獲取深度特征，然后利用特征金字塔的每一層特征訓(xùn)練隱藏變量的支持向量機(jī)LSVM得到DPM的全局檢測器和局部檢測器。檢測的過程中要對測試圖像構(gòu)造全局特征映射圖和局部特征映射圖，再對局部特征映射圖進(jìn)行池化，之后級聯(lián)全局特征映射圖得到新的特征映射圖，然后用訓(xùn)練好的判別式模型去卷積級聯(lián)后的特征映射圖，得到檢測結(jié)果。實(shí)驗(yàn)表明，利用CNN獲取深度特征，訓(xùn)練可變形部件模型，有效的改進(jìn)了算法的檢測精度。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測遷移學(xué)習(xí)3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測遷移學(xué)習(xí)通過分析AlexNet模型中的隱層可以發(fā)現(xiàn)，其中的底層的功能的是圖像通用特征的提取，并在高層生成圖像的深度特征。這一發(fā)現(xiàn)暗示，如果將AlexNet的底層看做一個特征提取器，則可以在其他的視覺任務(wù)重復(fù)中使用。因此最終用ImageNet訓(xùn)練AlexNet模型獲得初始參數(shù)，然后利用遷移學(xué)習(xí)獲得最終的模型參數(shù)。參數(shù)遷移

源任務(wù)目標(biāo)任務(wù)可變形部件模型3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測深度特征金字塔首先要截?cái)嘣摼W(wǎng)絡(luò)，去除掉最后卷積層后的Mp層(maxpool，如圖2-4)，所有的全連接層(fc6，fc7，fc8，如圖2-4)。這樣，網(wǎng)絡(luò)的輸出變成了第5層卷積層計(jì)算得到的256通道特征映射圖。其中最左側(cè)的是輸入圖像，后面的5層是卷積層，最右側(cè)的是第5層卷積層，也就是卷積模型的輸出層，該層包含256個卷積模板，所以得到的特征金字塔每層都有256個通道特征圖。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測提取深度特征從圖3-4中可以看出，利用AlexNet前5層卷積層得到的深度特征金字塔的可視化圖，選取的是256通道中的最后一個通道的七層。圖中第一排第一列是原圖像，接著從左往右分別是深度特征金字塔層的第一層、第二層、第三層，第二排從左往右表示的是深度特征金字塔的第四至第七層。從圖中可以看出，金字塔層的第一層尺度是原圖像尺度的十分之一。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測訓(xùn)練分類器PASCALVOC2007數(shù)據(jù)集

訓(xùn)練及測試樣本3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測訓(xùn)練分類器本文采用的DPM算法，需要訓(xùn)練出目標(biāo)的全局模型和局部模型，由于沒有在訓(xùn)練集和測試集中的標(biāo)注文件中給出部件的類別和位置信息，所以相當(dāng)于將部件的信息隱藏起來了，將這些信息作為隱藏變量，將所有的隱藏變量定義為集合，集合中定義了樣本所有可能的隱藏變量值。

這里是模型參數(shù)向量，是隱藏變量。是樣本所有可能取的隱藏變量值的集合。對以上得分閾值化，就可以得到了樣本的分類類標(biāo)。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測訓(xùn)練分類器本文使用帶類標(biāo)的樣本,來訓(xùn)練參數(shù)，通過最小化下面的目標(biāo)函數(shù)：

其中是標(biāo)準(zhǔn)鉸鏈損失函數(shù)，常數(shù)C控制正則項(xiàng)的相對權(quán)重。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測單組件目標(biāo)檢測1.獲得5層CNN輸出的256通道7層特征金字塔，對于其中的每一層分別輸入到檢測系統(tǒng)中；2.將每一層通道特征圖分別

去和根濾波器，個部件濾

波器進(jìn)行卷積，得到個特征圖；3.P個局部檢測器得到的特

征圖進(jìn)行距離池化層處理；單組件可變形部件模型檢測流程圖3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測單組件目標(biāo)檢測4.局部檢測器池化后的個特征圖級聯(lián)上全局檢測器的特征圖；5.通道的特征圖和目標(biāo)幾何濾波器進(jìn)行卷積，得到的是判別式模型在輸入特征金字塔每一層的得分。單組件可變形部件模型檢測流程圖3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測多組件目標(biāo)檢測在本文實(shí)驗(yàn)中，因?yàn)槊總€組件DPM模型在金字塔每一層都會產(chǎn)生一個得分圖，假設(shè)即為組件在金字塔層的位置q產(chǎn)生的檢測得分。在多組件的DPM模型中，每個組件都會在同一位置形成得分競爭，因此在金字塔的每一個位置都會得到一個最高分，即：

其中即為多組件的DPM模型在金字塔層q位置的最終的得分，的計(jì)算公式可以利用公式（3-12）計(jì)算。其中組件c的目標(biāo)幾何濾波器，是根濾波器和部件濾波器在位置的得分子陣，是組件的得分偏差。具體的多組件DPM模型競爭方式。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測PASCALVOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對于不同算法需要有同一的評價(jià)指標(biāo)來衡量該算法的性能如何，本文用的評價(jià)指標(biāo)是：precision–recall曲線，該曲線是最常用的評價(jià)檢測算法性能的指標(biāo)，類似的還有ROC曲線和DET曲線，本文選擇precision–recall曲線作為評價(jià)本文提出的DP-DPM算法性能的指標(biāo)。曲線縱坐標(biāo)為precision，衡量的是在檢測結(jié)果中，檢測正確的正樣本占檢測出來的正樣本的比重。橫坐標(biāo)為recall，衡量的是檢測出來的真正樣本占所有真正樣本的比重。評價(jià)精度計(jì)算的是recall坐標(biāo)區(qū)域的平均值，即PR曲線包圍的面積，不同算法對比時，平均高的表示算法的準(zhǔn)確率更好。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測檢測結(jié)果與分析圖3-9表示訓(xùn)練不同組件數(shù)，部件數(shù)為5的DPM模型在VOC2007數(shù)據(jù)集中檢測自行車和馬的精度對比圖。其中DP-DPM表示深度特征金字塔訓(xùn)練LSVM得到的分類模型，用DP-DPM表示，HOG-DPM表示HOG特征金字塔訓(xùn)練LSVM得到的分類模型，用HOG-DPM表示。從圖3-9（a）中可以看出，5個部件數(shù)的DP-DPM模型的檢測結(jié)果要明顯優(yōu)于5個部件數(shù)的HOG-DPM模型的檢測結(jié)果。在自行車的檢測結(jié)果中可以看出，單組件時DP-DPM精度為0.532，HOG-DPM精度為0.312，改進(jìn)后的精度提高了70.5%；3組件時，DP-DPM相對于HOG-DPM改進(jìn)了63.2%；6組件時，DP-DPM相對于HOG-DPM改進(jìn)了45.9%。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測檢測結(jié)果與分析從圖3-9（b）中可以看出，5個部件數(shù)的DP-DPM模型的檢測結(jié)果要明顯優(yōu)于5個部件數(shù)的HOG-DPM模型的檢測結(jié)果。在馬的檢測結(jié)果中可以看出，單組件時DP-DPM精度為0.532，HOG-DPM精度為0.342，改進(jìn)后的精度提高了55.5%；3組件時，DP-DPM相對于HOG-DPM改進(jìn)了59.8%；6組件時，DP-DPM相對于HOG-DPM改進(jìn)了56.7%。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測檢測結(jié)果與分析方法DP-DPMDP-DPMDP-DPMHOG-DPMHOG-DPMHOG-DPMC136136aero34.235.636.823.824.625.7bird30.531.632.74.35.96.5boat23.924.726.111.516.116.6bottle36.537.438.119.223.327.3bus48.749.851.233.334.134.6car50.351.252.345.747.047.0cat26.432.533.68.511.512.6chair16.823.524.69.710.110.6cow36.240.341.212.613.814.3table30.532.533.611.313.514.6dog32.635.636.310.513.514.6mbike54.656.857.135.541.341.9person49.650.251.326.327.428.6plant24.626.626.910.913.214.1sheep45.34951.312.512.713sofa46.249.152.316.625.326.4train46.249.149.626.336.236.5tv56.159.260.236.938.739表3-1DP-DPM和HOG-DPM兩種算法在PASCALVOC2007數(shù)據(jù)集上的檢測結(jié)果。兩種算法分別訓(xùn)練1個、3個、6個組件的DPM模型，含有的部件數(shù)都為5。對于VOC2007數(shù)據(jù)集中的所有的目標(biāo)類，改進(jìn)后DP-DPM算法的檢測精度相對于改進(jìn)的HOG-DPM算法的檢測精度都有大幅提高，且隨著組件越多，檢測精度越高，這是因?yàn)榻M件越多，包含目標(biāo)不同視角的剛性結(jié)構(gòu)模型也就越多，模型匹配的越準(zhǔn)確，精度自然就能提高。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測檢測結(jié)果與分析方法DP-DPMDP-DPMDP-DPMHOG-DPMHOG-DPMHOG-DPMC136136aero57.359.360.839.542.345.2bicycle52.654.355.739.342.343.7bird31.633.134.312.613.114.5boat18.920.722.114.515.316.1bottle34.335.537.132.333.133.2bus48.751.352.333.346.249.3car46.247.348.445.346.146.5cat47.14848.626.527.128.6chair22.122.324.616.517.218.1cow31.532.333.625.726.826.9table31.632.332.912.814.415.2dog42.344.745.115.616.817.2horse49.550.251.245.646.446.9mbike54.658.659.632.633.835.1person50.852.654.843.944.745.2plant16.318.720.98.910.811.3sheep47.648.248.832.633.133.6sofa25.626.327.519.620.721.2train43.544.445.642.143.844.3tv47.648.149.536.938.339表3-2DP-DPM和HOG-DPM兩種算法在PASCALVOC2012數(shù)據(jù)集上的檢測結(jié)果對于PASCALVOC2012數(shù)據(jù)集中目標(biāo)類，改進(jìn)后DP-DPM模型的檢測精度相對于改進(jìn)前的HOG-DPM模型有很大提高。從表3-2中見隨著組件數(shù)量的增加，各類的檢測精度逐漸提高。3研究方法1RESEARCHMETHODS13.基于深度特征的目標(biāo)檢測小結(jié)本章通過介紹基于HOG特征的目標(biāo)檢測算法，引出單一特征有效性不高的問題，然后介紹了如何利用CNN的來提取深度特征金字塔，包括如何獲得預(yù)訓(xùn)練的AlexNet模型，然后通過遷移學(xué)習(xí)獲得目標(biāo)模型的初始參數(shù)，并將AlexNet模型截?cái)喃@得包含5層卷積層的特征提取器，依次提取圖像的深度特征。然后介紹了如何利用提取的特征向量訓(xùn)練LSVM得到單組件的DPM模型；最后介紹了通過競爭方式判斷出多組件中的得分最高的組件。4研究方法2RESEARCHMETHODS3研究方法RESEARCHMETHODS研究方法22基于動態(tài)閾值的非極大值抑制動態(tài)閾值的非極大值抑制固定閾值的非極大值抑制結(jié)果與分析重檢與誤檢非極大值抑制

VOC2012數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果真實(shí)場景的檢測結(jié)果4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制固定閾值非極大值抑制算法檢測后處理過程完整的目標(biāo)檢測算法包括三個階段，學(xué)習(xí)階段，預(yù)測階段，和抑制重復(fù)檢測階段。第一階段主要是特征提取并且訓(xùn)練可變形部件模型，第二階段主要是利用模型對測試樣本進(jìn)行預(yù)測，第三階段的任務(wù)是對預(yù)測的結(jié)果進(jìn)行檢查，抑制掉多余的重復(fù)檢測和誤檢。當(dāng)前，目標(biāo)檢測普遍使用基于貪心策略的非極大值抑制算法[47]，因?yàn)樗唵胃咝?。在DPM算法中都有不錯的表現(xiàn)。NMS4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制重復(fù)檢測和誤檢基于滑動窗口的檢測，本文使用的方法是保持圖像尺度不變，調(diào)整滑動窗口的尺度，利用不同尺度的滑動窗口分別遍歷圖像，利用分類模型對特征向量進(jìn)行判斷。保持圖像尺度不變，改變滑動窗口的尺度來檢測目標(biāo)?；瑒哟翱诮?jīng)過閾值判斷后保留下來的窗口，包括重檢和誤檢的經(jīng)過非極大值抑制算法，抑制掉了重檢和誤檢后，保留了檢測正確的窗口4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制固定閾值的非極大值抑制NMS過程的實(shí)現(xiàn)是由三個循環(huán)嵌套組成的，第一層循環(huán)也稱為外層循環(huán)，在外循環(huán)遍歷所以窗口的分?jǐn)?shù)并且按照分?jǐn)?shù)由高到低將窗口排序，選擇分?jǐn)?shù)最高的作為初始窗口，剩下的窗口稱為抑制窗口。第二層循環(huán)稱為中層循環(huán)，中層循環(huán)是為了計(jì)算初始窗口和抑制窗口的面積重疊率o。第三層循環(huán)稱為內(nèi)循環(huán)，內(nèi)循環(huán)是為了比較o和閾值overlap的大小并且抑制o大于overlap的抑制窗口。由于窗口分?jǐn)?shù)在外層循環(huán)經(jīng)過排序，所以一側(cè)的窗口分?jǐn)?shù)總是比候選的窗口分?jǐn)?shù)低，所以中環(huán)和內(nèi)環(huán)迭代n-1次剛好就是初始窗口和抑制窗口做n-1次比較，并且n-1次比較后內(nèi)環(huán)和中環(huán)中止。公式說明了傳統(tǒng)非極大值抑制中閾overlap的大小。

4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制重復(fù)檢測和誤檢固定閾值的非極大值抑制動態(tài)閾值非極大值抑制將原始算法中的overlap動態(tài)化目標(biāo)檢測結(jié)果圖NMS作用后ANMS作用后4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果圖4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四種不同的方式在VOC2007數(shù)據(jù)集中小汽車和馬的檢測精度對比圖。其中ANMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；ANMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制全局檢測器的檢測結(jié)果中的重檢和誤檢；NMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；NMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制全局檢測器檢測結(jié)果中的重檢和誤檢。4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果圖4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四種不同的方式在VOC2007數(shù)據(jù)集中小汽車和馬的檢測精度對比圖。其中ANMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；ANMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制全局檢測器的檢測結(jié)果中的重檢和誤檢；NMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；NMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制全局檢測器檢測結(jié)果中的重檢和誤檢。4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果方法ANMS-DPMANMS-DPMNMS-DPMNMS-DPMPPARTROOTPARTROOTaero35.627.632.624.3bicycle48.444.942.340.6bird13.610.511.48.6boat24.719.121.316.4bottle38.630.335.427.3bus48.843.144.739.8cat28.422.526.520.4chair17.812.314.69.1cow34.229.830.728.8table38.531.436.826.9dog39.633.536.129.3mbike54.950.352.347.6person49.643.246.238.5plant30.828.928.626.4sheep5148.348.646.2sofa48.444.347.143.1train50.847.648.146.7tv34.230.832.528.3表4-1中PART表示的局部檢測器，ROOT是全局檢測器。從表4-1中發(fā)現(xiàn)ANMS-DPM現(xiàn)對于NMS-DPM在VOC2007數(shù)據(jù)集中，檢測精度都有所提高，說明引入分?jǐn)?shù)比和尺度比的動態(tài)化的抑制閾值對不同目標(biāo)類具有更好的普適性，能夠根據(jù)得分和尺度來自適應(yīng)選擇合適的抑制閾值。部件檢測精度提高最多的是bicycle類，使用ANMS代替NMS之后，部件濾波器檢測精度提高了14.4%；根濾波器檢測精度提高最多的是person類，提高程度為12.2%。部件濾波器檢測精度提高程度最低的是sofa類，提高程度為2.7%。根濾波器提高檢測精度提高最低的是train類，提高程度為1.9%。4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果ANMS-DPM算法在PASCALVOC2007數(shù)據(jù)集上的檢測結(jié)果圖4研究方法RESEARCHMETHODS4.基于動態(tài)閾值的非極大值抑制VOC2012數(shù)據(jù)集實(shí)驗(yàn)結(jié)果方法ANMS-DPMANMS-DPMNMS-DPMNMS-DPMPPARTROOTPARTROOTaero36.228.834.826.9bicycle52.348.950.446.5bird15.69.512.38.9boat26.720.126.118.6bottle39.130.336.428.3bus50.246.248.845.1car52.548.950.147.6cat25.417.520.516.1chair25.819.622.619.2cow35.227.832.825.4table32.328.530.526.5dog34.632.533.532.1horse57.548.152.150.1mbike52.646.348.542.3person51.244.650.242.7plant28.624.926.523.7sheep48.744.246