第8章 目標(biāo)檢測(cè)

第八章目標(biāo)檢測(cè)前期知識(shí)儲(chǔ)備Preliminaryknowledgereserve在計(jì)算機(jī)視覺(jué)眾多的技術(shù)領(lǐng)域中，目標(biāo)檢測(cè)是一項(xiàng)非?；A(chǔ)的任務(wù)，圖像分割、物體追蹤、關(guān)鍵點(diǎn)檢測(cè)等通常都要依賴于目標(biāo)檢測(cè)。由于每張圖像中物體數(shù)量、大小及姿態(tài)各有不同，使得物體檢測(cè)一直是一個(gè)流行但是極具挑戰(zhàn)性的任務(wù)。本視頻旨在對(duì)檢測(cè)方法的基礎(chǔ)知識(shí)進(jìn)行介紹，重點(diǎn)介紹一階段二階段算法的流程以及不同點(diǎn)。知識(shí)框架Knowledgeframework學(xué)習(xí)目標(biāo)Learningaims（1）了解目標(biāo)檢測(cè)的相關(guān)概念和意義；（2）了解當(dāng)下目標(biāo)檢測(cè)方法的種類；（3）掌握目標(biāo)檢測(cè)一階段算法；（4）掌握目標(biāo)檢測(cè)二階段算法。1目標(biāo)檢測(cè)介紹基本原理在萬(wàn)千世界中，人眼看到的東西大腦能夠第一時(shí)間做出判斷，但是對(duì)于機(jī)器來(lái)說(shuō)，在大數(shù)據(jù)時(shí)代下識(shí)別一個(gè)物體，需要人類對(duì)機(jī)器進(jìn)行足夠的認(rèn)知訓(xùn)練并使其能夠給出檢測(cè)結(jié)果。如圖所示，目標(biāo)檢測(cè)是給需要檢測(cè)的圖片內(nèi)的目標(biāo)標(biāo)注一個(gè)邊界框進(jìn)行目標(biāo)定位，同時(shí)檢測(cè)出所有目標(biāo)的類別標(biāo)簽。（1）人工標(biāo)注的框（groundtruthbox，GT）在目標(biāo)檢測(cè)中，用于人工標(biāo)注數(shù)據(jù)集中目標(biāo)物體對(duì)應(yīng)的邊界框。（2）邊界框（boundingbox，bbox）指在原圖像中圈出目標(biāo)的矩形框。（3）預(yù)測(cè)框（predictionbox）模型預(yù)測(cè)出來(lái)的可能包含物體的邊界框。（4）錨框（anchor）anchor與邊界框不同，是人們假想出來(lái)的一種框，以某種規(guī)則生成一系列邊界框，經(jīng)過(guò)調(diào)參成為預(yù)測(cè)框。（5）置信度（confidence）置信度又稱可靠度，數(shù)值介于0～1，用來(lái)描述和確認(rèn)當(dāng)前檢測(cè)目標(biāo)所屬某個(gè)類別的概率。（6）非極大值抑制（Non-MaximumSuppression，NMS）非極大值抑制即去除不是最大值的結(jié)果。在目標(biāo)檢測(cè)任務(wù)中，最終目的是從一張圖片中圈出多個(gè)可能是物體的矩形框，然后對(duì)每個(gè)框分類?；靖拍钤u(píng)價(jià)指標(biāo)交并比（IoU）020304050601表示兩個(gè)矩形框的重疊程度，即它們相交部分的面積除以它們合并部分的面積，值越大重疊越多，即檢測(cè)得越準(zhǔn)確。精確率（Precision）正確的正預(yù)測(cè)的百分比，指模型正確判斷的樣本數(shù)占實(shí)際被檢測(cè)出的比值。準(zhǔn)確度（Accuracy）在所有預(yù)測(cè)中預(yù)測(cè)正確的概率。召回率（ReCall）模型正確判斷的樣本數(shù)占應(yīng)該被檢索到的樣本總數(shù)的比值。mAP平均精度均值，目標(biāo)檢測(cè)中評(píng)價(jià)模型識(shí)別精度的重要指標(biāo)。值越大越好。F1-Score衡量二分類模型精確度的一種指標(biāo)，它同時(shí)兼顧了分類模型的精確率和召回率。評(píng)價(jià)指標(biāo)（1）PASCALVOC數(shù)據(jù)集

該數(shù)據(jù)集主要用于目標(biāo)檢測(cè)和分類任務(wù)。（2）ImageNet數(shù)據(jù)集該數(shù)據(jù)集是由斯坦福大學(xué)和普林斯頓大學(xué)的科學(xué)家模擬人類的視覺(jué)識(shí)別系統(tǒng)創(chuàng)建的，其由專業(yè)的計(jì)算機(jī)視覺(jué)領(lǐng)域科研人員維護(hù)，文檔詳細(xì)，應(yīng)用廣泛，現(xiàn)在幾乎成為目前深度學(xué)習(xí)圖像領(lǐng)域算法性能檢驗(yàn)的“標(biāo)準(zhǔn)”數(shù)據(jù)集。（3）MSCOCO數(shù)據(jù)集首次發(fā)布于2015年，是由微軟公司開(kāi)發(fā)維護(hù)的大型圖像數(shù)據(jù)集，該數(shù)據(jù)集可用于目標(biāo)檢測(cè)、語(yǔ)義分割、人體關(guān)鍵點(diǎn)檢測(cè)和字幕生成等任務(wù)，包含20萬(wàn)個(gè)圖像，80個(gè)類。（4）OpenImages數(shù)據(jù)集

由谷歌發(fā)布的，后期對(duì)它進(jìn)行了多次更新，用于對(duì)圖像分類、目標(biāo)檢測(cè)、視覺(jué)關(guān)系檢測(cè)和實(shí)例分割等任務(wù)，它由920萬(wàn)張圖片組成。（5）DOTADOTA數(shù)據(jù)集常用于遙感航空?qǐng)D像的檢測(cè)，包含2806張航空?qǐng)D片，其中包含著不同尺度大小，不同目標(biāo)稀疏程度的多樣性圖片。常用數(shù)據(jù)集2目標(biāo)檢測(cè)方法傳統(tǒng)檢測(cè)方法傳統(tǒng)的目標(biāo)檢測(cè)方法首先通過(guò)類似窮舉的滑動(dòng)窗口方式或圖像分割技術(shù)生成大量的候選區(qū)域，然后對(duì)每個(gè)候選區(qū)域提取圖像特征，并將這些特征傳遞給一個(gè)分類器用來(lái)判斷該候選區(qū)域的類別。（1）ViolaJones（VJ）檢測(cè)器

ViolaJones檢測(cè)器是P.Viola和M.Jones針對(duì)人臉檢測(cè)場(chǎng)景提出的。在同等的算法精度下，ViolaJones檢測(cè)器比同時(shí)期的其他算法有幾十到上百倍的速度提升。ViolaJones檢測(cè)器采用最直接的滑動(dòng)窗口方法，檢測(cè)框遍歷圖像上所有的尺度和位置，查看檢測(cè)框是否包含人臉目標(biāo)。（2）HOG檢測(cè)器HOG（HistogramofOrientedGradients，梯度方向直方圖）檢測(cè)器于2005年提出，是當(dāng)時(shí)尺度特征不變性和形狀上下文的重要改進(jìn)。（3）DPM檢測(cè)器DPM是一種基于組件的檢測(cè)算法，由P.Felzenszwalb于2008年提出。DPM在特征層面對(duì)經(jīng)典的HOG特征進(jìn)行了擴(kuò)展，也使用了滑動(dòng)窗口方法，基于SVM進(jìn)行分類，其核心思想是將待檢測(cè)目標(biāo)拆分成一系列部件，把檢測(cè)一個(gè)復(fù)雜目標(biāo)的問(wèn)題轉(zhuǎn)換成檢測(cè)多個(gè)簡(jiǎn)單部件的問(wèn)題當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法主要分為兩類：二階段算法和一階段算法。深度學(xué)習(xí)檢測(cè)方法二階段算法指的是檢測(cè)算法需要分兩步完成，先由算法生成一系列提取物體的候選區(qū)域（RegionProposal），再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)樣本分類識(shí)別，最后出結(jié)果。常見(jiàn)的二階段算法有：R-CNN、SPP-Net、FastR-CNN、FasterR-CNN、R-FCN等。一階段算法指的是在檢測(cè)過(guò)程中一步到位，不需要提前提取候選區(qū)域，能夠直接通過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)分析步驟檢測(cè)出輸入圖片中物體的類別和位置信息的算法。常見(jiàn)的一階段算法有：YOLO系列、SSD系列、RetinaNet等。3目標(biāo)檢測(cè)二階段算法R-CNN利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)的標(biāo)志性工作就是R-CNN（Region-CNN）。R-CNN首次將卷積神經(jīng)網(wǎng)絡(luò)用于目標(biāo)檢測(cè)，是典型的雙階段目標(biāo)檢測(cè)器。其包含多個(gè)組成部分，首先由傳統(tǒng)的區(qū)域搜索算法——選擇性搜索算法得到目標(biāo)候選區(qū)域，然后將候選區(qū)域送入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)的特征提取，在得到目標(biāo)的特征以后將特征輸入支持向量機(jī)進(jìn)行目標(biāo)分類，最后通過(guò)邊界回歸得到更精確的目標(biāo)區(qū)域。SPP-Net（空間金字塔網(wǎng)絡(luò)）檢測(cè)算法是在R-CNN的基礎(chǔ)上提出來(lái)的，SPP-Net發(fā)現(xiàn)在R-CNN當(dāng)中使用選擇性搜索方法生成的所有候選區(qū)域都要進(jìn)行一次卷積運(yùn)算進(jìn)行圖像分類，這樣實(shí)在是太耗費(fèi)時(shí)間，因此在SPP-Net當(dāng)中省略掉了生成候選區(qū)域這一步，直接將圖像做一次卷積運(yùn)算。不僅如此，SPP-Net還在最后一個(gè)卷積層后，加入了金字塔池化層（SPP層），使用這種方式，可以讓網(wǎng)絡(luò)輸入任意的圖片，而且還會(huì)生成固定大小的輸出。SPP-Net受SPP-Net啟發(fā)，F(xiàn)astR-CNN對(duì)前邊的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了一定的改進(jìn)，其用全連接網(wǎng)絡(luò)代替了SVM分類器，用RoI池化層代替了金字塔空間池化，這個(gè)神奇的網(wǎng)絡(luò)層可以把不同大小的輸入映射到一個(gè)固定尺度的特征向量。FastR-CNN雖然FastR-CNN的效果逐漸接近實(shí)時(shí)目標(biāo)檢測(cè)，但它的候選區(qū)域的生成仍然速度非常慢，有時(shí)測(cè)一張圖片，大部分時(shí)間不是花費(fèi)在計(jì)算神經(jīng)網(wǎng)絡(luò)分類上，而是花在選擇性搜索方法提取框上。FasterR-CNN使用RPN（RegionProposalNetwork，區(qū)域候選網(wǎng)絡(luò)）取代了選擇性搜索，不僅速度得到了大大提高，而且還獲得了更加精確的結(jié)果。在RPN中，通過(guò)采用anchors解決邊界框列表長(zhǎng)度不定的問(wèn)題。FasterR-CNN在FastR-CNN中利用RoIPooling解決了不同尺寸候選區(qū)域的特征提取問(wèn)題，在FasterR-CNN中提出了RPN網(wǎng)絡(luò)，通過(guò)共享輸入圖像的卷積特征，快速生成區(qū)域建議。分類需要特征具有平移不變性，檢測(cè)則要求對(duì)目標(biāo)的平移做出準(zhǔn)確響應(yīng)。如果把RoIPooling層的輸入直接接全連接層，會(huì)讓檢測(cè)網(wǎng)絡(luò)對(duì)位置不敏感，但是如果讓每個(gè)候選區(qū)域都通過(guò)一些卷積層又會(huì)導(dǎo)致計(jì)算量太大，時(shí)間過(guò)長(zhǎng)。R-FCN反對(duì)使用完全連接的層，而是使用了卷積層，將FasterR-CNN和FCN結(jié)合起來(lái)，實(shí)現(xiàn)快速、更準(zhǔn)確的檢測(cè)器。R-FCN4目標(biāo)檢測(cè)一階段算法兩階段算法將目標(biāo)檢測(cè)看作一個(gè)分類問(wèn)題，YOLO將檢測(cè)問(wèn)題進(jìn)行了重構(gòu)，視其為一個(gè)回歸問(wèn)題。YOLO是一階段算法的開(kāi)篇之作，它并沒(méi)有真正去掉候選區(qū)域，而是將圖像調(diào)整到448×448的尺寸大小之后劃分成了7×7個(gè)網(wǎng)格，在每個(gè)網(wǎng)格區(qū)域會(huì)預(yù)測(cè)兩個(gè)邊框，所以一共會(huì)預(yù)測(cè)98個(gè)邊框，然后使用非極大值抑制（NMS）篩選邊框。R-CNN系列是先通過(guò)算法找到候選區(qū)，最后對(duì)候選區(qū)進(jìn)行邊框回歸，得到最終的bbox。YOLOv1則是直接對(duì)網(wǎng)格區(qū)域進(jìn)行判別和回歸，一步到位的bbox。YOLO系列—YOLOv1YOLO的升級(jí)版有兩種:YOLOv2和YOLO9000。YOLOv2相比于YOLO，在繼續(xù)保持處理速度的基礎(chǔ)上，從預(yù)測(cè)更準(zhǔn)確，速度更快，識(shí)別對(duì)象更多這三個(gè)方面進(jìn)行了改進(jìn)，在速度和準(zhǔn)確性之間提供了一個(gè)簡(jiǎn)單的權(quán)衡。在YOLOv1的基礎(chǔ)上提出了一種聯(lián)合訓(xùn)練的方法將目標(biāo)檢測(cè)數(shù)據(jù)集與分類數(shù)據(jù)集結(jié)合，使得YOLOv2網(wǎng)絡(luò)能夠識(shí)別9000種物體，升級(jí)為YOLO9000。聯(lián)合訓(xùn)練算法的基本思路是：同時(shí)在檢測(cè)數(shù)據(jù)集和分類數(shù)據(jù)集上訓(xùn)練物體檢測(cè)器，用檢測(cè)數(shù)據(jù)集的數(shù)據(jù)學(xué)習(xí)物體的準(zhǔn)確位置，用分類數(shù)據(jù)集的數(shù)據(jù)增加分類的類別量、提升健壯性。由聯(lián)合訓(xùn)練算法訓(xùn)練出來(lái)的YOLO9000擁有9000類的分類信息，這些分類信息學(xué)習(xí)自ImageNet分類數(shù)據(jù)集，而物體位置檢測(cè)則學(xué)習(xí)自COCO檢測(cè)數(shù)據(jù)集。YOLO系列—YOLOv2和YOLO9000YOLOv3的模型比之前的模型復(fù)雜了很多，包含Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)、anchor錨框、FPN等非常優(yōu)秀的結(jié)構(gòu)?？梢酝ㄟ^(guò)改變模型結(jié)構(gòu)的大小權(quán)衡速度與精度。YOLOv3的先驗(yàn)檢測(cè)（PriorDetection）系統(tǒng)將分類器或定位器重新用于執(zhí)行檢測(cè)任務(wù)，而那些評(píng)分較高的區(qū)域就可以視為檢測(cè)結(jié)果。Redmon等人用一個(gè)更大的Darknet-53網(wǎng)絡(luò)代替了原來(lái)的特征提取器，他們還整合了各種技術(shù)，如數(shù)據(jù)增強(qiáng)、多尺度訓(xùn)練、批標(biāo)準(zhǔn)化等。此外，相對(duì)于其他目標(biāo)檢測(cè)方法，作者使用了完全不同的方法。首先將一個(gè)單神經(jīng)網(wǎng)絡(luò)應(yīng)用于整張圖像，該網(wǎng)絡(luò)將圖像劃分為不同的區(qū)域，因而預(yù)測(cè)每一塊區(qū)域的邊界框和概率，這些邊界框會(huì)通過(guò)預(yù)測(cè)的概率加權(quán)，該模型的一個(gè)突出優(yōu)點(diǎn)是：在測(cè)試時(shí)會(huì)查看整個(gè)圖像，所以它的預(yù)測(cè)利用了圖像中的全局信息。YOLO系列—YOLOv3目前大多數(shù)檢測(cè)算法都需要多個(gè)GPU來(lái)訓(xùn)練模型，但YOLOv4可以在單個(gè)GPU上輕松訓(xùn)練。該算法的主要?jiǎng)?chuàng)新點(diǎn)在于提出了一種高效而強(qiáng)大的目標(biāo)檢測(cè)模型。它使每個(gè)人都可以使用1080Ti或2080TiGPU訓(xùn)練超快速和準(zhǔn)確的目標(biāo)檢測(cè)器。在檢測(cè)器訓(xùn)練期間，驗(yàn)證了SOTA的BagofFreebies和BagofSpecials方法的影響。YOLO系列—YOLOv4YOLOv5相對(duì)于YOLOv4來(lái)說(shuō)創(chuàng)新性的地方很少，YOLOv5網(wǎng)絡(luò)最小，速度最少，AP精度也最低。但如果檢測(cè)以大目標(biāo)為主，追求速度，倒也是個(gè)不錯(cuò)的選擇。YOLOv5官方代碼中，給出的目標(biāo)檢測(cè)網(wǎng)絡(luò)中一共有4個(gè)版本，分別是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四個(gè)模型。YOLOv5s網(wǎng)絡(luò)是YOLOv5系列中深度最小，特征圖的寬度最小的網(wǎng)絡(luò)，另外三種都是在此基礎(chǔ)上不斷加深，不斷加寬，對(duì)于YOLOv5，無(wú)論是v5s、v5m、v5l還是v5x，其Backbone、Neck和output一致，唯一的區(qū)別是模型的深度和寬度設(shè)置。YOLOv5網(wǎng)絡(luò)由三個(gè)主要組件組成：（1）Backbone：在不同圖像細(xì)粒度上聚合并形成圖像特征的卷積神經(jīng)網(wǎng)絡(luò)。（2）Neck：圖像網(wǎng)絡(luò)層，會(huì)經(jīng)過(guò)一系列組合將特征傳遞到預(yù)測(cè)層。（3）Output：對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框并預(yù)測(cè)類別。YOLO系列—YOLOv5YOLOv5網(wǎng)絡(luò)由三個(gè)主要組件組成：（1）Backbone：在不同圖像細(xì)粒度上聚合并形成圖像特征的卷積神經(jīng)網(wǎng)絡(luò)。（2）Neck：圖像網(wǎng)絡(luò)層，會(huì)經(jīng)過(guò)一系列組合將特征傳遞到預(yù)測(cè)層。（3）Output：對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框并預(yù)測(cè)類別。YOLO系列—YOLOv5SSD是第一個(gè)與兩階段檢測(cè)算法（如FasterR-CNN）的準(zhǔn)確性相匹配同時(shí)還能保持實(shí)時(shí)速度的一階段檢測(cè)算法。SSD借鑒了FasterR-CNN中anchor的理念，每個(gè)單元設(shè)置尺度或者長(zhǎng)寬比不同的先驗(yàn)框，預(yù)測(cè)的邊界框（Boundingboxes）是以這些先驗(yàn)框?yàn)榛鶞?zhǔn)的，在一定程度上減少訓(xùn)練難度。SSD在YOLO網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，首先是將原始圖像輸入一系列卷積層，經(jīng)過(guò)VGG16基礎(chǔ)網(wǎng)絡(luò)的5層卷積層之后得到38×38×512的特征圖，與YOLO不同的是，SSD網(wǎng)絡(luò)去除接下來(lái)的全連接層，將VGG中的fc6、fc7用一系列卷積層代替，得到了不同大小的特征圖，如19×19、10×10、5×5、3×3，對(duì)每一個(gè)特征圖分別進(jìn)行預(yù)測(cè)。最后將所有特征圖的輸出結(jié)合到一起，就達(dá)到了同時(shí)預(yù)測(cè)一張圖片上所有默認(rèn)框的類別，SSD使用了YOLO一次運(yùn)算就完成整張圖像檢測(cè)的思想。SSD系列傳統(tǒng)的SSD通過(guò)利用不同層特征做目標(biāo)檢測(cè)，但是在SSD中，不同層的特征圖都是作為分類網(wǎng)絡(luò)獨(dú)立輸入的，因此在檢測(cè)時(shí)，同一個(gè)物體也許會(huì)被不同大小的框檢測(cè)出來(lái)。另外，SSD對(duì)小尺寸的檢測(cè)效果也不是很好。深度網(wǎng)絡(luò)的效果會(huì)隨著特征圖數(shù)量的增加而更好，但是這并不代表簡(jiǎn)單地增加特征圖數(shù)量就能有更好的效果。因此，R-SSD在原來(lái)基礎(chǔ)上做出改進(jìn)，利用分類網(wǎng)絡(luò)減少了重復(fù)框的出現(xiàn)，同時(shí)增加特征金字塔的特征數(shù)量來(lái)檢測(cè)更多小尺寸物體。SSD系列—R-SSD使用的低層網(wǎng)絡(luò)的特征信息預(yù)測(cè)小物體時(shí)，由于缺乏高層語(yǔ)義特征，導(dǎo)致SSD對(duì)于小物體的檢測(cè)效果較差。而解決這個(gè)問(wèn)題的思路就是對(duì)高層語(yǔ)意信息和低層細(xì)節(jié)信息進(jìn)行融合。DSSD采用TopDown的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行高低層特征的融合并且改進(jìn)了傳統(tǒng)上采樣的結(jié)構(gòu)。DSSD使用一種通用的自上而下的融合方法，使用VGG和Resnet網(wǎng)絡(luò)，以及不同大小的訓(xùn)練圖片尺寸來(lái)驗(yàn)證算法的通用性。將高層的語(yǔ)義信息融入低層網(wǎng)絡(luò)的特征信息中，豐富預(yù)測(cè)回歸位置框和分類任務(wù)輸入的多尺度特征圖，以此來(lái)提高檢測(cè)精度。在提取出多尺度特征圖之后，DSSD提出由殘差單元組成的預(yù)測(cè)模塊，以優(yōu)化分類任務(wù)和回歸任務(wù)所需的特征圖。SSD系列—DSSDDSOD可以從0開(kāi)始訓(xùn)練數(shù)據(jù)，不需要預(yù)訓(xùn)練模型。其主要思想是希望模型即使從零開(kāi)始學(xué)習(xí)訓(xùn)練，也能夠達(dá)到與那些微調(diào)后的預(yù)訓(xùn)練模型一樣好的效果，但那些基于區(qū)域提取的網(wǎng)絡(luò)（如FasterRCNN）從零開(kāi)始訓(xùn)練無(wú)法收斂，因此選擇了SSD