計(jì)算機(jī)視覺與應(yīng)用 課件 7.1 目標(biāo)識(shí)別簡(jiǎn)介

7.1目標(biāo)識(shí)別簡(jiǎn)介CONTENTS目錄目標(biāo)識(shí)別01目標(biāo)識(shí)別過程02目標(biāo)識(shí)別方法03CONTENTS目錄目標(biāo)識(shí)別01目標(biāo)識(shí)別過程02目標(biāo)識(shí)別方法03目標(biāo)識(shí)別是指用計(jì)算機(jī)實(shí)現(xiàn)人的視覺功能，它的研究目標(biāo)就是使計(jì)算機(jī)具有從一幅或多幅圖像或者是視頻中認(rèn)知周圍環(huán)境的能力（包括對(duì)客觀世界三維環(huán)境的感知、識(shí)別與理解）。目標(biāo)識(shí)別作為視覺技術(shù)的一個(gè)分支，就是對(duì)視場(chǎng)內(nèi)的物體進(jìn)行識(shí)別，如人或交通工具，先進(jìn)行檢測(cè)，檢測(cè)完后進(jìn)行識(shí)別，然后分析他們的行為，目標(biāo)識(shí)別如圖7-1-1所示。目標(biāo)識(shí)別目標(biāo)識(shí)別的任務(wù)：識(shí)別出圖像中有什么物體，并報(bào)告出這個(gè)物體在圖像表示的場(chǎng)景中的位置和方向。對(duì)一個(gè)給定的圖片進(jìn)行目標(biāo)識(shí)別，首先要判斷目標(biāo)有沒有，如果目標(biāo)沒有，則檢測(cè)和識(shí)別結(jié)束，如果有目標(biāo)，就要進(jìn)一步判斷有幾個(gè)目標(biāo)，目標(biāo)分別所在的位置，然后對(duì)目標(biāo)進(jìn)行分割，判斷哪些像素點(diǎn)屬于該目標(biāo)。目標(biāo)識(shí)別CONTENTS目錄目標(biāo)識(shí)別01目標(biāo)識(shí)別過程02目標(biāo)識(shí)別方法03目標(biāo)識(shí)別過程（1）訓(xùn)練樣本訓(xùn)練樣本包括正樣本和負(fù)樣本，其中正例樣本是指待檢目標(biāo)樣本(例如人臉或汽車等)，負(fù)樣本指其它不包含目標(biāo)的任意圖片（如背景等），所有的樣本圖片都被歸一化為同樣的尺寸大小(例如，20×20像素)。（2）預(yù)處理預(yù)處理是盡可能在不改變圖像承載的本質(zhì)信息的前提下，使得每張圖像的表觀特性（如顏色分布，整體明暗，尺寸大小等）盡可能的一致，以便于之后的處理過程。預(yù)處理有生物學(xué)的對(duì)應(yīng)。瞳孔、虹膜和視網(wǎng)膜上的一些細(xì)胞的行為類似于某些預(yù)處理步驟，如自適應(yīng)調(diào)節(jié)入射光的動(dòng)態(tài)區(qū)域等等。預(yù)處理和特征提取之間的界線不完全分明。有時(shí)兩者交叉在一起。它主要完成模式的采集、模數(shù)轉(zhuǎn)換、濾波、消除模糊、減少噪聲、糾正幾何失真等預(yù)處理操作。預(yù)處理通常包括五種基本運(yùn)算：

1)編碼：實(shí)現(xiàn)模式的有效描述，使之適合計(jì)算機(jī)運(yùn)算。

2)閾值或者濾波運(yùn)算：按需要選出某些函數(shù)。

3)模式改善：排除或修正模式中的錯(cuò)誤或不必要的函數(shù)值。

4)正規(guī)化：使某些參數(shù)值適應(yīng)標(biāo)準(zhǔn)值或標(biāo)準(zhǔn)值域。

5)離散模式運(yùn)算：離散模式處理中的特殊運(yùn)算。目標(biāo)識(shí)別過程（1）訓(xùn)練樣本訓(xùn)練樣本包括正樣本和負(fù)樣本，其中正例樣本是指待檢目標(biāo)樣本(例如人臉或汽車等)，負(fù)樣本指其它不包含目標(biāo)的任意圖片（如背景等），所有的樣本圖片都被歸一化為同樣的尺寸大小(例如，20×20像素)。（2）預(yù)處理預(yù)處理是盡可能在不改變圖像承載的本質(zhì)信息的前提下，使得每張圖像的表觀特性（如顏色分布，整體明暗，尺寸大小等）盡可能的一致，以便于之后的處理過程。預(yù)處理有生物學(xué)的對(duì)應(yīng)。瞳孔、虹膜和視網(wǎng)膜上的一些細(xì)胞的行為類似于某些預(yù)處理步驟，如自適應(yīng)調(diào)節(jié)入射光的動(dòng)態(tài)區(qū)域等等。預(yù)處理和特征提取之間的界線不完全分明。有時(shí)兩者交叉在一起。它主要完成模式的采集、模數(shù)轉(zhuǎn)換、濾波、消除模糊、減少噪聲、糾正幾何失真等預(yù)處理操作。預(yù)處理通常包括五種基本運(yùn)算：

1)編碼：實(shí)現(xiàn)模式的有效描述，使之適合計(jì)算機(jī)運(yùn)算。

2)閾值或者濾波運(yùn)算：按需要選出某些函數(shù)。

3)模式改善：排除或修正模式中的錯(cuò)誤或不必要的函數(shù)值。

4)正規(guī)化：使某些參數(shù)值適應(yīng)標(biāo)準(zhǔn)值或標(biāo)準(zhǔn)值域。

5)離散模式運(yùn)算：離散模式處理中的特殊運(yùn)算。目標(biāo)識(shí)別過程（3）特征提取由圖像或者波形所獲得的數(shù)據(jù)量是相當(dāng)大的。例如，一個(gè)文字圖像可以有幾千個(gè)數(shù)據(jù)，一個(gè)心電圖波形也可能有幾千個(gè)數(shù)據(jù)。為了有效地實(shí)現(xiàn)分類識(shí)別，就要對(duì)原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征。這就是特征選擇和提取的過程。一般把原始數(shù)據(jù)組成的空間叫測(cè)量空間，把分類識(shí)別賴以進(jìn)行的空間叫做特征空間，通過變換可把在維數(shù)較高的測(cè)量空間中表示的模式變?yōu)樵诰S數(shù)較低的特征空間中表示的模式。特征提取是物體識(shí)別的第一步，也是識(shí)別方法的一個(gè)重要組成部分，好的圖像特征使得不同的物體對(duì)象在高維特征空間中有著較好的分離性，從而能夠有效地減輕識(shí)別算法后續(xù)步驟的負(fù)擔(dān)，達(dá)到事半功倍的效果，下面是對(duì)一些常用的特征提取方法：目標(biāo)識(shí)別過程1）顏色特征。顏色特征描述了圖像或圖像區(qū)域所對(duì)應(yīng)的景物的表面性質(zhì)，常用的顏色特征有顏色直方圖、顏色矩(顏色分布)、顏色集、顏色聚合向量和顏色相關(guān)圖。2）紋理特征。紋理通常定義為圖像的某種局部性質(zhì)，或是對(duì)局部區(qū)域中像素之間關(guān)系的一種度量。紋理特征提取的一種有效方法是以灰度級(jí)的空間相關(guān)矩陣即共生矩陣為基礎(chǔ)的，其他方法還有基于圖像灰度差值直方圖的特征提取和基于圖像灰度共生矩陣的特征提取。3）形狀特征。形狀是描述物體的基本特征之一，用形狀特征區(qū)別物體非常直觀，利用形狀特征檢索圖像可以提高檢索的準(zhǔn)確性和效率，形狀特征分析在模式識(shí)別和視覺檢測(cè)中具有重要的作用。通常情況下，形狀特征有兩類表示方法，一類是形狀輪廓特征描述，另一類是形狀區(qū)域特征。形狀輪廓特征主要有：直線段描述、樣條擬合曲線、傅立葉描述子、內(nèi)角直方圖以及高斯參數(shù)曲線等等，形狀區(qū)域特征主要有：形狀的無關(guān)矩、區(qū)域的面積、形狀的縱橫比等。4）空間特征。空間特征是指圖像中分割出來的多個(gè)目標(biāo)之間的相互的空間位置或者相對(duì)方向關(guān)系，有相對(duì)位置信息，比如上、下、左、右，也有絕對(duì)位置信息，常用的提取空間特征的方法的基本思想為對(duì)圖像進(jìn)行分割后，提取出特征后，對(duì)這些特征建立索引。目標(biāo)識(shí)別過程（4）特征選擇在提取了所要的特征之后，接下來的一個(gè)可選步驟是特征選擇，特別是當(dāng)特征種類很多或者物體類別很多的時(shí)候，需要找到各自的最適應(yīng)特征的場(chǎng)合。一般來說，任何能夠在被選出特征集上工作正常的模型都能在原特征集上工作正常，反過來進(jìn)行了特征選擇則可能會(huì)丟掉一些有用的特征。由于計(jì)算上的巨大開銷，在把特征放進(jìn)模型里訓(xùn)練之前需要進(jìn)行特征選擇。目標(biāo)識(shí)別過程（5）用訓(xùn)練樣本來訓(xùn)練分類器分類器按照特征類型分為數(shù)值型分類器和符號(hào)型兩大類。數(shù)值型分類器包括統(tǒng)計(jì)分類器（統(tǒng)計(jì)理論為基礎(chǔ)）、模糊分類器（以模糊集理論為基礎(chǔ)）、人工神經(jīng)元網(wǎng)絡(luò)、人工智能分類器（基于邏輯推理或?qū)＜蚁到y(tǒng)結(jié)構(gòu)）。符號(hào)型分類器包括句法分類器（基于句法分析和自動(dòng)機(jī)理論）、人工智能分類器（基于邏輯推理或?qū)＜蚁到y(tǒng)結(jié)構(gòu)）。其中符號(hào)型分類器具有更大的靈活性，所以能處理較為復(fù)雜的模式分類問題。為了使分類檢測(cè)準(zhǔn)確率較好，訓(xùn)練樣本一般都是成千上萬的，然后每個(gè)樣本又提取出了很多個(gè)特征，這樣就產(chǎn)生了很多的訓(xùn)練數(shù)據(jù)，所以訓(xùn)練的過程一般都很耗時(shí)。目前比較流行的分類器有：SVM支持向量機(jī)、AdaBoost算法等；其中檢測(cè)行人的一般使用HOG特征+SVM，OpenCV中檢測(cè)人臉的一般使用Haar+AdaBoost，OpenCV中檢測(cè)拳頭一般使用LBP+AdaBoost。隨著深度學(xué)習(xí)的興起，現(xiàn)在深度學(xué)習(xí)在物體識(shí)別上取得了相當(dāng)好的成果。目標(biāo)識(shí)別過程（6）匹配在得到訓(xùn)練結(jié)果之后，接下來的任務(wù)是運(yùn)用目前的模型去識(shí)別新的圖像屬于哪一類物體，并且將物體與圖像的其它部分分割開來。一般當(dāng)模型取定后，匹配算法也就自然而然地出現(xiàn)。在描述模型中，通常是對(duì)每類物體建模，然后使用極大似然或是貝葉斯推理得到類別信息；生成模型大致與此相同，只是通常要先估出隱變量的值，或者將隱變量積分，這一步往往導(dǎo)致極大的計(jì)算負(fù)荷；區(qū)分模型則更為簡(jiǎn)單，將特征取值代入分類器即得結(jié)果。一般匹配過程是這樣的：用一個(gè)掃描子窗口在待檢測(cè)的圖像中不斷的移位滑動(dòng)，子窗口每到一個(gè)位置，就會(huì)計(jì)算出該區(qū)域的特征，然后用訓(xùn)練好的分類器對(duì)該特征進(jìn)行篩選，判定該區(qū)域是否為目標(biāo)。因?yàn)槟繕?biāo)在圖像的大小可能和訓(xùn)練分類器時(shí)使用的樣本圖片大小不一樣，所以就需要對(duì)這個(gè)掃描的子窗口變大或者變小（或者將圖像變?。?，再在圖像中滑動(dòng)，再匹配一遍。目標(biāo)識(shí)別過程CONTENTS目錄目標(biāo)識(shí)別01目標(biāo)識(shí)別過程02目標(biāo)識(shí)別方法03物體識(shí)別方法就是使用各種匹配算法，根據(jù)從圖像已提取出的特征，尋找出與物體模型庫中最佳的匹配，它的輸入為圖像與要識(shí)別物體的模型庫，輸出為物體的名稱、姿態(tài)、位置等等。常用的目標(biāo)識(shí)別方法有三種：Blob分析法（BlobAnalysis）、模板匹配法、深度學(xué)習(xí)法。目標(biāo)識(shí)別方法

1）Bagofwords（BoW）方法。在計(jì)算機(jī)視覺中的Blob是指圖像中的具有相似顏色、紋理等特征所組成的一塊連通區(qū)域。Blob分析（BlobAnalysis）是對(duì)圖像中相同像素的連通域進(jìn)行分析(該連通域稱為Blob)。其過程就是將圖像進(jìn)行二值化，分割得到前景和背景，然后進(jìn)行連通區(qū)域檢測(cè)，從而得到Blob塊的過程。簡(jiǎn)單來說，blob分析就是在一塊“光滑”區(qū)域內(nèi)，將出現(xiàn)“灰度突變”的小區(qū)域?qū)ふ页鰜?。Blob分析工具可以從背景中分離出目標(biāo)，并可以計(jì)算出目標(biāo)的數(shù)量、位置、形狀、方向和大小，還可以提供相關(guān)斑點(diǎn)間的拓?fù)浣Y(jié)構(gòu)。在處理過程中不是對(duì)單個(gè)像素逐一分析，而是對(duì)圖像的行進(jìn)行操作。圖像的每一行都用游程長(zhǎng)度編碼（RLE）來表示相鄰的目標(biāo)范圍。這種算法與基于像素的算法相比，大大提高了處理的速度。目標(biāo)識(shí)別方法2）Partsandstructure方法。BoW方法的一個(gè)主要缺點(diǎn)為特征之間是相互獨(dú)立的，丟失了位置信息，Partsandstructure方法采用了特征之間的關(guān)系，比如位置信息和底層的圖像特征，將提取出的特征聯(lián)系起來。PictorialStructure（PS）提出的彈簧