第三章目標(biāo)檢測方法-1--6

圖像探測、跟蹤與識別技術(shù)

主講人：趙丹培宇航學(xué)院圖像處理中心

zhaodanpei@

2012年9月27日第三章目標(biāo)檢測方法學(xué)習(xí)目的

利用圖像捕捉并跟蹤感興趣的目標(biāo)在日常生活、工業(yè)和軍事領(lǐng)域中都有廣泛的應(yīng)用，本章通過對目標(biāo)檢測方法基本原理的學(xué)習(xí)和掌握，將目標(biāo)的灰度、形狀、紋理、頻譜、運(yùn)動等作為主要特征依據(jù)，從不同角度全面了解復(fù)雜背景中目標(biāo)探測的方法與過程，并能夠在實(shí)際中熟練應(yīng)用。學(xué)習(xí)的重點(diǎn)基于圖像分割技術(shù)的目標(biāo)檢測方法基于圖像特征匹配的目標(biāo)檢測方法運(yùn)動目標(biāo)檢測方法本章的主要內(nèi)容3.1圖像的特征形態(tài)與描述3.2目標(biāo)檢測的基本概念與原理3.3利用圖像分割技術(shù)的目標(biāo)檢測方法3.4利用特征匹配技術(shù)的目標(biāo)檢測方法3.5運(yùn)動目標(biāo)的檢測3.6小目標(biāo)檢測3.7目標(biāo)檢測性能的評價標(biāo)準(zhǔn)3.1圖像的特征形態(tài)與描述數(shù)字圖像并不是雜亂的像素?cái)?shù)據(jù)的組合。它通常包含我們所希望得到的確定性成分和采集過程中所得到的隨機(jī)成分。每個像素的灰度不僅隨坐標(biāo)的不同而不同，也隨時間的變化而變化，是空間坐標(biāo)和時間的隨機(jī)場。數(shù)字圖像度量單位可以有多種，例如整幅畫面（幀，場），局部畫面（窗口，塊），行，列，像素，頻率等。圖像作為信息的載體，對不同的用途，所關(guān)心的圖像信息的含義或感興趣的圖像基元不同。比如，遠(yuǎn)距離紅外小目標(biāo)檢測研究時，我們關(guān)心的只是目標(biāo)周圍小區(qū)域內(nèi)的信噪比，或圖像的信息量等；人臉識別時，可能關(guān)心的就是五官的形狀和位置關(guān)系，至于臉色就不是很重要。3.1.1圖像的特征類型1.像素灰度分布圖像信號數(shù)字化得到一個數(shù)值矩陣，其中每一個元素稱之為像素，像素的灰（亮）度值（也包括色彩）是最基本、最原始的測量值和特征，由它可以組成更大基元的特征。單幅圖像的所有像素或不同區(qū)域像素的灰度分布，代表了圖像總體或局部的能量強(qiáng)度分布。表征灰度分布的特征描述有總體或局部的均值、方差等。2.圖像灰度變化的梯度特征圖像灰度的梯度反映圖像內(nèi)物體邊緣處灰度變化的情況，它描述了圖像灰度分布的總體特征。例如，用圖像像素灰度的一階差分（梯度）的總和表示圖像的對比度等。

灰度特征-矩陣形式梯度特征-灰度的突變位置3.圖像的頻譜特性與一維時間函數(shù)波形類似，圖像也有空間頻率的概念，如果圖像的灰度按一定周期變化(相當(dāng)于周期函數(shù))，那么它的頻率就是在某一坐標(biāo)軸方向上一個單位長度的距離內(nèi)，周期函數(shù)重復(fù)出現(xiàn)的次數(shù)。周期表示在同一方向上圖像波形重復(fù)出現(xiàn)的最小距離。而且，圖像的傅立葉變換也有明確的物理意義。4.紋理特征

圖像紋理是像素灰度分布宏觀上呈現(xiàn)周期性的結(jié)構(gòu)特征，它是圖像中某些結(jié)構(gòu)單元按某種規(guī)則排列而成的規(guī)則圖案，反映圖像紋理基元灰度周期性重復(fù)變化的規(guī)律。因此，紋理基元的大?。ɑ蛑貜?fù)變化的周期長短）和重復(fù)構(gòu)成的方向是基本特征。常用的紋理特征描述方法有共生矩陣、等灰度行程長度、區(qū)域紋理基元參數(shù)、傅立葉頻譜、隨機(jī)場模型、相關(guān)長度等。圖像的頻譜特征圖像的紋理特征5.圖像中物體形狀特征

物體的形狀特征是人或機(jī)器識別的重要特征之一，在圖像中可以采取圖像分割的方法，將感興趣的物體、區(qū)域或基元與背景區(qū)分開來，然后對它們的外形進(jìn)行描述，常用的形狀特征有面積、周長、圓度、長寬比、矩、邊心距、傅立葉描繪子、偏心率和凹度等。6.圖像中三維特征

圖像是三維空間場景能量在二維平面的投影，二維圖像中蘊(yùn)含著場景中物體的三維信息。比如，多面體的各個面光強(qiáng)的差異表現(xiàn)出的立體感，一個球體不會看成平面的圓。圖像的三維通常用物體表面的法線方向描述。圖像的形狀特征圖像的三維特征7.圖像的運(yùn)動特征動態(tài)圖像或序列圖像是我們最常見的、需要快速處理并作出反應(yīng)的場景圖像，“時間”將作為它的另外一個變量。序列視頻圖像中包含著物體或目標(biāo)的運(yùn)動參數(shù)，如速度、加速度、方向、姿態(tài)、到傳感器的距離等變化信息。常用的方法用局部瞬時速度場（光流場）、特征點(diǎn)匹配、運(yùn)動估計(jì)、小平面分析和運(yùn)動分割等。8.圖像距離特征距離圖像是一種通過主動成像方式獲取的場景三維立體信息，與場景亮度無關(guān)。目標(biāo)圖像距離特征對于目標(biāo)圖像識別有著特殊的意義，可以不受天氣、偽裝、復(fù)雜背景等條件的影響，全天候工作，抗干擾能力強(qiáng)。（雷達(dá)）9.圖像信息描述

圖像中包含的信息量最關(guān)心的是圖像度量參數(shù)，可以想像所有像素灰度都為同一個數(shù)值，我們看到的是一張白紙，獲取不了更多的信息，而一幅場景圖像卻有著豐富的內(nèi)容，只要你認(rèn)真去看，將會有無限的信息。信息論中的“熵”可以作為圖像信息含量的一種描述，盡管它并不完美。圖像的信息度量是復(fù)雜的，它與圖像的應(yīng)用目的、觀察圖像的人或系統(tǒng)的知識、性能有關(guān)。10.圖像有用和無用成分之比

圖像中并不是只包含有用的信息，我們總是在圖像中提取感興趣的所謂目標(biāo)信息，而濾除所有不關(guān)心的信息，例如噪聲。感興趣的目標(biāo)信息與所有不關(guān)心的信息成分的比率或差別越大，提取就越容易。典型的度量指標(biāo)是信噪比，即目標(biāo)信號幅度除以背景信號的標(biāo)準(zhǔn)差。圖像的運(yùn)動特征－什么是運(yùn)動圖像？與靜態(tài)圖像相比，動態(tài)圖像的基本特征就是灰度的變化。在對某一場景拍攝到的圖像序列中，相鄰兩幀圖像間至少有一部分像元的灰度發(fā)生了變化，這個圖像序列就稱為動態(tài)圖像序列。與單幅圖像不同，連續(xù)采集的圖像序列能反映場景中目標(biāo)的運(yùn)動和場景的變化。場景的變化和景物的運(yùn)動在序列圖像中表現(xiàn)得比較明顯和清楚。序列圖像是由一系列時間上連續(xù)的二維圖像組成的，或者說是一類三維圖像。與靜止圖像相比，序列圖像增加了時間變量，當(dāng)時間變量取某個特定值時，就得到視頻圖像中的一幀圖像。圖像序列和運(yùn)動信息有密切的聯(lián)系，將從運(yùn)動場景獲得的序列圖像或者在序列中目標(biāo)位置發(fā)生變化的圖像稱為運(yùn)動圖像。

舉例：運(yùn)動與視覺實(shí)驗(yàn)1959年著名心理學(xué)家Gibson在美國康乃爾大學(xué)對自然人進(jìn)行了運(yùn)動知覺實(shí)驗(yàn)：在兩張透明的膠片上繪出相似的隨機(jī)點(diǎn)圖圖案。一張靜止地垂直放置，人們什么也區(qū)分不出來；而另一張也是垂直放置，但是讓其沿水平方向進(jìn)行平移運(yùn)動。這時奇跡出現(xiàn)了，人們在移動著的膠片上區(qū)分出了有兩塊遠(yuǎn)近不同的平面，隨機(jī)點(diǎn)圖表示的場景被輕易地分割開來了。這證實(shí)了一些在靜止時不易被察覺的形狀當(dāng)移動時就可以被知覺，這與人們通過自身包括研究的運(yùn)動實(shí)現(xiàn)形狀知覺是異曲同工的。靜止圖像只是空間位置的函數(shù)，它與時間變化無關(guān)。在現(xiàn)有條件下，用單幅靜止圖像無法表達(dá)物體和自身的運(yùn)動。運(yùn)動圖像通常是一種按時間順序排列的瞬間采樣圖像序列。圖像中的變化可能是由于目標(biāo)物體的運(yùn)動，也可能是相機(jī)的運(yùn)動、光源的變化、物體結(jié)構(gòu)的變化等等。全局運(yùn)動和局部運(yùn)動各有其自身特點(diǎn)。全局運(yùn)動具有整體性強(qiáng)、比較規(guī)律的特點(diǎn)，可能僅用一些特征或一組含若干個參數(shù)的模型就可表達(dá)。局部運(yùn)動比較復(fù)雜，特別是在多目標(biāo)的情況下，各目標(biāo)可能做不同運(yùn)動，目標(biāo)的運(yùn)動僅在空間小范圍表現(xiàn)出一定的一致性，因此比較精細(xì)的方法才能夠準(zhǔn)確地表達(dá)目標(biāo)的運(yùn)動。下面就具體介紹一下各種運(yùn)動的表達(dá)形式和方法，常用的有以下幾種：

1．運(yùn)動矢量場表達(dá)2．運(yùn)動直方圖表達(dá)3．運(yùn)動軌跡表達(dá)運(yùn)動的表達(dá)1．運(yùn)動矢量場表達(dá)運(yùn)動既有大小，也有方向，所以需要用矢量來表示，為表示瞬時運(yùn)動矢量場，將每個運(yùn)動矢量用無箭頭的線段來表示，線段長度與矢量大小及運(yùn)動速度成正比，并疊加在原始圖像上。

2．運(yùn)動直方圖表達(dá)這種方法的基本思路是僅保留運(yùn)動方向信息以減少數(shù)據(jù)量，將0～360度的運(yùn)動方向劃分為若干間隔，把用矢量場上每一點(diǎn)的數(shù)據(jù)歸到與它的運(yùn)動方向最為接近的間隔。3．運(yùn)動軌跡表達(dá)目標(biāo)的運(yùn)動軌跡表達(dá)了目標(biāo)在運(yùn)動過程中的位置信息，由一系列關(guān)鍵點(diǎn)和一組在這些關(guān)鍵點(diǎn)間進(jìn)行插值的函數(shù)構(gòu)成。關(guān)鍵點(diǎn)用2D或3D坐標(biāo)值來表達(dá)，插值函數(shù)分別對應(yīng)各坐標(biāo)軸（水平、垂直和深度方向）。x(t)ABCOt0t1t2t3t4t運(yùn)動直方圖的表達(dá)運(yùn)動軌跡的表達(dá)

運(yùn)動矢量場的表達(dá)3.2目標(biāo)檢測的基本概念與原理目標(biāo)檢測的分類：目標(biāo)檢測從目標(biāo)特性角度分為單幅靜止圖像檢測和運(yùn)動目標(biāo)檢測；運(yùn)動目標(biāo)檢測又分為靜止背景下的運(yùn)動目標(biāo)檢測和運(yùn)動背景下的運(yùn)動目標(biāo)檢測。靜止目標(biāo)檢測通常是利用單幀圖像信息，對于大目標(biāo)，可以利用圖像分割或特征匹配等方法提取出目標(biāo)，但對于低對比度、低信噪比的小目標(biāo)，利用單幀信息很難檢測出有效目標(biāo)。運(yùn)動目標(biāo)可以利用圖像的運(yùn)動序列信息，與單幅圖像不同，連續(xù)采集的圖像序列能反映場景中目標(biāo)的運(yùn)動和場景的變化情況，更有利于小目標(biāo)的探測。

第一類是基于像素分析的方法，主要有基于圖像分割的方法、幀間差分方法、相關(guān)算法、光流法、濾波法等；第二類是基于特征匹配的方法，主要利用的特征有：角點(diǎn)、直邊緣、曲邊緣等局部特征和形心、表面積、周長、投影特征等全局特征，還有SIFT、SURF等；第三類是基于頻域的方法，較典型的是基于傅立葉變換和基于小波變換的方法。第四類是基于識別的檢測方法，較典型的是基于邊緣碎片模型的目標(biāo)檢測識別方法，基于Adaboost的目標(biāo)檢測識別方法等；常用的目標(biāo)檢測方法分為四類：3.3利用圖像分割技術(shù)的目標(biāo)檢測方法圖像分割的目的：把圖像分解成構(gòu)成它的部件和對象；有選擇性地定位感興趣對象在圖像中的位置和范圍。圖像分割的基本思路：從簡到難，逐級分割控制背景環(huán)境，降低分割難度注意力集中在感興趣的對象，縮小不相干圖像成分的干擾。圖像分割的基本方法：基于閾值的圖像分割基于形態(tài)學(xué)的圖像分割基于邊緣的圖像分割基于區(qū)域的圖像分割提取輪廓車牌定位車牌識別圖像分割的基本策略：把像素按灰度劃分到各個物體對應(yīng)的區(qū)域中去；先確定邊緣像素點(diǎn)，然后將它們連接起來構(gòu)成所需的邊界；確定存在于區(qū)域間的邊界；圖像分割定義：

將數(shù)字圖像劃分成與實(shí)際目標(biāo)或區(qū)域緊密相關(guān)的若干區(qū)域的過程。圖像分割與整個圖像分析系統(tǒng)的關(guān)系

預(yù)處理圖像分割特征提取目標(biāo)識別目標(biāo)跟蹤目標(biāo)測量3.3.1基于閾值的圖像分割方法閾值分割是一種廣泛使用的圖像分割技術(shù)，它對目標(biāo)與背景有較強(qiáng)對比的景物的分割特別有用。它計(jì)算簡單，而且總能用封閉而且連通的邊界定義不交疊的區(qū)域。它利用了圖像中要提取的目標(biāo)與其背景在灰度特性上的差異，把圖像視為具有不同灰度級的兩類區(qū)域（目標(biāo)和背景）的組合。025525502550255255255首先要確定一個合適的閾值T（閾值選定的好壞是成敗的關(guān)鍵）將灰度大于等于閾值的像素作為物體或背景，生成一個二值圖像Iff(x,y)

Tset255Elseset0在四鄰域中有背景的像素，即是邊界像素。⑵、幾種常用的基于閾值分割的檢測方法直方圖分割法基于灰度期望值的閾值分割最大類間方差閾值分割循環(huán)分割方法最大熵閾值分割基于模糊隸屬度的閾值分割當(dāng)圖像的灰度直方圖為雙峰分布時，分割比較容易，只須取其谷點(diǎn)作為門限值，就能將目標(biāo)與背景分割開來。基于直方圖谷點(diǎn)門限的分割方法應(yīng)用直方圖雙峰法來分割圖像,需要有一定的圖像先驗(yàn)知識,因?yàn)橥粋€直方圖可以對應(yīng)不同的圖像,直方圖只表明圖像中各個灰度級上有多少個像素,并不能描述這些像素的位置信息。因此只根據(jù)直方圖選擇閾值并不一定合適，還要結(jié)合圖像的內(nèi)容來確定。此外，該方法不適用于單峰或多峰直方圖的情況。最大類間方差閾值分割

最大類間方差法由Ostu提出，是在最小二乘法原理的基礎(chǔ)上推導(dǎo)得出，又叫大津閾值法。設(shè)原始灰度圖像的灰度級為L，灰度級為i的像素點(diǎn)數(shù)為，圖像的全部像素為N,歸一化直方圖，則用閾值t將灰度級劃分為兩類：和和類的出現(xiàn)概率及均值分別為：

和的方差為：類間方差為：引入關(guān)于的等價的判決準(zhǔn)則：最佳閾值：

：是整體圖像的灰度平均值：是閾值為時灰度平均值

循環(huán)分割方法循環(huán)分割是由Ohlander等人提出的一種復(fù)雜圖像的分割方法，這種方法首先根據(jù)圖像的全局直方圖，將取了閾值后得到的區(qū)域看成是它的子圖像，再次對各子圖像作直方圖選峰點(diǎn)及區(qū)域值，