目標(biāo)檢測目標(biāo)跟蹤報告ppt教育課件

1、視頻監(jiān)控小組工作報告報告人：蔣老師報告人：蔣老師09.11.17hfut-ti dsp united labhfut-ti dsp united lab運(yùn)動目標(biāo)分片跟蹤運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割馬爾可夫隨機(jī)場分割全局運(yùn)動估計(jì)全局運(yùn)動估計(jì) 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建2hfut-ti dsp united labhfut-ti dsp united lab動態(tài)場景的運(yùn)動檢測動態(tài)場景的運(yùn)動檢測視頻圖像中的目標(biāo)檢測與跟蹤，是計(jì)算機(jī)視覺的基礎(chǔ)課題，視頻圖像中的目標(biāo)檢測與跟蹤，是計(jì)算機(jī)視覺的基礎(chǔ)課題，同時具有廣泛的應(yīng)用價值。同時具有廣泛的應(yīng)用價值

2、。： 靜態(tài)場景靜態(tài)場景 目標(biāo)檢測相對簡單，研究漸趨成熟目標(biāo)檢測相對簡單，研究漸趨成熟 動態(tài)場景動態(tài)場景 相對復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點(diǎn)相對復(fù)雜，成為當(dāng)前研究領(lǐng)域的熱點(diǎn)靜態(tài)場景幀差的一個例子靜態(tài)場景幀差的一個例子3hfut-ti dsp united labhfut-ti dsp united lab4hfut-ti dsp united labhfut-ti dsp united lab解決思路要檢測動態(tài)場景中的運(yùn)動目標(biāo)，關(guān)鍵在于對場景的要檢測動態(tài)場景中的運(yùn)動目標(biāo)，關(guān)鍵在于對場景的運(yùn)動進(jìn)行估計(jì)，通過估計(jì)出的運(yùn)動參數(shù)補(bǔ)償其運(yùn)動，運(yùn)動進(jìn)行估計(jì)，通過估計(jì)出的運(yùn)動參數(shù)補(bǔ)償其運(yùn)動，最后使用幀差法得到運(yùn)

3、動目標(biāo)。最后使用幀差法得到運(yùn)動目標(biāo)。提取特征點(diǎn)特征點(diǎn)匹配最小二乘求運(yùn)動參數(shù)提取特征點(diǎn)前一幀圖像后一幀圖像運(yùn)動補(bǔ)償幀差法運(yùn)動目標(biāo)運(yùn)動目標(biāo)5hfut-ti dsp united labhfut-ti dsp united lab求解全局運(yùn)動參數(shù)前一幀后一幀求特征點(diǎn)并匹配運(yùn)動補(bǔ)償補(bǔ)償后的幀差圖像6hfut-ti dsp united labhfut-ti dsp united lab第50幀第80幀第5幀幀差法特征匹配的方法原序列7hfut-ti dsp united labhfut-ti dsp united lab基于圖像金字塔分解的全局運(yùn)動估計(jì)基于圖像金字塔分解的全局運(yùn)動估計(jì) 采用了采用了3層

4、金字塔進(jìn)行多分辨率計(jì)算層金字塔進(jìn)行多分辨率計(jì)算,而且在每層迭而且在每層迭代計(jì)算中代計(jì)算中,將基于塊的外點(diǎn)去除算法與特征點(diǎn)提取將基于塊的外點(diǎn)去除算法與特征點(diǎn)提取算法相結(jié)合算法相結(jié)合,這樣既加快了算法的速度這樣既加快了算法的速度,又提高了計(jì)又提高了計(jì)算結(jié)果的準(zhǔn)確性。算結(jié)果的準(zhǔn)確性。8hfut-ti dsp united labhfut-ti dsp united lab基本步驟如下基本步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對金字塔頂層圖像進(jìn)行全局運(yùn)動估計(jì)，求得運(yùn)動參數(shù)；對金字塔頂層圖像進(jìn)行全局運(yùn)動估計(jì)，求得運(yùn)動參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，

5、并對將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對該層進(jìn)行全局運(yùn)動估計(jì)，求得相應(yīng)的運(yùn)動參數(shù)；該層進(jìn)行全局運(yùn)動估計(jì)，求得相應(yīng)的運(yùn)動參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層將金字塔中間層的參數(shù)集映射到金字塔的底層, 對該層進(jìn)行對該層進(jìn)行全局運(yùn)動估計(jì)，求得該層的運(yùn)動參數(shù)集全局運(yùn)動估計(jì)，求得該層的運(yùn)動參數(shù)集,即最終求得的參數(shù)即最終求得的參數(shù)集。集。利用求得的最終參數(shù)集，對圖像進(jìn)行運(yùn)動補(bǔ)償，將運(yùn)動補(bǔ)利用求得的最終參數(shù)集，對圖像進(jìn)行運(yùn)動補(bǔ)償，將運(yùn)動補(bǔ)償后的圖像與前一幀圖像進(jìn)行差值。償后的圖像與前一幀圖像進(jìn)行差值。9hfut-ti dsp united labhfut-ti dsp united

6、lab下圖給出了運(yùn)動補(bǔ)償與直接幀差的結(jié)果比較下圖給出了運(yùn)動補(bǔ)償與直接幀差的結(jié)果比較圖圖1coastguard序列圖像序列圖像圖圖2直接幀差和運(yùn)動補(bǔ)償后的差值圖比較直接幀差和運(yùn)動補(bǔ)償后的差值圖比較10hfut-ti dsp united labhfut-ti dsp united lab運(yùn)動目標(biāo)分片跟蹤運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割馬爾可夫隨機(jī)場分割全局運(yùn)動估計(jì)全局運(yùn)動估計(jì) 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建11hfut-ti dsp united labhfut-ti dsp united lab目標(biāo)分割的意義與現(xiàn)狀 運(yùn)動目標(biāo)的準(zhǔn)確分割，對于獲取

7、目標(biāo)的特征信運(yùn)動目標(biāo)的準(zhǔn)確分割，對于獲取目標(biāo)的特征信息非常重要，直接影響到進(jìn)一步的運(yùn)動目標(biāo)跟蹤的息非常重要，直接影響到進(jìn)一步的運(yùn)動目標(biāo)跟蹤的處理，傳統(tǒng)的運(yùn)動目標(biāo)分割的算法主要有背景差分，處理，傳統(tǒng)的運(yùn)動目標(biāo)分割的算法主要有背景差分，相鄰幀間差分，光流場的方法，這些方法都有各自相鄰幀間差分，光流場的方法，這些方法都有各自的缺點(diǎn)和不足，不能滿足準(zhǔn)確分割運(yùn)動目標(biāo)的要求。的缺點(diǎn)和不足，不能滿足準(zhǔn)確分割運(yùn)動目標(biāo)的要求。12hfut-ti dsp united labhfut-ti dsp united labohlander等提出了一種多維直方圖閾值化分割方等提出了一種多維直方圖閾值化分割方法，該方法直

8、方圖閾值法不需要先驗(yàn)信息，計(jì)算量法，該方法直方圖閾值法不需要先驗(yàn)信息，計(jì)算量較小較小,但缺點(diǎn)是單獨(dú)基于顏色分割得到的區(qū)域可能但缺點(diǎn)是單獨(dú)基于顏色分割得到的區(qū)域可能是不完整的，而且沒有利用局部空間信息，分割不是不完整的，而且沒有利用局部空間信息，分割不準(zhǔn)確。準(zhǔn)確。13hfut-ti dsp united labhfut-ti dsp united lab馬爾可夫隨機(jī)場分割馬爾可夫隨機(jī)場分割 目前基于馬爾可夫隨機(jī)場隨機(jī)場（目前基于馬爾可夫隨機(jī)場隨機(jī)場（mrf）運(yùn)動）運(yùn)動目標(biāo)分割的方法在圖像分割領(lǐng)域影響越來越大，該目標(biāo)分割的方法在圖像分割領(lǐng)域影響越來越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于方法與

9、傳統(tǒng)方法和閾值法相比，由于基于mrf的的運(yùn)動目標(biāo)分割方法同時考慮了圖像顏色信息和空間運(yùn)動目標(biāo)分割方法同時考慮了圖像顏色信息和空間關(guān)聯(lián)信息，因此分割效果較好。關(guān)聯(lián)信息，因此分割效果較好。14hfut-ti dsp united labhfut-ti dsp united lab 另外，另外，mrf參數(shù)參數(shù) 選取的好壞會直接影響到分選取的好壞會直接影響到分割結(jié)果，割結(jié)果，smits等研究雷達(dá)圖像分割時表明，馬爾等研究雷達(dá)圖像分割時表明，馬爾可夫參數(shù)如果較大容易形成較長的邊緣，較小容易可夫參數(shù)如果較大容易形成較長的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數(shù)則使目標(biāo)的輪形成微邊緣，而固定的馬爾可夫

10、參數(shù)則使目標(biāo)的輪廓模糊，對分割出的目標(biāo)準(zhǔn)確判斷產(chǎn)生不利影響。廓模糊，對分割出的目標(biāo)準(zhǔn)確判斷產(chǎn)生不利影響。 15hfut-ti dsp united labhfut-ti dsp united lab因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可因此，我們提出一種基于自適應(yīng)權(quán)值的區(qū)域馬爾可夫隨機(jī)場的分割方法，結(jié)合分水嶺預(yù)分割算法，并夫隨機(jī)場的分割方法，結(jié)合分水嶺預(yù)分割算法，并利用形態(tài)濾波對分割結(jié)果進(jìn)行修正，較好地解決了利用形態(tài)濾波對分割結(jié)果進(jìn)行修正，較好地解決了分割不準(zhǔn)確，目標(biāo)信息丟失的問題。分割不準(zhǔn)確，目標(biāo)信息丟失的問題。16hfut-ti dsp united labhfut-ti dsp u

11、nited lab基于基于mrf的運(yùn)動目標(biāo)分割的運(yùn)動目標(biāo)分割 馬爾可夫隨機(jī)場是把一維因果馬爾可夫鏈擴(kuò)展成二馬爾可夫隨機(jī)場是把一維因果馬爾可夫鏈擴(kuò)展成二維的結(jié)果，維的結(jié)果，hammersley-clifford定理指出了定理指出了mrf和和gibbs分布之間的等價性，每個分布之間的等價性，每個mrf都可都可以用一個以用一個gibbs分布來描述，這樣就解決了分布來描述，這樣就解決了mrf概率難求的問題。概率難求的問題。 17hfut-ti dsp united labhfut-ti dsp united lab gibbs分布可定義成如下公式：分布可定義成如下公式：()1( )()u z wtwp

12、 zez wq圖像上每一點(diǎn)的概率分布圖像上每一點(diǎn)的概率分布( )( ( )|)cc cu zv z xx c18hfut-ti dsp united labhfut-ti dsp united lab對于一幀對于一幀cif圖像，存在一系列的像素點(diǎn)圖像，存在一系列的像素點(diǎn) ，對于，對于這些點(diǎn)存在一標(biāo)記場和事先觀察場這些點(diǎn)存在一標(biāo)記場和事先觀察場 ，這樣馬爾可，這樣馬爾可夫隨機(jī)場的運(yùn)動目標(biāo)分割的問題可以歸結(jié)為在事先夫隨機(jī)場的運(yùn)動目標(biāo)分割的問題可以歸結(jié)為在事先觀察場和其它一系列約束條件下，確定運(yùn)動目標(biāo)區(qū)觀察場和其它一系列約束條件下，確定運(yùn)動目標(biāo)區(qū)域和背景區(qū)域的二值標(biāo)記問題。域和背景區(qū)域的二值標(biāo)記問題

13、。 19hfut-ti dsp united labhfut-ti dsp united labmrf運(yùn)動目標(biāo)分割結(jié)果一 （a）實(shí)驗(yàn)序列）實(shí)驗(yàn)序列1 （b）固定閾值二值化）固定閾值二值化 （c）高斯模型分割）高斯模型分割 （d）自適應(yīng)值）自適應(yīng)值 mrf分割分割 20hfut-ti dsp united labhfut-ti dsp united labmrf運(yùn)動目標(biāo)分割結(jié)果二 （a）實(shí)驗(yàn)序列）實(shí)驗(yàn)序列2 （b）固定閾值二值化）固定閾值二值化 （c）高斯模型分割）高斯模型分割 （d）自適應(yīng)值）自適應(yīng)值 mrf分割分割 21hfut-ti dsp united labhfut-ti dsp un

14、ited lab運(yùn)動目標(biāo)分片跟蹤運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割馬爾可夫隨機(jī)場分割全局運(yùn)動估計(jì)全局運(yùn)動估計(jì) 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建22hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤為什么引入分片跟蹤： 在目標(biāo)跟蹤領(lǐng)域，一個重要的難題就是目標(biāo)的遮在目標(biāo)跟蹤領(lǐng)域，一個重要的難題就是目標(biāo)的遮擋問題，因?yàn)檎趽醢l(fā)生時目標(biāo)可能部分或全部不可見。擋問題，因?yàn)檎趽醢l(fā)生時目標(biāo)可能部分或全部不可見。 模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時，人眼會關(guān)模擬人眼跟蹤目標(biāo)的方式，發(fā)生遮擋時，人眼會關(guān)注目標(biāo)的可見部分來繼

15、續(xù)跟蹤。受這一思想啟發(fā)，我們注目標(biāo)的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標(biāo)分成多個小片，目標(biāo)被遮擋時，利用將目標(biāo)分成多個小片，目標(biāo)被遮擋時，利用“可見片可見片”來跟蹤。來跟蹤。 23hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤主要思想： 將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型（模板）。在目將目標(biāo)分片，建立目標(biāo)分片表現(xiàn)模型（模板）。在目標(biāo)上一幀的位置周圍遍歷搜索，找到與目標(biāo)模板相似度最標(biāo)上一幀的位置周圍遍歷搜索，找到與目標(biāo)模板相似度最高的候選目標(biāo)作為跟蹤結(jié)果。高的候選目標(biāo)作為跟蹤結(jié)果。 當(dāng)前幀上一幀目標(biāo)位置 候選目標(biāo)位置搜索窗口目標(biāo)分片24h

16、fut-ti dsp united labhfut-ti dsp united lab分片跟蹤 其中相似度的度量是通過各片的空間直方圖匹配來實(shí)現(xiàn)的。其中相似度的度量是通過各片的空間直方圖匹配來實(shí)現(xiàn)的。確定目標(biāo)位置后，判斷目標(biāo)中各片的有效性，我們僅利用確定目標(biāo)位置后，判斷目標(biāo)中各片的有效性，我們僅利用有效片進(jìn)行下一幀的跟蹤。有效片進(jìn)行下一幀的跟蹤。 被遮擋的區(qū)域片基本丟失25hfut-ti dsp united labhfut-ti dsp united lab模板更新模板更新 由上可見這種分片方法已經(jīng)可以很好的解決遮擋由上可見這種分片方法已經(jīng)可以很好的解決遮擋問題。問題。 但是在跟蹤過程中，目

17、標(biāo)的外觀模型可能發(fā)生變但是在跟蹤過程中，目標(biāo)的外觀模型可能發(fā)生變化（例如目標(biāo)轉(zhuǎn)身、尺寸變化等等）。那么剛開始化（例如目標(biāo)轉(zhuǎn)身、尺寸變化等等）。那么剛開始為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影為目標(biāo)建立的模板就不能很好的表示目標(biāo)，這將影響跟蹤效果。響跟蹤效果。 26hfut-ti dsp united labhfut-ti dsp united lab目標(biāo)外觀變化時片匹配的情況目標(biāo)外觀變化時片匹配的情況外觀緩慢變化時，丟失的片很少27hfut-ti dsp united labhfut-ti dsp united lab利用有效片的概念，我們?yōu)槊總€目標(biāo)建立兩種模板，利用有效片的概念，我們?yōu)?/p>

18、每個目標(biāo)建立兩種模板，臨時模板和參考模板。臨時模板和參考模板。 臨時模板臨時模板實(shí)時更新的模板，在無遮擋情況下跟實(shí)時更新的模板，在無遮擋情況下跟蹤，可以解決目標(biāo)外觀緩慢變化的問題。蹤，可以解決目標(biāo)外觀緩慢變化的問題。 參考模板參考模板能夠很好的表示目標(biāo)的模板，用于遮能夠很好的表示目標(biāo)的模板，用于遮擋情況下的跟蹤。擋情況下的跟蹤。28hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤多組實(shí)驗(yàn)結(jié)果： 1.可以有效的解決目標(biāo)遮擋可以有效的解決目標(biāo)遮擋 2.在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實(shí)時更新模板在目標(biāo)表現(xiàn)模型緩慢變化的情況下，實(shí)時更新模板 3.在背景

19、較為簡單的情況下實(shí)現(xiàn)目標(biāo)尺度的更新在背景較為簡單的情況下實(shí)現(xiàn)目標(biāo)尺度的更新29hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤遮擋下的跟蹤遮擋下的跟蹤30hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤目標(biāo)表現(xiàn)模型的變化時的跟蹤目標(biāo)表現(xiàn)模型的變化時的跟蹤31hfut-ti dsp united labhfut-ti dsp united lab目標(biāo)尺度發(fā)生變化目標(biāo)尺度發(fā)生變化32hfut-ti dsp united labhfut-ti dsp united lab運(yùn)動目標(biāo)分片跟蹤運(yùn)動目標(biāo)分片跟蹤報

20、告內(nèi)容1234馬爾可夫隨機(jī)場分割馬爾可夫隨機(jī)場分割全局運(yùn)動估計(jì)全局運(yùn)動估計(jì) 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建33hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤包括以下兩方面內(nèi)容：包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法34hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤概述車輛檢測與跟蹤概述智能交通系統(tǒng)：智能交通系統(tǒng)：( intelligent transport

21、systems, its)35hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤概述車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要因素：影響車輛檢測和跟蹤的主要因素： （1）車輛自身陰影；（2）車輛間相互遮擋或車輛被背景中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對（主要針對（1）、（）、（2）兩種情況開展研究）兩種情況開展研究 36hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤概述車輛檢測：改進(jìn)的碼本算法車輛檢測：改進(jìn)的碼本算法解

22、決車輛檢測中的陰影問題;車輛跟蹤車輛跟蹤: kalman預(yù)測的方法預(yù)測的方法解決車輛跟蹤中的遮擋問題;37hfut-ti dsp united labhfut-ti dsp united lab基于改進(jìn)碼本的車輛檢測方法基于改進(jìn)碼本的車輛檢測方法運(yùn)動檢測方法：運(yùn)動檢測方法： 幀間差分方法光流場方法背景減法 構(gòu)建較為理想的背景模型背景模型 38hfut-ti dsp united labhfut-ti dsp united lab常用常用背景建模和更新算法背景建模和更新算法 混合高斯模型混合高斯模型(mixture of gaussians,mog)： 能處理復(fù)雜、非靜止的多模態(tài)背景，但它不能適

23、應(yīng)快速的背景變化,對噪聲變化比較敏感；基于內(nèi)核密度估計(jì)基于內(nèi)核密度估計(jì)( kernel density estimation,kde)的非參數(shù)背景模型：的非參數(shù)背景模型： 需要大量內(nèi)存來存儲先前的數(shù)據(jù)，需要很高的計(jì)算開銷；基于基于bayes 決策的方法：決策的方法： 在場景比較復(fù)雜或前景與背景顏色比較接近時，提取的前景目標(biāo)很不完整39hfut-ti dsp united labhfut-ti dsp united lab基于基于碼本模型的運(yùn)動目標(biāo)檢測方法碼本模型的運(yùn)動目標(biāo)檢測方法 kim k ， proceedings of ieee international conference on i

24、mage processing ；2004 算法是利用量化和聚類技術(shù)來構(gòu)建背景模型；針對彩色監(jiān)控視頻,對背景中的每一個像素點(diǎn)進(jìn)行一段時間的采樣，采樣值聚類成碼本的形式，碼本就代表了背景模型。 運(yùn)動檢測時，對新輸入的像素值與其對應(yīng)碼本做比較,如果能找到與其匹配的碼字，則認(rèn)為該像素點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。40hfut-ti dsp united labhfut-ti dsp united lab基于基于碼本模型的運(yùn)動目標(biāo)檢測方法碼本模型的運(yùn)動目標(biāo)檢測方法 碼本方法： 計(jì)算聚類均值和樣本與它的距離,不涉及概率運(yùn)算,運(yùn)算速度較快； 碼本方法能處理高亮和陰影問題，而且訓(xùn)練時允許有前景運(yùn)動目標(biāo)。 該算法

25、具有較強(qiáng)的魯棒性，能實(shí)現(xiàn)對運(yùn)動目標(biāo)較好的檢測。41hfut-ti dsp united labhfut-ti dsp united lab基于基于碼本模型的運(yùn)動目標(biāo)檢測方法碼本模型的運(yùn)動目標(biāo)檢測方法 原碼本算法對原碼本算法對rgb空間的視頻序列，空間的視頻序列，已具有較好的檢測效果，有一些不足已具有較好的檢測效果，有一些不足之處：之處：視頻采集設(shè)備，如網(wǎng)絡(luò)攝像機(jī)、dv和圖像采集卡等采集的視頻序列大多是yuv格式的，如果要在rgb空間做運(yùn)動檢測，則需要進(jìn)行從yuv空間到rgb空間的轉(zhuǎn)換，而該轉(zhuǎn)換運(yùn)算為浮點(diǎn)型運(yùn)算，運(yùn)算量大；原算法在rgb空間進(jìn)行陰影處理時，需要做浮點(diǎn)型運(yùn)算，進(jìn)一步加大了運(yùn)算量。4

26、2hfut-ti dsp united labhfut-ti dsp united lab基于改進(jìn)碼本的車輛檢測實(shí)現(xiàn)基于改進(jìn)碼本的車輛檢測實(shí)現(xiàn) 對原算法進(jìn)行改進(jìn)，直接在yuv空間做運(yùn)動檢測及陰影處理，省去了大量的浮點(diǎn)型運(yùn)算，提高了算法的效率。檢測步驟：（1）初始碼本的建立 （2）前景運(yùn)動目標(biāo)檢測 （3） 陰影和高亮問題的解決 （4）目標(biāo)檢測過程的碼本實(shí)時更新 43hfut-ti dsp united labhfut-ti dsp united lab車輛跟蹤方法的實(shí)現(xiàn)車輛跟蹤方法的實(shí)現(xiàn) 基于基于kalman 濾波的車輛跟蹤濾波的車輛跟蹤通過運(yùn)動估計(jì)運(yùn)動估計(jì)和目標(biāo)匹配目標(biāo)匹配兩個模塊實(shí)現(xiàn)對車輛的

27、跟蹤。利用前一幀獲得的參數(shù)作為kalman濾波的狀態(tài)變量，當(dāng)前幀獲得的參數(shù)作為觀測值，通過kalman濾波推導(dǎo)獲得估計(jì)值。 以估計(jì)值為中心進(jìn)行目標(biāo)匹配，如果能匹配上則認(rèn)為是當(dāng)前運(yùn)動目標(biāo)，如果匹配不上則認(rèn)為出現(xiàn)了遮擋，使用kalman對其位置進(jìn)行預(yù)測。 44hfut-ti dsp united labhfut-ti dsp united lab算法步驟算法步驟 step1 背景模型訓(xùn)練，得到表示初始背景模型的碼本。step2 輸入像素點(diǎn)和碼本做比較判斷，得到可能的前景像素點(diǎn)，同時更新碼本。step3 去除可能前景像素點(diǎn)中陰影和高亮區(qū)域，得到真實(shí)的前景點(diǎn)，同時更新碼本。step4 去噪，連通區(qū)域分

28、析，根據(jù)檢測出的運(yùn)動目標(biāo)的長寬消除非車輛目標(biāo)，將運(yùn)動車輛分割出來。 step5 使用卡爾曼濾波器預(yù)測車輛在下一幀中的可能位置。step6 在預(yù)測區(qū)域周圍對各個車輛進(jìn)行匹配跟蹤。轉(zhuǎn)step2，進(jìn)行下一輪跟蹤。45hfut-ti dsp united labhfut-ti dsp united lab夜晚車輛檢測結(jié)果夜晚車輛檢測結(jié)果 46hfut-ti dsp united labhfut-ti dsp united lab普通路面檢測結(jié)果普通路面檢測結(jié)果 （a）序列某一幀）序列某一幀 （b）混合高斯模型檢測結(jié)果）混合高斯模型檢測結(jié)果 （c）bayes 決策檢測結(jié)果決策檢測結(jié)果 （d）本方法檢測結(jié)

29、果）本方法檢測結(jié)果47hfut-ti dsp united labhfut-ti dsp united lab高速公路檢測結(jié)果高速公路檢測結(jié)果 （a）序列某一幀）序列某一幀 （b）混合高斯模型檢測結(jié)果）混合高斯模型檢測結(jié)果 （c）bayes 決策檢測結(jié)果決策檢測結(jié)果 （d）本方法檢測結(jié)果）本方法檢測結(jié)果48hfut-ti dsp united labhfut-ti dsp united lab跟蹤結(jié)果跟蹤結(jié)果 （a）序列第）序列第168幀跟蹤結(jié)果（幀跟蹤結(jié)果（b）序列第）序列第182幀跟蹤結(jié)果幀跟蹤結(jié)果 （c）目標(biāo)質(zhì)心在）目標(biāo)質(zhì)心在x方向的坐標(biāo)方向的坐標(biāo) （d）目標(biāo)質(zhì)心在）目標(biāo)質(zhì)心在y方向的坐

30、標(biāo)方向的坐標(biāo) 49hfut-ti dsp united labhfut-ti dsp united lab跟蹤結(jié)果與粒子濾波方法比較跟蹤結(jié)果與粒子濾波方法比較 （a）粒子濾波第）粒子濾波第40幀幀 （b）粒子濾波第）粒子濾波第60幀幀 （c）粒子濾波第）粒子濾波第88幀幀 （d）粒子濾波第）粒子濾波第100幀幀50hfut-ti dsp united labhfut-ti dsp united lab跟蹤結(jié)果與經(jīng)典跟蹤結(jié)果與經(jīng)典camshift方法比較方法比較 （a）camshift第第40幀（幀（b）camshift第第60幀幀 （c）camshift第第88幀幀 （d）camshift第第

31、100幀幀 51hfut-ti dsp united labhfut-ti dsp united lab跟蹤結(jié)果比較跟蹤結(jié)果比較 （a）本文方法第）本文方法第40幀幀 （b）本文方法第）本文方法第60幀幀 （c）本文方法第）本文方法第88幀幀 （d）本文方法第）本文方法第100幀幀 52hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤包括以下兩方面內(nèi)容：包括以下兩方面內(nèi)容：基于碼本更新的檢測與跟蹤方法基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法53hfut-ti dsp united labhfut-

32、ti dsp united lab背景 傳統(tǒng)視頻檢測車流量統(tǒng)計(jì)主要采用車輛檢測和跟蹤技傳統(tǒng)視頻檢測車流量統(tǒng)計(jì)主要采用車輛檢測和跟蹤技術(shù)相結(jié)合的方法，算法復(fù)雜且容易受到外界干擾影響，術(shù)相結(jié)合的方法，算法復(fù)雜且容易受到外界干擾影響， 本文建立若干車輛遮擋模型，利用分層輪廓匹配法將本文建立若干車輛遮擋模型，利用分層輪廓匹配法將運(yùn)動目標(biāo)與車輛遮擋模型進(jìn)行輪廓匹配識別出遮擋車輛。運(yùn)動目標(biāo)與車輛遮擋模型進(jìn)行輪廓匹配識別出遮擋車輛。為了提取運(yùn)動目標(biāo)完整外部輪廓，提出一種基于連通域的為了提取運(yùn)動目標(biāo)完整外部輪廓，提出一種基于連通域的兩輪掃描法來標(biāo)記各個運(yùn)動車輛，并利用兩輪掃描法來標(biāo)記各個運(yùn)動車輛，并利用yuv

33、彩色空間對彩色空間對陰影進(jìn)行檢測和抑制，提高車流量統(tǒng)計(jì)精度。陰影進(jìn)行檢測和抑制，提高車流量統(tǒng)計(jì)精度。 54hfut-ti dsp united labhfut-ti dsp united lab 一、基于連通域的兩輪掃描法 通過背景減法得到運(yùn)動區(qū)域后，各個運(yùn)動目通過背景減法得到運(yùn)動區(qū)域后，各個運(yùn)動目標(biāo)可以認(rèn)為是一個獨(dú)立的連通域，本文采用基于連標(biāo)可以認(rèn)為是一個獨(dú)立的連通域，本文采用基于連通域的兩輪掃描法標(biāo)記這些連通域，從而實(shí)現(xiàn)目標(biāo)通域的兩輪掃描法標(biāo)記這些連通域，從而實(shí)現(xiàn)目標(biāo)分割。分割。 55hfut-ti dsp united labhfut-ti dsp united lab 基于連通域的兩輪

34、掃描法一、第一輪掃描一、第一輪掃描 初步標(biāo)記各個連通域。針對背景減法所得到的二值化圖，初步標(biāo)記各個連通域。針對背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點(diǎn)，判斷當(dāng)前按照從上向下，從左至右的順序掃描各像素點(diǎn)，判斷當(dāng)前掃描點(diǎn)像素值是否為掃描點(diǎn)像素值是否為255,如果像素值為如果像素值為255，說明該點(diǎn)是，說明該點(diǎn)是運(yùn)動像素點(diǎn)，接著判斷該點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記以決運(yùn)動像素點(diǎn)，接著判斷該點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記以決定當(dāng)前像素點(diǎn)標(biāo)記值定當(dāng)前像素點(diǎn)標(biāo)記值 ，當(dāng)遇到第一個已被標(biāo)記的鄰近像素，當(dāng)遇到第一個已被標(biāo)記的鄰近像素點(diǎn)，就將該像素點(diǎn)的標(biāo)記值作為當(dāng)前掃描像素點(diǎn)的標(biāo)記值，點(diǎn)，就將該像

35、素點(diǎn)的標(biāo)記值作為當(dāng)前掃描像素點(diǎn)的標(biāo)記值，若鄰近像素點(diǎn)都未標(biāo)記，說明該像素點(diǎn)可能屬于一個新的若鄰近像素點(diǎn)都未標(biāo)記，說明該像素點(diǎn)可能屬于一個新的目標(biāo)塊，賦予該像素點(diǎn)新的標(biāo)記值。目標(biāo)塊，賦予該像素點(diǎn)新的標(biāo)記值。 56hfut-ti dsp united labhfut-ti dsp united lab基于連通域的兩輪掃描法二、第二輪掃描二、第二輪掃描 第一輪掃描后可能存在同一連通域的像素點(diǎn)被標(biāo)記成第一輪掃描后可能存在同一連通域的像素點(diǎn)被標(biāo)記成不同目標(biāo)的情況，第二輪掃描將同一連通域內(nèi)不同標(biāo)記值不同目標(biāo)的情況，第二輪掃描將同一連通域內(nèi)不同標(biāo)記值的目標(biāo)合并為一個目標(biāo)。判斷每個像素點(diǎn)標(biāo)記值是否為的目標(biāo)合并

36、為一個目標(biāo)。判斷每個像素點(diǎn)標(biāo)記值是否為0，如果為如果為0，說明當(dāng)前掃描點(diǎn)為背景像素點(diǎn)，則不予處理。反，說明當(dāng)前掃描點(diǎn)為背景像素點(diǎn)，則不予處理。反之進(jìn)一步查詢當(dāng)前掃描點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記之進(jìn)一步查詢當(dāng)前掃描點(diǎn)鄰近像素點(diǎn)是否已被標(biāo)記 ，按照，按照從上到下，從左至右的順序?qū)︵徑袼攸c(diǎn)進(jìn)行掃描，當(dāng)遇從上到下，從左至右的順序?qū)︵徑袼攸c(diǎn)進(jìn)行掃描，當(dāng)遇到第一個已被標(biāo)記且標(biāo)記值與當(dāng)前像素點(diǎn)標(biāo)記值不同的鄰到第一個已被標(biāo)記且標(biāo)記值與當(dāng)前像素點(diǎn)標(biāo)記值不同的鄰近像素點(diǎn)時，將進(jìn)行合并。近像素點(diǎn)時，將進(jìn)行合并。 57hfut-ti dsp united labhfut-ti dsp united lab 基于連通域

37、的兩輪掃描法 (a) 一輪掃描后一輪掃描后 (b)二輪掃描后二輪掃描后2 222222 2 2 22222 22222 2 222 222 222 22 2 2 22 2 2 22 22222258hfut-ti dsp united labhfut-ti dsp united lab對比情況（a）原始圖像）原始圖像 （b）分割后）分割后 （c）逐行掃描法）逐行掃描法 （d）本文掃描方法）本文掃描方法 上圖是實(shí)際的目標(biāo)分割結(jié)果比較。圖（上圖是實(shí)際的目標(biāo)分割結(jié)果比較。圖（a）為原始圖像，圖（）為原始圖像，圖（b）為運(yùn)動檢測結(jié)果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運(yùn)動目為運(yùn)動檢測結(jié)果，存在外

38、部輪廓不連續(xù)的情況。逐行掃描法將該運(yùn)動目標(biāo)分割成好幾塊不同的區(qū)域，如圖（標(biāo)分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功）所示，而本文兩輪掃描法成功將該運(yùn)動目標(biāo)分割成一個獨(dú)立的區(qū)域，如圖（將該運(yùn)動目標(biāo)分割成一個獨(dú)立的區(qū)域，如圖（d）所示。）所示。59hfut-ti dsp united labhfut-ti dsp united lab二、通過輪廓匹配來解決遮擋問題 處于遮擋狀態(tài)的運(yùn)動目標(biāo)與未處于遮擋狀態(tài)的處于遮擋狀態(tài)的運(yùn)動目標(biāo)與未處于遮擋狀態(tài)的運(yùn)動目標(biāo)分割得到的輪廓有很大的差異，本文分析運(yùn)動目標(biāo)分割得到的輪廓有很大的差異，本文分析目標(biāo)的外部輪廓來判斷該運(yùn)動目標(biāo)是否處于遮擋狀目標(biāo)

39、的外部輪廓來判斷該運(yùn)動目標(biāo)是否處于遮擋狀態(tài)。先建立若干車輛遮擋模型，代表一些常見的車態(tài)。先建立若干車輛遮擋模型，代表一些常見的車輛遮擋情況，再提取運(yùn)動目標(biāo)的輪廓分別與各個車輛遮擋情況，再提取運(yùn)動目標(biāo)的輪廓分別與各個車輛遮擋模型的外部輪廓進(jìn)行匹配，根據(jù)匹配值判斷輛遮擋模型的外部輪廓進(jìn)行匹配，根據(jù)匹配值判斷該運(yùn)動目標(biāo)是否處于遮擋狀態(tài)。該運(yùn)動目標(biāo)是否處于遮擋狀態(tài)。 60hfut-ti dsp united labhfut-ti dsp united lab遮擋模型 下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛遮擋情況。遮擋情況。 m1 m261hf

40、ut-ti dsp united labhfut-ti dsp united lab分層輪廓匹配方法 本文采用一種分層輪本文采用一種分層輪廓匹配方法來比較運(yùn)動目廓匹配方法來比較運(yùn)動目標(biāo)與車輛遮擋模型的外部標(biāo)與車輛遮擋模型的外部輪廓，該方法在匹配過程輪廓，該方法在匹配過程中利用輪廓的整體和局部中利用輪廓的整體和局部信息進(jìn)行計(jì)算。信息進(jìn)行計(jì)算。 首先提取首先提取運(yùn)動目標(biāo)輪廓，并進(jìn)行采運(yùn)動目標(biāo)輪廓，并進(jìn)行采樣并以二叉樹形式存儲樣并以二叉樹形式存儲 ，如右圖。如右圖。62hfut-ti dsp united labhfut-ti dsp united lab分層輪廓匹配方法我們主要依靠該二叉樹的獨(dú)特分

41、層結(jié)構(gòu)逐層進(jìn)行匹我們主要依靠該二叉樹的獨(dú)特分層結(jié)構(gòu)逐層進(jìn)行匹配比較，最終計(jì)算出匹配值。具體的匹配計(jì)算可以配比較，最終計(jì)算出匹配值。具體的匹配計(jì)算可以利用下面這個遞歸等式來表示：利用下面這個遞歸等式來表示：1122( , )min( (,)(,)jbba ba ba b11( (|,), (|,)injmdif l aa al bb b 63hfut-ti dsp united labhfut-ti dsp united lab試驗(yàn)結(jié)果 （a）遮擋模型）遮擋模型 （b）原始遮擋圖像）原始遮擋圖像 （c）分割處理后）分割處理后 （d）遮擋模型與運(yùn)動目標(biāo)匹配）遮擋模型與運(yùn)動目標(biāo)匹配64hfut-ti

42、 dsp united labhfut-ti dsp united lab試驗(yàn)結(jié)果 （a） （b） （c） （d） （e） （f） （g） 表表1 上圖各個車輛與車輛遮擋模型輪廓匹配結(jié)果上圖各個車輛與車輛遮擋模型輪廓匹配結(jié)果65hfut-ti dsp united labhfut-ti dsp united lab三、主要算法步驟（1）首先根據(jù)背景減法，初步分割出運(yùn)動目標(biāo)，并對運(yùn)動）首先根據(jù)背景減法，初步分割出運(yùn)動目標(biāo)，并對運(yùn)動目標(biāo)進(jìn)行形態(tài)學(xué)處理，填補(bǔ)內(nèi)部空洞，去掉一些孤立的噪目標(biāo)進(jìn)行形態(tài)學(xué)處理，填補(bǔ)內(nèi)部空洞，去掉一些孤立的噪聲點(diǎn)。聲點(diǎn)。（2）基于）基于yuv彩色空間檢測并去除出運(yùn)動目標(biāo)的陰影

43、像彩色空間檢測并去除出運(yùn)動目標(biāo)的陰影像素。由于素。由于yuv的色差分量的色差分量u、v和和hsv空間的色度以及飽空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認(rèn)而可以認(rèn)為是飽和度的值，陰影像素與背景像素比較，亮度有很大為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)的變化，飽和度線性減少，色度一般不變，利用這一性質(zhì)檢測并去除出陰影像素。檢測并去除出陰影像素。 66hfut-ti dsp united labhfut-ti dsp united lab 主要算法步驟（3）通過本文提出

44、的兩輪掃描法，分割各個運(yùn)動目標(biāo)，采）通過本文提出的兩輪掃描法，分割各個運(yùn)動目標(biāo)，采集各個運(yùn)動目標(biāo)的大小，位置，矩特征，以及輪廓信息等，集各個運(yùn)動目標(biāo)的大小，位置，矩特征，以及輪廓信息等，并修補(bǔ)外部輪廓中不連續(xù)的部分，得到完整的目標(biāo)輪廓，并修補(bǔ)外部輪廓中不連續(xù)的部分，得到完整的目標(biāo)輪廓，供后續(xù)處理。供后續(xù)處理。（4）根據(jù)分層輪廓匹配方法，對每一個運(yùn)動目標(biāo)，提取輪）根據(jù)分層輪廓匹配方法，對每一個運(yùn)動目標(biāo)，提取輪廓信息與車輛遮擋模型輪廓匹配比較，如果該運(yùn)動目標(biāo)與廓信息與車輛遮擋模型輪廓匹配比較，如果該運(yùn)動目標(biāo)與某一遮擋模型的輪廓匹配值小于某一閾值，則認(rèn)為是匹配某一遮擋模型的輪廓匹配值小于某一閾值，則

45、認(rèn)為是匹配的，判定該目標(biāo)處于對應(yīng)遮擋狀態(tài)。的，判定該目標(biāo)處于對應(yīng)遮擋狀態(tài)。67hfut-ti dsp united labhfut-ti dsp united lab主要算法步驟（5）判斷車輛是否通過。本文采用類似開辟檢測帶的方法）判斷車輛是否通過。本文采用類似開辟檢測帶的方法進(jìn)行判斷，首先設(shè)置一條檢測線，橫貫馬路，分析位于檢進(jìn)行判斷，首先設(shè)置一條檢測線，橫貫馬路，分析位于檢測線上的各個運(yùn)動車輛，對于每一幀圖像中位于檢測線上測線上的各個運(yùn)動車輛，對于每一幀圖像中位于檢測線上的所有運(yùn)動車輛，我們都要查詢對應(yīng)位置在上一幀附近是的所有運(yùn)動車輛，我們都要查詢對應(yīng)位置在上一幀附近是否存在運(yùn)動車輛，如果存

46、在，則它們可能是同一輛車，進(jìn)否存在運(yùn)動車輛，如果存在，則它們可能是同一輛車，進(jìn)一步查詢這兩個運(yùn)動車輛的大小、方差與均值（矩特征）一步查詢這兩個運(yùn)動車輛的大小、方差與均值（矩特征）差值是否保持在一個范圍內(nèi)，若小于某一閾值，則認(rèn)為它差值是否保持在一個范圍內(nèi)，若小于某一閾值，則認(rèn)為它們是同一輛車，反之認(rèn)為當(dāng)前車輛是剛進(jìn)入檢測線的新車們是同一輛車，反之認(rèn)為當(dāng)前車輛是剛進(jìn)入檢測線的新車輛，進(jìn)一步查詢它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車輛輛，進(jìn)一步查詢它的遮擋狀態(tài)，根據(jù)遮擋情況，增加車輛計(jì)數(shù)值，達(dá)到統(tǒng)計(jì)出車流量的目的。計(jì)數(shù)值，達(dá)到統(tǒng)計(jì)出車流量的目的。68hfut-ti dsp united labhfut-

47、ti dsp united lab運(yùn)動目標(biāo)分片跟蹤運(yùn)動目標(biāo)分片跟蹤報告內(nèi)容1234馬爾可夫隨機(jī)場分割馬爾可夫隨機(jī)場分割全局運(yùn)動估計(jì)全局運(yùn)動估計(jì) 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建69hfut-ti dsp united labhfut-ti dsp united lab超分辨率重建的概念 超分辨率重建(super-resolution reconstruction)是指：從單幀或一序列低分辨率圖像(lr)復(fù)原出一幅或一序列高分辨率圖像(hr)， hr圖像有著更高的細(xì)節(jié)信息和更好的主觀質(zhì)量。lr序列hr圖像70hfut-ti dsp united labhfut-ti

48、 dsp united lab 圖像超分辨率重建的必要性 攝像機(jī)在空間上的分辨率能力是有限的。圖像分辨率受攝像機(jī)感光陣列的空間密度及其本身引入的模糊誤差、運(yùn)動模糊、下采樣、噪聲等因素，導(dǎo)致實(shí)際拍攝圖像的質(zhì)量較差、分辨率低。因此有必要提高一定的重建算法來提高圖像的分辨率，改善圖像質(zhì)量。物體鏡頭感光陣列 物體成像過程：71hfut-ti dsp united labhfut-ti dsp united lab圖像超分辨率重建的理論基礎(chǔ) 傅立葉光學(xué)理論中把成像系統(tǒng)看成是一個低通濾波器，在成像過程中會丟失高頻細(xì)節(jié)：對于一個線性空間不變成像系統(tǒng)，成像過程可表示為： g(x)表示像， f(x)表示物，h(

49、x)表示點(diǎn)擴(kuò)展函數(shù)。 在截止頻率之外h(u)=0 ，因此就把成像系統(tǒng)看成了一個傅立葉濾波器，對 f(u)的解進(jìn)行了限制。sr技術(shù)的目的就在于恢復(fù)截至頻率之外的高頻信息，以使圖像獲得更多的細(xì)節(jié)和信息。它的理論基礎(chǔ)是：解析延拓理論，信息疊加理論和非線性操作。y(x)= h(x)* f(x)y(u)= h(u) f(u)f(u) =y(u)/h(u)72hfut-ti dsp united labhfut-ti dsp united lab超分辨率重建的觀察模型 給出超分辨率問題的完整的數(shù)學(xué)描述：給定p幀lr觀測圖像 k=1,p；每幀大小為l1l2，它們是來自同一場景，也可以看成是來自hr圖像f的不

50、同位置，f的大小為h1h2。每個 是x經(jīng)任意的偏移、模糊以及下采樣而形成。 建立觀察模型如下：kykywarp 1m1warp kmkwarp pmppsf blur 1b1psf blur kbkpsf blur pbpsamplc 1dsamplc kdsamplc pd+n1nknpy1ykypxkkkkydb m xn73hfut-ti dsp united labhfut-ti dsp united lab配準(zhǔn) 在序列圖像超分辨率重建過程中，必須從欲重建圖像的前后幀圖像中提取相關(guān)的信息作為本幀圖像信息的補(bǔ)充，因此必須找到當(dāng)前幀圖像中各象素點(diǎn)在前后序列圖像中所處的位置。所以圖像超分辨率重建中一個關(guān)鍵性要素就是對序列圖像中每個象素點(diǎn)進(jìn)行圖像間精確的亞象素級運(yùn)動估計(jì)。為什么要進(jìn)行圖像配準(zhǔn)？1st frame2nd framenot correct