目標檢測目標跟蹤報告ppt教育課件

1、視頻監(jiān)控小組工作報告報告人：蔣老師報告人：蔣老師09.11.17hfut-ti dsp united labhfut-ti dsp united lab運動目標分片跟蹤運動目標分片跟蹤報告內容1234馬爾可夫隨機場分割馬爾可夫隨機場分割全局運動估計全局運動估計 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建2hfut-ti dsp united labhfut-ti dsp united lab動態(tài)場景的運動檢測動態(tài)場景的運動檢測視頻圖像中的目標檢測與跟蹤，是計算機視覺的基礎課題，視頻圖像中的目標檢測與跟蹤，是計算機視覺的基礎課題，同時具有廣泛的應用價值。同時具有廣泛的應用價值

2、。： 靜態(tài)場景靜態(tài)場景 目標檢測相對簡單，研究漸趨成熟目標檢測相對簡單，研究漸趨成熟 動態(tài)場景動態(tài)場景 相對復雜，成為當前研究領域的熱點相對復雜，成為當前研究領域的熱點靜態(tài)場景幀差的一個例子靜態(tài)場景幀差的一個例子3hfut-ti dsp united labhfut-ti dsp united lab4hfut-ti dsp united labhfut-ti dsp united lab解決思路要檢測動態(tài)場景中的運動目標，關鍵在于對場景的要檢測動態(tài)場景中的運動目標，關鍵在于對場景的運動進行估計，通過估計出的運動參數補償其運動，運動進行估計，通過估計出的運動參數補償其運動，最后使用幀差法得到運

3、動目標。最后使用幀差法得到運動目標。提取特征點特征點匹配最小二乘求運動參數提取特征點前一幀圖像后一幀圖像運動補償幀差法運動目標運動目標5hfut-ti dsp united labhfut-ti dsp united lab求解全局運動參數前一幀后一幀求特征點并匹配運動補償補償后的幀差圖像6hfut-ti dsp united labhfut-ti dsp united lab第50幀第80幀第5幀幀差法特征匹配的方法原序列7hfut-ti dsp united labhfut-ti dsp united lab基于圖像金字塔分解的全局運動估計基于圖像金字塔分解的全局運動估計 采用了采用了3層

4、金字塔進行多分辨率計算層金字塔進行多分辨率計算,而且在每層迭而且在每層迭代計算中代計算中,將基于塊的外點去除算法與特征點提取將基于塊的外點去除算法與特征點提取算法相結合算法相結合,這樣既加快了算法的速度這樣既加快了算法的速度,又提高了計又提高了計算結果的準確性。算結果的準確性。8hfut-ti dsp united labhfut-ti dsp united lab基本步驟如下基本步驟如下：用高斯圖像構造法構造圖像金字塔；用高斯圖像構造法構造圖像金字塔；對金字塔頂層圖像進行全局運動估計，求得運動參數；對金字塔頂層圖像進行全局運動估計，求得運動參數；將頂層金字塔求得的參數集隱射到金字塔的中間層，

5、并對將頂層金字塔求得的參數集隱射到金字塔的中間層，并對該層進行全局運動估計，求得相應的運動參數；該層進行全局運動估計，求得相應的運動參數；將金字塔中間層的參數集映射到金字塔的底層將金字塔中間層的參數集映射到金字塔的底層, 對該層進行對該層進行全局運動估計，求得該層的運動參數集全局運動估計，求得該層的運動參數集,即最終求得的參數即最終求得的參數集。集。利用求得的最終參數集，對圖像進行運動補償，將運動補利用求得的最終參數集，對圖像進行運動補償，將運動補償后的圖像與前一幀圖像進行差值。償后的圖像與前一幀圖像進行差值。9hfut-ti dsp united labhfut-ti dsp united

6、lab下圖給出了運動補償與直接幀差的結果比較下圖給出了運動補償與直接幀差的結果比較圖圖1coastguard序列圖像序列圖像圖圖2直接幀差和運動補償后的差值圖比較直接幀差和運動補償后的差值圖比較10hfut-ti dsp united labhfut-ti dsp united lab運動目標分片跟蹤運動目標分片跟蹤報告內容1234馬爾可夫隨機場分割馬爾可夫隨機場分割全局運動估計全局運動估計 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建11hfut-ti dsp united labhfut-ti dsp united lab目標分割的意義與現狀 運動目標的準確分割，對于獲取

7、目標的特征信運動目標的準確分割，對于獲取目標的特征信息非常重要，直接影響到進一步的運動目標跟蹤的息非常重要，直接影響到進一步的運動目標跟蹤的處理，傳統(tǒng)的運動目標分割的算法主要有背景差分，處理，傳統(tǒng)的運動目標分割的算法主要有背景差分，相鄰幀間差分，光流場的方法，這些方法都有各自相鄰幀間差分，光流場的方法，這些方法都有各自的缺點和不足，不能滿足準確分割運動目標的要求。的缺點和不足，不能滿足準確分割運動目標的要求。12hfut-ti dsp united labhfut-ti dsp united labohlander等提出了一種多維直方圖閾值化分割方等提出了一種多維直方圖閾值化分割方法，該方法直

8、方圖閾值法不需要先驗信息，計算量法，該方法直方圖閾值法不需要先驗信息，計算量較小較小,但缺點是單獨基于顏色分割得到的區(qū)域可能但缺點是單獨基于顏色分割得到的區(qū)域可能是不完整的，而且沒有利用局部空間信息，分割不是不完整的，而且沒有利用局部空間信息，分割不準確。準確。13hfut-ti dsp united labhfut-ti dsp united lab馬爾可夫隨機場分割馬爾可夫隨機場分割 目前基于馬爾可夫隨機場隨機場（目前基于馬爾可夫隨機場隨機場（mrf）運動）運動目標分割的方法在圖像分割領域影響越來越大，該目標分割的方法在圖像分割領域影響越來越大，該方法與傳統(tǒng)方法和閾值法相比，由于基于方法與

9、傳統(tǒng)方法和閾值法相比，由于基于mrf的的運動目標分割方法同時考慮了圖像顏色信息和空間運動目標分割方法同時考慮了圖像顏色信息和空間關聯(lián)信息，因此分割效果較好。關聯(lián)信息，因此分割效果較好。14hfut-ti dsp united labhfut-ti dsp united lab 另外，另外，mrf參數參數 選取的好壞會直接影響到分選取的好壞會直接影響到分割結果，割結果，smits等研究雷達圖像分割時表明，馬爾等研究雷達圖像分割時表明，馬爾可夫參數如果較大容易形成較長的邊緣，較小容易可夫參數如果較大容易形成較長的邊緣，較小容易形成微邊緣，而固定的馬爾可夫參數則使目標的輪形成微邊緣，而固定的馬爾可夫

10、參數則使目標的輪廓模糊，對分割出的目標準確判斷產生不利影響。廓模糊，對分割出的目標準確判斷產生不利影響。 15hfut-ti dsp united labhfut-ti dsp united lab因此，我們提出一種基于自適應權值的區(qū)域馬爾可因此，我們提出一種基于自適應權值的區(qū)域馬爾可夫隨機場的分割方法，結合分水嶺預分割算法，并夫隨機場的分割方法，結合分水嶺預分割算法，并利用形態(tài)濾波對分割結果進行修正，較好地解決了利用形態(tài)濾波對分割結果進行修正，較好地解決了分割不準確，目標信息丟失的問題。分割不準確，目標信息丟失的問題。16hfut-ti dsp united labhfut-ti dsp u

11、nited lab基于基于mrf的運動目標分割的運動目標分割 馬爾可夫隨機場是把一維因果馬爾可夫鏈擴展成二馬爾可夫隨機場是把一維因果馬爾可夫鏈擴展成二維的結果，維的結果，hammersley-clifford定理指出了定理指出了mrf和和gibbs分布之間的等價性，每個分布之間的等價性，每個mrf都可都可以用一個以用一個gibbs分布來描述，這樣就解決了分布來描述，這樣就解決了mrf概率難求的問題。概率難求的問題。 17hfut-ti dsp united labhfut-ti dsp united lab gibbs分布可定義成如下公式：分布可定義成如下公式：()1( )()u z wtwp

12、 zez wq圖像上每一點的概率分布圖像上每一點的概率分布( )( ( )|)cc cu zv z xx c18hfut-ti dsp united labhfut-ti dsp united lab對于一幀對于一幀cif圖像，存在一系列的像素點圖像，存在一系列的像素點 ，對于，對于這些點存在一標記場和事先觀察場這些點存在一標記場和事先觀察場 ，這樣馬爾可，這樣馬爾可夫隨機場的運動目標分割的問題可以歸結為在事先夫隨機場的運動目標分割的問題可以歸結為在事先觀察場和其它一系列約束條件下，確定運動目標區(qū)觀察場和其它一系列約束條件下，確定運動目標區(qū)域和背景區(qū)域的二值標記問題。域和背景區(qū)域的二值標記問題

13、。 19hfut-ti dsp united labhfut-ti dsp united labmrf運動目標分割結果一 （a）實驗序列）實驗序列1 （b）固定閾值二值化）固定閾值二值化 （c）高斯模型分割）高斯模型分割 （d）自適應值）自適應值 mrf分割分割 20hfut-ti dsp united labhfut-ti dsp united labmrf運動目標分割結果二 （a）實驗序列）實驗序列2 （b）固定閾值二值化）固定閾值二值化 （c）高斯模型分割）高斯模型分割 （d）自適應值）自適應值 mrf分割分割 21hfut-ti dsp united labhfut-ti dsp un

14、ited lab運動目標分片跟蹤運動目標分片跟蹤報告內容1234馬爾可夫隨機場分割馬爾可夫隨機場分割全局運動估計全局運動估計 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建22hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤為什么引入分片跟蹤： 在目標跟蹤領域，一個重要的難題就是目標的遮在目標跟蹤領域，一個重要的難題就是目標的遮擋問題，因為遮擋發(fā)生時目標可能部分或全部不可見。擋問題，因為遮擋發(fā)生時目標可能部分或全部不可見。 模擬人眼跟蹤目標的方式，發(fā)生遮擋時，人眼會關模擬人眼跟蹤目標的方式，發(fā)生遮擋時，人眼會關注目標的可見部分來繼

15、續(xù)跟蹤。受這一思想啟發(fā)，我們注目標的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目標分成多個小片，目標被遮擋時，利用將目標分成多個小片，目標被遮擋時，利用“可見片可見片”來跟蹤。來跟蹤。 23hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤主要思想： 將目標分片，建立目標分片表現模型（模板）。在目將目標分片，建立目標分片表現模型（模板）。在目標上一幀的位置周圍遍歷搜索，找到與目標模板相似度最標上一幀的位置周圍遍歷搜索，找到與目標模板相似度最高的候選目標作為跟蹤結果。高的候選目標作為跟蹤結果。 當前幀上一幀目標位置 候選目標位置搜索窗口目標分片24h

16、fut-ti dsp united labhfut-ti dsp united lab分片跟蹤 其中相似度的度量是通過各片的空間直方圖匹配來實現的。其中相似度的度量是通過各片的空間直方圖匹配來實現的。確定目標位置后，判斷目標中各片的有效性，我們僅利用確定目標位置后，判斷目標中各片的有效性，我們僅利用有效片進行下一幀的跟蹤。有效片進行下一幀的跟蹤。 被遮擋的區(qū)域片基本丟失25hfut-ti dsp united labhfut-ti dsp united lab模板更新模板更新 由上可見這種分片方法已經可以很好的解決遮擋由上可見這種分片方法已經可以很好的解決遮擋問題。問題。 但是在跟蹤過程中，目

17、標的外觀模型可能發(fā)生變但是在跟蹤過程中，目標的外觀模型可能發(fā)生變化（例如目標轉身、尺寸變化等等）。那么剛開始化（例如目標轉身、尺寸變化等等）。那么剛開始為目標建立的模板就不能很好的表示目標，這將影為目標建立的模板就不能很好的表示目標，這將影響跟蹤效果。響跟蹤效果。 26hfut-ti dsp united labhfut-ti dsp united lab目標外觀變化時片匹配的情況目標外觀變化時片匹配的情況外觀緩慢變化時，丟失的片很少27hfut-ti dsp united labhfut-ti dsp united lab利用有效片的概念，我們?yōu)槊總€目標建立兩種模板，利用有效片的概念，我們?yōu)?/p>

18、每個目標建立兩種模板，臨時模板和參考模板。臨時模板和參考模板。 臨時模板臨時模板實時更新的模板，在無遮擋情況下跟實時更新的模板，在無遮擋情況下跟蹤，可以解決目標外觀緩慢變化的問題。蹤，可以解決目標外觀緩慢變化的問題。 參考模板參考模板能夠很好的表示目標的模板，用于遮能夠很好的表示目標的模板，用于遮擋情況下的跟蹤。擋情況下的跟蹤。28hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤多組實驗結果： 1.可以有效的解決目標遮擋可以有效的解決目標遮擋 2.在目標表現模型緩慢變化的情況下，實時更新模板在目標表現模型緩慢變化的情況下，實時更新模板 3.在背景

19、較為簡單的情況下實現目標尺度的更新在背景較為簡單的情況下實現目標尺度的更新29hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤遮擋下的跟蹤遮擋下的跟蹤30hfut-ti dsp united labhfut-ti dsp united lab分片跟蹤目標表現模型的變化時的跟蹤目標表現模型的變化時的跟蹤31hfut-ti dsp united labhfut-ti dsp united lab目標尺度發(fā)生變化目標尺度發(fā)生變化32hfut-ti dsp united labhfut-ti dsp united lab運動目標分片跟蹤運動目標分片跟蹤報

20、告內容1234馬爾可夫隨機場分割馬爾可夫隨機場分割全局運動估計全局運動估計 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建33hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤包括以下兩方面內容：包括以下兩方面內容：基于碼本更新的檢測與跟蹤方法基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法34hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤概述車輛檢測與跟蹤概述智能交通系統(tǒng)：智能交通系統(tǒng)：( intelligent transport

21、systems, its)35hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤概述車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要因素：影響車輛檢測和跟蹤的主要因素： （1）車輛自身陰影；（2）車輛間相互遮擋或車輛被背景中物體遮擋；（3）同車型車輛之間具有較大的相似性；（4）光線突變；（5）夜晚和雨、雪等惡烈天氣等。主要針對（主要針對（1）、（）、（2）兩種情況開展研究）兩種情況開展研究 36hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤概述車輛檢測：改進的碼本算法車輛檢測：改進的碼本算法解

22、決車輛檢測中的陰影問題;車輛跟蹤車輛跟蹤: kalman預測的方法預測的方法解決車輛跟蹤中的遮擋問題;37hfut-ti dsp united labhfut-ti dsp united lab基于改進碼本的車輛檢測方法基于改進碼本的車輛檢測方法運動檢測方法：運動檢測方法： 幀間差分方法光流場方法背景減法 構建較為理想的背景模型背景模型 38hfut-ti dsp united labhfut-ti dsp united lab常用常用背景建模和更新算法背景建模和更新算法 混合高斯模型混合高斯模型(mixture of gaussians,mog)： 能處理復雜、非靜止的多模態(tài)背景，但它不能適

23、應快速的背景變化,對噪聲變化比較敏感；基于內核密度估計基于內核密度估計( kernel density estimation,kde)的非參數背景模型：的非參數背景模型： 需要大量內存來存儲先前的數據，需要很高的計算開銷；基于基于bayes 決策的方法：決策的方法： 在場景比較復雜或前景與背景顏色比較接近時，提取的前景目標很不完整39hfut-ti dsp united labhfut-ti dsp united lab基于基于碼本模型的運動目標檢測方法碼本模型的運動目標檢測方法 kim k ， proceedings of ieee international conference on i

24、mage processing ；2004 算法是利用量化和聚類技術來構建背景模型；針對彩色監(jiān)控視頻,對背景中的每一個像素點進行一段時間的采樣，采樣值聚類成碼本的形式，碼本就代表了背景模型。 運動檢測時，對新輸入的像素值與其對應碼本做比較,如果能找到與其匹配的碼字，則認為該像素點為背景點，否則為前景點。40hfut-ti dsp united labhfut-ti dsp united lab基于基于碼本模型的運動目標檢測方法碼本模型的運動目標檢測方法 碼本方法： 計算聚類均值和樣本與它的距離,不涉及概率運算,運算速度較快； 碼本方法能處理高亮和陰影問題，而且訓練時允許有前景運動目標。 該算法

25、具有較強的魯棒性，能實現對運動目標較好的檢測。41hfut-ti dsp united labhfut-ti dsp united lab基于基于碼本模型的運動目標檢測方法碼本模型的運動目標檢測方法 原碼本算法對原碼本算法對rgb空間的視頻序列，空間的視頻序列，已具有較好的檢測效果，有一些不足已具有較好的檢測效果，有一些不足之處：之處：視頻采集設備，如網絡攝像機、dv和圖像采集卡等采集的視頻序列大多是yuv格式的，如果要在rgb空間做運動檢測，則需要進行從yuv空間到rgb空間的轉換，而該轉換運算為浮點型運算，運算量大；原算法在rgb空間進行陰影處理時，需要做浮點型運算，進一步加大了運算量。4

26、2hfut-ti dsp united labhfut-ti dsp united lab基于改進碼本的車輛檢測實現基于改進碼本的車輛檢測實現 對原算法進行改進，直接在yuv空間做運動檢測及陰影處理，省去了大量的浮點型運算，提高了算法的效率。檢測步驟：（1）初始碼本的建立 （2）前景運動目標檢測 （3） 陰影和高亮問題的解決 （4）目標檢測過程的碼本實時更新 43hfut-ti dsp united labhfut-ti dsp united lab車輛跟蹤方法的實現車輛跟蹤方法的實現 基于基于kalman 濾波的車輛跟蹤濾波的車輛跟蹤通過運動估計運動估計和目標匹配目標匹配兩個模塊實現對車輛的

27、跟蹤。利用前一幀獲得的參數作為kalman濾波的狀態(tài)變量，當前幀獲得的參數作為觀測值，通過kalman濾波推導獲得估計值。 以估計值為中心進行目標匹配，如果能匹配上則認為是當前運動目標，如果匹配不上則認為出現了遮擋，使用kalman對其位置進行預測。 44hfut-ti dsp united labhfut-ti dsp united lab算法步驟算法步驟 step1 背景模型訓練，得到表示初始背景模型的碼本。step2 輸入像素點和碼本做比較判斷，得到可能的前景像素點，同時更新碼本。step3 去除可能前景像素點中陰影和高亮區(qū)域，得到真實的前景點，同時更新碼本。step4 去噪，連通區(qū)域分

28、析，根據檢測出的運動目標的長寬消除非車輛目標，將運動車輛分割出來。 step5 使用卡爾曼濾波器預測車輛在下一幀中的可能位置。step6 在預測區(qū)域周圍對各個車輛進行匹配跟蹤。轉step2，進行下一輪跟蹤。45hfut-ti dsp united labhfut-ti dsp united lab夜晚車輛檢測結果夜晚車輛檢測結果 46hfut-ti dsp united labhfut-ti dsp united lab普通路面檢測結果普通路面檢測結果 （a）序列某一幀）序列某一幀 （b）混合高斯模型檢測結果）混合高斯模型檢測結果 （c）bayes 決策檢測結果決策檢測結果 （d）本方法檢測結

29、果）本方法檢測結果47hfut-ti dsp united labhfut-ti dsp united lab高速公路檢測結果高速公路檢測結果 （a）序列某一幀）序列某一幀 （b）混合高斯模型檢測結果）混合高斯模型檢測結果 （c）bayes 決策檢測結果決策檢測結果 （d）本方法檢測結果）本方法檢測結果48hfut-ti dsp united labhfut-ti dsp united lab跟蹤結果跟蹤結果 （a）序列第）序列第168幀跟蹤結果（幀跟蹤結果（b）序列第）序列第182幀跟蹤結果幀跟蹤結果 （c）目標質心在）目標質心在x方向的坐標方向的坐標 （d）目標質心在）目標質心在y方向的坐

30、標方向的坐標 49hfut-ti dsp united labhfut-ti dsp united lab跟蹤結果與粒子濾波方法比較跟蹤結果與粒子濾波方法比較 （a）粒子濾波第）粒子濾波第40幀幀 （b）粒子濾波第）粒子濾波第60幀幀 （c）粒子濾波第）粒子濾波第88幀幀 （d）粒子濾波第）粒子濾波第100幀幀50hfut-ti dsp united labhfut-ti dsp united lab跟蹤結果與經典跟蹤結果與經典camshift方法比較方法比較 （a）camshift第第40幀（幀（b）camshift第第60幀幀 （c）camshift第第88幀幀 （d）camshift第第

31、100幀幀 51hfut-ti dsp united labhfut-ti dsp united lab跟蹤結果比較跟蹤結果比較 （a）本文方法第）本文方法第40幀幀 （b）本文方法第）本文方法第60幀幀 （c）本文方法第）本文方法第88幀幀 （d）本文方法第）本文方法第100幀幀 52hfut-ti dsp united labhfut-ti dsp united lab車輛檢測與跟蹤包括以下兩方面內容：包括以下兩方面內容：基于碼本更新的檢測與跟蹤方法基于碼本更新的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法基于輪廓匹配的檢測與跟蹤方法53hfut-ti dsp united labhfut-

32、ti dsp united lab背景 傳統(tǒng)視頻檢測車流量統(tǒng)計主要采用車輛檢測和跟蹤技傳統(tǒng)視頻檢測車流量統(tǒng)計主要采用車輛檢測和跟蹤技術相結合的方法，算法復雜且容易受到外界干擾影響，術相結合的方法，算法復雜且容易受到外界干擾影響， 本文建立若干車輛遮擋模型，利用分層輪廓匹配法將本文建立若干車輛遮擋模型，利用分層輪廓匹配法將運動目標與車輛遮擋模型進行輪廓匹配識別出遮擋車輛。運動目標與車輛遮擋模型進行輪廓匹配識別出遮擋車輛。為了提取運動目標完整外部輪廓，提出一種基于連通域的為了提取運動目標完整外部輪廓，提出一種基于連通域的兩輪掃描法來標記各個運動車輛，并利用兩輪掃描法來標記各個運動車輛，并利用yuv

33、彩色空間對彩色空間對陰影進行檢測和抑制，提高車流量統(tǒng)計精度。陰影進行檢測和抑制，提高車流量統(tǒng)計精度。 54hfut-ti dsp united labhfut-ti dsp united lab 一、基于連通域的兩輪掃描法 通過背景減法得到運動區(qū)域后，各個運動目通過背景減法得到運動區(qū)域后，各個運動目標可以認為是一個獨立的連通域，本文采用基于連標可以認為是一個獨立的連通域，本文采用基于連通域的兩輪掃描法標記這些連通域，從而實現目標通域的兩輪掃描法標記這些連通域，從而實現目標分割。分割。 55hfut-ti dsp united labhfut-ti dsp united lab 基于連通域的兩輪

34、掃描法一、第一輪掃描一、第一輪掃描 初步標記各個連通域。針對背景減法所得到的二值化圖，初步標記各個連通域。針對背景減法所得到的二值化圖，按照從上向下，從左至右的順序掃描各像素點，判斷當前按照從上向下，從左至右的順序掃描各像素點，判斷當前掃描點像素值是否為掃描點像素值是否為255,如果像素值為如果像素值為255，說明該點是，說明該點是運動像素點，接著判斷該點鄰近像素點是否已被標記以決運動像素點，接著判斷該點鄰近像素點是否已被標記以決定當前像素點標記值定當前像素點標記值 ，當遇到第一個已被標記的鄰近像素，當遇到第一個已被標記的鄰近像素點，就將該像素點的標記值作為當前掃描像素點的標記值，點，就將該像

35、素點的標記值作為當前掃描像素點的標記值，若鄰近像素點都未標記，說明該像素點可能屬于一個新的若鄰近像素點都未標記，說明該像素點可能屬于一個新的目標塊，賦予該像素點新的標記值。目標塊，賦予該像素點新的標記值。 56hfut-ti dsp united labhfut-ti dsp united lab基于連通域的兩輪掃描法二、第二輪掃描二、第二輪掃描 第一輪掃描后可能存在同一連通域的像素點被標記成第一輪掃描后可能存在同一連通域的像素點被標記成不同目標的情況，第二輪掃描將同一連通域內不同標記值不同目標的情況，第二輪掃描將同一連通域內不同標記值的目標合并為一個目標。判斷每個像素點標記值是否為的目標合并

36、為一個目標。判斷每個像素點標記值是否為0，如果為如果為0，說明當前掃描點為背景像素點，則不予處理。反，說明當前掃描點為背景像素點，則不予處理。反之進一步查詢當前掃描點鄰近像素點是否已被標記之進一步查詢當前掃描點鄰近像素點是否已被標記 ，按照，按照從上到下，從左至右的順序對鄰近像素點進行掃描，當遇從上到下，從左至右的順序對鄰近像素點進行掃描，當遇到第一個已被標記且標記值與當前像素點標記值不同的鄰到第一個已被標記且標記值與當前像素點標記值不同的鄰近像素點時，將進行合并。近像素點時，將進行合并。 57hfut-ti dsp united labhfut-ti dsp united lab 基于連通域

37、的兩輪掃描法 (a) 一輪掃描后一輪掃描后 (b)二輪掃描后二輪掃描后2 222222 2 2 22222 22222 2 222 222 222 22 2 2 22 2 2 22 22222258hfut-ti dsp united labhfut-ti dsp united lab對比情況（a）原始圖像）原始圖像 （b）分割后）分割后 （c）逐行掃描法）逐行掃描法 （d）本文掃描方法）本文掃描方法 上圖是實際的目標分割結果比較。圖（上圖是實際的目標分割結果比較。圖（a）為原始圖像，圖（）為原始圖像，圖（b）為運動檢測結果，存在外部輪廓不連續(xù)的情況。逐行掃描法將該運動目為運動檢測結果，存在外

38、部輪廓不連續(xù)的情況。逐行掃描法將該運動目標分割成好幾塊不同的區(qū)域，如圖（標分割成好幾塊不同的區(qū)域，如圖（c）所示，而本文兩輪掃描法成功）所示，而本文兩輪掃描法成功將該運動目標分割成一個獨立的區(qū)域，如圖（將該運動目標分割成一個獨立的區(qū)域，如圖（d）所示。）所示。59hfut-ti dsp united labhfut-ti dsp united lab二、通過輪廓匹配來解決遮擋問題 處于遮擋狀態(tài)的運動目標與未處于遮擋狀態(tài)的處于遮擋狀態(tài)的運動目標與未處于遮擋狀態(tài)的運動目標分割得到的輪廓有很大的差異，本文分析運動目標分割得到的輪廓有很大的差異，本文分析目標的外部輪廓來判斷該運動目標是否處于遮擋狀目標

39、的外部輪廓來判斷該運動目標是否處于遮擋狀態(tài)。先建立若干車輛遮擋模型，代表一些常見的車態(tài)。先建立若干車輛遮擋模型，代表一些常見的車輛遮擋情況，再提取運動目標的輪廓分別與各個車輛遮擋情況，再提取運動目標的輪廓分別與各個車輛遮擋模型的外部輪廓進行匹配，根據匹配值判斷輛遮擋模型的外部輪廓進行匹配，根據匹配值判斷該運動目標是否處于遮擋狀態(tài)。該運動目標是否處于遮擋狀態(tài)。 60hfut-ti dsp united labhfut-ti dsp united lab遮擋模型 下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛下圖所建立的車輛遮擋模型代表了典型的相鄰車道車輛遮擋情況。遮擋情況。 m1 m261hf

40、ut-ti dsp united labhfut-ti dsp united lab分層輪廓匹配方法 本文采用一種分層輪本文采用一種分層輪廓匹配方法來比較運動目廓匹配方法來比較運動目標與車輛遮擋模型的外部標與車輛遮擋模型的外部輪廓，該方法在匹配過程輪廓，該方法在匹配過程中利用輪廓的整體和局部中利用輪廓的整體和局部信息進行計算。信息進行計算。 首先提取首先提取運動目標輪廓，并進行采運動目標輪廓，并進行采樣并以二叉樹形式存儲樣并以二叉樹形式存儲 ，如右圖。如右圖。62hfut-ti dsp united labhfut-ti dsp united lab分層輪廓匹配方法我們主要依靠該二叉樹的獨特分

41、層結構逐層進行匹我們主要依靠該二叉樹的獨特分層結構逐層進行匹配比較，最終計算出匹配值。具體的匹配計算可以配比較，最終計算出匹配值。具體的匹配計算可以利用下面這個遞歸等式來表示：利用下面這個遞歸等式來表示：1122( , )min( (,)(,)jbba ba ba b11( (|,), (|,)injmdif l aa al bb b 63hfut-ti dsp united labhfut-ti dsp united lab試驗結果 （a）遮擋模型）遮擋模型 （b）原始遮擋圖像）原始遮擋圖像 （c）分割處理后）分割處理后 （d）遮擋模型與運動目標匹配）遮擋模型與運動目標匹配64hfut-ti

42、 dsp united labhfut-ti dsp united lab試驗結果 （a） （b） （c） （d） （e） （f） （g） 表表1 上圖各個車輛與車輛遮擋模型輪廓匹配結果上圖各個車輛與車輛遮擋模型輪廓匹配結果65hfut-ti dsp united labhfut-ti dsp united lab三、主要算法步驟（1）首先根據背景減法，初步分割出運動目標，并對運動）首先根據背景減法，初步分割出運動目標，并對運動目標進行形態(tài)學處理，填補內部空洞，去掉一些孤立的噪目標進行形態(tài)學處理，填補內部空洞，去掉一些孤立的噪聲點。聲點。（2）基于）基于yuv彩色空間檢測并去除出運動目標的陰影

43、像彩色空間檢測并去除出運動目標的陰影像素。由于素。由于yuv的色差分量的色差分量u、v和和hsv空間的色度以及飽空間的色度以及飽和度分量存在一定的聯(lián)系，色度可以近視表示為和度分量存在一定的聯(lián)系，色度可以近視表示為,而可以認而可以認為是飽和度的值，陰影像素與背景像素比較，亮度有很大為是飽和度的值，陰影像素與背景像素比較，亮度有很大的變化，飽和度線性減少，色度一般不變，利用這一性質的變化，飽和度線性減少，色度一般不變，利用這一性質檢測并去除出陰影像素。檢測并去除出陰影像素。 66hfut-ti dsp united labhfut-ti dsp united lab 主要算法步驟（3）通過本文提出

44、的兩輪掃描法，分割各個運動目標，采）通過本文提出的兩輪掃描法，分割各個運動目標，采集各個運動目標的大小，位置，矩特征，以及輪廓信息等，集各個運動目標的大小，位置，矩特征，以及輪廓信息等，并修補外部輪廓中不連續(xù)的部分，得到完整的目標輪廓，并修補外部輪廓中不連續(xù)的部分，得到完整的目標輪廓，供后續(xù)處理。供后續(xù)處理。（4）根據分層輪廓匹配方法，對每一個運動目標，提取輪）根據分層輪廓匹配方法，對每一個運動目標，提取輪廓信息與車輛遮擋模型輪廓匹配比較，如果該運動目標與廓信息與車輛遮擋模型輪廓匹配比較，如果該運動目標與某一遮擋模型的輪廓匹配值小于某一閾值，則認為是匹配某一遮擋模型的輪廓匹配值小于某一閾值，則

45、認為是匹配的，判定該目標處于對應遮擋狀態(tài)。的，判定該目標處于對應遮擋狀態(tài)。67hfut-ti dsp united labhfut-ti dsp united lab主要算法步驟（5）判斷車輛是否通過。本文采用類似開辟檢測帶的方法）判斷車輛是否通過。本文采用類似開辟檢測帶的方法進行判斷，首先設置一條檢測線，橫貫馬路，分析位于檢進行判斷，首先設置一條檢測線，橫貫馬路，分析位于檢測線上的各個運動車輛，對于每一幀圖像中位于檢測線上測線上的各個運動車輛，對于每一幀圖像中位于檢測線上的所有運動車輛，我們都要查詢對應位置在上一幀附近是的所有運動車輛，我們都要查詢對應位置在上一幀附近是否存在運動車輛，如果存

46、在，則它們可能是同一輛車，進否存在運動車輛，如果存在，則它們可能是同一輛車，進一步查詢這兩個運動車輛的大小、方差與均值（矩特征）一步查詢這兩個運動車輛的大小、方差與均值（矩特征）差值是否保持在一個范圍內，若小于某一閾值，則認為它差值是否保持在一個范圍內，若小于某一閾值，則認為它們是同一輛車，反之認為當前車輛是剛進入檢測線的新車們是同一輛車，反之認為當前車輛是剛進入檢測線的新車輛，進一步查詢它的遮擋狀態(tài)，根據遮擋情況，增加車輛輛，進一步查詢它的遮擋狀態(tài)，根據遮擋情況，增加車輛計數值，達到統(tǒng)計出車流量的目的。計數值，達到統(tǒng)計出車流量的目的。68hfut-ti dsp united labhfut-

47、ti dsp united lab運動目標分片跟蹤運動目標分片跟蹤報告內容1234馬爾可夫隨機場分割馬爾可夫隨機場分割全局運動估計全局運動估計 車輛檢測與跟蹤車輛檢測與跟蹤5圖像超分辨率重圖像超分辨率重建建69hfut-ti dsp united labhfut-ti dsp united lab超分辨率重建的概念 超分辨率重建(super-resolution reconstruction)是指：從單幀或一序列低分辨率圖像(lr)復原出一幅或一序列高分辨率圖像(hr)， hr圖像有著更高的細節(jié)信息和更好的主觀質量。lr序列hr圖像70hfut-ti dsp united labhfut-ti

48、 dsp united lab 圖像超分辨率重建的必要性 攝像機在空間上的分辨率能力是有限的。圖像分辨率受攝像機感光陣列的空間密度及其本身引入的模糊誤差、運動模糊、下采樣、噪聲等因素，導致實際拍攝圖像的質量較差、分辨率低。因此有必要提高一定的重建算法來提高圖像的分辨率，改善圖像質量。物體鏡頭感光陣列 物體成像過程：71hfut-ti dsp united labhfut-ti dsp united lab圖像超分辨率重建的理論基礎 傅立葉光學理論中把成像系統(tǒng)看成是一個低通濾波器，在成像過程中會丟失高頻細節(jié)：對于一個線性空間不變成像系統(tǒng)，成像過程可表示為： g(x)表示像， f(x)表示物，h(

49、x)表示點擴展函數。 在截止頻率之外h(u)=0 ，因此就把成像系統(tǒng)看成了一個傅立葉濾波器，對 f(u)的解進行了限制。sr技術的目的就在于恢復截至頻率之外的高頻信息，以使圖像獲得更多的細節(jié)和信息。它的理論基礎是：解析延拓理論，信息疊加理論和非線性操作。y(x)= h(x)* f(x)y(u)= h(u) f(u)f(u) =y(u)/h(u)72hfut-ti dsp united labhfut-ti dsp united lab超分辨率重建的觀察模型 給出超分辨率問題的完整的數學描述：給定p幀lr觀測圖像 k=1,p；每幀大小為l1l2，它們是來自同一場景，也可以看成是來自hr圖像f的不

50、同位置，f的大小為h1h2。每個 是x經任意的偏移、模糊以及下采樣而形成。 建立觀察模型如下：kykywarp 1m1warp kmkwarp pmppsf blur 1b1psf blur kbkpsf blur pbpsamplc 1dsamplc kdsamplc pd+n1nknpy1ykypxkkkkydb m xn73hfut-ti dsp united labhfut-ti dsp united lab配準 在序列圖像超分辨率重建過程中，必須從欲重建圖像的前后幀圖像中提取相關的信息作為本幀圖像信息的補充，因此必須找到當前幀圖像中各象素點在前后序列圖像中所處的位置。所以圖像超分辨率重建中一個關鍵性要素就是對序列圖像中每個象素點進行圖像間精確的亞象素級運動估計。為什么要進行圖像配準？1st frame2nd framenot correct