第五章光電信息處理技術(shù)成像目標探測與跟蹤技術(shù)

成像目的探測與跟蹤主要內(nèi)容成像探測與跟蹤系統(tǒng)概述運動目的檢測方法成像目的跟蹤方法目的跟蹤技術(shù)運用及開展主要內(nèi)容成像跟蹤系統(tǒng)概述運動目的檢測方法成像目的跟蹤方法目的跟蹤技術(shù)運用及開展一、成像探測與跟蹤系統(tǒng)概述準確制導(dǎo)、目的跟蹤“道爾〞野戰(zhàn)地空導(dǎo)彈武器系統(tǒng)，是世界上最先采用垂直發(fā)射方式的近程防空系統(tǒng)，同時也是一種全天候、全自動、三位一體(目的搜索、跟蹤和導(dǎo)彈發(fā)射安裝同時裝在一輛車上)的新一代高性能防空導(dǎo)彈發(fā)射車。它具有警戒、指揮與控制、導(dǎo)彈制導(dǎo)與發(fā)射等眾多功能，既可以獨立作戰(zhàn)，也可以和發(fā)射連的其它發(fā)射車協(xié)同作戰(zhàn)。它可在低空、超低空和近程區(qū)域內(nèi)攔截多種非隱身與隱身空襲目。X-59導(dǎo)引頭雷達導(dǎo)引頭自動導(dǎo)系統(tǒng)一、成像探測與跟蹤系統(tǒng)概述導(dǎo)引頭舵機發(fā)動機尾翼自動導(dǎo)系統(tǒng)一、成像探測與跟蹤系統(tǒng)概述一、成像探測與跟蹤系統(tǒng)概述跟蹤系統(tǒng)及跟蹤一、成像探測與跟蹤系統(tǒng)概述EF2000歐洲戰(zhàn)斗機配備“海盜〞機載紅外搜索跟蹤系統(tǒng)“海盜〞系統(tǒng)〔無源紅外機載跟蹤設(shè)備〕可以為空中攔截和空地作戰(zhàn)提供戰(zhàn)術(shù)優(yōu)勢。該設(shè)備安裝在機艙左側(cè)、風(fēng)擋玻璃的前方?！昂１I〞系統(tǒng)在空對空方式下運轉(zhuǎn)的時候，具備搜索和跟蹤系統(tǒng)〔IRST〕功能，提供無源目的探測和跟蹤才干；在空對地方式下，可以執(zhí)行多目的獲取和識別義務(wù)，同時還能提供輔助導(dǎo)航和著陸功能。一、成像探測與跟蹤系統(tǒng)概述紅外監(jiān)控系統(tǒng)一、成像探測與跟蹤系統(tǒng)概述什么是視頻(成像)目的跟蹤？視頻序列目的跟蹤是指對傳感器攝取到的圖像序列進展處置與分析，充分利用傳感器采集得到信息來對目的進展穩(wěn)定跟蹤的過程。一旦目的被確定，就可獲得目的的位置、速度、加速度等運動參數(shù)，進而獲得目的的特征參數(shù)。一、成像探測與跟蹤系統(tǒng)概述什么是視頻(成像)目的跟蹤？在軍事上，視頻序列目的跟蹤技術(shù)廣泛運用于準確制導(dǎo)、戰(zhàn)場機器人自主導(dǎo)航、無人機著降，靶場光電跟蹤等領(lǐng)域。在現(xiàn)代高技術(shù)條件下的戰(zhàn)爭中，由于各種偽裝、欺騙、對抗、反輻射技術(shù)大量運用，使得戰(zhàn)場環(huán)境日益復(fù)雜，尤其是在復(fù)雜環(huán)境下的目的跟蹤問題，成為該領(lǐng)域內(nèi)研討的熱點與難點；在民用上，該技術(shù)主要運用在智能視頻監(jiān)控、智能交通控制、醫(yī)療影像診斷等方面。一、成像探測與跟蹤系統(tǒng)概述成像跟蹤系統(tǒng)流程及框圖一、成像探測與跟蹤系統(tǒng)概述研討現(xiàn)狀〔國際〕1997年，美國國防高級研討工程署設(shè)立了以卡內(nèi)基梅隆大學(xué)牽頭，麻省理工學(xué)院等高校參與的視覺監(jiān)控艱苦工程VSAM，主要研討用于戰(zhàn)場及普通民用場景監(jiān)控的自動視頻了解技術(shù)。1999年，美國康奈爾大學(xué)計算機系設(shè)計了一套航拍視頻檢測與繼續(xù)跟蹤系統(tǒng)，該系統(tǒng)可以對多運動目的實現(xiàn)長時間的準確跟蹤，即使發(fā)生短時間內(nèi)目的被遮擋或目的時靜時動的情況。2005年，美國中央佛羅里達大學(xué)計算機視覺實驗室開發(fā)出了基于MATLAB的COCOA系統(tǒng)，用于無人機低空航拍視頻圖像的目的檢測與跟蹤處置。一、成像探測與跟蹤系統(tǒng)概述研討現(xiàn)狀〔國內(nèi)〕研討所：中科院光電技術(shù)研討所、長春光機所、上海光機所，安徽光機所、上海技術(shù)物理所、中科院自動化所，沈陽自動化所，中國工程物理研討院等。高校：國防科技技術(shù)大學(xué)、西北工業(yè)大學(xué)、哈爾濱工業(yè)大學(xué)、北京理工大學(xué)、北京航空航天大學(xué)、華中科技大學(xué)、空軍工程大學(xué)等。一、成像探測與跟蹤系統(tǒng)概述VSAM目的是開發(fā)自動視頻了解技術(shù)，并用于實現(xiàn)未來戰(zhàn)爭人力費用昂貴、非常危險或者人力無法實現(xiàn)等場所的監(jiān)控。該系統(tǒng)交融了數(shù)字攝像機、音頻采集頭、紅外和微波報警探測器、溫度探測器等多種類型的傳感器，可以對監(jiān)控地域進展全方位的晝夜監(jiān)控。運用了地理信息和三維建模技術(shù)，提供可視化圖形操作界面，當視頻分析處置器報告了運動對象、對象類別及位置之后，操作員不僅可以在地理信息界面上進展虛擬對象標志，而且還能在輔助窗口察看對象的真實活動情況。VSAM運用架設(shè)在高處多方位旋轉(zhuǎn)云臺上的單個攝像機，可以全方位地實施視頻監(jiān)控。系統(tǒng)首先有規(guī)律地初始化一系列背景圖像，然后利用基于特征區(qū)域的方法將實踐攝錄的視頻圖與相應(yīng)的背景圖作匹配，再利用背景減除法檢測運動目的。VSAM由于傳統(tǒng)的卡爾曼濾波方法只能處置單峰問題，該系統(tǒng)對傳統(tǒng)的卡爾曼濾波思想進展了擴展，并運用了帶目的模板更新的相關(guān)匹配算法實現(xiàn)了多目的的跟蹤。VSAM針對機載航空攝像機所拍攝的視頻圖像，薩爾諾夫戴維研討中心研發(fā)了檢測和跟蹤獨立地面車輛目的的視頻圖像了解技術(shù)。該技術(shù)的關(guān)鍵在于對航空攝像機的自運動補償，對經(jīng)過補償?shù)膱D像，利用三幀差減的方法檢測目的。美國康奈爾大學(xué)計算機系設(shè)計的航拍視頻圖像目的檢測與繼續(xù)跟蹤系統(tǒng)的特征在于，可以對多運動目的實現(xiàn)較長時間的準確跟蹤，即使在短時間內(nèi)目的被遮擋或移出視場以及目的時靜時動。

該系統(tǒng)在運動背景估計與補償中所涉及的主要技術(shù)是基于Kanade-Lucas-Tomasi算法的特征點跟蹤和基于M估計的魯棒性仿射參數(shù)估計。然后利用三幀差減的方法檢測目的運動，利用形狀學(xué)操作分割圖像并定位運動目的。對多目的進展標志之后，利用Hausdorff間隔匹配和模板更新的方法對目的進展長時間的跟蹤。4576102123152159253298COCOACOCOA系統(tǒng)是一種無人機航拍圖像目的跟蹤系統(tǒng)。該系統(tǒng)針對一段視頻圖像序列，經(jīng)過三大技術(shù)環(huán)節(jié)，即背景運動補償、運動檢測與目的跟蹤，來完成對目的的檢測與跟蹤。該系統(tǒng)基于MATLAB平臺，可以適用于不同的光傳感器〔可見光或紅外〕，最小的可跟蹤目的約為100象素大小。該系統(tǒng)對機載光電傳感器或紅外傳感器所攝視頻圖像進展魯棒性背景運動補償，并可生成全景圖，利于更高層次的運用。對圖像中多種運動目的〔如汽車、坦克、摩托車等〕進展可靠性檢測并進展耐久地跟蹤。COCOA背景運動補償基于特征+基于灰度梯度運動檢測累積幀差法+形狀學(xué)操作目的跟蹤LevelSet方法+MeanShift方法視頻序列COCOA系統(tǒng)的根本技術(shù)環(huán)節(jié)歸納起來，運動場景中目的檢測與跟蹤技術(shù)主要包括以下三個關(guān)鍵技術(shù)：背景補償與圖像預(yù)處置：消除背景運動、隨機噪聲對目的檢測與跟蹤的影響。圖像分割與目的檢測：利用圖像分割技術(shù)從圖像中檢測出能夠的運動目的。特征提取和目的跟蹤：對檢測出的目的提取可識別的特征，根據(jù)這些特征在后續(xù)的視頻圖像序列中對目的進展跟蹤。主要內(nèi)容成像探測與跟蹤系統(tǒng)概述運動目的檢測方法成像目的跟蹤方法目的跟蹤技術(shù)運用及開展1、靜止背景下的目的檢測幀差分法：二、運動目的檢測靜態(tài)場景目的檢測相對簡單，研討漸趨成熟動態(tài)場景相對復(fù)雜，成為當前研討領(lǐng)域的熱點靜態(tài)場景幀差的一個例子研討重點：運動目的的檢測二、運動目的檢測視頻圖像中的目的檢測與跟蹤，是計算機視覺的根底課題，同時具有廣泛的運用價值。視頻序列運動檢測對于動態(tài)場景，由于目的與攝像頭之間存在復(fù)雜的相對運動，運動檢測富有挑戰(zhàn)性。傳統(tǒng)的幀差方法曾經(jīng)不再適用，如何能對全局的運動進展估計和補償，成為問題的關(guān)鍵。第一幀幀差圖像處理思緒要檢測動態(tài)場景中的運動目的，關(guān)鍵在于對場景的運動進展估計，經(jīng)過估計出的運動參數(shù)補償其運動，最后運用幀差法得到運動目的。提取特征點特征點匹配最小二乘求運動參數(shù)提取特征點前一幀圖像后一幀圖像運動補償幀差法運動目的求解全局運動參數(shù)前一幀后一幀求特征點并匹配運動補償補償后的幀差圖像實驗結(jié)果與普通幀差法的比較第50幀第80幀第5幀幀差法特征匹配的方法原序列基于圖像金字塔分解的全局運動估計采用了3層金字塔進展多分辨率計算,而且在每層迭代計算中,將基于塊的外點去除算法與特征點提取算法相結(jié)合,這樣既加快了算法的速度,又提高了計算結(jié)果的準確性。根本步驟如下：用高斯圖像構(gòu)造法構(gòu)造圖像金字塔；對金字塔頂層圖像進展全局運動估計，求得運動參數(shù)；將頂層金字塔求得的參數(shù)集隱射到金字塔的中間層，并對該層進展全局運動估計，求得相應(yīng)的運動參數(shù)；將金字塔中間層的參數(shù)集映射到金字塔的底層,對該層進展全局運動估計，求得該層的運動參數(shù)集。利用求得的最終參數(shù)集，對圖像進展運動補償，將運動補償后的圖像與前一幀圖像進展差值。以下圖給出了運動補償與直接幀差的結(jié)果比較圖1Coastguard序列圖像圖2直接幀差和運動補償后的差值圖比較二、運動目的檢測塊匹配算法簡介無需計算每一個像素的運動，而只是計算由假設(shè)干像素組成的像素塊的運動，對于許多圖像分析和估計運用來說，塊運動分析是一種很好的近似。如數(shù)字視頻緊縮國際規(guī)范MPEG1-2采用了基于塊的運動分析和補償算法。二、運動目的檢測塊匹配算法的關(guān)鍵技術(shù)匹配準那么(MatchingCriteria)搜索戰(zhàn)略(SearchingStrategy匹配特征二、運動目的檢測匹配準那么目的幀鎖定幀二、運動目的檢測匹配準那么１.均方差(MeanSquareError,MSE)２.平均絕對差(Meanabsolutediscrepancy,MAD)二、運動目的檢測匹配準那么3.相互關(guān)(Cross-correlation,CC)二、運動目的檢測搜索戰(zhàn)略全視場搜索(FS)對數(shù)搜搜三步搜索菱形搜索(DiamondSearch，DS)其他改良搜索戰(zhàn)略Three-StepSearch(3SS)1111111112322222223333333搜索戰(zhàn)略2D對數(shù)法搜索111112223344444444搜索戰(zhàn)略二、運動目的檢測匹配特征圖像灰度、亮度、顏色等信息圖像特征(邊緣、輪廓、紋理、變換域特征等。主要內(nèi)容成像探測與跟蹤系統(tǒng)概述運動目的檢測方法成像目的跟蹤方法目的跟蹤技術(shù)運用及開展1、目的跟蹤方法分類三、成像目的跟蹤方法成像跟蹤系統(tǒng)經(jīng)過圖像的預(yù)處置、圖像的分割識別等一系列信息處置，最終實現(xiàn)對目的位置的實時準確丈量，即對目的或目的的部分實施穩(wěn)定跟蹤，實時輸出目的的脫靶量。矩心(質(zhì)心、形心)跟蹤；邊緣跟蹤；峰值跟蹤；相關(guān)跟蹤；濾波跟蹤。1．矩心跟蹤矩心也叫質(zhì)心或重心，是物體對某軸的靜力矩作用中心。假設(shè)把目的圖像看成是一塊質(zhì)量密度不均勻的薄板，以圖像上各像素點的灰度作為各點的質(zhì)量密度。這樣就可以借用矩心的定義式來計算目的圖像的矩心。xyabcdxcyc三、成像目的跟蹤方法TemplateSearchimage2．相關(guān)跟蹤由于目的運動、姿態(tài)發(fā)生改動、光照條件改動以及雜波背景的干擾，使得目的圖像的分割提取非常困難，計算目的的矩心或形心不準確。在某種情況下，可以采用以圖像匹配為根底的跟蹤方法，習(xí)慣上稱之為相關(guān)跟蹤。三、成像目的跟蹤方法分片跟蹤—部分遮擋目的跟蹤為什么引入分片跟蹤：在目的跟蹤領(lǐng)域，一個重要的難題就是目的的遮擋問題，由于遮擋發(fā)生時目的能夠部分或全部不可見。模擬人眼跟蹤目的的方式，發(fā)生遮擋時，人眼會關(guān)注目的的可見部分來繼續(xù)跟蹤。受這一思想啟發(fā)，我們將目的分成多個小片，目的被遮擋時，利用“可見片〞來跟蹤。分片跟蹤主要思想：將目的分片，建立目的分片表現(xiàn)模型〔模板〕。在目的上一幀的位置周圍遍歷搜索，找到與目的模板類似度最高的候選目的作為跟蹤結(jié)果。

當前幀上一幀目的位置候選目的位置搜索窗口目的分片分片跟蹤其中類似度的度量是經(jīng)過各片的空間直方圖匹配來實現(xiàn)的。確定目的位置后，判別目的中各片的有效性，我們僅利用有效片進展下一幀的跟蹤。被遮擋的區(qū)域片根本喪失模板更新由上可見這種分片方法曾經(jīng)可以很好的處理遮擋問題。但是在跟蹤過程中，目的的外觀模型能夠發(fā)生變化〔例如目的轉(zhuǎn)身、尺寸變化等等〕。那么剛開場為目的建立的模板就不能很好的表示目的，這將影響跟蹤效果。

目的外觀變化時片匹配的情況外觀緩慢變化時，喪失的片很少利用有效片的概念，我們?yōu)槊總€目的建立兩種模板，暫時模板和參考模板。暫時模板—實時更新的模板，在無遮擋情況下跟蹤，可以處理目的外觀緩慢變化的問題。參考模板—可以很好的表示目的的模板，用于遮擋情況下的跟蹤。分片跟蹤多組實驗結(jié)果：1.可以有效的處理目的遮擋 2.在目的表現(xiàn)模型緩慢變化的情況下，實時更新模板 3.在背景較為簡單的情況下實現(xiàn)目的尺度的更新分片跟蹤遮擋下的跟蹤分片跟蹤目的表現(xiàn)模型的變化時的跟蹤目的尺度發(fā)生變化運用舉例：車輛檢測與跟蹤智能交通系統(tǒng)：(IntelligentTransportSystems,ITS)車輛檢測與跟蹤概述影響車輛檢測和跟蹤的主要要素：〔1〕車輛本身陰影；〔2〕車輛間相互遮擋或車輛被背景中物體遮擋；〔3〕同車型車輛之間具有較大的類似性；〔4〕光線突變；〔5〕夜晚和雨、雪等惡烈天氣等。主要針對〔1〕、〔2〕兩種情況開展研討算法步驟Step1背景模型訓(xùn)練，得到表示初始背景模型的碼本。Step2輸入像素點和碼本做比較判別，得到能夠的前景像素點，同時更新碼本。Step3去除能夠前景像素點中陰影和高亮區(qū)域，得到真實的前景點，同時更新碼本。Step4去噪，連通區(qū)域分析，根據(jù)檢測出的運動目的的長寬消除非車輛目的，將運動車輛分割出來。Step5運用卡爾曼濾波器預(yù)測車輛在下一幀中的能夠位置。Step6在預(yù)測區(qū)域周圍對各個車輛進展匹配跟蹤。轉(zhuǎn)Step2，進展下一輪跟蹤。實驗結(jié)果