畢業(yè)論文設(shè)計(jì)智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用

畢業(yè)論文設(shè)計(jì)智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用畢業(yè)論文設(shè)計(jì)智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用/畢業(yè)論文設(shè)計(jì)智能視頻監(jiān)控中目標(biāo)跟蹤算法研究及應(yīng)用智能視頻監(jiān)控中目標(biāo)跟蹤算法研究與應(yīng)用學(xué)生：指導(dǎo)教師：淮南師范學(xué)院物理與電子信息系摘要：視頻監(jiān)控中目標(biāo)跟蹤算法的研究與應(yīng)用是實(shí)現(xiàn)視頻監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)之一。實(shí)際視頻監(jiān)控系統(tǒng)中的場(chǎng)景往往是錯(cuò)綜復(fù)雜、變化無常的，實(shí)現(xiàn)具有魯棒性、準(zhǔn)確性和實(shí)時(shí)性的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤是當(dāng)前智能視頻監(jiān)控技術(shù)努力的方向。本文研究了靜態(tài)場(chǎng)景下運(yùn)動(dòng)目標(biāo)跟蹤的相關(guān)算法，給出了運(yùn)動(dòng)目標(biāo)跟蹤的實(shí)現(xiàn)方案，由于LucasKanade光流跟蹤算法對(duì)目標(biāo)僅僅跟蹤其質(zhì)心，存在跟蹤目標(biāo)容易丟失且魯棒性不高的缺點(diǎn)；最小絕對(duì)差算法企圖搜索目標(biāo)模板、計(jì)算量大、實(shí)時(shí)性差；針對(duì)這兩種算法在目標(biāo)跟蹤方面的不足，對(duì)其進(jìn)行了相應(yīng)的改進(jìn)和完善。通過LucasKanade光流跟蹤算法預(yù)測(cè)目標(biāo)質(zhì)心位置、并設(shè)定目標(biāo)搜索區(qū)域減小最小絕對(duì)差算法計(jì)算量；將模板匹配定位之后更正的目標(biāo)質(zhì)心做為下一幀LucasKanade光流跟蹤算法跟蹤的特征點(diǎn)，可以減小單一光流法預(yù)測(cè)目標(biāo)質(zhì)心帶來的誤差，實(shí)現(xiàn)可靠的跟蹤。關(guān)鍵詞：運(yùn)動(dòng)目標(biāo)跟蹤；LucasKanade光流法；模板匹配Abstract：VideotargettrackingalgorithmresearchandApplicationisoneofthekeytechniqueswhichimplementsintelligentvideosurveillancesystem(IVSS).Therealvideosurveillancesystemappliedenvironmentisusuallycomplex,fullofvariety.Therealizationofmovingobjectdetectionandtrackingwithveracity,real-timeperformanceandrobustnessisthedirectionforcurrentIVSSstudy.Thispaperstudiedunderstaticscenetrackingalgorithmsmovementaregiven,andtheimplementationschemeofmovingobjecttrackingKanadelightflow,becauseLucastotargettrackingalgorithmonlytrackingitsexistingtrackthetargetcentroid,easytoloseandrobustnessisnothighweaknesses;Minimumabsolutedifferencealgorithmmapsearchtargettemplate,largeamountofcalculation,real-timepoor;Inviewofthesetwoalgorithmintargettrackingdeficiency,analysesthecorrespondingimprovementandperfection.ByLucasKanadelightflowforecasttargetcentroidpositiontrackingalgorithm,andsetatargetofreducingthesearchareacomputationminimumabsolutedifferencealgorithm;WillthetemplatematchingafterthetargetcentroidpositioncorrectionasthenextframeLucasKanadelightstreamingtrackingalgorithmtrackingfeaturepointscanreduceasinglelightflowmethodforforecastingtheerrorscausedbytargetcentroid,achievereliabletracking.Keywords：Sportstargettracking;LucasKanadelightflowmethod;Backgroundmodel1．引言1.1研究背景和意義隨著計(jì)算機(jī)技術(shù)、通信技術(shù)、圖像處理技術(shù)的不斷發(fā)展，目標(biāo)檢測(cè)與跟蹤技術(shù)在移動(dòng)機(jī)器人、戰(zhàn)車與坦克、飛機(jī)、導(dǎo)彈、艦船等軍事領(lǐng)域和航空航天、科學(xué)探測(cè)、天文觀測(cè)以與視頻監(jiān)控等民用領(lǐng)域具有越來越廣泛的應(yīng)用，也稱為自動(dòng)控制、信號(hào)與信息處理、計(jì)算機(jī)視覺和模式事變等領(lǐng)域的研究熱點(diǎn)。視頻監(jiān)控系統(tǒng)是公共安全技術(shù)防范系統(tǒng)的重要組成部分，它被廣泛應(yīng)用于國防、國家安全、治安等多個(gè)方面，主要涉與軍工、公安、交通、金融、電力、電信、供水、供氣等重要部門。由于視頻圖像監(jiān)控具有很強(qiáng)的直觀性、實(shí)時(shí)性和可逆性，使得它在解決經(jīng)營糾紛、預(yù)防和制止犯罪、處理治安和刑事案件、為公安偵察破案提供線索等方面有著其他防范設(shè)施難以發(fā)揮的作用。目前，基于視頻序列的目標(biāo)檢測(cè)與跟蹤技術(shù)在國內(nèi)外各個(gè)領(lǐng)域和方面均得到了十分廣泛的應(yīng)用。在軍事方面，軍用衛(wèi)星、戰(zhàn)區(qū)導(dǎo)彈防御、偵察機(jī)、導(dǎo)彈制導(dǎo)、火控系統(tǒng)與小型自尋的導(dǎo)引頭等軍事武器均廣泛應(yīng)用了圖像目標(biāo)的識(shí)別與跟蹤技術(shù)，大大提高武器系統(tǒng)的運(yùn)動(dòng)攻擊性能與作戰(zhàn)指標(biāo)。美國空軍“幼畜”導(dǎo)彈是最著名的一種電視制導(dǎo)導(dǎo)彈，由于目標(biāo)的識(shí)別與跟蹤技術(shù)的應(yīng)用，該導(dǎo)彈可做到自動(dòng)發(fā)現(xiàn)并鎖定目標(biāo)，并對(duì)目標(biāo)實(shí)施摧毀，大大提高了作戰(zhàn)效能；武裝直升機(jī)和現(xiàn)代坦克戰(zhàn)車隊(duì)也都借助到高性能光電穩(wěn)定瞄準(zhǔn)具等先進(jìn)光電設(shè)備，如高清晰度前視紅外傳感器、高分辨率和高倍率的CCD傳感器等光電設(shè)備，結(jié)合目標(biāo)的識(shí)別與跟蹤技術(shù)大大提高了其再戰(zhàn)場(chǎng)中的生存能力、提高有效打擊力、增加全天候作戰(zhàn)效能。在民用方面，圖像目標(biāo)的識(shí)別與跟蹤在科學(xué)探測(cè)、航空和航天對(duì)地觀察、攝影和地形測(cè)繪上同樣發(fā)揮著十分重要的作用。隨著科學(xué)的發(fā)展和生活水平的提高，一些高檔的手持、肩扛拍照和攝像系統(tǒng)也廣泛地應(yīng)用了人臉識(shí)別與跟蹤技術(shù)，提高了系統(tǒng)的成像質(zhì)量。運(yùn)動(dòng)目標(biāo)的識(shí)別與跟蹤在智能交通、身份識(shí)別等領(lǐng)域也得到了十分廣泛的應(yīng)用，創(chuàng)造了很好的社會(huì)價(jià)值。因此，目前世界各國政府和學(xué)者，密切關(guān)注新一代的監(jiān)控技術(shù)——智能視頻監(jiān)控技術(shù)。它同以往的監(jiān)控技術(shù)有著本質(zhì)的區(qū)別，其主要特征是采用計(jì)算機(jī)視覺的方法，在幾乎不需要人為干預(yù)的情況下，賦予計(jì)算機(jī)類似于人的理解動(dòng)態(tài)場(chǎng)景的視覺能力，通過對(duì)視頻序列中運(yùn)動(dòng)物體的檢測(cè)與跟蹤以與對(duì)運(yùn)動(dòng)行為與語義概念之間關(guān)系的表達(dá)與分析，形成對(duì)場(chǎng)景中運(yùn)動(dòng)物體行為與其相互關(guān)系的高層次語義上的解釋，使計(jì)算機(jī)知道什么時(shí)候，在什么場(chǎng)景中，是什么人在做什么，并用自然語言來描述所發(fā)生的一切。更形象地說，智能視頻監(jiān)控系統(tǒng)[1]能夠看，看被監(jiān)控場(chǎng)景中目標(biāo)物體的行為；能夠想，理解目標(biāo)物體的行為以為著什么；能夠說，把想的結(jié)果用自然語言的形式表達(dá)出來。因此只能視頻監(jiān)控系統(tǒng)具有看、思考和表達(dá)的能力。目前，智能視頻監(jiān)控系統(tǒng)取代了監(jiān)控任務(wù)中人的大部分工作，是新一代的具有高度智能的監(jiān)控技術(shù)[2]。1.2國內(nèi)外研究現(xiàn)狀國外對(duì)基于視頻的目標(biāo)檢測(cè)與跟蹤的理論研究與應(yīng)用研究起步較早，尤其在美國、英國等國家已經(jīng)開展了大量相關(guān)項(xiàng)目的研究，并取得了一定的成果。現(xiàn)舉例如下：1997年美國國防高級(jí)研究項(xiàng)目署(DefenseAdvancedResearchProjectsAgency)設(shè)立了以卡內(nèi)基梅隆大學(xué)(CarnegieMellonUniversity)為首、麻省理工學(xué)院(MassachusettsInstituteofTechnology)等高校參與的視覺監(jiān)控重大項(xiàng)目VSAM(VisualSurveillanceandMonitoring)[3]，VSAM的目標(biāo)是為未來城市和戰(zhàn)場(chǎng)監(jiān)控應(yīng)用開發(fā)的一種自動(dòng)視頻理解技術(shù)，用于實(shí)現(xiàn)未來戰(zhàn)爭(zhēng)中人力監(jiān)控費(fèi)用昂貴、非常危險(xiǎn)或者人力無法實(shí)現(xiàn)等場(chǎng)合下的監(jiān)控。美國的麻省理工學(xué)院(MassachusettsInstituteofTechnology)在智能視覺監(jiān)控方面也進(jìn)行了深入的研究，其開發(fā)的監(jiān)控系統(tǒng)[4]己成功實(shí)現(xiàn)了對(duì)行人和車輛的檢測(cè)與跟蹤。英國的雷丁大學(xué)(UniversityofReading)己開展了對(duì)車輛和行人的跟蹤與其交互作用識(shí)別的相關(guān)研究[5,6]。美國的馬里蘭大學(xué)(UniversityofMaryland)開發(fā)了W4(What，Where，When，Who)實(shí)時(shí)監(jiān)控系統(tǒng)[7,8,9]，該系統(tǒng)不僅能夠定位人和分割出人的身體部分，而且通過建立外觀模型來實(shí)現(xiàn)多人的跟蹤，可以檢測(cè)和跟蹤室外環(huán)境中的人，同時(shí)可以檢測(cè)人是否攜帶物體等簡(jiǎn)單行為，并對(duì)他們之間的簡(jiǎn)單交互進(jìn)行監(jiān)控。IBM與Microsoft等公司也正逐步將基于視覺的手勢(shì)識(shí)別接口應(yīng)用于商業(yè)領(lǐng)域中[6]；在我國，這方面的研究起步較晚。目前，在國內(nèi)的相關(guān)研究機(jī)構(gòu)中，中科院自動(dòng)化研究所下屬的模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室成立的視覺監(jiān)控研究小組處于該領(lǐng)域的領(lǐng)先地位。該實(shí)驗(yàn)室在交通場(chǎng)景的視覺監(jiān)控、人的運(yùn)動(dòng)視覺監(jiān)控和行為模式識(shí)別等方面作了深入的研究，并取得了一定的成果[10,11]。模式識(shí)別實(shí)驗(yàn)室己經(jīng)開始與英國雷丁大學(xué)就視覺監(jiān)控項(xiàng)目開展了合作研究，并得到了英國皇家協(xié)會(huì)的支持；與法國波爾多第三大學(xué)EGID研究所在交通視覺監(jiān)控等方面也展開了一系列的合作。除此之外，國內(nèi)還有一些高校，如上海交通大學(xué)航空航天信息與控制研究所，華中科技大學(xué)圖像識(shí)別與人工智能研究所,西安電子科技大學(xué)電子工程學(xué)院模式識(shí)別與智能控制研究所，桂林電子科技大學(xué)圖像所等研究機(jī)構(gòu)，都對(duì)該領(lǐng)域進(jìn)行了相關(guān)的研究。1.3運(yùn)動(dòng)目標(biāo)與運(yùn)動(dòng)目標(biāo)跟蹤的概述運(yùn)動(dòng)目標(biāo)是日常生活中常見的，如活動(dòng)的動(dòng)物、行駛的運(yùn)載工具等。在現(xiàn)實(shí)生活中，盡管人類的視覺既能看見運(yùn)動(dòng)的物體又能看見靜止的物體，但是在許多場(chǎng)合，比如氣象分析中的云圖、安全監(jiān)視中的人或動(dòng)物、交通流量的控制等，大量有意義的視覺信息都包含在這些運(yùn)動(dòng)之中，人們往往只對(duì)運(yùn)動(dòng)的物體或目標(biāo)感興趣。因此，研究運(yùn)動(dòng)目標(biāo)的檢測(cè)問題，有著很大的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。目標(biāo)跟蹤一直是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)經(jīng)典問題，其基本任務(wù)可簡(jiǎn)述為在視頻序列中對(duì)感興趣的目標(biāo)或?qū)ο蟮奈恢?、速度等運(yùn)動(dòng)特征進(jìn)行有效的確定或估計(jì)。目前，目標(biāo)跟蹤技術(shù)已經(jīng)被廣泛應(yīng)用于眾多生活和科研領(lǐng)域中。例如在視頻編碼、智能交通、視頻監(jiān)控等應(yīng)用中，目標(biāo)跟蹤技術(shù)都起著非常重要的作用。對(duì)于目標(biāo)跟蹤算法，目前沒有較為明確的分類方法。目前，幾種性能較好、較受關(guān)注的跟蹤算法如下：1）粒子濾波（ParticleFilter）即蒙特卡羅（SequentialMonteCarlo）濾波在計(jì)算機(jī)視覺領(lǐng)域中的應(yīng)用研究，它正在受到國內(nèi)外的廣泛關(guān)注[12]。它的基本思想是用隨機(jī)樣本來描述概率分布，這些樣本稱為粒子，在測(cè)量的基礎(chǔ)上通過調(diào)節(jié)各粒子權(quán)值的大小和樣本的位置來近似實(shí)際概率分布，以樣本的均值作為系統(tǒng)的估計(jì)值。這種方法可以用于任意非線性、非高斯隨機(jī)系統(tǒng)的狀態(tài)估計(jì)，克服了卡爾曼濾波的缺點(diǎn)。然而由于該算法的復(fù)雜性，降低了目標(biāo)跟蹤的實(shí)時(shí)性。諸如粒子退化、實(shí)時(shí)性差等問題需要進(jìn)一步解決[13,14]。2)卡爾曼濾波[15,16]在運(yùn)動(dòng)估計(jì)和預(yù)測(cè)中的運(yùn)用較為常見。可將已知的目標(biāo)運(yùn)動(dòng)規(guī)律作為跟蹤算法建模的前提條件，對(duì)目標(biāo)整體運(yùn)動(dòng)可用仿射模型來描述。如果已知目標(biāo)的運(yùn)動(dòng)軌跡是光滑的，或者目標(biāo)的運(yùn)動(dòng)速度或加速度是恒定的，而且假設(shè)圖像噪聲是高斯噪聲，卡爾曼濾波器便可以用來預(yù)測(cè)和估計(jì)目標(biāo)下一幀的位置，完成對(duì)目標(biāo)的跟蹤。如果目標(biāo)的運(yùn)動(dòng)不可視為線性的，可以使用擴(kuò)展卡爾曼濾波器跟蹤目標(biāo)。3）基于邊緣輪廓的跟蹤。邊緣是指周圍像素有灰度階躍變化的像素集合或強(qiáng)度值突然變化的像素點(diǎn)集合，邊緣對(duì)運(yùn)動(dòng)很敏感，對(duì)灰度的變化不敏感。Blake等用自適應(yīng)邊緣模型，而Curwen等用Snake算法[17]，都實(shí)現(xiàn)了對(duì)非剛性物體運(yùn)動(dòng)輪廓的跟蹤。4)光流（opticalflow）的概念是Gibson于1950年首先提出的。所謂光流是指圖像中模式運(yùn)動(dòng)的速度。1981年，Horn等人在相鄰圖象間的時(shí)間間隔很小，并且圖象灰度變化也很小的前提下，推導(dǎo)出灰度圖象光流場(chǎng)計(jì)算的基本等式，這是經(jīng)典光流方法[18,19]。光流法用于目標(biāo)跟蹤常用的算法有：檢測(cè)和跟蹤特征點(diǎn)[20]、跟蹤好的特征點(diǎn)[21]、金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法[22]。在這三種光流跟蹤方法中，跟蹤性能最優(yōu)的是金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法，本文就是采用此方法進(jìn)行目標(biāo)跟蹤，并對(duì)其進(jìn)行改進(jìn)。5）基于模板的目標(biāo)建模方法直接采用目標(biāo)圖像的像素集合對(duì)目標(biāo)進(jìn)行描述，已被廣泛用于基于模板匹配的跟蹤算法中[23-24]。該算法實(shí)質(zhì)是在圖像中找到一塊區(qū)域，使這塊區(qū)域與模板之間對(duì)應(yīng)像素灰度差的絕對(duì)值之和為最小。算法需在整幅圖像上搜索出與原模板最匹配的區(qū)域，因此耗時(shí)較大，本文將其和光流法結(jié)合起來用于目標(biāo)跟蹤，提高算法實(shí)時(shí)性和魯棒性。6）MeanShift算法是一種概率密度梯度函數(shù)的估計(jì)方法。1995年YizongCheng發(fā)表的一篇重要文獻(xiàn)[25]將其引入計(jì)算機(jī)視覺領(lǐng)域后，漸漸引起人們的興趣。國內(nèi)最近幾年才展開該算法研究，它在跟蹤領(lǐng)域中的應(yīng)用是目前研究的熱點(diǎn)。該算法采用核函數(shù)直方圖建模，對(duì)邊緣遮擋、目標(biāo)旋轉(zhuǎn)、變化以與背景運(yùn)動(dòng)都不敏感；運(yùn)算速度快，實(shí)時(shí)性好；但是，該算法也存在一定的缺點(diǎn)。比如：運(yùn)動(dòng)目標(biāo)的顏色相同或者背景中存在大片的與目標(biāo)顏色相同的區(qū)域，如果目標(biāo)產(chǎn)生重疊，則在目標(biāo)重新分開后將不能確定原來目標(biāo)的編號(hào)。1.4運(yùn)動(dòng)目標(biāo)跟蹤研究的難點(diǎn)目前，運(yùn)動(dòng)目標(biāo)跟蹤所遇到的主要問題是：1)應(yīng)用面單一，缺乏適用性很廣的算法。2)運(yùn)動(dòng)目標(biāo)陰影和運(yùn)動(dòng)目標(biāo)混淆，消除陰影。3)在跟蹤過程中出現(xiàn)運(yùn)動(dòng)目標(biāo)消失或受到遮擋。4)基于檢測(cè)和跟蹤算法的復(fù)雜性如何保證處理的實(shí)時(shí)性。5)目標(biāo)做復(fù)雜運(yùn)動(dòng)或形變時(shí)的跟蹤和分類問題。為了有效實(shí)現(xiàn)視頻序列中目標(biāo)跟蹤任務(wù)，本文重點(diǎn)研究了光流法和模板匹配跟蹤方法，金字塔圖像的LucasKanade光流法跟蹤目標(biāo)容易丟失，傳統(tǒng)的模板匹配跟蹤方法由于對(duì)圖像利用率高，其跟蹤比較準(zhǔn)確，但計(jì)算量大、實(shí)時(shí)性差；針對(duì)這兩種算法在目標(biāo)跟蹤方面的不足，對(duì)其進(jìn)行了相應(yīng)的改進(jìn)和完善。通過LucasKanade光流跟蹤算法預(yù)測(cè)目標(biāo)質(zhì)心位置、并設(shè)定目標(biāo)搜索區(qū)域減小最小絕對(duì)差算法計(jì)算量；將模板匹配定位之后更正的目標(biāo)質(zhì)心做為下一幀LucasKanade光流跟蹤算法跟蹤的特征點(diǎn)，可以減小單一光流法預(yù)測(cè)目標(biāo)質(zhì)心帶來的誤差，實(shí)現(xiàn)可靠的跟蹤。2．常用運(yùn)動(dòng)目標(biāo)跟蹤方法運(yùn)動(dòng)目標(biāo)檢測(cè)可以從圖象中得到運(yùn)動(dòng)目標(biāo)的位置、形狀等信息，但這些信息是孤立的，并沒有提供圖象序列之間的聯(lián)系，本章將對(duì)檢測(cè)出的目標(biāo)進(jìn)行運(yùn)動(dòng)跟蹤，對(duì)這些數(shù)據(jù)進(jìn)一步處理，獲得跟蹤目標(biāo)的標(biāo)號(hào)和運(yùn)動(dòng)軌跡。目標(biāo)跟蹤的作用非常重要，因?yàn)樗倾暯舆\(yùn)動(dòng)目標(biāo)檢測(cè)和目標(biāo)行為分析與理解的一個(gè)重要環(huán)節(jié)。在實(shí)際應(yīng)用中，目標(biāo)跟蹤不僅可以提供目標(biāo)的運(yùn)動(dòng)軌跡、運(yùn)動(dòng)參數(shù)和準(zhǔn)確的位置，也為進(jìn)行場(chǎng)景中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)分析和場(chǎng)景分析提供了可靠的數(shù)據(jù)來源，同時(shí)運(yùn)動(dòng)目標(biāo)的跟蹤信息也反過來為運(yùn)動(dòng)目標(biāo)的正確檢測(cè)以與運(yùn)動(dòng)目標(biāo)的識(shí)別提供了幫助，從而更有利于運(yùn)動(dòng)目標(biāo)的跟蹤。2.1常用運(yùn)動(dòng)目標(biāo)跟蹤算法2.1.1金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法光流的概念是Gibson于1950年首先提出的。所謂光流是指圖像中模式運(yùn)動(dòng)的速度。1981年，Horn等人在相鄰圖象間的時(shí)間間隔很小，并且圖象灰度變化也很小的前提下，推導(dǎo)出灰度圖象光流場(chǎng)計(jì)算的基木等式，這是經(jīng)典光流方法[18,19]。光流法用于目標(biāo)跟蹤常用的算法有：檢測(cè)和跟蹤特征點(diǎn)[20]、跟蹤好的特征點(diǎn)[21]、金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法[22]。在這三種光流跟蹤方法中，跟蹤性能最優(yōu)的是金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法，由于該算法僅跟蹤少量的特征點(diǎn)、迭代法收斂速度也很快而且算法的計(jì)算量不大，已被廣泛的應(yīng)用于運(yùn)動(dòng)車輛跟蹤和人臉特征點(diǎn)跟蹤[26,27]；下面介紹之。1、問題提出我們用I和J來代表兩個(gè)灰度圖像。那么I(x)=I(x,y)和J(x)=J(x,y)代表了這兩個(gè)灰度圖像在點(diǎn)的灰度值，x和y是圖像的點(diǎn)X坐標(biāo)。這里，我們稱圖像I為第一幅圖像，稱J為第二幅圖像。從實(shí)際的圖像來說，I和J是兩個(gè)離散的函數(shù)，并且左上角的像素點(diǎn)坐標(biāo)是。用和表示圖像的寬度和高度。那么右下端的圖像的坐標(biāo)是?？紤]第一幅圖像上的一點(diǎn)，跟蹤的目的就是在第二幅圖像上找到與之相對(duì)應(yīng)的一點(diǎn),是在點(diǎn)X處圖像的速度，即點(diǎn)X處圖像的光流。令和表示兩個(gè)整數(shù)，我們假定圖像速度d是使得下面的殘差函數(shù)最小的函數(shù)：（2-1）根據(jù)上面的定義，相似度的函數(shù)被在的區(qū)域內(nèi)定義。這個(gè)區(qū)域也稱之為積分窗口。典型的、是2、3、4、5、6、7個(gè)像素。2、跟蹤算法的描述基于特征點(diǎn)的跟蹤的兩個(gè)關(guān)鍵問題是準(zhǔn)確度和魯棒性。準(zhǔn)確度是從直覺上來說，為了不抹去圖像中的細(xì)節(jié)，需要小的積分窗口。魯棒性因素需要考慮光照變化，圖像運(yùn)動(dòng)時(shí)對(duì)尺寸變化的敏感性。特別的，為了了解大矢量運(yùn)動(dòng)的問題需要一個(gè)大的積分窗口。實(shí)際上，僅僅考慮等式（2-1），理想的情況是。這樣我們就必須兼顧準(zhǔn)確度和魯棒性來選擇積分窗口。為了更好的解決這個(gè)問題，采用了基于金字塔圖像的光流跟蹤方法。這個(gè)方法對(duì)局部跟蹤的準(zhǔn)確性提出了一個(gè)很好的解決方案。(1)、金字塔圖像表示描述一個(gè)的圖像I，令表示第0層圖像（原始圖像），那么金字塔圖像表示是以一種回歸形式而建立的：根據(jù)計(jì)算，計(jì)算，計(jì)算，以此類推；令L=1,2,…表示一系列金字塔圖像層次，圖像的大小為：，圖像通過對(duì)圖像隔行隔列采樣得到。采用金字塔圖像表示方法的主要目的是處理大矢量的運(yùn)動(dòng)問題(處理大于積分窗的目標(biāo)運(yùn)動(dòng)的問題)。因此應(yīng)當(dāng)用圖像中最大期望的光流來恰當(dāng)?shù)拇_定金字塔圖像的高度。在大多數(shù)的情況下，超過4的金字塔圖像層次沒有太大的意義。(2)、基于金字塔的圖像跟蹤回到前面說的跟蹤問題：對(duì)于圖像I中的一個(gè)給定的點(diǎn)u，找到它在圖像J中對(duì)應(yīng)的位置v=u+d，或者找到目標(biāo)運(yùn)動(dòng)的矢量d。對(duì)于，定義是點(diǎn)u在金字塔圖像中的映射。根據(jù)前面關(guān)于金字塔圖像定義的描述，則向量的計(jì)算公式如下：（2-2）等式（2-2）中的除法是對(duì)兩個(gè)坐標(biāo)分別進(jìn)行的。基于金字塔圖像LucasKanade光流法跟蹤的處理過程如下：首先在最深的一個(gè)層次Lm計(jì)算光流，然后，這個(gè)計(jì)算結(jié)果轉(zhuǎn)遞到Lm-1層；根據(jù)最初的假定，在Lm-1層計(jì)算出新的光流并把它轉(zhuǎn)到Lm-2層，這樣一直操作直到回到第0層（原始圖像）。現(xiàn)在讓我們用數(shù)學(xué)公式詳細(xì)的介紹一下從第L+1層到第L層的遞歸過程。假定在第L層有對(duì)被跟蹤目標(biāo)的位置有個(gè)大致估計(jì)，而從最高層Lm到第L+1層傳遞過來的運(yùn)動(dòng)矢量是。這樣，為了計(jì)算出在第L層的光流，需要找到一個(gè)使得下面的殘差函數(shù)：（2-3）達(dá)到最小的偏移向量：（2-4）注意到，在第L層的積分窗口的大小是保持恒定的尺寸的，即：在第二幅圖像中,用這里得到的最初估計(jì)作預(yù)平移。這樣，求得的殘余流向量就足夠小，因此能夠通過標(biāo)準(zhǔn)的光流法來求出這個(gè)運(yùn)動(dòng)矢量。計(jì)算殘余光流的細(xì)節(jié)將在下一節(jié)介紹?，F(xiàn)在，我們假定這個(gè)向量已經(jīng)計(jì)算出來(為了說明算法的完整性)。然后，這個(gè)計(jì)算過程的結(jié)果就傳送到第L-1層，傳遞的向量是：（2-5）下一層次的殘余光流，也可以通過同樣的步驟計(jì)算出來。這個(gè)通過光流法計(jì)算出來的這個(gè)向量，使得下列殘差函數(shù)達(dá)到最小值。將此計(jì)算過程一直繼續(xù)，直到算到最底層(L=0)。此算法的初始化過程是通過設(shè)定最高層()的初始運(yùn)動(dòng)估計(jì)為零開始的：（2-6）最終的光流d通過對(duì)最底層(原始圖像)作光流法計(jì)算得到偏移量，這個(gè)偏移量的大小是：（2-7）注意到這個(gè)偏移量也可以用下列的式子來表示：（2-8）使用金字塔圖像計(jì)算光流的一個(gè)明顯的好處是，對(duì)于一個(gè)有著較大的像素偏移的矢量d，可以通過計(jì)算幾個(gè)比較小的殘余光流來得到。注意到每個(gè)層次基本的光流法可以搜索得到的運(yùn)動(dòng)矢量達(dá)到，這樣運(yùn)用金字塔圖像的方法最多能夠處理的運(yùn)動(dòng)矢量范圍達(dá)到。例如，如果金字塔圖像的層次有3層的話()，這意味著像素的偏移量可以達(dá)到15層。這就是我們能夠使用較小的積分窗口來計(jì)算較大的像素運(yùn)動(dòng)矢量的原因。2.2迭代的光流法計(jì)算過程現(xiàn)在介紹一下光流法計(jì)算的詳細(xì)過程。在金字塔圖像的每個(gè)層次L，找到偏移向量實(shí)際上就是找到使得殘差函數(shù)最小的d。因?yàn)檫@個(gè)計(jì)算步驟對(duì)各個(gè)層次都是一樣的，現(xiàn)在我們丟掉上標(biāo)L，且定義新圖像A、B如下所示：（2-9）（2-10）注意到A(x,y)和B(x,y)的定義域稍微有些差異。實(shí)際上，A(x,y)是在窗口大小為的范圍內(nèi)定義的，而不是。在后面運(yùn)用中心差分算子計(jì)算A(x,y)的導(dǎo)數(shù)時(shí)，這個(gè)差異將變得更加明顯。為了說明的清晰起見，我們改變運(yùn)動(dòng)向量的表示方法，新的表示方式為,而圖像位置新的表示方式為。依據(jù)新的表達(dá)方式，我們的目的是找到一個(gè)偏移向量，它使得下面的殘差函數(shù)取得最小值：（2-11）對(duì)這個(gè)式子可以采用標(biāo)準(zhǔn)的光流法處理。為了優(yōu)化這個(gè)問題，對(duì)的一階導(dǎo)數(shù)為零：（2-12）通過將這個(gè)式子展開以后，我們得到：（2-13）我們把用它在點(diǎn)的一階泰勒展開式來代替(因?yàn)椴捎昧私鹱炙D像的方法，每層的運(yùn)動(dòng)偏移量比較小，因而采用一階泰勒展開是一個(gè)很好的解決方案)：（2-14）注意到A(x,y)-B(x,y)可以看作是在點(diǎn)的一個(gè)導(dǎo)數(shù)，所以：（2-15）矩陣僅僅是一個(gè)梯度向量，我們?cè)谶@里對(duì)表示方法作一個(gè)小小的改變：（2-16）注意到圖像的梯度和可以不必考慮第二幅圖像B，而只需根據(jù)圖像在點(diǎn)P的鄰域的信息求得(在迭代法求光流的過程中，這一點(diǎn)的重要性是很明顯的)。如果我們使用了差分近似微分算子，這兩幅圖像的導(dǎo)數(shù)的形式如下所示：（2-17）實(shí)際上，根據(jù)上面的記號(hào)方式，我們得到：（2-18）（2-19）其中：（2-20）（2-21）這樣，計(jì)算公式可以簡(jiǎn)寫為：（2-22）這樣，簡(jiǎn)化后得到所求的光流向量為：（2-23）2.3金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法總結(jié)圖2.1為Lucas-Kanade光流跟蹤流程圖；下列各式子的詳細(xì)定義可以在前面幾節(jié)中找到。Lucas-Kanade光流跟蹤的目標(biāo)是：已知圖像I中的點(diǎn)u在圖像J中找到與之相對(duì)應(yīng)的點(diǎn)v。圖2.1Lucas-Kanade光流跟蹤流程圖2.4特征點(diǎn)選取在上面，我們已經(jīng)總結(jié)了整個(gè)跟蹤流程，即通過光流法找到圖像I中的點(diǎn)u在圖像J中的對(duì)應(yīng)點(diǎn)v；然而，我們還沒有給出如何求取圖像I中的特征點(diǎn)u。實(shí)際上，跟蹤的關(guān)鍵步驟是如何求取光流向量（詳見上述的跟蹤流程），在這一步中，G矩陣必須是可逆的，或換句話說，G的最小特征值必須夠大（大于某一閾值）。這個(gè)像素點(diǎn)的特征才容易被跟蹤。因此，特征點(diǎn)的選取過程如下所示：在圖像I中的每個(gè)像素點(diǎn)計(jì)算矩陣G的最小特征值；在整個(gè)圖像I中，求出的最大值；保留圖像中特征值大于最大特征值的10%或5%的像素點(diǎn)；從這些像素點(diǎn)中保留局部特征值最大的像素點(diǎn)（如果一個(gè)像素點(diǎn)的特征值大于3×3領(lǐng)域內(nèi)的其他像素點(diǎn)的特征值，則這個(gè)像素點(diǎn)被保留）；保留下來的這些像素子集中的任何兩個(gè)像素點(diǎn)之間的距離必須大于給定的閾值（比如5或10個(gè)像素）。經(jīng)過上述處理過程，被保留下來的像素點(diǎn)是比較容易跟蹤的特征點(diǎn)。2.5實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)過程分三個(gè)模塊：視頻讀入、目標(biāo)檢測(cè)模塊和光流跟蹤模塊；首先，讀入視頻圖像；然后，采用目標(biāo)檢測(cè)模塊來進(jìn)行目標(biāo)檢測(cè)，通過目標(biāo)檢測(cè)得到目標(biāo)的質(zhì)心位置；最后，將目標(biāo)質(zhì)心當(dāng)作光流跟蹤的特征點(diǎn)，采用Lucas-Kanade光流跟蹤算法，進(jìn)行目標(biāo)跟蹤。在VC++6.0環(huán)境下對(duì)采集的視頻做了Lucas-Kanade光流跟蹤實(shí)驗(yàn)，該視頻圖像大小為320×240、幀率為15幀/秒、RGB24真彩色圖像。實(shí)驗(yàn)中采用的參數(shù)是：積分窗口為11×11（即公式（2-1）中的、均采用5個(gè)像素），金字塔層數(shù)L為3，迭代次數(shù)K為20次。第11幀第43幀第68幀第78幀第93幀第107幀圖2.2LucasKanade光流法跟蹤結(jié)果圖2.2為LucasKanade光流法跟蹤結(jié)果。圖中綠色的“1”和藍(lán)色的“2”為目標(biāo)的ID，同一個(gè)目標(biāo)標(biāo)注了同一ID，紅色的方框?yàn)楦櫩?，紅色“+”為光流預(yù)測(cè)的目標(biāo)質(zhì)心。從圖中可以看出：目標(biāo)1和目標(biāo)2在第68幀之前，跟蹤效果比較理想；目標(biāo)1的跟蹤框在第78幀之后開始偏離目標(biāo)，到達(dá)第93幀時(shí)，由于目標(biāo)模糊不清、并且與背景較為相似，所以跟蹤框偏離加大，并停止跟蹤；但由于目標(biāo)2比較清晰，故始終能穩(wěn)定跟蹤。通過大量實(shí)驗(yàn)發(fā)現(xiàn)，LucasKanade光流跟蹤要求圖像質(zhì)量比較高，圖像紋理豐富，對(duì)質(zhì)量較差的圖像跟蹤效果并不理想，主要表現(xiàn)在以下幾點(diǎn)：1)不容易選定一個(gè)固定的鄰域大小，使其適合不同的視頻段和不同的特征點(diǎn)；2)容易出現(xiàn)特征點(diǎn)跟蹤不穩(wěn)定的情況；3)某些點(diǎn)處的矩陣G病態(tài)或者不可逆，此時(shí)方程的解不可靠從而發(fā)生跟蹤漂移現(xiàn)象；4)光流跟蹤依靠的是特征點(diǎn)的局部信息，每個(gè)點(diǎn)都是獨(dú)立跟蹤的結(jié)果，其跟蹤結(jié)果并不穩(wěn)定。通過計(jì)算稀疏特征點(diǎn)處的光流即可跟蹤目標(biāo)，光流法用于目標(biāo)跟蹤已基本解決了計(jì)算速度慢的缺點(diǎn)，而且對(duì)圖像質(zhì)量比較高、圖像紋理豐富的慢速運(yùn)動(dòng)目標(biāo)跟蹤的效果還是不錯(cuò)。但仍然存在跟蹤目標(biāo)容易丟失且魯棒性不高的缺點(diǎn)。3．模板相關(guān)匹配算法3.1模板相關(guān)匹配算法基本原理模板相關(guān)匹配算法的基本原理如圖3.1所示。設(shè)目標(biāo)模板T為一個(gè)的參考圖像，搜索圖S為一個(gè)圖像。T在S上平移，模板覆蓋的部分叫做子圖，為子圖左上角點(diǎn)在S中的坐標(biāo)，叫參考點(diǎn)。比較T和的內(nèi)容，若兩者一致，或極其相似，則點(diǎn)為所尋找的最佳匹配點(diǎn)。圖3.1模板相關(guān)匹配算法原理圖二維最小絕對(duì)差累加和算法(MinimumAbsoluteDifference,以下簡(jiǎn)稱：MAD)[26][27]是一種在工程系統(tǒng)中應(yīng)用較為普遍的相關(guān)跟蹤算法，它與上述歸一化互相關(guān)的模板相關(guān)跟蹤算法相似，該相關(guān)匹配算法采用二維最小絕對(duì)差累加和作為子圖和目標(biāo)模板相似度的度量。即：(3-1)在圖像匹配跟蹤過程中，參考模板圖像在當(dāng)前幀搜索區(qū)內(nèi)滑動(dòng)，與實(shí)時(shí)子區(qū)圖像作相關(guān)運(yùn)算，尋找最佳匹配點(diǎn)，當(dāng)使D(i,j)取得最小值時(shí)的(i,j)即為所求的最佳匹配點(diǎn)。由于MAD算法直接采用圖像各像素點(diǎn)的灰度值作絕對(duì)差累加和運(yùn)算，雖然計(jì)算量比歸一化互相關(guān)運(yùn)算要少，但需要做相關(guān)計(jì)算的點(diǎn)數(shù)是不變化的，即為(N-M+1)×(N-M+1)；而且MAD算法對(duì)圖像灰度變化較敏感，在圖像低對(duì)比度區(qū)域或?qū)Ρ榷茸兓闆r下，目標(biāo)跟蹤性能將下降，甚至丟失目標(biāo)。所以在使用MAD算法之前，一般都需要對(duì)搜索區(qū)與目標(biāo)模板圖像進(jìn)行灰度歸一化預(yù)處理。3.2模板匹配的搜索方法模板匹配的搜索方法眾多，常用的有二維對(duì)數(shù)搜索法(TwoDimensionalLogarithmic,簡(jiǎn)稱TDL)、三步搜索法(ThreeStepSearch,簡(jiǎn)稱TSS)和菱形搜索法(DiamondSearch，簡(jiǎn)稱DS)。其中，性能最優(yōu)的是菱形搜索法，下面簡(jiǎn)單介紹之。DS算法最早由ShanZhu和Kai-KuangMa兩人提出[28]，后經(jīng)過多次改進(jìn)，已成為目前快速塊匹配算法中性能最優(yōu)異的算法之一，該算法已被MPEG-4VM標(biāo)準(zhǔn)所接受。搜索模板的形狀和大小小但影響整個(gè)算法的運(yùn)行速度，而目也影響也搜索的準(zhǔn)確性。搜索窗口太小，就容易陷入局部最優(yōu)，而搜索窗口太大，又容易產(chǎn)生錯(cuò)誤的搜索路徑。另外，統(tǒng)計(jì)數(shù)據(jù)表明，視頻圖像中進(jìn)行運(yùn)動(dòng)估值時(shí)，最優(yōu)點(diǎn)通常在零矢量周圍(以搜索窗口中心為圓心，兩像素為半徑的圓內(nèi)，如圖3.2(a)所示)，即具有中心傾向?；谶@兩點(diǎn)事實(shí)，DS算法采用了兩種搜索模板，分別是有9個(gè)檢測(cè)點(diǎn)的大模板LDSP(LargeDiamondSearchPattern)和有5個(gè)檢測(cè)點(diǎn)的小模板SDSP(SmallDiamondSearchPattern)，如圖3.2(b)和3.2(c)所示。搜索時(shí)先用大模板計(jì)算，當(dāng)最小塊誤差MBD(MinimumBlockDistortion)點(diǎn)(即MAD值最小的點(diǎn))出現(xiàn)在中心點(diǎn)處時(shí)，將大模板LDSP換為SDSP，再進(jìn)行匹配計(jì)算，這時(shí)5個(gè)點(diǎn)中的MBD點(diǎn)即為最優(yōu)匹配點(diǎn)。(a)最優(yōu)點(diǎn)分布規(guī)律(b)大模板LDSP(c)小模板SDSP圖3.2DS的搜索模板DS具體算法描述如下：①用LDSP在搜索區(qū)域中心與周圍8個(gè)點(diǎn)處進(jìn)行匹配計(jì)算，若MBD點(diǎn)位于中心點(diǎn)處，則轉(zhuǎn)到步驟③，否則，進(jìn)行步驟②。②中心點(diǎn)移到上一步的MBD點(diǎn)處，繼續(xù)用LDSP來計(jì)算。若MBD點(diǎn)位于中心點(diǎn)處，則轉(zhuǎn)到步驟③，否則，重復(fù)步驟②。③以上一次找到的MBD點(diǎn)為中心點(diǎn)，將LDSP換為SDSP，在5個(gè)點(diǎn)處計(jì)算，找出MBD點(diǎn)，該點(diǎn)所在的位置即對(duì)應(yīng)最佳運(yùn)動(dòng)矢量。如圖3.2是DS算法搜索過程的一個(gè)例子，(-4,-2)是最終搜索到的運(yùn)動(dòng)矢量，搜索共進(jìn)行了5步，MBD點(diǎn)分別對(duì)應(yīng)為(2，0)、（-3，-1）、（-4，-2），使用4次LDSP和1次SDSP，共搜索了24個(gè)點(diǎn)。圖3.3DS的搜索路徑舉例DS算法的特點(diǎn)在于它分析了視頻圖像中運(yùn)動(dòng)矢量的基木規(guī)律，選用了大小兩種形狀的搜索模板LDSP和SDSP。先用LDSP搜索，由于步長大，搜索范圍廣，可以進(jìn)行粗定位，使搜索過程小會(huì)陷于局部最??；當(dāng)粗定位結(jié)束后，可以認(rèn)為最優(yōu)點(diǎn)就在LDSP周圍8個(gè)點(diǎn)所圍成的菱形區(qū)域內(nèi)，這時(shí)再用SDSP來準(zhǔn)確定位，使搜索不至于有大的起伏，所以它的的性能優(yōu)于其它算法。另外，DS搜索時(shí)各步驟之間有很強(qiáng)的相關(guān)性，模板移動(dòng)時(shí)只需在幾個(gè)新的檢測(cè)點(diǎn)處進(jìn)行匹配計(jì)算，可以進(jìn)一步提高搜索速度。3.3目標(biāo)模板的選擇與更新3.3.1目標(biāo)模板的選擇使用模板匹配算法進(jìn)行目標(biāo)跟蹤時(shí)，目標(biāo)模板的大小選擇也是一個(gè)很重要的問題。如果模板過小，所包含的信息少，得出的最佳匹配位置容易不可靠；反之，如果模板過大，模板中將包含有更多的背景信息，背景信息的變化將給相關(guān)運(yùn)算帶來誤差，而這些誤差會(huì)隨著相關(guān)處理逐幀累積，如果累積到足夠幀數(shù)，模板會(huì)完全偏離目標(biāo)。而且，模板的增大會(huì)帶來模板相關(guān)運(yùn)算量的急劇增大。本文目標(biāo)模板選取的原則為：使用目標(biāo)的最小外接矩形框來做為目標(biāo)模板。3.3.2模板的更新隨著被跟蹤目標(biāo)的運(yùn)動(dòng)，目標(biāo)將出現(xiàn)大小、形狀、姿態(tài)等變化，所以必須在跟蹤過程中不斷的更新目標(biāo)模板。而且由于實(shí)際環(huán)境中的光照、天氣變化等因素的影響，相關(guān)跟蹤得不到絕對(duì)最佳的匹配位置，存在匹配誤差。這些誤差隨著模板的更新而逐漸積累并向后續(xù)圖像傳遞，因此模板更新和修正是保證長時(shí)間穩(wěn)定跟蹤的關(guān)鍵?？紤]到系統(tǒng)的實(shí)時(shí)性問題，本文沒有采用基于跟蹤置信度的自適應(yīng)模板更新算法來更新和修正模板[27]，而是采用了較為簡(jiǎn)單的模板更新方法，即每隔1S提取一次目標(biāo)模板，并對(duì)目標(biāo)模板進(jìn)行更新。3.4實(shí)驗(yàn)結(jié)果與分析模板匹配法跟蹤的過程分為視頻讀入、運(yùn)動(dòng)目標(biāo)檢測(cè)模塊、相關(guān)匹配運(yùn)算和模板更新四個(gè)部分；首先，通過目標(biāo)檢測(cè)模塊，可以提取到運(yùn)動(dòng)目標(biāo)即目標(biāo)模板；然后，采用基于歸一化互相關(guān)的模板相關(guān)匹配算法和基于最小絕對(duì)方差累加和的模板匹配法分別對(duì)目標(biāo)模板進(jìn)行跟蹤；最后，在自動(dòng)跟蹤目標(biāo)的過程中，我們可以根據(jù)前面介紹地運(yùn)動(dòng)目標(biāo)檢測(cè)方法檢測(cè)出運(yùn)動(dòng)目標(biāo)，然后截取目標(biāo)圖像作為下一幀圖像的模板。實(shí)驗(yàn)中，采用每隔1S提取一次目標(biāo)模板，并對(duì)目標(biāo)模板進(jìn)行更新。下面給出序列圖像中的單一運(yùn)動(dòng)目標(biāo)（行人）的跟蹤結(jié)果與其分析。（a）(b)(c)第120幀第150幀第180幀圖3.4目標(biāo)模板圖3.5MAD算法跟蹤結(jié)果圖3.4為目標(biāo)模板；其中，圖（a）、（b）和(c)分別表示第120、150和180幀目標(biāo)模板。可以看出，提取的目標(biāo)模板精確、可靠。圖3.5為MAD算法的跟蹤結(jié)果。實(shí)驗(yàn)中采用基于最小絕對(duì)方差累加和的模板匹配法（MAD）跟蹤目標(biāo)，結(jié)果表明MAD算法對(duì)圖像灰度變化較敏感，在圖像低對(duì)比度區(qū)域或?qū)Ρ榷茸兓闆r下，目標(biāo)跟蹤性能將下降，甚至丟失目標(biāo)，而且出現(xiàn)目標(biāo)被遮擋或目標(biāo)的灰度直方圖與背景相似時(shí)，匹配誤差最大，跟蹤框完全偏離目標(biāo)。因此，如何減少匹配算法的運(yùn)算量和提高目標(biāo)定位精度是關(guān)鍵。4.改進(jìn)的目標(biāo)跟蹤算法4.1改進(jìn)的目標(biāo)跟蹤算法描述圖4.1改進(jìn)的目標(biāo)跟蹤算法框圖圖4.1為系統(tǒng)框圖，這是文章設(shè)計(jì)的基于單攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)框圖。在本節(jié)中，重點(diǎn)介紹系統(tǒng)框圖中的目標(biāo)跟蹤模塊，即改進(jìn)的目標(biāo)跟蹤算法。在目標(biāo)跟蹤模塊中，光流法跟蹤采用圖2.1Lucas-Kanade光流跟蹤流程圖，目標(biāo)模板的更新時(shí)間T為1S。故改進(jìn)的目標(biāo)跟蹤算法簡(jiǎn)述為：通過目標(biāo)檢測(cè)模塊和新目標(biāo)檢測(cè)模塊，可以得到目標(biāo)個(gè)數(shù)、目標(biāo)質(zhì)心位置、目標(biāo)大小與目標(biāo)ID（最先出現(xiàn)的目標(biāo)為1、其次為2、再次為3，以此類推）。將目標(biāo)質(zhì)心做為特征點(diǎn)，利用金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法對(duì)其進(jìn)行跟蹤；經(jīng)LucasKanade光流法跟蹤后，可以得到目標(biāo)質(zhì)心的新位置，在新位置的領(lǐng)域內(nèi)（這個(gè)搜索區(qū)域比目標(biāo)模板要大一些），利用基于最小絕對(duì)方差累加和的模板匹配法搜索目標(biāo)模板，并對(duì)目標(biāo)進(jìn)行定位，將模板匹配法之后得到的目標(biāo)質(zhì)心位置做為下一幀光流法跟蹤的特征點(diǎn)，以此類推，從而實(shí)現(xiàn)目標(biāo)跟蹤。下面以圖形的形式加予說明。（a）(b)(c)(d)（e）（a）第k幀光流法跟蹤結(jié)果（b）第k+1幀光流法跟蹤結(jié)果（c）第k+1幀光流法和模板匹配法相結(jié)合（d）第k+1幀光流法和模板匹配法相結(jié)合的跟蹤結(jié)果（e）目標(biāo)模板圖4.2光流法和模板匹配法相結(jié)合示意圖圖4.2中，藍(lán)色矩形框?yàn)楦櫩?，黃色虛線矩形框?yàn)樵O(shè)定的搜索區(qū)域，“人”為目標(biāo)，圖4.2(a)、（b)和(c)中的紅色十字架為光流法預(yù)測(cè)的目標(biāo)質(zhì)心，圖4.2（d）中的紅色十字架為光流法和模板匹配法相結(jié)合后更正的目標(biāo)質(zhì)心。光流法和模板匹配法所存在的問題與本文改進(jìn)之處：1、光流法之所以跟蹤目標(biāo)容易丟失且魯棒性不高缺點(diǎn)，是因?yàn)楣饬鞣A(yù)測(cè)的目標(biāo)質(zhì)心與實(shí)際的目標(biāo)質(zhì)心出現(xiàn)偏差，故跟蹤框偏離目標(biāo)（見圖4.2（b）），并且將第k+1幀光流法預(yù)測(cè)的目標(biāo)質(zhì)心做為下一幀光流法跟蹤的特征點(diǎn)，顯然，在第k+n（n大于等于2）幀時(shí)，跟蹤框偏離目標(biāo)必定會(huì)加大并停止跟蹤。文中對(duì)光流法的改進(jìn)是：將模板匹配定位之后更正的目標(biāo)質(zhì)心（見圖4.2（d）紅色十字架）做為下一幀光流法跟蹤的特征點(diǎn)，這樣可以避免單一光流預(yù)測(cè)目標(biāo)質(zhì)心所帶來的誤差，從而實(shí)現(xiàn)可靠的跟蹤。2、基于最小絕對(duì)方差累加和的模板匹配法由于全圖搜索目標(biāo)模板對(duì)圖像利用率高，其計(jì)算量大，處理一幀圖像耗時(shí)約1S，實(shí)時(shí)性差，不能單獨(dú)用于目標(biāo)跟蹤。本文對(duì)MAD算法的改進(jìn)是：經(jīng)光流法跟蹤之后得到的目標(biāo)質(zhì)心，在這一目標(biāo)質(zhì)心鄰域（圖4.2（c）中黃色虛矩形框，這是搜索區(qū)域）內(nèi)，利用MAD算法搜索目標(biāo)模板，實(shí)現(xiàn)目標(biāo)跟蹤；顯然，本文通過減小搜索區(qū)域來減少計(jì)算量，從而提高實(shí)時(shí)性和跟蹤的精度。3、在目標(biāo)匹配時(shí)，第i個(gè)（i為目標(biāo)的ID）目標(biāo)搜索的起始點(diǎn)設(shè)置為光流法預(yù)測(cè)的第i個(gè)目標(biāo)的目標(biāo)質(zhì)心位置，用公式(4-1-1)表示；第i個(gè)（i為目標(biāo)的ID）目標(biāo)的搜索區(qū)域比第i個(gè)目標(biāo)的大小略大，用公式(4-1-2)表示，其中和為設(shè)定的閾值。(4-1)(4-2)通過大量的實(shí)驗(yàn)發(fā)現(xiàn)，在一幀時(shí)間里光流法預(yù)測(cè)的目標(biāo)質(zhì)心位置偏離實(shí)際的目標(biāo)質(zhì)心位置最大為10個(gè)像素（比如在人跑步、高速行駛的車等情況下），通常為0至3個(gè)像素，因此，和設(shè)置為：、；如果目標(biāo)的運(yùn)動(dòng)預(yù)測(cè)可靠，則逐漸縮小閾值和，當(dāng)目標(biāo)丟失時(shí)，則逐漸增大閾值和。綜合上述三點(diǎn)，光流法和模板匹配法相結(jié)合的跟蹤方法,即改進(jìn)的目標(biāo)跟蹤算法概括為：在第k幀，將目標(biāo)質(zhì)心（圖4.2（a）中的紅色十字架）做為特征點(diǎn)，利用金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法對(duì)其進(jìn)行跟蹤；經(jīng)LucasKanade光流跟蹤后，在第k+1幀，可以得到目標(biāo)質(zhì)心的新位置（圖4.2（b）、（c）中的紅色十字架），在新位置的領(lǐng)域（圖4.2（c）中黃色虛線矩形框，這是搜索區(qū)域）內(nèi)，利用MAD算法搜索目標(biāo)模板（圖4.2（e））；搜索結(jié)果如圖4.2（d）所示，藍(lán)色矩形框?yàn)楦櫩?，可見跟蹤結(jié)果準(zhǔn)確；紅色十字架為光流法和模板匹配法相結(jié)合后更正的目標(biāo)質(zhì)心，將這一目標(biāo)質(zhì)心做為下一幀光流法跟蹤的特征點(diǎn)，以此類推，從而實(shí)現(xiàn)穩(wěn)定、可靠的目標(biāo)跟蹤。4.2實(shí)驗(yàn)結(jié)果與分析在VC++6.0環(huán)境下對(duì)2.5節(jié)的視頻做了改進(jìn)的目標(biāo)跟蹤算法實(shí)驗(yàn)。實(shí)驗(yàn)中，我們采用的參數(shù)是：積分窗口為11×11（即公式4-3-1中的和均采用5個(gè)像素），金字塔層數(shù)L為3，迭代次數(shù)K為20次，目標(biāo)模板更新時(shí)間T為1S，設(shè)定的搜索區(qū)域?yàn)?080（實(shí)驗(yàn)中最大的目標(biāo)模板為：2666）。第10幀第10幀ABCDEF圖4.3原圖像與目標(biāo)檢測(cè)結(jié)果圖4.4目標(biāo)模板圖4.3為原圖像與目標(biāo)檢測(cè)結(jié)果。二值圖像中紅色十字架為目標(biāo)質(zhì)心?？梢钥闯鲈跀z像機(jī)靜止情況下，本文設(shè)計(jì)的目標(biāo)檢測(cè)算法可以準(zhǔn)確、快速的檢測(cè)出運(yùn)動(dòng)目標(biāo)，這為后續(xù)跟蹤提供了準(zhǔn)確可靠的目標(biāo)質(zhì)心與目標(biāo)模型，克服了其他系統(tǒng)要手動(dòng)圈出待跟蹤目標(biāo)的缺陷。圖4.4為目標(biāo)模板。其中，圖A、B和C分別表示第10、55和85幀目標(biāo)1模板，圖D、E和F分別表示第10、55和85幀目標(biāo)2模板?？梢钥闯?，提取的目標(biāo)模板精確、可靠。第11幀第43幀第68幀第78幀第93幀第107幀圖4.5改進(jìn)的目標(biāo)跟蹤算法跟蹤結(jié)果圖4.5為跟蹤結(jié)果。圖中，紅色的方框?yàn)楦櫩?，?shù)字“1”和“2”為目標(biāo)的標(biāo)號(hào)，紅色的“+”為改進(jìn)的目標(biāo)跟蹤算法更正的目標(biāo)質(zhì)心，綠色的曲線為目標(biāo)1的運(yùn)動(dòng)軌跡，藍(lán)色的曲線為目標(biāo)2的運(yùn)動(dòng)軌跡；可以看出，改進(jìn)的目標(biāo)跟蹤算法能較好的跟蹤目標(biāo)和繪制目標(biāo)運(yùn)動(dòng)軌跡，并且1S至少可以處理15幀圖像，基本滿足了實(shí)時(shí)跟蹤的要求。單一使用金字塔圖像的LucasKanade特征點(diǎn)跟蹤算法其跟蹤結(jié)果如圖4.3所示，目標(biāo)1的跟蹤框在第78幀之后開始偏離目標(biāo)，到達(dá)第93幀時(shí)，由于目標(biāo)模糊不清、并且與背景較為相似，所以跟蹤框偏離加大，并停止跟蹤；而單一使用MAD算法跟蹤目標(biāo)，由于該方法全圖搜索目標(biāo)模板，計(jì)算量過大，處理一幀圖像耗時(shí)約1S，實(shí)時(shí)性差。這兩個(gè)實(shí)驗(yàn)更好的證明了本文改進(jìn)的目標(biāo)跟蹤算法合理性與可行性。5.結(jié)論金字塔圖像的LucasKanade光流跟蹤算法通過計(jì)算稀疏特征點(diǎn)處的光流即可跟蹤目標(biāo)，因?yàn)槊恳粋€(gè)目標(biāo)僅僅跟蹤其質(zhì)心，而且對(duì)圖像質(zhì)量比較低、圖像紋理不豐富的運(yùn)動(dòng)目標(biāo)，存在跟蹤目標(biāo)容易丟失且魯棒性不高缺點(diǎn)；MAD算法由于全圖搜索目標(biāo)模板，其計(jì)算量大，實(shí)時(shí)性差，不能單獨(dú)用于目標(biāo)跟蹤；針對(duì)上述兩種算法存在的問題，文章將金字塔圖像的LucasKanade光流法跟蹤算法和基于最小絕對(duì)方差累加和的模板匹配法結(jié)合起來，可以避免上述問題，實(shí)驗(yàn)結(jié)果表明改進(jìn)的目標(biāo)跟蹤算法能實(shí)現(xiàn)各種復(fù)雜場(chǎng)景條件下的目標(biāo)穩(wěn)定跟蹤、獲得目標(biāo)運(yùn)動(dòng)軌跡，且具有良好的實(shí)時(shí)性和魯棒性。針對(duì)上述兩種算法在跟蹤中存在的問題，文中將金字塔圖像的LucasKanade光流法跟蹤算法和模板匹配法結(jié)合起來，可以避免這兩種算法存在的問題，結(jié)果表明，改進(jìn)的目標(biāo)跟蹤算法能較好地實(shí)現(xiàn)目標(biāo)跟蹤、獲得目標(biāo)運(yùn)動(dòng)軌跡，且具有良好的實(shí)時(shí)性和魯棒性。致謝時(shí)光荏苒，轉(zhuǎn)眼間又到了梔子花開的季節(jié)，隨著畢業(yè)日子的日益臨近，畢業(yè)論文也已收稿。值此之際，要對(duì)曾經(jīng)給予我支持和幫助的所有老師、同學(xué)、朋友和家人表示最誠摯的謝意！首先要感謝我的導(dǎo)師王健老師，向他致以最崇高的敬意。王老師嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、敬業(yè)務(wù)實(shí)的奮斗精神、默默無聞的奉獻(xiàn)精神都在潛移默化中影響著我。感謝物電系的所有老師，感謝你們?cè)趯W(xué)習(xí)和工作中給予我的諸多幫助。你們的指導(dǎo)和關(guān)心一直鼓勵(lì)著我前進(jìn)。感謝所有和我一起奮斗和努力過的同學(xué)，感謝你們?cè)谏?/p>