紅外與RGB信息的融合跟蹤研究

摘要紅外與可見光信息的融合跟蹤兼顧了紅外與可見光設(shè)備的多源信息，可提高目標(biāo)跟蹤技術(shù)的性能，為國防軍事、安防監(jiān)控、遙感檢測(cè)、資源探測(cè)等領(lǐng)域提供了一種有效技術(shù)。圖像融合跟蹤主要有圖像融合和目標(biāo)跟蹤兩個(gè)流程。依據(jù)融合層次，圖像融合跟蹤可被劃分為像素級(jí)、特征級(jí)和決策級(jí)三大類。本文主要討論了像素級(jí)圖像融合跟蹤?；谏疃葘W(xué)習(xí)技術(shù)，圖像融合跟蹤可分為基于傳統(tǒng)方法的圖像融合跟蹤算法和基于深度學(xué)習(xí)的圖像融合跟蹤算法。本文首先實(shí)現(xiàn)了基于TIF(Two-scaleImageFusion，TIF)和均值偏移（MeanShift，MS）的目標(biāo)跟蹤方法。然后，本文又實(shí)現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks，CNN)和時(shí)空正則化的相關(guān)濾波（STRCF）的目標(biāo)跟蹤算法。基于此，本文給出了幾種融合跟蹤方法的客觀評(píng)估指標(biāo)(精確度和成功率)和主觀視覺效果對(duì)比，并給出了對(duì)比分析。關(guān)鍵詞：紅外與可見光圖像；融合跟蹤；信息融合；目標(biāo)跟蹤；深度學(xué)習(xí)ABSTRACTThefusionandtrackingofinfraredandvisibleinformationtakesintoaccountthemulti-sourceinformationofinfraredandvisibleequipment,whichcanimprovetheperformanceoftargettrackingtechnology,andprovidesaneffectivetechnologyforthefieldsofnationaldefenseandmilitary,securitymonitoring,remotesensingdetection,resourcedetectionandotherfields.Imagefusiontrackingmainlyhastwoprocesses:imagefusionandtargettracking.Accordingtothefusionlevel,theimagefusiontrackingcanbedividedintothreecategories:pixellevel,featurelevelanddecisionlevel.Thispaperfocusesonpixel-levelimagefusiontracking.Basedondeeplearningtechnology,imagefusiontrackingcanbedividedintoimagefusiontrackingalgorithmbasedontraditionalmethodsandimagefusiontrackingalgorithmbasedondeeplearning.Inthispaper,thetargettrackingmethodbasedonTIF(Two-scaleImageFusion,TIF)andmeanshift(MeanShift,MS)isfirstimplemented.Then,thispaperimplementsthetargettrackingalgorithmbasedonconvolutionalneuralnetwork(ConvolutionalNeuralNetworks,CNN)andspatial-temporalregularizedcorrelationfilters(STRCF).Basedonthis,thispapergivesseveralobjectiveevaluationindicators(precisionrateandsuccessrate)andsubjectivevisualeffectcomparison,andgivesacomparativeanalysis.Keywords:infraredandvisibleimages;fusiontracking;informationfusion;targettracking;deeolearningPAGE9PAGE9目錄第1章緒論 11.1研究背景和意義 11.2國內(nèi)外研究現(xiàn)狀 11.2.1圖像融合研究現(xiàn)狀 11.2.2目標(biāo)跟蹤研究現(xiàn)狀 21.3本文主要研究成果 31.4本文內(nèi)容安排 3第2章傳統(tǒng)信息融合跟蹤 42.1TIF算法實(shí)現(xiàn)圖像融合 42.1.1雙尺度圖像分解 42.1.2顯著性檢測(cè) 52.1.3計(jì)算權(quán)重圖 62.1.4圖像融合 62.1.5圖像重建 72.1.6彩色圖融合 72.2MEANSHIFT實(shí)現(xiàn)目標(biāo)跟蹤 72.2.1目標(biāo)模型和候選模型描述 82.2.2相似性度量 82.2.3迭代過程 9第3章基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤 103.1CNN實(shí)現(xiàn)圖像融合 103.1.1基于CNN生成權(quán)重圖 103.1.2金字塔分解 113.1.3系數(shù)融合 113.1.4拉普拉斯金字塔重建 123.2STRCF實(shí)現(xiàn)目標(biāo)跟蹤 123.2.1相關(guān)濾波 123.2.2MOSSE實(shí)現(xiàn)目標(biāo)跟蹤 133.2.3DCF實(shí)現(xiàn)目標(biāo)跟蹤 143.2.4STRCF實(shí)現(xiàn)目標(biāo)跟蹤 15第4章實(shí)驗(yàn)結(jié)果 174.1數(shù)據(jù)集 174.2評(píng)估指標(biāo) 174.3定性分析 174.4定量分析 19第5章結(jié)論與展望 235.1結(jié)論 235.2不足之處及未來展望 235.2.1不足之處 235.2.2未來展望 23參考文獻(xiàn) 24致謝 27第1章緒論1.1研究背景和意義獲取圖像最初只能使用可見光傳感器，而隨著現(xiàn)代科技的不斷發(fā)展，出現(xiàn)了更多能夠獲取圖像的設(shè)備，如紅外傳感器、高光譜傳感器、多光譜傳感器、雷達(dá)等，獲取圖像的方法得以擴(kuò)展，圖像所包含的信息也得以豐富。然而，如果只使用某一種傳感器獲取圖像，得到信息內(nèi)容是有限的，這就決定了其圖像信息內(nèi)容的局限性。受限于傳感器的成像原理，在某些惡劣的條件下，圖像成像會(huì)受到干擾，這就會(huì)導(dǎo)致信息的損失。因此，將不同成像方式所獲取的圖像信息進(jìn)行融合尤為重要，這能突出各類圖像信息的優(yōu)勢(shì)所在，增強(qiáng)抗干擾能力，實(shí)現(xiàn)信息的互補(bǔ)。由此圖像融合應(yīng)運(yùn)而生。圖像融合使得圖像能夠包含更多有用的信息從而能夠應(yīng)用于更多的領(lǐng)域，并且在圖像分析方面提升了精度，提高了圖像信息的應(yīng)用價(jià)值和使用效果。作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要組成部分，目標(biāo)跟蹤研究的熱度居高不下。[1]目標(biāo)跟蹤可以代替人工對(duì)視頻中的目標(biāo)進(jìn)行實(shí)時(shí)的檢測(cè)并分析其運(yùn)動(dòng)軌跡，極大地節(jié)省了人力物力，對(duì)各個(gè)領(lǐng)域都有重要的意義。[2]更快地獲得更加準(zhǔn)確的結(jié)果是現(xiàn)代科學(xué)研究在目標(biāo)跟蹤領(lǐng)域的追求。[3]但是，由于單一傳感器圖像所能提供的信息有限，無法滿足人們對(duì)于目標(biāo)跟蹤精確度的追求，這就迫切地需要融合更多的信息應(yīng)用于目標(biāo)跟蹤任務(wù)。受成像機(jī)制影響，紅外圖像信息與可見光圖像信息在一定程度上具有互補(bǔ)性能，將兩者信息融合并進(jìn)行目標(biāo)跟蹤的技術(shù)就是紅外與RGB信息的融合跟蹤。其中，通過探測(cè)物體熱輻射成像的紅外圖像具有較強(qiáng)的干擾能力，不受光照影響，但也因此缺乏紋理和細(xì)節(jié)，整體較為模糊，分辨率不高；可見光圖像是最為常見的成像方式，符合人眼視覺特性，雖易受光照影響，但可以提供更多的細(xì)節(jié)。如果利用二者協(xié)同成像并進(jìn)行融合，根據(jù)紅外與可見光圖像信息的互補(bǔ)特性，融合后的圖像具有目標(biāo)信息顯著、背景信息豐富的特點(diǎn)，即使是在夜間或者天氣惡劣等情況下也能減少信息的損失，有利于目標(biāo)跟蹤任務(wù)。[2]由于能夠全天候工作，抗干擾能力強(qiáng)，精確度高，紅外與RGB信息的融合跟蹤技術(shù)現(xiàn)已被廣泛應(yīng)用于國防軍事、安防監(jiān)控、遙感檢測(cè)、資源探測(cè)等各種領(lǐng)域，具有廣泛的實(shí)用價(jià)值。1.2國內(nèi)外研究現(xiàn)狀圖像融合，目標(biāo)跟蹤是紅外與RGB信息的融合跟蹤的兩個(gè)主要過程，依據(jù)融合層次可以劃分為像素級(jí)、特征級(jí)、決策級(jí)。[4][5]其中，先融合后跟蹤為像素級(jí)融合跟蹤又稱融合前跟蹤。先分別提取特征并進(jìn)行特征融合，然后將融合特征應(yīng)用于目標(biāo)跟蹤，稱為融合前跟蹤。先跟蹤再融合跟蹤結(jié)果的方法為決策級(jí)融合跟蹤又稱為聚合前跟蹤。下面將分別討論圖像融合和目標(biāo)跟蹤的研究現(xiàn)狀。1.2.1圖像融合研究現(xiàn)狀圖像融合就是將兩幅或多幅圖像的信息綜合在一起的過程，由于圖像時(shí)空信息的擴(kuò)展，將其應(yīng)用于目標(biāo)跟蹤任務(wù)更加可靠?；谏疃葘W(xué)習(xí)技術(shù)，可劃分為傳統(tǒng)融合方法和基于深度學(xué)習(xí)的融合方法兩大類。圖像融合的新紀(jì)元開啟于1979年，Daily等[6]利用圖像的灰度信息將Landsat-MSS圖像與雷達(dá)圖像融合，由此出現(xiàn)了基于空間域的圖像融合方法。在此基礎(chǔ)上Lauer和Todd[7]對(duì)Landsat-MSS和Landsat-RGV圖像進(jìn)行了融合，基于空間域的方法成為圖像融合最早的發(fā)展方向。[8]1983年，Burt等[9]將高斯金字塔應(yīng)用于圖像融合,基于變換域的圖像融合方法如雨后春筍。隨后，文獻(xiàn)[10]將拉普拉斯金字塔應(yīng)用到圖像融合。與這些多尺度變換方法相比，90年代引入的小波變換效果更好，但有其局限性。[11]2002年，為了克服其局限性，Do.M.N等[12]提出Contourlet融合算法，這是對(duì)小波變換的進(jìn)一步擴(kuò)展。2006年，L.Cunha等[13]提出了非下采樣輪廓波變換（NSCT），進(jìn)一步提升了Contourlet算法的性能。2016年，Bavirisetti等[14]提出使用雙尺度變換實(shí)現(xiàn)圖像融合。除了以上傳統(tǒng)的圖像融合方法以外，深度學(xué)習(xí)的應(yīng)用也擴(kuò)展到了圖像融合領(lǐng)域。引入卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）和對(duì)抗神經(jīng)網(wǎng)絡(luò)（GenerativeAdversarialNetworks,GAN）成為此領(lǐng)域的兩大主流。2017年，CNN被應(yīng)用到圖像融合任務(wù)中，Liu等[15]利用預(yù)訓(xùn)練的CNN計(jì)算權(quán)重圖，更好地保留了信息。2019年，Ma等[16]創(chuàng)新性地將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于圖像融合領(lǐng)域，提出了FusionGAN。同年，對(duì)傳統(tǒng)CNN做出改進(jìn)，將其編碼網(wǎng)絡(luò)與卷積層、融合層和稠密塊相結(jié)合，HuiLi等[17]提出densefuse，由融合層融合特征，解碼器重構(gòu)圖像。基于深度學(xué)習(xí)的方法在保留信息方面更具優(yōu)勢(shì)，這主要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)結(jié)構(gòu)更適用于提取特征信息。1.2.2目標(biāo)跟蹤研究現(xiàn)狀目標(biāo)跟蹤是指對(duì)目標(biāo)進(jìn)行識(shí)別和運(yùn)動(dòng)軌跡跟蹤，要在任務(wù)開始時(shí)給出目標(biāo)的初始位置。作為計(jì)算機(jī)視覺領(lǐng)域的重要研究方向之一，目標(biāo)跟蹤在軍事作戰(zhàn)、交通管理、視頻監(jiān)控等各種領(lǐng)域都有重要的意義。生成式模型和判別式模型是目標(biāo)跟蹤算法的兩大類，這是根據(jù)觀察模型中所采用的方法來劃分的。早期的目標(biāo)跟蹤算法，諸如光流法、粒子濾波、MeanShift算法[18]、CamShift算法[19]等都屬于生成式模型。在此類方法中，第一步為對(duì)跟蹤目標(biāo)進(jìn)行特征提取，再根據(jù)提取的特征構(gòu)建跟蹤目標(biāo)的模型。在跟蹤任務(wù)中，對(duì)于每一幀，都進(jìn)行目標(biāo)模型匹配，相似度最高處即為此幀中目標(biāo)位置。判別式模型采用分離背景的方法來得到目標(biāo)模型，已成為此領(lǐng)域的主流模型。此類算法又分為基于相關(guān)濾波的算法和基于深度學(xué)習(xí)的算法，這是由算法所使用的特征決定的。2010年，文獻(xiàn)[20]提出了MOSSE算法，這是目標(biāo)跟蹤領(lǐng)域首次引入相關(guān)濾波。在此基礎(chǔ)上，又產(chǎn)生了許多改進(jìn)的算法：CSK算法[21]、DCF算法[22]、KCF算法[22]、SRDCF算法[23]、STRCF算法[24]等。文獻(xiàn)[24]用深度特征代替手工特征應(yīng)用于STRCF算法，形成了DeepSTRCF算法。文獻(xiàn)[25]將孿生神經(jīng)網(wǎng)絡(luò)應(yīng)用于目標(biāo)跟蹤任務(wù)，使用雙分支網(wǎng)絡(luò)結(jié)構(gòu)分別提取樣本和搜索圖像特征，目標(biāo)位置則由相似性比較確定。與判別式模型相比，生成式模型因?yàn)閮H僅使用最初構(gòu)建的模型而不進(jìn)行模型的更新，忽略了環(huán)境對(duì)于目標(biāo)的影響，在目標(biāo)被遮擋或者環(huán)境光線不好時(shí)，跟蹤效果不盡如人意。而判別式模型因?yàn)槭菍⒛繕?biāo)與背景分離，能很好地應(yīng)對(duì)復(fù)雜的環(huán)境變化。1.3本文主要研究成果本文的主要研究?jī)?nèi)容為紅外與RGB信息融合跟蹤技術(shù)，主要包括三部分，即：傳統(tǒng)信息融合跟蹤，基于深度學(xué)習(xí)的IR-RGB融合跟蹤，以及實(shí)驗(yàn)結(jié)果分析。本文主要研究成果包括：學(xué)習(xí)并實(shí)現(xiàn)了一種傳統(tǒng)信息融合跟蹤算法：圖像融合采用雙尺度變換（TIF），目標(biāo)跟蹤由均值漂移（MeanShift）實(shí)現(xiàn)。學(xué)習(xí)并實(shí)現(xiàn)了一種基于深度學(xué)習(xí)的IR-RGB融合跟蹤算法：圖像融合基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）實(shí)現(xiàn)，目標(biāo)跟蹤通過時(shí)空正則化的相關(guān)濾波器（STRCF）實(shí)現(xiàn)。根據(jù)評(píng)估指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析比較。1.4本文內(nèi)容安排第一章：首先對(duì)本課題的研究背景和研究意義進(jìn)行闡述，然后對(duì)圖像融合和目標(biāo)跟蹤兩大模塊的國內(nèi)外現(xiàn)狀進(jìn)行分析，最后介紹本文的研究成果和內(nèi)容組織。第二章：介紹了雙尺度變換（TIF）實(shí)現(xiàn)圖像融合和均值漂移（MeanShift）實(shí)現(xiàn)目標(biāo)跟蹤的原理，這是一種傳統(tǒng)信息融合跟蹤算法。第三章：介紹了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的圖像融合和時(shí)空正則化的相關(guān)濾波器（STRCF）實(shí)現(xiàn)目標(biāo)跟蹤的原理，這是一種于深度學(xué)習(xí)的IR-RGB融合跟蹤算法。第四章：比較分析兩種算法的實(shí)驗(yàn)結(jié)果。第五章：總結(jié)全文，指出不足之處與未來展望。第2章傳統(tǒng)信息融合跟蹤在傳統(tǒng)信息融合跟蹤中，圖像融合采用了雙尺度變換（TIF），目標(biāo)跟蹤任務(wù)則采用了均值漂移（MeanShift）。2.1TIF算法實(shí)現(xiàn)圖像融合TIF圖像融合算法屬于多尺度變換法的一種。由于TIF圖像融合算法僅僅對(duì)圖像進(jìn)行了雙尺度分解，因此與大多數(shù)多尺度變換方法相比其在速度和效率上更具優(yōu)勢(shì)。此外，TIF算法能夠?qū)⒃磮D像中重要的視覺信息集成到最終的圖像中，這主要得益于顯著性檢測(cè)的引入。圖像分解，圖像融合和圖像重建是TIF圖像融合算法的三個(gè)步驟。首先進(jìn)行雙尺度分解，源圖像經(jīng)過均值濾波可得到基礎(chǔ)層，二者作差即為細(xì)節(jié)層;在圖像融合中，由于細(xì)節(jié)層包含更符合人類視覺的信息，首先通過顯著性檢測(cè)計(jì)算權(quán)重圖，據(jù)此對(duì)其進(jìn)行融合，基礎(chǔ)層則平均融合;最后，重建融合圖像，這個(gè)過程是通過更新后的圖層相加完成的。TIF圖像融合算法的流程圖如圖2-1所示。圖2-1TIF圖像融合算法流程圖2.1.1雙尺度圖像分解源圖像?1??其中，?1Bx,y,?2Bx,y分別表示源圖像?1細(xì)節(jié)層?1??2.1.2顯著性檢測(cè)檢測(cè)或識(shí)別圖像中的顯著性區(qū)域，如包含行人、物體的區(qū)域等，這個(gè)過程稱為視覺顯著性檢測(cè)。為了能夠在融合圖像中更好地保留信息，TIF算法中使用顯著性檢測(cè)來提取不同圖像信中的顯著性區(qū)域。作為一種線性濾波器，使用均值濾波器對(duì)源圖像進(jìn)行處理，可以平滑圖像而不影響邊緣信息;作為一種非線性濾波器，使用中值濾波器對(duì)源圖像進(jìn)行處理，可以平滑圖像同時(shí)保留邊緣信息;最后將二者輸出作差取絕對(duì)值來得到顯著圖，能夠強(qiáng)調(diào)如邊、線等的顯著性信息。[14]如圖2-2所示，灰度圖Φ的顯著圖ξ可以表示為：ξ其中，||表示取絕對(duì)值。?μ表示窗口大小wμ為35的均值濾波器的輸出。?η圖2-2視覺顯著性檢測(cè)流程圖彩色圖像也可以使用其顯著性檢測(cè)算法。彩色圖像Φ的顯著圖ξ可以表示為：ξ其中，||||是L2此公式可進(jìn)一步擴(kuò)展為：ξ=其中de表示歐式距離，?μ=?μR,2.1.3計(jì)算權(quán)重圖不同圖像所包含的信息有所不同，為了使得融合圖像具有更多信息，需要對(duì)源圖像細(xì)節(jié)層適當(dāng)?shù)胤峙錂?quán)重,以此來提取源圖像?1x,y,ψψ其中，ψ1,ψ2表示如圖2-3所示，因?yàn)棣?圖2-3顯著圖與權(quán)重圖(其中(a)、(b)為源圖像，(c)、(d)為顯著圖，(e)、(f)為權(quán)重圖)2.1.4圖像融合（1）基礎(chǔ)層融合：基礎(chǔ)層融合采用平均融合策略。?其中，?B（2）細(xì)節(jié)層融合：將權(quán)重圖ψ1,ψ?其中，?D2.1.5圖像重建最后，通過總基礎(chǔ)層和總細(xì)節(jié)層的線性組合重建融合圖像γ(x,y)。γ2.1.6彩色圖融合彩色圖像融合也可使用TIF圖像融合算法，即分別處理R、G、B三色通道，最后聯(lián)結(jié)起來重建彩色融合圖像，流程圖如圖2-4所示。其效果如圖2-5所示，其中（a）、（b）、（c）分別為可見光、紅外和融合圖像。圖2-4彩色圖像融合過程圖2-5彩色圖像融合結(jié)果2.2MeanShift實(shí)現(xiàn)目標(biāo)跟蹤在基于MeanShift的目標(biāo)跟蹤算法中，首先進(jìn)行目標(biāo)和候選模型描述，這一過程通過計(jì)算區(qū)域內(nèi)像素特征值概率來實(shí)現(xiàn)；然后度量二者的相似性，由相似性最大的的候選模型得到關(guān)于目標(biāo)模型的MeanShift向量，此向量使得候選區(qū)域向正確的位置移動(dòng)；最后通過不斷迭代計(jì)算向量，更新候選區(qū)域，算法最終收斂于真實(shí)的目標(biāo)位置。[18]此算法可分為三個(gè)過程，即：目標(biāo)模型和候選模型描述，相似性度量，偏移位置更新。其流程圖如圖2-6所示：圖2-6MeanShift目標(biāo)跟蹤算法流程圖2.2.1目標(biāo)模型和候選模型描述目標(biāo)模型描述：初始位置范圍由groundtruth確定，假設(shè)其中有n個(gè)像素，像素位置用zii=1...n表示，均勻劃分目標(biāo)區(qū)域的灰度顏色空間，得到由m個(gè)相等的區(qū)間構(gòu)成的灰度直方圖，目標(biāo)模型的概率密度qu(u=1,…,m)可表示為qC=z其中，以跟蹤目標(biāo)中心為原點(diǎn)的歸一化像素位置表示為zi*，跟蹤目標(biāo)中心位置為x0,y0。C是歸一化系數(shù)。K是核函數(shù)，常選用Epanechikov核函數(shù)。bzi表示zi候選模型描述：區(qū)域像素用zii=1...n表示，根據(jù)第t-1幀的目標(biāo)中心位置f0，以f0為搜索窗口的中心對(duì)第t幀進(jìn)行匹配，得到以fp其中，核函數(shù)窗口大小為h，決定著權(quán)重分布。2.2.2相似性度量需要用相似性函數(shù)來計(jì)算目標(biāo)模型和候選模型的相似度，常用Bhattacharyya系數(shù)。二者概率分布最小距離即為相似性函數(shù)最大值，由此可以確定當(dāng)前幀的目標(biāo)位置。Battacharyya系數(shù)定義為[18]：ρ相似程度越高則其值越大。2.2.3迭代過程不斷搜索更新候選區(qū)域，使得相似性函數(shù)最大，這個(gè)過程即為MeanShift目標(biāo)跟蹤的迭代過程。Bhattacharyya系數(shù)泰勒展開的近似表達(dá)為：ρpw公式(2-18)中只有第二項(xiàng)隨候選區(qū)域變化。則在MeanShift迭代過程中，候選區(qū)域中心不斷向真實(shí)區(qū)域中心靠近，由此可以完成Bhattacharyya系數(shù)的極大化，迭代方程為：f其中，g(x)=-K(x)。紅外與RGB傳統(tǒng)信息融合跟蹤結(jié)果如圖2-7所示，其中藍(lán)色、黃色方框分別為groundtruth和跟蹤結(jié)果。圖2-7紅外與RGB傳統(tǒng)信息融合跟蹤結(jié)果第3章基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤在基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤中，首先基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行圖像融合，然后采用時(shí)空正則化的相關(guān)濾波器（STRCF）目標(biāo)跟蹤算法對(duì)融合圖像進(jìn)行目標(biāo)跟蹤。3.1CNN實(shí)現(xiàn)圖像融合計(jì)算權(quán)重圖用以融合來自于不同圖像的顯著性信息是圖像融合的關(guān)鍵。在基于CNN的圖像融合算法中，權(quán)重圖是由源圖像直接映射而來的，通過一個(gè)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)?；贑NN的圖像融合算法分為四個(gè)過程：基于CNN生成權(quán)重圖，金字塔分解，系數(shù)融合，拉普拉斯金字塔重建。[15]如圖3-1所示。圖3-1基于CNN的圖像融合算法3.1.1基于CNN生成權(quán)重圖如圖3-2所示，所用卷積網(wǎng)絡(luò)是一個(gè)孿生網(wǎng)絡(luò)，兩個(gè)分支的系數(shù)相同，分別由三個(gè)卷積層和一個(gè)最大池化層組成，最后由一個(gè)全連接層連接卷積得到的特征圖并連接到一個(gè)二維向量上，輸入到一個(gè)軟最大層（未在圖2-7中顯示），產(chǎn)生一個(gè)關(guān)于兩類的概率分布。這兩個(gè)類分別代表兩個(gè)歸一化的權(quán)值分配結(jié)果，其概率之和為1，準(zhǔn)確地表示了權(quán)重分配。該網(wǎng)絡(luò)采用基于多尺度高斯濾波和隨機(jī)采樣的高質(zhì)量圖像斑塊及其模糊版本進(jìn)行訓(xùn)練。圖3-2CNN結(jié)構(gòu)3.1.2金字塔分解將紅外圖像I和可見光圖像V分別分解為拉普拉斯金字塔LIl和LVl，GWl為權(quán)重圖W分解成的高斯金字塔，l代表第l個(gè)分解層。每個(gè)金字塔的總分解層數(shù)被設(shè)置為最高可能值log23.1.3系數(shù)融合對(duì)于每個(gè)分解層l,分別計(jì)算LIl和EE其中m×n表示窗口大小，I表示紅外圖像，V表示可見光圖像，EIl表示紅外圖像第l層局部能量圖，EV用于確定圖像融合模式的相似度計(jì)算如下：M其中第l層的相似度表示為Ml其值域?yàn)閇-11]，越接近1表示相似度越高。圖像融合模式由設(shè)定的閾值t來確定，如果Mlx,yL其中LF如果MlL因此，融合策略可匯總為：L3.1.4拉普拉斯金字塔重建各層融合完畢后，使用拉普拉斯金字塔LFl進(jìn)行重建，得到融合圖像。圖3-3為灰度圖融合效果，圖3-4為彩色圖融合效果，其中（a），（b），（圖3-3基于CNN的灰度圖融合結(jié)果圖3-4基于CNN的彩色圖融合結(jié)果3.2STRCF實(shí)現(xiàn)目標(biāo)跟蹤STRCF實(shí)現(xiàn)目標(biāo)跟蹤屬于基于相關(guān)濾波的目標(biāo)跟蹤算法。此類算法通過分離背景來獲得目標(biāo)模型，屬于判別式模型，與基于生成式模型算法相比，可以更好地應(yīng)對(duì)復(fù)雜的環(huán)境變化。2010年，Bolme等[20]首次將相關(guān)濾波應(yīng)用于目標(biāo)跟蹤，提出MOSSE算法。此后，從MOSSE到CSK[21]到KCF[22]、DCF[22]再到SRDCF[23]、STRCF[24]，基于相關(guān)濾波的目標(biāo)跟蹤算法飛速發(fā)展，并取得了卓越的效果。3.2.1相關(guān)濾波相關(guān)性用來描述兩個(gè)因素之間的聯(lián)系，是信號(hào)處理中的一個(gè)概念，也可以用來表示圖片的相似程度。假設(shè)有兩個(gè)信號(hào)f和g，則兩個(gè)信號(hào)的相關(guān)性為：f其中，f*表示f在基于相關(guān)濾波的目標(biāo)跟蹤算法中，第一步為初始化相關(guān)濾波器，訓(xùn)練數(shù)據(jù)為初始目標(biāo)區(qū)域的特征；在之后的目標(biāo)跟蹤中，每一幀都根據(jù)上一幀的目標(biāo)區(qū)域，提取本幀中的特征并通過相關(guān)濾波器得到輸出，跟蹤目標(biāo)的新位置則由輸出最大值所在的位置確定；然后需要訓(xùn)練更新相關(guān)濾波器，用于之后的預(yù)測(cè)，訓(xùn)練數(shù)據(jù)為新目標(biāo)區(qū)域的特征。為了提高跟蹤速度，在傅里葉域中計(jì)算相關(guān)性。首先，通過F=?(f),H=?(h)G=F其中，⊙表示元素乘法，*表示復(fù)共軛。之后，將相關(guān)性輸出轉(zhuǎn)換回空域，這一過程是利用逆快速傅里葉變換實(shí)現(xiàn)的?；谙嚓P(guān)濾波的圖像跟蹤算法流程圖如圖3-5所示：圖3-5基于相關(guān)濾波的目標(biāo)跟蹤算法流程圖3.2.2MOSSE實(shí)現(xiàn)目標(biāo)跟蹤作為一種能夠生成類似ASEF的濾波器的算法，MOSSE只需要較少的訓(xùn)練圖像。[20]假定訓(xùn)練圖像fi和訓(xùn)練輸出gi,設(shè)FiH其中除法表示元素除法。所期望的濾波器H能夠?qū)⑤斎胗成涞狡谕敵?，即使得真?shí)輸出與期望輸出誤差平方和最小，如下：min由元素操作可知，要求得上式值最小，即使得其中每個(gè)元素最小，所以上式可轉(zhuǎn)換為：min其中，w，v為H的索引。令上式偏導(dǎo)為0即可求得結(jié)果，最后得到MOSSE濾波器的封閉形式的解：H目標(biāo)跟蹤時(shí)，首先初始化相關(guān)濾波器，訓(xùn)練樣本fi由groundtruth隨機(jī)變換得到，而gi則是由高斯函數(shù)產(chǎn)生，其峰值位置是fiHAB其中，η表示學(xué)習(xí)率。使得以前幀的影響隨時(shí)間衰減，更加強(qiáng)調(diào)最近的幀。[20]文獻(xiàn)[20]經(jīng)過實(shí)踐指出，η=0.1253.2.3DCF實(shí)現(xiàn)目標(biāo)跟蹤在MOSSE的基礎(chǔ)上，通過修改損失函數(shù)和加入正則項(xiàng)，Henriques等[21]提出了CSK算法，并在其中采用了循環(huán)矩陣和核函數(shù)。在此基礎(chǔ)上，通過改變核函數(shù)和特征提取方式，文獻(xiàn)[22]提出了DCF算法。訓(xùn)練、檢測(cè)和更新為DCF算法的三個(gè)主要流程。（1）訓(xùn)練：在第t幀中，訓(xùn)練樣本xi(i∈0,1,...,M-1×0,1,...,N-1)由以目標(biāo)位置為中心，大小為M×N的圖像塊x作為采用循環(huán)位移得到。[22]對(duì)于遞歸最小二乘法（recursiveleastsquare,RLS）分類器，分類實(shí)質(zhì)為找到w使得函數(shù)fx=wmin其中，w為分類器參數(shù)，λ||w||2為正則化項(xiàng)，可以防止濾波器過擬合。通過非線性映射將w表示為xi的高維特征矩陣?xi的線性加權(quán)形式，即w=iαi?xi，其中α為w的對(duì)偶空間變量。[22]α計(jì)算α^。[22]式中核相關(guān)kxx為kxi,xk其中，σ為核函數(shù)參數(shù)，x*為x^的復(fù)共軛。（2）檢測(cè)：待樣本訓(xùn)練完成之后，以同樣的方式選取后續(xù)幀的圖像塊并進(jìn)行檢測(cè)，得到的響應(yīng)圖表示為[22]：f則當(dāng)前幀中目標(biāo)的位置即為fz（3）更新：目標(biāo)跟蹤過程中，濾波器和目標(biāo)外觀模型更新采用線性插值，此舉是為了減少目標(biāo)形變、光照等因素的影響。更新方式表示為[22]：a其中，t為幀數(shù)，θ為學(xué)習(xí)率。3.2.4STRCF實(shí)現(xiàn)目標(biāo)跟蹤DCF的跟蹤性能主要受三個(gè)方面的限制：（1）因?yàn)闉V波器的尺寸要和塊尺寸相等，因此限制了檢測(cè)范圍。（2）固定的搜索區(qū)域造成了訓(xùn)練樣本集中負(fù)樣本的缺失，會(huì)產(chǎn)生模型過擬合的情況，當(dāng)跟蹤目標(biāo)被遮擋時(shí)難以重新檢測(cè)。（3）采用周期假設(shè)產(chǎn)生邊界效應(yīng)問題。[26]為了解決這些問題，在DCF的基礎(chǔ)上引入了正則化策略，產(chǎn)生了許多正則化類相關(guān)濾波器。文獻(xiàn)[23]在DCF中引入了空間正則化，提出了SRDCF算法。通過設(shè)置濾波器的模板參數(shù)，將其集中在搜索區(qū)域的中心位置，邊界區(qū)域趨近于0，SRDCF算法可以解決相關(guān)濾波器的邊界效應(yīng)。其損失函數(shù)可以表示為[23]：ξS其中，x是樣本圖片，f是濾波器，S是相應(yīng)圖，S的峰值位置即為跟蹤目標(biāo)的新位置。α表示每個(gè)樣本的權(quán)重，y表示期望輸出，ω則為權(quán)值系數(shù)，是反高斯的。STRCF算法的提出將時(shí)間正則化引入了SRDCF。由于此模型是凸的，采用交替方向乘子法（alternatingdirectionmethodofmultiplier,ADMM）對(duì)每個(gè)子問題進(jìn)行求解時(shí)均能得到閉合解，而且能在迭代次數(shù)較少的情況下實(shí)現(xiàn)收斂，得到最終的跟蹤結(jié)果。[24]其損失函數(shù)為：ξ其中，x是樣本圖片，f是濾波器，y表示期望輸出。d=1D||ω·基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤結(jié)果如下圖3-4所示，其中藍(lán)色、黃色方框分別為groundtruth和跟蹤結(jié)果。圖3-6基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤結(jié)果第4章實(shí)驗(yàn)結(jié)果4.1數(shù)據(jù)集RGBT210[27]。此數(shù)據(jù)集包含210個(gè)視頻集，共約210000幀，RGBT234[28]為其擴(kuò)充版，包含234個(gè)視頻集。其中，每個(gè)視頻集包括該視頻的RGB和紅外視頻序列，序列中的目標(biāo)位置統(tǒng)一手工標(biāo)注，標(biāo)注形式為[x,y,w,h]，即左上角和寬、高。其整體測(cè)評(píng)方法同GTOT[29]，采用precisionrate（精確度）和succeessrate（成功率）。RGBT210示例如圖4-1，上層為紅外圖像，下層為可見光圖像。圖4-1RGBT210示例圖4.2評(píng)估指標(biāo)（1）PrecisionRate(精確度):跟蹤成功時(shí)，預(yù)測(cè)框與groundtruth框中心點(diǎn)的歐氏距離小于閾值(一般設(shè)為20像素)。精確度是指在相應(yīng)閾值下追蹤成功的幀數(shù)與總幀數(shù)之比。（2）SuccessRate(成功率):跟蹤成功時(shí)，預(yù)測(cè)框與groundtruth框的區(qū)域內(nèi)像素交并比大于閾值(通常設(shè)為0.5)。成功率是指在相應(yīng)閾值下追蹤成功的幀數(shù)與總幀數(shù)之比。4.3定性分析圖4-2，圖4-3為傳統(tǒng)信息融合跟蹤與基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤的實(shí)驗(yàn)結(jié)果對(duì)比圖。其中（a）、（b）、（c）為傳統(tǒng)信息融合跟蹤實(shí)驗(yàn)結(jié)果，（d）、（e）、（f）為基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤實(shí)驗(yàn)結(jié)果。如圖所示，與傳統(tǒng)信息融合跟蹤相比，基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤的融合圖像整體色調(diào)更亮，細(xì)節(jié)更加清晰。同時(shí)，其目標(biāo)跟蹤的預(yù)測(cè)框與groundtruth框重合的比例也更高，在目標(biāo)受到遮擋的情況下尤為明顯。圖4-2兩種算法實(shí)驗(yàn)對(duì)比圖1圖4-3兩種算法實(shí)驗(yàn)對(duì)比圖24.4定量分析圖4-4MeanShift目標(biāo)跟蹤精確度圖圖4-5STRCF目標(biāo)跟蹤精確度圖圖4-6兩種算法精確度對(duì)比圖圖4-4和圖4-5分別為MeanShift和STRCF目標(biāo)跟蹤的精確度，其中包含了紅外、可見光和融合圖像。如圖4-4所示，對(duì)于MeanShift目標(biāo)跟蹤，使用融合圖像的目標(biāo)跟蹤的精確度要高于使用紅外圖像和可見光圖像的目標(biāo)跟蹤的精確度。當(dāng)閾值為20像素時(shí)，精確度由高到低依次為：融合圖像，可見光圖像，紅外圖像。如圖4-5所示，對(duì)于STRCF目標(biāo)跟蹤，使用融合圖像的目標(biāo)跟蹤的精確度同樣最高。隨著閾值增大，使用融合圖像深度特征的deepSTRCF目標(biāo)跟蹤精確度最先達(dá)到1，其次是使用融合圖像人工特征的STRCF目標(biāo)跟蹤。當(dāng)閾值大于14像素時(shí)，STRCF目標(biāo)跟蹤的精確度全部達(dá)到1。圖4-6則是傳統(tǒng)信息融合跟蹤和基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤兩種算法精確度的對(duì)比圖，可以看出基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤的精確度要遠(yuǎn)高于傳統(tǒng)信息融合跟蹤的精確度。而且基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤的精確度在閾值10像素之前就已達(dá)到1，而傳統(tǒng)信息融合跟蹤的精確度在閾值50像素才達(dá)到0.98。圖4-7MeanShift目標(biāo)跟蹤成功率圖圖4-8STRCF目標(biāo)跟蹤成功率圖圖4-9兩種算法成功率對(duì)比圖圖4-7和圖4-8分別為MeanShift和STRCF目標(biāo)跟蹤的成功率，其中包含了紅外、可見光和融合圖像。如圖4-7所示，對(duì)于MeanShift目標(biāo)跟蹤，使用融合圖像的目標(biāo)跟蹤的成功率要高于使用紅外圖像和可見光圖像的目標(biāo)跟蹤的成功率。當(dāng)閾值為0時(shí)，圖中三條曲線的函數(shù)值都不為1，這說明，MeanShift目標(biāo)跟蹤中存在并交比為0，即預(yù)測(cè)框與groundtruth框無公共區(qū)域的情況。當(dāng)閾值為0.5時(shí)，成功率由高到低依次為：融合圖像，可見光圖像，紅外圖像。當(dāng)閾值為1時(shí)，由于并交比不可能大于1，所以成功率皆降為0。如圖4-8所示，對(duì)于STRCF目標(biāo)跟蹤，使用融合圖像的目標(biāo)跟蹤的成功率要高于使用紅外圖像和可見光圖像的目標(biāo)跟蹤的成功率。當(dāng)閾值為0時(shí)，圖中四條曲線的函數(shù)值皆為1，這說明，在STRCF目標(biāo)跟蹤算法中，預(yù)測(cè)框與groundtruth框都有公共區(qū)域。隨著閾值增大，STRCF目標(biāo)跟蹤使用紅外圖像時(shí)的成功率最先從1開始下降，然后是可見光圖像，融合圖像人工特征，最后為融合圖像深度特征。當(dāng)閾值為0.5時(shí)，可以看出圖中四條曲線的成功率皆為1。圖4-9則是傳統(tǒng)信息融合跟蹤和基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤兩種算法成功率的對(duì)比圖，可以看出基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤的成功率要遠(yuǎn)高于傳統(tǒng)信息融合跟蹤的成功率。閾值為0.5時(shí)，基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤的成功率仍為1，而傳統(tǒng)信息融合跟蹤的成功率已下降為0.27。表4-1算法性能表算法精確度成功率速度傳統(tǒng)信息融合跟蹤0.980.9714.58FPS基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤0.270.1243.15FPS表4-1為傳統(tǒng)信息融合跟蹤和基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤兩種算法的性能表。雖然傳統(tǒng)信息融合跟蹤的速度快，但其精確度和成功率都要遠(yuǎn)低于基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤。第5章結(jié)論與展望5.1結(jié)論本文對(duì)紅外與RGB信息的融合跟蹤技術(shù)進(jìn)行了研究，實(shí)現(xiàn)了一種傳統(tǒng)信息融合跟蹤算法(TIF圖像融合，MeanShift目標(biāo)跟蹤)和一種基于深度學(xué)習(xí)的IR-RGB信息融合跟蹤算法(基于CNN實(shí)現(xiàn)圖像融合，STRCF目標(biāo)跟蹤)。這兩種算法都是先進(jìn)行圖像融合再進(jìn)行單目標(biāo)跟蹤，即像素級(jí)單目標(biāo)融合跟蹤。最后根據(jù)目標(biāo)跟蹤的評(píng)價(jià)指標(biāo)對(duì)跟蹤結(jié)果進(jìn)行了對(duì)比分析。實(shí)驗(yàn)表明，由于融合圖像包含有更多的信息，所以其目標(biāo)跟蹤的效果要優(yōu)于紅外圖像的目標(biāo)跟蹤效果或者可見光圖像的目標(biāo)跟蹤效果。除此之外，STRCF的目標(biāo)跟蹤性能要優(yōu)于MeanShift的目標(biāo)跟蹤性能。5.2不足之處及未來展望5.2.1不足之處（1）對(duì)于圖像融合算法，缺乏明確的評(píng)價(jià)指標(biāo)，更多地靠人類視覺來直觀感受融合圖像的質(zhì)量好壞。（2）兩種圖像融合跟蹤算法都屬于像素級(jí)融合跟蹤，沒有涉及到其他層級(jí)。（3）僅僅對(duì)融合圖像進(jìn)行了單目標(biāo)跟蹤，但在實(shí)際應(yīng)用場(chǎng)景中，會(huì)涉及到多目標(biāo)跟蹤。5.2.2未來展望（1）圖像融合跟蹤算法的訓(xùn)練需要大量的數(shù)據(jù)集進(jìn)行有監(jiān)督學(xué)習(xí)，而groundtruth的人工標(biāo)定需要耗費(fèi)大量的時(shí)間精力。因此，無監(jiān)督的圖像融合跟蹤將是未來的一個(gè)重要研究方向。（2）目標(biāo)的特征提取在目標(biāo)跟蹤任務(wù)中尤為重要。與人工標(biāo)定的特征相比，神經(jīng)網(wǎng)絡(luò)提取的特征具有一定的優(yōu)勢(shì)。如何設(shè)計(jì)用于特征提取的適合的網(wǎng)絡(luò)結(jié)構(gòu)并進(jìn)行訓(xùn)練是需要進(jìn)一步研究討論的課題。（3）現(xiàn)在提出的大多數(shù)多目標(biāo)融合跟蹤算法都是基于傳統(tǒng)方法的。因此，多目標(biāo)融合跟蹤的一個(gè)重要研究方向是引入深度特征和相關(guān)濾波。（4）現(xiàn)存的目標(biāo)跟蹤算法通常都是使用單一方法進(jìn)行跟蹤過程。其未來的發(fā)展趨勢(shì)必然是利用多種跟蹤方法相結(jié)合，優(yōu)勢(shì)互補(bǔ)，從而最大限度地提升性能，提高系統(tǒng)的魯棒性與實(shí)時(shí)性。[30]參考文獻(xiàn)張國華,卜紀(jì)偉,薛雷等.基于像素級(jí)圖像融合的MeanShift目標(biāo)跟蹤[J].微型電腦應(yīng)用,2011,27(04):25-27+33+5.謝春宇.基于紅外與可見光雙模圖像融合的目標(biāo)檢測(cè)跟蹤技術(shù)研究[D].東南大學(xué),2020.DOI:10.27014/ki.gdnau.2020.000613.陳少華.基于紅外與可見光圖像融合的目標(biāo)跟蹤[D].南京航空航天大學(xué),2012.HuJW,ZhengBY,WangC,etal.Asurveyonmulti-sensorfusionbasedobstacledetectionforintelligentgroundvehiclesinoff-roadenvironments[J].信息與電子工程前沿：英文版,2020,21(5):18.N.S.Zewge,Y.Kim,J.KimandJ.-H.Kim,"Millimeter-WaveRadarandRGB-DCameraSensorFusionforReal-TimePeopleDetectionandTracking,"20197thInternationalConferenceonRobotIntelligenceTechnologyandApplications(RiTA),Daejeon,Korea(South),2019,pp.93-98,doi:10.1109/RITAPP.2019.8932892.Daily,M.I.,TomG.Farr,CharlesElachiandGeraldG.Schaber.“GeologicinterpretationfromcompositedradarandLandsatimagery.”(1979).LanerDT,ToddWJ.LandcovermappingwithmergedLandsatRBVandMSSstereoscopicimages[C]//ProceedingsoftheASPFalltechnicalconference.SanFrancisco,1981:680-689.魯婷婷.基于紅外可見光圖像融合的目標(biāo)跟蹤研究[D].華東師范大學(xué),2020.DOI:10.27149/ki.ghdsu.2020.000943.P.J.BurtandR.J.Kolczynski,"Enhancedimagecapturethroughfusion,"1993(4th)InternationalConferenceonComputerVision,Berlin,Germany,1993,pp.173-182,doi:10.1109/ICCV.1993.378222.Guan-xia,Bao.“DigitalSecurityTechnologyofWatermarkBasedonLaplacianPyramid.”PackagingEngineering(2016):n.pag.PEEBLESPZJr.Probability,randomvariable,andrandomsignalprinciples[M].4thed.NewYork:McGrawHill,2001.L.J.Chipman,T.M.OrrandL.N.Graham,"Waveletsandimagefusion,"Proceedings.,InternationalConferenceonImageProcessing,Washington,DC,USA,1995,pp.248-251vol.3,doi:10.1109/ICIP.1995.537627.DoMN,VetterliM.Contourlets:Adirectionalmultiresolutionimagerepresentation[C]//Signals,SystemsandComputers,2002.ConferenceRecordoftheThirty-SixthAsilomarConferenceon.IEEE,2002.A.L.daCunha,JianpingZhou,andM.N.Do.2006.TheNonsubsampledContourletTransform:Theory,Design,andApplications.Trans.Img.Proc.15,10(October2006),3089–3101.BavirisettiDP,DhuliR.Two-scaleimagefusionofvisibleandinfraredimagesusingsaliencydetection[J].InfraredPhysics&Technology,2016,76:52-64.YuLiu,XunChen,HuPeng,andZengfuWang.2017.Multi-focusimagefusionwithadeepconvolutionalneuralnetwork.Inf.Fusion36,C(July2017),191–207.JiayiMa,WeiYu,PengweiLiang,ChangLi,andJunjunJiang.2019.FusionGAN:Agenerativeadversarialnetworkforinfraredandvisibleimagefusion.Inf.Fusion48,C(Aug2019),11–26.H.LiandX.-J.Wu,"DenseFuse:AFusionApproachtoInfraredandVisibleImages,"inIEEETransactionsonImageProcessing,vol.28,no.5,pp.2614-2623,May2019,doi:10.1109/TIP.2018.2887342.ComaniciuD,RameshV.Real-timetrackingofnon-rigidobjectsusingmeanshift[C]//ProceedingsIEEEConferenceonComputerVisionandPatternRecognition.CVPR2000(Cat.No.PR00662).0.J.NieandX.Guo,"ATargetTrackingMethodBasedonImprovedCamshiftAlgorithm,"2020IEEE5thInformationTechnologyandMechatronicsEngineeringConference(ITOEC),Chongqing,China,2020,pp.254-258,doi:10.1109/ITOEC49072.2020.9141593.BolmeDS,BeveridgeJR,DraperBA,etal.Visualobjecttrackingusingadaptivecorrelationfilters[J].IEEE,2010.Jo?oF.Henriques,RuiCaseiro,PedroMartins,andJorgeBatista.2012.Exploitingthecirculantstructureoftracking-by-detectionwithkernels.InProceedingsofthe12thEuropeanc