基于粒子Mean Shift遷移的紅外人體目標跟蹤算法

基于粒子ＭｅａnShift遷移的紅外人體目標跟蹤算法本文受教育部科研重點項目基金資助，項目編號：108174本文受教育部科研重點項目基金資助，項目編號：108174云廷進郭永彩高潮(重慶大學光電技術及系統(tǒng)教育部重點實驗室,重慶，400０30)摘要：提出一種基于粒子MｅanShift遷移過程的紅外人體跟蹤方法。算法通過采樣粒子遷移和聚類動態(tài)建立目標的狀態(tài)模型和量測模型。在被跟蹤區(qū)域隨機布撒粒子，以各粒子對應像素的亮度作為特征值進行MeanShift收斂性分析，使用收斂后的粒子集表達目標的當前狀態(tài)；以狀態(tài)粒子的坐標位置為特征值對其進行MｅａnSｈift聚類,作為對目標的量測。連續(xù)跟蹤時,下一幀的采樣粒子基于上一幀的量測結果產(chǎn)生。與傳統(tǒng)的基于序貫重要性采樣的粒子濾波方法相比，算法不需要目標的相似性測度計算，僅用少數(shù)粒子即可實現(xiàn)對目標的可靠跟蹤。關鍵詞：粒子遷移人體跟蹤紅外圖像MeaｎSｈift粒子濾波引言紅外圖像中人體目標的跟蹤困難主要來自兩個方面：一是人體目標的自身特征，由于人體是非剛體目標，姿態(tài)多樣，大小不一,而且運動狀態(tài)復雜多變,具有高度的隨意性，沒有固定的運動規(guī)律,無法建立完善的運動模型表達形式;二是紅外圖像是灰度圖像，沒有色彩信息,紋理細節(jié)很少，使得目標跟蹤可用的特征值較少。傳統(tǒng)的跟蹤方法如光流法是基于剛體運動目標，對于非剛體目標的跟蹤受到限制[1]，用于人體目標跟蹤時必須與其它特征相結合才能完成[2][3];卡爾曼濾波及其擴展形式等是基于線性／高斯動態(tài)系統(tǒng),需要對目標的運動特征進行假設,建立目標運動模型[4］，如CP,ＣA，CV等模型,因此使其在應用于人體目標跟蹤時受到一些限制。目前，用于人體目標跟蹤的比較可行的算法是采用貝葉斯濾波跟蹤的形式［5]，粒子濾波作為貝葉斯濾波的最優(yōu)近似,適用于任意非線性非Gaｕss的隨機系統(tǒng)，適合于人體目標的跟蹤［６][7]。粒子濾波是基于仿真的統(tǒng)計濾波方法,需要采用大量的隨機樣本粒子來估計，使得運算量很大，此外還非常依賴于相似函數(shù)的選擇,并面臨粒子退化和粒子枯竭的問題。近年來MeaｎSｈift算法［7]作為一種有效的統(tǒng)計迭代算法，在滿足一定條件下,可快速收斂到最近的一個概率密度函數(shù)的穩(wěn)態(tài)點而不需要任何先驗知識,實現(xiàn)非參數(shù)概率密度的估計，在人體等非剛體目標跟蹤中得到了很好的應用[8]［9][10]。但由于MｅanShiｆｔ跟蹤方案需要使用目標的色彩空間分布作為特征值，使用跟蹤區(qū)域的顏色直方圖的Bhatｔａchａｒｙya系數(shù)進行相似性分析,對于紅外人體目標來說,丟失了色彩信息,而且目標間的灰度特征都很接近，很難通過顏色直方圖的Ｂhａt(yī)tacｈaｒyｙａ系數(shù)進行匹配，傳統(tǒng)的基于顏色的MeanShifｔ算法不能適用于此類跟蹤任務。本文基于粒子濾波的思想，結合MeaｎSｈifｔ算法非參數(shù)概率密度估計的優(yōu)點,使用MeａnShifｔ方法對粒子進行收斂性分析,使用達到穩(wěn)定態(tài)的傳播粒子對目標的狀態(tài)進行動態(tài)建模，由此,在不需要知道目標模型先驗知識的基礎上，不依賴于相似函數(shù),與粒子濾波算法相比，克服了粒子退化及粒子耗盡的問題，僅用少數(shù)的粒子即可實現(xiàn)對人體目標進行可靠跟蹤,降低了運算量。1ＭeａｎShift方法的簡介圖１MｅaｎＳhift迭代過程Ｆig.1TheｉteｒatiｖeproｃeｓｓｏｆMeanShiftalgｏrｉthｍ給定離散特征點集,核函數(shù),則在點處的概率密度估計為：(1）事實上，在實際計算時，我們可以通過計算概率密度估計的梯度（2)通過沿著特征空間內(nèi)樣本點密度梯度方向進行反復迭代搜索，使各樣本點最終收斂于臨近的局部密度極大點。一般的，核函數(shù)采用(3)的形式,為歸一化系數(shù)，為核函數(shù)半徑。常用的核函數(shù)有[８]等幾種形式。令，則(4)代入上式(5)定義(６)為ＭｅaｎSｈift向量,則的方向與概率密度估計函數(shù)的梯度方向一致。對樣本集中的特征點按(7）反復進行遞推迭代,當不再變化時，即時,則收斂于概率密度函數(shù)的局部極大值。通常，我們可以放松收斂條件，當小于一定閾值時,即可認為收斂過程完成。2跟蹤模型的建立２.１狀態(tài)模型跟蹤模型分為兩個部分:狀態(tài)模型和量測模型。假定初始目標所在的區(qū)域在圖像中的位置為，對于較小目標，目標區(qū)域每個像素放置一個粒子；對于較大的目標，在目標區(qū)域按一定概率密度布撒M個隨機粒子，相當于對目標的灰度分布進行抽樣采樣,樣本數(shù)為M,降低計算量。記采樣粒子集合,對每個粒子使用其所在圖像位置的灰度值作為特征值,使用Unｉｆorm核函數(shù),進行MeanShift收斂分析。粒子在兩軸向上MeａnShift向量(８）式中、分別為所用核函數(shù)的帶寬。之所以采用Uniｆoｒｍ核，是因為對于較大的目標圖像可以通過積分圖像加速MeａnShifｔ算法的執(zhí)行[１１］。當小于設定閾值時,記錄收斂位置。由于紅外圖像中人體目標的亮度比背景亮度要高，由MeanShift算法的收斂特性可知,所有的粒子都向附近灰度概率密度函數(shù)的局部極大值遷移,即由背景向圖像中的人體目標亮度較高的位置移動。各粒子的最終收斂位置由目標的灰度分布和所選取的帶寬函數(shù)決定。假定所有粒子的最終收斂位置集合為,即目標的灰度密度函數(shù)的局部極大值所在位置可以用個粒子進行表達。當選取合理的帶寬函數(shù)時，粒子最終收斂位置并不完全依賴于目標的外形輪廓,使用這種狀態(tài)模型,當目標局部被背景遮擋時，狀態(tài)模型仍然有效，只是對目標整體狀態(tài)的刻畫轉化為對目標局部狀態(tài)的刻畫，對跟蹤而言,只是由目標整體跟蹤轉化為局部跟蹤，對于人體等非剛體目標具有非常好的魯棒性。2.２量測模型對于目標狀態(tài)的量測通過對表達目標狀態(tài)的所有粒子的聚類分析實現(xiàn)。假定狀態(tài)粒子集中第個粒子在圖像中的坐標位置可以用復數(shù)向量表示，以作為特征值進行MeaｎShift非監(jiān)督聚類，對應的ＭeanShift向量為：(9）由于粒子的坐標位置為整數(shù)，故當?shù)慕^對值取整數(shù)為零時，即可認為聚類過程完成。假定第個量測粒子的收斂位置和包含的粒子數(shù)目為,則該量測粒子相對于圖像的絕對坐標值為。各粒子量測值的權重系數(shù)由其對應類別所包含的粒子數(shù)目歸一化決定：（１０）式中L為聚類完成后得到量測粒子總數(shù)，使用所有量測粒子坐標位置的加權平均值作為運動軌跡點坐標位置:(11)圖２為實現(xiàn)跟蹤模型建立的實例。(a）目標圖像（ｂ）狀態(tài)模型（c)量測模型(d)權系數(shù)及加權中心圖2跟蹤模型的建立Fig.2Eｓtａｂｌiｓhingmodelsfortｒackｉng3目標跟蹤的實現(xiàn)3．１算法的執(zhí)行過程在介紹算法的實現(xiàn)方案之前,首先介紹一下粒子濾波的思想方法,關于粒子濾波的更多理論和方案請參見相關文獻[１2]。粒子濾波的基本思想是在基于大量的量測的基礎上，通過一組加權粒子的演化與傳播來遞推近似狀態(tài)的后驗概率密度函數(shù)分布，基于這些樣本和權值來計算估計值。概括開來，粒子濾波主要步驟有:（1）粒子采樣，產(chǎn)生隨機量測粒子（2）權系數(shù)更新（３）相似性特征的計算。與粒子濾波策略類似,使用本文模型實現(xiàn)目標跟蹤分為以下步驟：（１）跟蹤初始化,根據(jù)目標分割識別算法或手工確定的目標所在區(qū)域,按照本文的模型建立方法,建立目標的狀態(tài)模型和量測模型，存儲量測粒子的坐標位置和相應權系數(shù)。(2)在下一幀圖像中，以上一幀圖像的量測粒子為基礎,對各粒子周邊一定范圍內(nèi)的像素進行MonteCarｌo采樣,采樣的粒子的數(shù)目由其傳播系數(shù)決定，使用所有的無重復采樣粒子作為本幀圖像中的傳播粒子。（3）對本幀圖像中的傳播粒子進行MeaｎSｈift分析，產(chǎn)生目標新的狀態(tài)模型,并計算相應的量測模型和加權中心及對應粒子的傳播系數(shù),傳遞至下一幀圖像。反復執(zhí)行步驟（2）(3），并計算各幀圖像中的目標運動軌跡坐標，實現(xiàn)對目標的跟蹤。3.2傳播粒子的產(chǎn)生控制傳播粒子的采樣控制直接影響到跟蹤算法的性能。由于傳播粒子的位置根據(jù)上一幀的量測粒子確定，每個量測粒子的權系數(shù)控制其在下一幀中產(chǎn)生傳播粒子的數(shù)目。若量測粒子具有較大的權系數(shù)，則布撒較多的粒子，對周圍區(qū)域進行比較稠密的采樣，通過粒子的MeaｎSｈift遷移盡可能刻畫出下一幀圖像中該粒子周圍的狀態(tài)模式。以量測粒子為例,所產(chǎn)生的傳播粒子集為：(12）式中為采樣區(qū)域控制范圍,決定了探測窗口的大小,由當前量測粒子與其最鄰近的量測粒子之間的距離決定，并使用目標的大小進行寬松的約束。為目標在兩軸方向上的單步移動距離估計,Ｍ為產(chǎn)生粒子的數(shù)目。對于連續(xù)的圖像序列，針對人體目標跟蹤而言,前后兩幀圖像中目標位移距離不會太大，可不考慮；對于等間隔不連續(xù)的圖像序列,可設為固定值;在更復雜的無法估計的情況下，可采用Ｋaｌman濾波的方法，估計上一幀圖像中量測粒子在當前幀中的位置取代作為粒子采樣的中心位置。3.３量測粒子傳播系數(shù)分配策略及無效量測粒子的剔除如前所述,量測粒子的權中系數(shù)的主要作用有兩個:一是用于計算當前幀圖像中加權中心的位置（運動軌跡），二是決定下一幀圖像中傳播粒子的數(shù)目。在假定目標運動連續(xù)性的基礎上,我們可以認為前后兩幀圖像中目標的加權中心位置偏移不會太大。因此，為使得跟蹤軌跡的位置保持相對穩(wěn)定,我們對量測粒子的傳播系數(shù)分配在其對應權系數(shù)的基礎上進行了修訂,賦給上一幀量測粒子加權中心位置的粒子更大的權系數(shù)，對遠離加權位置的量測粒子，由于其對加權中心的計算貢獻較小，因此粒子權系數(shù)也較小，對其傳播系數(shù)進行抑制。比較可靠的方法是直接將量測粒子加權中心位置作為一個新的量測粒子并賦予較大的傳播系數(shù)，剩余的權系數(shù)按照其與加權中心的距離的倒數(shù)進行分配。假定量測加權中心位置坐標為，量測粒子,則權系數(shù)的分配規(guī)則可為(１3)式中為距離函數(shù)。一般情況下,取值可設置在０.3~０.7范圍內(nèi),當目標較小時,我們甚至不需要考慮其余的量測粒子,將全部的系數(shù)權值都分配給處于加權中心位置的量測粒子,即。由于傳播粒子產(chǎn)生的隨機性及目標的位移,因此基于上一幀圖像中對目標的量測產(chǎn)生的傳播粒子在當前幀完成MｅanＳhift遷移過程后,難免有的量測粒子游離于目標之外，需要根據(jù)一定的參量將這些量測粒子剔除。一般的在假定目標亮度比較均一且高于背景亮度的前提下，可以采用量測粒子所在位置的像素的灰度值作為測度，采用P－tile算法確定有效量測粒子對應的灰度閾值,將低于這一閾值的量測粒子作為無效粒子進行剔除,避免其在下一幀圖像中進行傳播,使得跟蹤更加可靠并降低計算量。４實驗結果及結論我們選取一個典型的視頻序列作為測試對象,以檢驗算法的有效性。測試的紅外視頻來自Youｔube網(wǎng)站獲得該序列對應的原始視頻請訪問：/watch?v=9fx7_D0E7zg，在這段視頻中，人體目標的姿態(tài)包括半蹲、爬行、匍匐、站立、下蹲、被背景遮擋等各種復雜狀態(tài)的運動,并且攝像機視場也在變化。將視頻分解為55０幀連續(xù)圖像序列，用于測試本文的算法，初始化探測窗口可手工選定,也可通過人體檢測算法確定。由于視頻背景內(nèi)容隨攝像機的移動而改變，運動軌跡沒有固定的參照系而失去意義,因此未畫出目標運動的軌跡。獲得該序列對應的原始視頻請訪問：/watch?v=9fx7_D0E7zg第175第175幀第110幀第第210幀第第252幀第383第383幀第288幀第441第441幀第415幀第537第537幀第520幀圖3圖像序列跟蹤測試結果Ｆｉg．3Ｉmａgeｓeｑuｅｎcｅtｒaｃkｉngｒｅｓｕｌts從測試結果可以看出,本文算法對相機運動、目標大小改變、姿態(tài)變化以及目標遮擋時都能夠保持可靠的跟蹤。由于紅外圖像中人體頭部的亮度較高，使用少量隨機采樣粒子集未將目標完全覆蓋的情況下,采用圖像亮度作為特征值的ＭeanShifｔ收斂過程使得目標狀態(tài)模型粒子集向目標頭部遷移,因此對本序列中人體目標而言，跟蹤標記的位置最終穩(wěn)定到頭部附近。與傳統(tǒng)的粒子濾波算法（序貫重要性采樣法)相比，采用本文提出的跟蹤模型方法簡單，便于執(zhí)行,而且只需要少量的粒子即可以完成對目標的可靠跟蹤，算法的實時性非常好，克服了傳統(tǒng)粒子濾波因防止粒子退化和粒子枯竭現(xiàn)象而不得不采用大量采樣粒子的缺陷,并且消除了選擇相似函數(shù)帶來的困擾。另外，由于粒子產(chǎn)生機制的靈活性,算法可以在對目標整體進行跟蹤和對目標身體的某個部分進行跟蹤的過程自動轉換,當目標身體被遮擋時仍能夠?qū)δ繕诉M行可靠跟蹤，使得算法更具有魯棒性。注意到由于隨機采樣粒子是基于每個目標產(chǎn)生，因此在多目標跟蹤時，為解決新目標的出現(xiàn)時的跟蹤問題，需要采用跟蹤與探測相結合的方案,并引入有限狀態(tài)機技術,對目標的復雜狀態(tài)(如目標互相遮擋、目標隱藏、目標消失等）進行處理。在下一步工作中，研究的重點是如何更好地控制傳播粒子的產(chǎn)生范圍和淘汰粒子時所依據(jù)參量的選擇，并研究多目標跟蹤時，目標相交分離后粒子的重新分配方法以及前后目標匹配的方案。參考文獻[１]ＤouglasDｅCarloａndDｉmitrisMetaxａs．Opticalflｏｗconstｒaintsonｄefｏｒｍablemodelswithapｐｌｉcatioｎｓtｏfacｅtｒackｉｎg.InｔｅｒｎaｔionａlJourｎalｏfCoｍputerVisｉon,２000,3８(２):99－127.[2]YamaｎｅT..Shiraｉ,Y..Miura,J.．Persontrackingbyiｎtegｒatingopticalfｌoｗandｕｎｉｆoｒmbrightnｅsｓregioｎｓ.／/IＥＥEInｔｅrｎatioｎａlConｆerenceonRoboticsaｎｄAutomatｉon,Piscａt(yī)away，199８.IEEEComｐuterＳociety,１９98:3267–3２７2.［３]ＯkaｄaR.,ShiraiＹ．,MiuraJ.．Ｔrａｃkingapersoｎwiｔｈ３-dｍｏtｉoｎbyintegrａt(yī)ｉngopticaｌｆｌｏwanｄｄepth．//TheFourtｈIEEEInternatioｎａlCoｎfｅrｅnceｏnＡutｏmatiｃFａcｅａｎdＧesturｅＲecognitｉon,Ｇreｎｏblｅ,Ｆrancｅ,2０0０．IEEＥ,[4］KｅｌlyＤａmien,BoｌandFraｎk.Motionmodｅｌｓｅｌｅctionintrackiｎghｕmａns．//ＴhｅProceedｉｎｇｓofthｅIrishSignalsanｄSyｓtemｓConferｅｎｃe,Dublｉn,Ireｌａｎd,２０06.ＩEＴ,[5]DａnielRｏｔh，PｅtrＤｏubeｋandＬｕcＶanGoｏl.Ｂaｙesiａnpixelclassificａt(yī)ionｆorhｕｍａｎtrackiｎｇ.//ＩEEＥWorkshopｏnMotiｏnandVideoCｏmpuｔiｎg(WACV/MOTIOＮ＇0５),Waｓhiｎgｔon，DC,USA,2005.IEＥECoｍputerSocieｔｙ,[6］Okｕmａ,Kenji.AliTalｅghani．NaｎdoｄｅFｒeiｔas．JaｍｅｓＪ.Little.andDavｉdG.Lowe.Aboｏsｔｅｄparticlefiｌｔer：mｕltitargetdetecｔｉoｎandｔraｃkinｇ．/／InProｃeeｄｉngｓｏfECCＶ2０04,Pｒaｇuｅ,CzecｈRepｕbliｃ，２００４.ｖｏlｕme3021oｆＬNＣS,Ｓpringer,［７]NummｉａroＫ.,Ｋollｅr-MeieE.andＶan-GooｌＬ..Anａdaptｉｖｅcolor-basedｐａrｔｉｃlｅfilｔeｒ，Iｎternａt(yī)ionalＪoｕrnalofImageandVｉｓiｏｎCompuｔiｎg,２０03,21(1):99-１10．［8]CoｍaniciuD．ａndMeerP.．Meanshift:arobustapproachtｏwarｄfeatuｒesｐaceanaｌｙｓis.ＩEEEＴransａctionsonPatternAnalysisａndMａchineIｎｔelliｇencｅ,2002,２４(5):6０3-619．[9]ComanicｉuD.,RamesｈＶ.ａndMeeｒP.．Real-timeｔｒａｃｋiｎgofnｏｎ－rigidobjecｔsｕsingmeansｈiｆt.//ＩEＥＥCｏnfereｎceｏnComputｅrVisionandPａt(yī)teｒnRｅcogｎiｔiｏｎ,HｉｌtｏnHeadIｓlａｎd，SC,USA［10]CｏmanicｉuD.,RaｍeshＶ.andＭeerP．.Kerneｌ-ｂａsedoｂjecttrａcking.IEＥETraｎｓaｃtiｏnoｎPaｔternAnalysisａnｄMachｉneIntelligｅnce,2003,25（5):５64－-575.[１1]BeleｚnaiＣ..FruhｓtuckB.．BisｃhｏfH..Humandｅtecｔiｏniｎgｒoupsusiｎｇaｆａｓtｍeanｓhifｔｐroｃｅdｕre．／/Ｉｎterｎａt(yī)iｏnaｌConfeｒｅｎｃeonIｍageProcessｉng,Singapoｒe,2004(IＣIP'0４）．IEＥE，20０４:349-35２［12]AruｌａmｐalamS.，MaskｅllＳ.，GorｄonＮ.，CｌａppT..ATｕtoｒialonPartｉｃleFｉltersforOn-ＬineＮｏn－Ｌｉneａｒ/Non-GaussｉanBａyｅsｉanＴrackｉng．IEEETraｎsactionsonSiｇnalProcｅssing,200２,５0(2):174-189HumanTrackinginInｆrareｄIｍａgｅsbａseｄonParticlｅsMｅan-ＳhiftMiｇraｔionＡlgoｒitｈmYUNTｉng-jinGUOYｏng-ｃaiＧAＯＣhao(KeyLaｂorａt(yī)oｒｙofOptoelecｔronicTeｃｈnoｌogyanｄSystemsofｔｈeEduｃationMiniｓtryofCｈiｎa,ChongqinｇUｎiｖersity，Chongqing,40００30，Ｃhina)Abｓtract:Anovｅｌｍｅthoｄbａｓeｄonparticleｓmeanshiftmigｒationpｒocessfｏrｈumaｎtrackｉnginｉｎfrａreｄｉｍaｇesispｒoposedｉｎｔｈispａｐer.Referencetotｈebaｓicparｔiclefilteringｍｅtｈod,thｅｃoｒeiｄｅaoｆｔhisａlgorithｍiｓtoｅstablｉshtheobject’ｓstateｍodelandmeasurementmodeldynamicａｌlybｙthemｉgratｉngaｎｄclusterｉngofｒandｏｍｓａｍpliｎgpaｒtｉclｅｓ.Theｓamplingparticlesareｐｌacedonthｅtrａckiｎgwindowrａｎｄomlyandameansｈiftconvergeｐrocessisimplementedbytakｉngｔhepａｒｔiｃle’ｓcoｒresｐondｉｎgpiｘeｌs’iｎｔensiｔyaｓfeatｕｒe.Theobｊect’ｓｓｔａt(yī)emｏｄeｌisexpressedbytｈecoｎveｒgenｔpａrtｉｃｌesｅtｓ.Tｈen，anoｔherｍeaｎｓhiftclusterｉｎgprｏｃessiscaｒｒiedoutoｎthepａrticｌｅsｓetsoｆthｅstatemodeｌusingtheiｒcｏordｉｎatｅsｉntheｉmageａsfeatｕres,thｅｃlｕsterｉngresultsaｒeｒｅｇaｒｄｅdａsthｅmeasuremenｔｏfｔhｅoｂjｅｃt.Inthｅsequentialtraｃkingｐrocess，ｔhesａmplingpaｒtiｃlｅｓinthｅnextｆrameaｒｅgeｎerateｄraｎｄoｍｌybａsｅdonitｓprevｉoｕsｆrａmｅｍeasuremeｎtｒeｓuｌtｓ.CｏｍparｉngwiththetｒadiｔｉonaｌSequentialIｍportanceＳamplinｇ(ＳＩS)baｓedｐaｒticlefilter,oｕrｔracｋingmethodｄoｅsn’ｔnｅeｄｔheobjeｃt’sｌikeｌiｈoｏdｃriｔerioｎ,ｗhichisabigprｏblemforinfrａredｈｕｍaｎtraｃking,andｔhｅroｂｕsttｒaｃkinｇprｏcesscaｎｂeａｃｈievedonlybｙusingafeｗsamplingpartｉclｅs.Ｋeywｏrd:PartｉｃlesMｉｇｒationHumanTrａｃkiｎｇＩnfｒaredImａｇｅMｅanShiftParticleFｉltering本文受教育部科研重點項目基金資助,項目編號:１０81７４課題英文背景介紹Inｆｒaｒｅｄ-imａge,esｐｅcｉaｌｌｙthefaｒ－ｉnfrarediｍａｇehａspｒoｍinentadvanｔａgecｏmpａringwｉththeｖisible-ｉmage.Aｓaresuｌtoｆtheｒmａlimaｇiｎg,infｒareｄｉmagｅisindｅpｅｎdenｔｏｆeｘｔｅrnalｌumiｎoｕsquａlｉficａｔｉｏnａndisableｔoseeｔheｉnterｅstｅｄｏｂjectｓinｄarkanｄｆrogenvｉroｎｍｅnts,whｉchisalmostｉｍｐossiblｅｉｎviｓibleopｔicalｉmaｇing.Humandｅｔｅctionandtｒackinｇaｒeｖeryｉｍpｏｒｔantiｓsｕeｓwhichcanｐrｏviｄeｔheｍｏstａｃtiveandvａlｕablｅiｎformatｉoｎinmanｙｏｃcａsｉｏns.Tｈesyｓtemsbａsedonｉnfraｒｅdimagiｎgcanalmｏstworkiｎａnｙenvｉronmentandａｌl-ｗeathercｏnditionｓ.Ｉtisirrｅplａceableiｎsｏｍeｓiｔuaｔiｏnsandｈasｗｉｄｅｌｙpoｔeｎtｉalapplｉｃａt(yī)iｏnsｉｎｍａnｙaspｅcts,ｓucｈastheInｆｒaｒeｄNaｖigationＳysｔeｍ，tｈｅInfｒaｒｅdLife-SavingSysｔem,thｅFrontｉeｒDefｅnsｅPreｃautｉonSｙstｅm,thｅSmartＳurｖeillancｅSｙsｔｅm,ｔheＮigｈtＤriver－AssｉsｔａnceSｙsteｍ,theFiｒｅＲｅscuｅandPuｂlicSafetyＳystem,theMaｎ-MachineInterｆａｃeSystemandtｈeＲobotVｉsiｏnSystｅm，etc.Ｈowｅver,humanｄｅtectionaｎｄtrackinｇｉｎiｎfrａrｅdｉmagesｉｓａｃhallengeabｌetａsｋfrｏmｔｈｅtecｈnicalviｅwpｏint,deaｌiｎgwｉthｍanyｆiｅｌdsofknowledge,sｕchaｓｉmaｇeseｇmｅntａt(yī)ion,ｆeatureextｒaｃtion,pattｅｒnｒecognitiｏn，oｂjｅcｔtrackingeｔc..Ｓinｃehumanarenｏ－rigiｄcoｍpleｘobjeｃｔs，theｍaｉndｉffiｃulｔiｅsｗｅhavetoconfrontfiｒsｔlyisｔheun-rｅｌiabiliｔyｏｆhumanｄeｔｅctionｒeｓultsｉniｎｆｒareｄimaｇe,caｕseｄｂyｈuman’ｓｖariｏusapｐeaｒａnceａｎdthｅinｔrｉnsｉcprｏpertiｅsoｆinfrａrｅdimａｇe.Ｂecａｕseofiｎｆｒaredimageiｓｇrayimａge,noｃolorinｆormationiｓavａilableａndtherearｅsomｅｏtｈeｒdrawbａcksｓuchａsｉmageblur,lowtexｔures.Wiｔhcｏｍpｌicatedandchａｎｇｅaｂlｅpｏsturｅs&appeａrancｅｓ,itｉsvｅrydｉｆficulttoｅｘｔrａｃtａnddｅscriｐｔｈｕmanfｅatuｒesｉninｆraredimagｅｅffeｃtiveｌyandtodｉsｔｉngｕiｓhtｈemfｒomdisｔurbancｅｓ.Ｓecｏndly,ｈuman’smｏvｅmｅntsaｒｅｖｅrysubjeｃｔiveaｎduｎｂｅｎｄｉng;thｅrearenｏrｏuｔｉnestｏrｅcaｐｉｔｕlateｔhem．Mｅａnwhiｌe,ｔhemoveｍeｎtｓalｓoaccomｐanyｗitｈhumanpｏsｔuｒesａnｄappearanｃesｃhａnge,thetrackiｎｇmｅthodｓusｅｄinrigidobjecｔsaｒｅnotsuitableｆorｈuｍaｎtrackiｎｇ.Thiｒdｌｙ,beiｎｇsｈortoffeatuｒesfｏrｔraｃking，someexcellｅntｈumantｒackingaｌgｏrｉtｈｍsbasedonｃｏloｒｉｎforｍatiｏnanｄｔextｕｒｅsｃａn’twｏrkｅｆfｉｃienｔｌyｆoｒinｆｒａｒｅdｈumａnｔracking.Curｒenｔly，ｔhｅmaｉnreｓearchｏnthisｆieldｉsfｏcusedｏnpｅdestriａndetｅctioｎaｎｄtrａｃｋｉnｇ,ｍａinlyusｅdｉｎsurｖｅillａｎceandniｇhtdriver-aｓsiｓｔanceiｎｃaseｓofhumａnarｅmoｓtlywalkiｎguprigｈt．Actually,humａn’smotiｏｎmannersaｒemuｃｈｍorecomｐlexｔhandescripｔiｏｎ,sotraｃkiｎgｈｕmanｏｆarｂｉtｒａrystatusisａlｍostaｎimposｓiblemｉssionｅxaｃｔlｙ．Thisｐapｅｒiｓaｐartoftｈｅkeyｒｅsｅaｒchpｒoｊectof“HuｍanMｏｔｉonOｂjｅctRｅcｏgnitioｎｂａｓeｄonInfraredImａges”foｕndedbyChinaEducａt(yī)iｏnMiｎistry(Nｏ.1０８174)，iｎtｈiｓproject,wehaveｓｏmeaｃhieveｍenｔｓｏnhｕmａnseｇｍentａt(yī)ｉonaｎｄrecogｎｉｔｉoｎininfｒareｄimages.Tｈｅalgoriｔhmproposedinｔhｉsｐａperismａinlytosolｖeｔｈetｒacｋiｎgprｏblemofhumａｎ’sａbnormalmovemenｔｓ.Tｈｅｅｘpeｒiｍeｎtsrｅsuｌｔsshowthatｐarｔicｌesｍean-ｓhｉftｍｉgrationalgｏｒitｈmweproｐoseｄisｉnｄependentonａplｉcａt(yī)edｍoveｍenｔmannerofｈ