基于人頭目標(biāo)檢測(cè)的商場(chǎng)人流量自動(dòng)統(tǒng)計(jì)

基于人頭目標(biāo)檢測(cè)的商場(chǎng)人流量自動(dòng)統(tǒng)計(jì)

賈世杰,吳化斌,張?jiān)丛?大連交通大學(xué)電氣信息學(xué)院，遼寧大連116028)?基于人頭目標(biāo)檢測(cè)的商場(chǎng)人流量自動(dòng)統(tǒng)計(jì)賈世杰,吳化斌,張?jiān)丛?大連交通大學(xué)電氣信息學(xué)院，遼寧大連116028)針對(duì)商場(chǎng)人流量自動(dòng)統(tǒng)計(jì)中行人遮擋情況下計(jì)數(shù)的困難，提出基于人頭目標(biāo)檢測(cè)的商場(chǎng)人流量自動(dòng)統(tǒng)計(jì)算法.首先提取Haar特征訓(xùn)練Adaboost人頭目標(biāo)分類器，再利用Camshift算法對(duì)目標(biāo)進(jìn)行跟蹤，使用Kalman縮小跟蹤目標(biāo)的搜索范圍，最后利用人頭模板匹配方法，判斷目標(biāo)是否屬于同一行人.實(shí)驗(yàn)結(jié)果表明，此方法平均正確率達(dá)到98.2%，且統(tǒng)計(jì)每個(gè)行人目標(biāo)只需19ms.商場(chǎng)人流量統(tǒng)計(jì)；人頭模板匹配，Adaboost；Camshift0引言一個(gè)實(shí)時(shí)、準(zhǔn)確的人流量統(tǒng)計(jì)系統(tǒng)可以給商場(chǎng)的管理帶來(lái)巨大的便利[1].用人工的方法對(duì)監(jiān)控視頻中行人進(jìn)行統(tǒng)計(jì)，費(fèi)力費(fèi)時(shí)費(fèi)財(cái).特別是在多人密集的情況下，更是困難重重.近年來(lái)利用模式識(shí)別，圖像處理技術(shù)解決行人流量自動(dòng)統(tǒng)計(jì)問(wèn)題已成為一個(gè)十分活躍的領(lǐng)域.文獻(xiàn)[2]對(duì)視頻人數(shù)識(shí)別近年來(lái)的發(fā)展作了比較詳細(xì)的論述,從基于特征點(diǎn)跟蹤、基于區(qū)域的跟蹤和基于模板匹配的跟蹤三個(gè)方面分析近些年人數(shù)識(shí)別進(jìn)展情況；文嘉俊[1]提取目標(biāo)的Haar特征，采用Adaboost算法獲得一個(gè)人頭檢測(cè)分類器，得到95%以上的正確率；文獻(xiàn)[3]建立了一種基于人體頭部特征的行人計(jì)數(shù)系統(tǒng)，系統(tǒng)采用輪廓、顏色信息建立用于目標(biāo)檢測(cè)的人頭模型，通過(guò)對(duì)目標(biāo)運(yùn)動(dòng)軌跡的分析實(shí)現(xiàn)行人計(jì)數(shù)，正確率達(dá)95%以上；Kulrapat[4]等利用建立的人體頭肩模型來(lái)檢測(cè)場(chǎng)景中存在的人頭目標(biāo)，并通過(guò)snake模型跟蹤目標(biāo)；Lu[5]等利用顏色密度和LBP建立了四維直方圖用以表示待測(cè)目標(biāo)的顏色信息和紋理信息，并將卡爾曼濾波和MeanShift搜索算法結(jié)合應(yīng)用于目標(biāo)的跟蹤.基于模板匹配的方法對(duì)監(jiān)控場(chǎng)景的環(huán)境變化敏感，如光照的變化、復(fù)雜的背景往往會(huì)影響檢測(cè)的精度.本文采用基于統(tǒng)計(jì)分類的方法，首先需要通過(guò)對(duì)大量頭部樣本和非頭部樣本的離線訓(xùn)練獲得一個(gè)人頭目標(biāo)分類器，通過(guò)該分類器對(duì)場(chǎng)景中的目標(biāo)進(jìn)行檢測(cè)，在此基礎(chǔ)上實(shí)現(xiàn)人流量自動(dòng)統(tǒng)計(jì).1本文方法針對(duì)在行人遮擋，重疊密集情況下存在的誤圖1行人統(tǒng)計(jì)流程圖檢和漏檢的問(wèn)題，本文使用基于統(tǒng)計(jì)分類的方法，首先提取Haar特征訓(xùn)練Adaboost人頭目標(biāo)分類器，再利用Camshift算法對(duì)目標(biāo)進(jìn)行跟蹤，使用Kalman算法縮小跟蹤目標(biāo)的搜索范圍；最后通過(guò)人頭模板匹配方法，判斷幀間目標(biāo)是否屬于同一行人.具體流程如圖1所示.1.1人頭目標(biāo)分類器1.1.1讀入樣本圖像樣本圖像包括人頭和非人頭圖像，是將商場(chǎng)門口以45°俯視角拍攝的視頻圖像，通過(guò)截圖得到.1.1.2灰度化處理利用公式gray=red*0.3+green*0.59+blue*0.11進(jìn)行灰度化處理，并將樣本圖像歸一化成20*20的大小.1.1.3Haar特征提取Haar特征[13]分為三類：邊緣特征、線性特征、中心特征和對(duì)角線特征，如圖2(a)，(b)，(c)所示.每個(gè)特征由2～3個(gè)矩形組成，分別檢測(cè)邊界、細(xì)線、中心特征.特征模板由白色和黑色兩種矩形組成，模板的特征值定義為白色矩形像素總數(shù)與黑色矩形像素總數(shù)之差，反映了圖像的灰度變化情況.圖2Haar特征1.1.4訓(xùn)練Adaboost人頭分類器Adaboost是一種迭代的方法，它的核心思想是針對(duì)不同的訓(xùn)練集訓(xùn)練多個(gè)弱分類器，然后把這些在不同訓(xùn)練集上訓(xùn)練得到的弱分類器集合起來(lái)，構(gòu)成一個(gè)強(qiáng)分類器[14].本文基于樣本圖像Haar特征，使用Opencv自帶的Adaboost分類程序訓(xùn)練人頭分類器.1.2行人計(jì)數(shù)1.2.1讀入視頻導(dǎo)入商場(chǎng)行人監(jiān)控的視頻，視頻拍攝的環(huán)境和角度都是和訓(xùn)練人頭目標(biāo)分類器一致的.1.2.2圖像預(yù)處理對(duì)圖像目標(biāo)進(jìn)行檢測(cè)之前，還需對(duì)目標(biāo)圖像進(jìn)行適當(dāng)?shù)念A(yù)處理，可以減少計(jì)算量.本文對(duì)原始圖像進(jìn)行以下兩步處理：(1)使用1.1.2描述的方法將彩色圖像轉(zhuǎn)化為灰度圖像，即圖像灰度化；(2)設(shè)置感興趣區(qū)域.本文把圖像中縱坐標(biāo)100～140之間的區(qū)域作為感興趣區(qū)域，以提高檢測(cè)速度.1.2.3檢測(cè)人頭目標(biāo)使用人頭目標(biāo)分類器對(duì)圖像感興趣區(qū)域進(jìn)行目標(biāo)檢測(cè)，再根據(jù)人頭目標(biāo)在二值圖中長(zhǎng)度、所占據(jù)的像素?cái)?shù)量將非人頭目標(biāo)排除.1.2.4行人目標(biāo)保存至鏈表在目標(biāo)檢測(cè)、跟蹤之后，把目標(biāo)保存至動(dòng)態(tài)鏈表中.鏈表儲(chǔ)存了目標(biāo)的坐標(biāo)，序列等信息，鏈表保存的目標(biāo)信息隨圖像序列的更新而更新.1.2.5人頭目標(biāo)跟蹤、人頭模板匹配及計(jì)數(shù)本文采用Kalman+Camshift的算法實(shí)現(xiàn)人頭目標(biāo)的跟蹤.運(yùn)用Kalman算法來(lái)預(yù)測(cè)目標(biāo)可能出現(xiàn)的區(qū)域，可減少搜尋范圍.Kalman濾波器是一種遞推估計(jì)器，采用的遞歸技術(shù)是其最有意義的特點(diǎn)之一，無(wú)需考慮多個(gè)過(guò)去的輸入信號(hào)，而且在每次遞歸運(yùn)算時(shí)，只需要前一個(gè)輸入信號(hào)就可以，即認(rèn)為信號(hào)現(xiàn)在的狀態(tài)只依賴前一個(gè)，而不依賴以前所有信號(hào)的狀態(tài)[15].這樣就無(wú)需將過(guò)去的測(cè)量值都存起來(lái)，實(shí)時(shí)性較高.Camshift即“ContinuouslyApativeMean-Shift”算法，是一種運(yùn)動(dòng)跟蹤算法.它主要通過(guò)視頻圖像中運(yùn)動(dòng)物體的顏色信息達(dá)到跟蹤的目的，Camshift跟蹤目標(biāo)可以減少大量的搜尋時(shí)間，具有良好的實(shí)時(shí)性.由于運(yùn)動(dòng)物體在前后幀運(yùn)動(dòng)的空間不會(huì)很大，因此和Kalman結(jié)合使用，就可以進(jìn)一步減少搜尋的區(qū)域，從而更快速，準(zhǔn)確的跟蹤運(yùn)動(dòng)物體.當(dāng)視頻序列逐幀變化時(shí)，Camshift算法逐幀進(jìn)行處理，這樣就能達(dá)到連續(xù)對(duì)視頻序列中運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤.為區(qū)分目標(biāo)是否是同一個(gè)行人，本文采用人頭模板匹配的算法.通過(guò)連續(xù)兩幀間目標(biāo)的Hu不變矩特征和目標(biāo)質(zhì)心的歐氏距離相結(jié)合來(lái)判斷目標(biāo)是否匹配.判斷出目標(biāo)之后，根據(jù)目標(biāo)是否經(jīng)過(guò)感興趣區(qū)域中設(shè)置的計(jì)數(shù)線來(lái)計(jì)數(shù).2實(shí)驗(yàn)結(jié)果及分析為了驗(yàn)證本文提出的方法，本文使用商場(chǎng)實(shí)時(shí)視頻進(jìn)行了測(cè)試，分行人密集(視頻一)和行人不密集(視頻二)兩種情形，使用Vs2008+Opencv2.4.3進(jìn)行實(shí)驗(yàn)仿真.測(cè)試平臺(tái)采用CPU主頻2.5GHz、4G內(nèi)存的PC機(jī)，視頻每幀圖像分辨率為400*304，幀速為25幀/秒.采集2000張人頭正樣本和5000張人頭負(fù)樣本，圖3(a)、(b)為部分樣本示例.(a)部分正樣本(b)部分負(fù)樣本圖4為圖像灰度化效果圖，圖5為感興趣區(qū)域設(shè)置，將第一根線和第三根線之間的區(qū)域設(shè)置為感興趣區(qū)域，中間是計(jì)數(shù)線.圖4圖像灰度化圖5感興趣區(qū)域設(shè)置人頭目標(biāo)及非人頭目標(biāo)的示例圖像如圖6所示.(a)人頭目標(biāo)(b)非人頭目標(biāo)圖6目標(biāo)檢測(cè)示例通過(guò)分析人頭目標(biāo)特點(diǎn)，本文根據(jù)目標(biāo)在二值圖中長(zhǎng)度、所占據(jù)的像素?cái)?shù)量來(lái)剔除人頭目標(biāo)，人頭目標(biāo)判斷條件為：目標(biāo)的長(zhǎng)度在5和32個(gè)像素之間，像素總數(shù)低于270，如式(1)、(2)所示：剔除了非人頭目標(biāo)之后，人頭目標(biāo)檢測(cè)效果如圖7所示.圖7人頭檢測(cè)效果圖8給出了本文方法和背景差法檢測(cè)效果圖對(duì)比，表1為兩種方法實(shí)驗(yàn)結(jié)果對(duì)比.(a)行人密集情況(本文方法)(b)行人不密集情況(本文方法)(c)行人密集情況(背景差法)表1本文方法和背景差法實(shí)驗(yàn)結(jié)果對(duì)比視頻編號(hào)人工統(tǒng)計(jì)/人本文方法統(tǒng)計(jì)/人本文方法統(tǒng)計(jì)正確率/%背景差法統(tǒng)計(jì)/人背景差法統(tǒng)計(jì)正確率/%本文方法統(tǒng)計(jì)時(shí)間(人/ms)背景差法統(tǒng)計(jì)時(shí)間(人/ms)1(行人不密集)80801008010018302(行人密集)11211098．29685．71935由表1所示，在行人密集的情況下，本文方法比背景差法的正確率高了12%；原因主要是在行人遮擋的情況下多個(gè)行人在二值圖中形成連通域，背景差法沒(méi)法將其準(zhǔn)確分離出來(lái)，但是本文方法利用人頭分類器完全避免了這個(gè)問(wèn)題.3結(jié)論針對(duì)行人遮擋情況下計(jì)數(shù)的困難，本文提出基于人頭目標(biāo)檢測(cè)的商場(chǎng)人流量自動(dòng)統(tǒng)計(jì)算法.實(shí)驗(yàn)結(jié)果表明，本文方法平均正確率達(dá)到98.2%，比文獻(xiàn)[1]提升了3%；且統(tǒng)計(jì)每個(gè)行人目標(biāo)只需19ms，達(dá)到了實(shí)時(shí)性的要求.為進(jìn)一步減少商場(chǎng)行人統(tǒng)計(jì)的漏檢和誤檢，以后將通過(guò)優(yōu)化人頭分類器以進(jìn)一步提高檢測(cè)效果.[1]文嘉俊,徐勇,戰(zhàn)蔭偉.基于Adaboost和幀間特征的人數(shù)統(tǒng)計(jì)[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(9):1729-1735.[2]趙明瀚,王晨升.基于視頻的人數(shù)識(shí)別方法綜述[J].軟件，2013,34(3):10-12.[3]田煜衡,肖志濤,耿磊,等.基于頭部特征的行人計(jì)數(shù)系統(tǒng)[J].天津工業(yè)大學(xué)學(xué)報(bào),2013(3):66-71.[4]KULRAPATJ,PAKORNK,SUPAKORNS.Objectdetectionandmodelingalgorithmforautomaticvisualpeoplecountingsystem[C].Proceedingsof6thInternationalConferenceonElectricalEngineering/Electronices,Computer,TelecommunicationsandInformationTechnology，2009:1062-1065.[5]LUH.Headdetectionandtrackingbymean-shiftandkalmanfilter[C]//Proceedingsof3rdInternationalConferenceonInnovativeComputingInformationandControl，2008:357.[6]SALAKHUTDINOVR,TORRALBAA,TENENBAUMJ.Learningtosharevisualappearanceformulticlassobjectdetection[C].InCVPR,2011.[7]ZHENGL,WANGS.Visualphraselet:Refiningspatialconstraintsforlargescaleimagesearch.SignalProcessingLetters[J].IEEE,2013,20(4):391-394.[8]ZHOUW,LUY,LIH,etal.Scalarquantizationforlargescaleimagesearch[C].InACMMM,2012.[9]宋濤,馬宇峰,藺海峰.OpenCV在目標(biāo)跟蹤中的應(yīng)用及實(shí)現(xiàn)[J].計(jì)算機(jī)與網(wǎng)絡(luò),2009,24:38-41.[10]覃劍.視頻序列中的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤研究[D].重慶:重慶大學(xué),2008.[11]LINSF,CHENJY,CHAOHX.Estimationofnumberofpeopleincrowedscencesusingperspectivetransformation[J].Systems,ManandCybernetics,PartA:SystemsandHumans,IEEETransactionson,2001,31(6):645-654.[12]XIAOWEIXU,ZHIYUANWANG,YINGHONGLIANG,etal.Arapidmethodforpassingpeoplecountinginmonocularvideosequences[C]//ProceedingsoftheSixthInternationalConferenceonMachineLearningandCybernetics,HongKong,2007:19-22.[13]文學(xué)志,方巍,鄭鈺輝.一種基于類Haar特征和改進(jìn)AdaBoost分類器的車輛識(shí)別算法[J].電子學(xué)報(bào),2011(5):1121-1126.[14]PAULV,MICHAELJONES.Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C]//ProceedingsoftheIEEEComputerVisionandPatternRecognition.Piscataway,NJ,USA:IEEEPress,2001:151-155.[15]趙其杰,屠大維,高健,等.基于Kalman濾波的視覺(jué)預(yù)測(cè)目標(biāo)跟蹤及其應(yīng)用[J].光學(xué)精密工程,2008,16(5):937-942.AutomaticMallTrafficStatisticsBasedonHeadTargetDetectionJIAShijie,WUHuabin,ZHANGYuanyuan(SchoolofElectronicandInformationEngineering,DalianJiaotongUniversity,Dalian116028,China)Malltrafficautomaticstatisticshasgreatsignificanceinsecuritymanagement,staffschedulingandcommodityprocurement.Forthecountingdifficultyinthecaseofoverlapping,automaticmalltrafficstatisticalalgorithmsisputforwardbasedonthehumanhea