行人檢測(cè)與目標(biāo)跟蹤算法研究

基于opencv中光流法的運(yùn)動(dòng)行人目的跟蹤與檢測(cè)一、課題研究背景及辦法行人檢測(cè)含有極其廣泛的應(yīng)用：智能輔助駕駛，智能監(jiān)控，行人分析以及智能機(jī)器人等領(lǐng)域。從以來(lái)行人檢測(cè)進(jìn)入了一種快速的發(fā)展階段，但是也存在諸多問(wèn)題尚有待解決，個(gè)人覺(jué)得重要還是在性能和速度方面還不能達(dá)成一種權(quán)衡。早期以靜態(tài)圖像解決中的分割、邊沿提取、運(yùn)動(dòng)檢測(cè)等辦法為主。例如以Gavrila為代表的全局模板辦法：基于輪廓的分層匹配算法，構(gòu)造了將近2500個(gè)輪廓模板對(duì)行人進(jìn)行匹配,從而識(shí)別出行人。為理解決模板數(shù)量眾多而引發(fā)的速度下降問(wèn)題，采用了由粗到細(xì)的分層搜索方略以加緊搜索速度。另外，匹配的時(shí)候通過(guò)計(jì)算模板與待檢測(cè)窗口的距離變換來(lái)度量?jī)烧咧g的相似性。以Broggi為代表的局部模板辦法：運(yùn)用不同大小的二值圖像模板來(lái)對(duì)人頭和肩部進(jìn)行建模，通過(guò)將輸入圖像的邊沿圖像與該二值模板進(jìn)行比較從而識(shí)別行人，該辦法被用到意大利Parma大學(xué)開(kāi)發(fā)的ARGO智能車(chē)中。以Lipton為代表的光流檢測(cè)辦法：計(jì)算運(yùn)動(dòng)區(qū)域內(nèi)的殘存光流；以Heisele為代表的運(yùn)動(dòng)檢測(cè)辦法：提取行人腿部運(yùn)動(dòng)特性；以Wohler為代表的神經(jīng)網(wǎng)絡(luò)辦法：構(gòu)建一種自適應(yīng)時(shí)間延遲神經(jīng)網(wǎng)絡(luò)來(lái)判斷與否是人體的運(yùn)動(dòng)圖片序列；以上辦法，存在速度慢、檢測(cè)率低、誤報(bào)率高的特點(diǎn)。行人檢測(cè)的研究現(xiàn)狀基于背景建模的辦法：分割出前景，提取其中的運(yùn)動(dòng)目的，然后進(jìn)一步提取特性，分類(lèi)鑒別；在存在下雨、下雪、刮風(fēng)、樹(shù)葉晃動(dòng)、燈光忽明忽暗等場(chǎng)合，該辦法的魯棒性不高，抗干擾能力較差。且背景建模辦法的模型過(guò)于復(fù)雜，對(duì)參數(shù)較為敏感。基于統(tǒng)計(jì)學(xué)習(xí)的辦法：根據(jù)大量訓(xùn)練樣本構(gòu)建行人檢測(cè)分類(lèi)器。提取的特性普通有目的的灰度、邊沿、紋理、形狀、梯度直方圖等信息，分類(lèi)器涉及神經(jīng)網(wǎng)絡(luò)、SVM，adaboost等。該辦法存在下列難點(diǎn)：行人的姿態(tài)、服飾各不相似；提取的特性在特性空間中的分布不夠緊湊；分類(lèi)器的性能受訓(xùn)練樣本的影響較大；離線訓(xùn)練時(shí)的負(fù)樣本無(wú)法涵蓋全部真實(shí)應(yīng)用場(chǎng)景的狀況；盡管基于統(tǒng)計(jì)學(xué)習(xí)的行人檢測(cè)辦法存在著諸多的缺點(diǎn)，但仍然有諸多人將注意力集中于此。行人檢測(cè)國(guó)外研究狀況：法國(guó)研究人員Dalal在的CVPR發(fā)表的HOG+SVM的行人檢測(cè)算法(HistogramsofOrientedGradientsforHumanDetection,NavneetDalel,BillTriggs,CVPR)。Dollar在年BMVC的《Thefastestpedestriandetectorinthewest》一文中提出了一種新的思想，這種思想只需要訓(xùn)練一種原則model,檢測(cè)N/K（K≈10）然后其它的N-N/K種大小的圖片的特性不需要再進(jìn)行這種復(fù)雜的計(jì)算，而是跟據(jù)這N/K次的成果，由另外一種簡(jiǎn)樸的算法給預(yù)計(jì)出來(lái)，這種思想實(shí)現(xiàn)的基礎(chǔ)是大小相近的圖像的特性能夠被足夠精確的預(yù)計(jì)出來(lái)；同年，德國(guó)人：StefenWalk文中使用改善的HOG，即HOF和CSS（colorselfsimilarity）特性，使用HIKSVM分類(lèi)器。PAMI上發(fā)表的一篇有關(guān)行人檢測(cè)的綜述性文章，對(duì)常見(jiàn)的16種行人檢測(cè)算法進(jìn)行了簡(jiǎn)樸描述，并在6個(gè)公開(kāi)測(cè)試庫(kù)上進(jìn)行測(cè)試，給出了多個(gè)辦法的優(yōu)缺點(diǎn)及合用狀況。另外，指出了將來(lái)行人檢測(cè)的發(fā)展方向和趨勢(shì)。加州理工學(xué)院行人檢測(cè)的文章：IntegralChannelFeatures（積分通道特性）ICCV：1）JointDeepLearningforPedestrianDetection2）Multi-StageContextualDeepLearningforPedestrianDetection簡(jiǎn)稱(chēng)UDN算法，從文中描述的檢測(cè)效果來(lái)看，該辦法是全部辦法中最佳的，并且，效果遠(yuǎn)超出其它辦法。通過(guò)對(duì)論文和該算法源碼的研究，該算法是與作者另外一篇論文的辦法，另外的論文算法做圖片掃描，得到矩形框，然后用該辦法對(duì)矩形框進(jìn)行進(jìn)一步確認(rèn)，以及減少誤警率和漏警率。另外的論文是：Multi-StageContextualDeepLearningforPedestrianDetection。這篇文章是用深度學(xué)習(xí)的CNN做candidatewindow確實(shí)認(rèn)。而重要的行人檢測(cè)的算法還是HOG+CSS+adaboost。

IJCV的文章：DetectionandTrackingofOccludedPeople，運(yùn)用DPM模型，檢測(cè)粘連狀況很?chē)?yán)重的行人，效果較好。行人檢測(cè)國(guó)內(nèi)研究狀況：，蘇松志,李紹滋,陳淑媛等.行人檢測(cè)技術(shù)綜述[J]；杜友田;陳峰;徐文立;李永彬;基于視覺(jué)的人的運(yùn)動(dòng)識(shí)別綜述,電子學(xué)報(bào)。，賈慧星,章毓晉，車(chē)輛輔助駕駛系統(tǒng)中基于計(jì)算機(jī)視覺(jué)的行人檢測(cè)研究綜述[J];

朱文佳，基于機(jī)器學(xué)習(xí)的行人檢測(cè)核心技術(shù)研究[D].

三、基于opencv中光流算法的運(yùn)動(dòng)目的跟蹤與檢測(cè)（1）0基于opencv的光流算法的運(yùn)動(dòng)目的跟蹤與檢測(cè)實(shí)現(xiàn)框圖以下（2）圖像預(yù)解決圖像預(yù)解決的目的就要減少圖像的噪聲，以及為提取圖像特性做準(zhǔn)備，提高圖像的識(shí)別率和精確率。本研究課題重要用到的圖像預(yù)解決技術(shù)重要是：彩色圖像灰度化，灰底圖像高斯濾波，直方圖均衡化等技術(shù)。2、圖像特性提取和檢測(cè)傳統(tǒng)的運(yùn)動(dòng)目的跟蹤和檢測(cè)算法都是根據(jù)SVM、深度學(xué)習(xí)、adaboost等辦法做分類(lèi)，HOG、harr等特性作為目的跟蹤和檢測(cè)的前提。但是根據(jù)這些辦法，實(shí)現(xiàn)較復(fù)雜，根據(jù)目的提取特性也較為復(fù)雜，并且特性提取也較為繁瑣，針對(duì)不同的目的檢測(cè)任務(wù)需要訓(xùn)練不同的分類(lèi)器，這樣耗時(shí)并且工作量巨大，數(shù)據(jù)量也是巨大。本研究課題不需要大量數(shù)據(jù)，只需要一段視頻圖像數(shù)據(jù)作為輸入，然后采用光流算法，角點(diǎn)檢測(cè)，視頻圖像中運(yùn)動(dòng)目的的核心點(diǎn)提取，以及擬定目的區(qū)域大致范疇。本研究課題運(yùn)動(dòng)目的是行人，其它運(yùn)動(dòng)目的根據(jù)改算法應(yīng)當(dāng)也是可行的。都是運(yùn)動(dòng)目的，都是對(duì)目的根據(jù)光流算法提取運(yùn)動(dòng)目的特性。光流算法原理：光流是圖像亮度的運(yùn)動(dòng)信息描述。光流法計(jì)算最初是由Horn和Schunck于1981年提出的，發(fā)明性地將二維速度場(chǎng)與灰度相聯(lián)系，引入光流約束方程，得到光流計(jì)算的基本算法．光流計(jì)算基于物體移動(dòng)的光學(xué)特性提出了2個(gè)假設(shè)：①運(yùn)動(dòng)物體的灰度在很短的間隔時(shí)間內(nèi)保持不變；

②給定鄰域內(nèi)的速度向量場(chǎng)變化是緩慢的。假設(shè)圖像上一種像素點(diǎn)(x,y)，在t時(shí)刻的亮度為E(x+Δx,y+Δy,t+Δt)，同時(shí)用u(x,y0和v(x,y)來(lái)表達(dá)該點(diǎn)光流在水平和垂直方向上的移動(dòng)分量：u=dx/dtv=dy/dt在通過(guò)一段時(shí)間間隔Δt后該點(diǎn)對(duì)應(yīng)點(diǎn)亮度為E(x+Δx,y+Δy,t+Δt),當(dāng)Δt很小趨近于0時(shí)，我們能夠認(rèn)為該點(diǎn)亮度不變，因此能夠有：

E(x,y,t)=E(x+Δx,y+Δy,t+Δt)當(dāng)該點(diǎn)的亮度有變化時(shí)，將移動(dòng)后點(diǎn)的亮度由Taylor公式展幵，可得：無(wú)視其二階無(wú)窮小，由于Δt趨近于0時(shí)，有：式中w=(u,v)，因此上式就是基本的光流約束方程。其中令表達(dá)圖像中像素點(diǎn)灰度沿x，y，t方向的梯度，可將上式改寫(xiě)成：Lucas-Kanade是一種廣泛使用的光流預(yù)計(jì)的差分辦法，這個(gè)辦法是由BruceD.Lucas和TakeoKanade發(fā)明的。它假設(shè)光流在像素點(diǎn)的鄰域是一種常數(shù)，然后使用最小二乘法對(duì)鄰域中的全部像素點(diǎn)求解基本的光流方程。

通過(guò)結(jié)合幾個(gè)鄰近像素點(diǎn)的信息，盧卡斯-金出辦法(簡(jiǎn)稱(chēng)為L(zhǎng)-K辦法)普通能夠消除光流方程里的多義性。并且，與逐點(diǎn)計(jì)算的辦法相比，L-K辦法對(duì)圖像噪聲不敏感。但是，由于這是一種局部辦法，因此在圖像的均勻區(qū)域內(nèi)部，L-K辦法無(wú)法提供光流信息。Lucas-Kanade改善算法Jean-YvesBouguet提出一種基于金字塔分層，針對(duì)仿射變換的改善Lucas-Kanade算法。為什么要用金字塔？由于lk算法的約束條件即：小速度，亮度不變以及區(qū)域一致性都是較強(qiáng)的假設(shè)，并不很容易得到滿足。如當(dāng)物體運(yùn)動(dòng)速度較快時(shí)，假設(shè)不成立，那么后續(xù)的假設(shè)就會(huì)有較大的偏差，使得最后求出的光流值有較大的誤差?？紤]物體的運(yùn)動(dòng)速度較大時(shí)，算法會(huì)出現(xiàn)較大的誤差。那么就但愿能減少圖像中物體的運(yùn)動(dòng)速度。一種直觀的辦法就是，縮小圖像的尺寸。假設(shè)當(dāng)圖像為400×400時(shí)，物體速度為[1616],那么圖像縮小為200×200時(shí)，速度變?yōu)閇8,8]?？s小為100*100時(shí)，速度減少到[4,4]。因此在源圖像縮放了諸多后來(lái)，原算法又變得合用了。因此光流能夠通過(guò)生成原圖像的金字塔圖像，逐級(jí)求解，不停精確來(lái)求得。簡(jiǎn)樸來(lái)說(shuō)上層金字塔（低分辨率）中的一種像素能夠代表下層的兩個(gè)。假設(shè)I和J是兩幅2D的灰度圖像，對(duì)于圖像上每個(gè)像素點(diǎn)的灰度值定義為：I(x)=I(x,y)

和

J(x)=j(x,y)其中x=(x,y)是圖像上像素點(diǎn)的圖像坐標(biāo)。

在實(shí)際場(chǎng)景中圖像I和圖像J能夠代表前后兩幀圖像。對(duì)于圖像特性點(diǎn)金字塔跟蹤來(lái)說(shuō)的目的是：對(duì)于前一幀的圖像I上一點(diǎn)u(ux,uy)，要在后一幀圖像J上找到一點(diǎn)v(ux+dx,uy+dy)與之相匹配，即灰度值最靠近。那么向量d=[dx,dy]就是圖像在點(diǎn)u處的運(yùn)動(dòng)速度，也就是所說(shuō)像素點(diǎn)u的光流。為了進(jìn)一步闡明向量d的含義。我們假設(shè)前一幀圖像經(jīng)歷了仿射變換到后一幀圖像，定義變換矩陣為其中四個(gè)參數(shù)dxx，dyy，dxy，dyx表征著圖像中的仿射變形。因此光流計(jì)算的目的轉(zhuǎn)變成找到向量d和變換矩陣A使得圖像上一塊區(qū)域內(nèi)灰度差最小。

定義誤差其中兩個(gè)整數(shù)wx和wy設(shè)定了圖像上矩形窗口的大小(2*wx+1)和(2*wy+1)。典型的wx和wy取值為1，2，3，4，5，6，7個(gè)像素，相似度的函數(shù)被在(2ωx+1,2ωy+1)的區(qū)域內(nèi)定義。注旨在金字塔各層窗口的大小是保持恒定的尺寸。對(duì)于Lucas-Kanade改善算法來(lái)說(shuō)，重要的環(huán)節(jié)有三步：建立金字塔，基于金字塔跟蹤，迭代過(guò)程。本研究課題重要根據(jù)金字塔跟蹤算法，原理以下：總體來(lái)講，金字塔特性跟蹤算法描述以下：首先，光流和仿射變換矩陣在最高一層的圖像上計(jì)算出；將上一層的計(jì)算成果作為初始值傳遞給下一層圖像，這一層的圖像在這個(gè)初始值的基礎(chǔ)上，計(jì)算這一層的光流和仿射變化矩陣；再將這一層的光流和仿射矩陣作為初始值傳遞給下一層圖像，直到傳遞給最后一層，即原始圖像層，這一層計(jì)算出來(lái)的光流和仿射變換矩陣作為最后的光流和仿射變換矩陣的成果。對(duì)于L=0,1,2,…L，定義是圖像中像素點(diǎn)u在第L層對(duì)應(yīng)點(diǎn)的坐標(biāo)。根據(jù)上一步中圖像金字塔的定義，能夠計(jì)算出我們用數(shù)學(xué)的思想重新描述在L層和L+1層迭代運(yùn)算，假定在第L層有對(duì)被跟蹤目的的位置有個(gè)大致預(yù)計(jì)，而從第L+1層傳遞到L層的運(yùn)動(dòng)矢量，即光流計(jì)算初值為（背面會(huì)對(duì)gL做一種解釋?zhuān)┎⑶覍?duì)于最上層的變換矩陣猜想為了在L層上計(jì)算光流和仿射變換矩陣，需要重新定義在L層上的匹配誤差ξL：其中圖像和是原始圖像在L層上采樣出來(lái)的圖像，基于這層中的光流和仿射矩陣初值gL和GL能夠計(jì)算出兩個(gè)對(duì)應(yīng)圖像和這里用L+1層得到的最初預(yù)計(jì)gL對(duì)L層作預(yù)平移，L層在gL的基礎(chǔ)上求該層的光流dL，這樣求得的殘存光流向量dL=[dLx,dLy]T就足夠小，因此能夠通過(guò)原則的光流法來(lái)求出這個(gè)運(yùn)動(dòng)矢量。然后得到的dL結(jié)合gL又能夠?qū)-1層的gL-1做預(yù)計(jì)。最后的光流和就是在全部層的分段光流d的疊加。使用金字塔圖像計(jì)算光流的一種明顯的好處是，對(duì)于一種有著較大的像素偏移的矢量d，能夠通過(guò)計(jì)算幾個(gè)比較小的殘存光流來(lái)得到。這里就是金字塔跟蹤算法的核心。接下來(lái)就是計(jì)算該層上的光流dL和變換矩陣AL，我們將在下一步中談?wù)摗，F(xiàn)在，假設(shè)在這一層上的光流和變換矩陣己經(jīng)計(jì)算出來(lái)。接著將成果傳遞給下一層，計(jì)算出下一層的假設(shè)初值：將gL-1和GL-1作為初值，重新循環(huán)上面的環(huán)節(jié)，直到最上一層，計(jì)算出光流d和仿射變換矩陣A。由于金字塔的縮放減小了光流值，最高層的光流預(yù)計(jì)值能夠設(shè)為0，設(shè)頂層時(shí)的初始為：這種算法最明顯的優(yōu)勢(shì)在于對(duì)于每一層的光流都會(huì)保持很小，但是最后計(jì)算來(lái)的光流能夠進(jìn)行累積，便于有效地跟蹤特性點(diǎn)。這一步是算法的核心環(huán)節(jié)。在金字塔的每一層，目的是計(jì)算出光流dL和仿射變換矩陣AL從而使誤差ξL最小。由于每一層的迭代過(guò)程是相似的，因此我們就描述從一層到下一層的迭代過(guò)程。首先將上一層的光流u和A傳給這一層，計(jì)算這一幀圖像中像素點(diǎn)的光照同時(shí)計(jì)算出圖像在該點(diǎn)x方向和y方向上的偏導(dǎo)Ix=[I(x+1,y)-I(x-1,y)]/2，Iy=[I(x,y+1)-I(x,y-1)]/2。在此基礎(chǔ)上，計(jì)算出空間梯度矩陣：更新光流v=2*v。迭代過(guò)程：計(jì)算后一幀圖像中對(duì)應(yīng)像素點(diǎn)的灰度計(jì)算兩幀圖像間相似位置點(diǎn)的灰度值之差，在計(jì)算圖像之間的誤差最后計(jì)算針對(duì)仿射光流更新跟蹤成果直到某個(gè)閾值結(jié)束在這一層的迭代過(guò)程。基于行人運(yùn)動(dòng)目的跟蹤與檢測(cè)的特性點(diǎn)選擇因此，可按照下列的環(huán)節(jié)選擇特性點(diǎn)：

1、計(jì)算圖像I中每一種像素的矩陣G和最小特性值λm。

2、尋找整副圖像中最小特性值λm

中的最大特性值λmax。

3、保存最小特性值λm

不不大于給定閾值的像素點(diǎn)。閾值普通取5%λmax

~10%λmax

。

4、保存λm

局部最大值的像素：像素特性值λm

不不大于其3*3鄰域中其它像素的特性值

λm

。

5、剔除像素密集區(qū)域中的某些像素，確保圖像中相鄰像素的距離都不不大于給定的閾值（常取5~10pixels）。

上述操作完畢后，圖像I中剩余的像素即為選擇的特性點(diǎn)，并作為跟蹤特性點(diǎn)。特性點(diǎn)選擇算法的環(huán)節(jié)5確保了特性點(diǎn)間的最小距離。沒(méi)有必要取一種大的綜合窗口選擇特性點(diǎn)（或計(jì)算矩陣G）。大量實(shí)驗(yàn)證明，wx=wy=1的3*3大小的綜合窗口能夠獲得滿意的效果。金字塔高度的選擇在大多數(shù)的狀況下，超出4的金字塔圖像層次沒(méi)有太大的意義。有時(shí)為了簡(jiǎn)化能夠?qū)⒎律渥儞Q矩陣G簡(jiǎn)化為單位矩陣。算法流程跟蹤問(wèn)題的解決思路自底向上(Bottom-up)的解決辦法又稱(chēng)為數(shù)據(jù)驅(qū)動(dòng)(Date-driven)的辦法，不依賴(lài)于先驗(yàn)知識(shí)。（本課題采用的辦法）自頂向下(Top-down)的解決辦法又稱(chēng)為模型驅(qū)動(dòng)(Model-driven)的辦法，依賴(lài)于所構(gòu)建的模型或先驗(yàn)知識(shí)。自底向上(Bottom-up)的解決辦法：基于點(diǎn)的跟蹤，質(zhì)心或一組特性點(diǎn)、運(yùn)動(dòng)輪廓的角點(diǎn)集（本文采用的辦法）角點(diǎn)檢測(cè)一提到角點(diǎn)檢測(cè)，最慣用的辦法莫過(guò)于Harris角點(diǎn)