陳明_模式識別_大作業(yè)

1、模式識別-課程大作業(yè)實驗復(fù)雜交通場景中人、車的檢測與跟蹤 姓名：陳明學號：201208070103班級：智能1201教師：李智勇時間：2016年12月24日單位：湖南大學 信息科學與工程學院 一、實驗題目復(fù)雜交通場景中人、車的檢測與跟蹤 二、實驗內(nèi)容 2.1 熟悉各種分類器（貝葉斯分類器、線性分類器、支持向量機、神經(jīng)網(wǎng) 絡(luò)、Adaboost等）與各種特征（顏色特征、梯度特征、LBP特征、邊緣特征、Haar-like特征以及SIFT特征等），并掌握其中的一種或多種。 2.2熟悉運動目標跟蹤的基本原理與一些經(jīng)典、常用的運動目標跟蹤算法 （卡爾曼濾波算法、Camshift算法等）。2.3利用訓練好的

2、分類器對復(fù)雜交通場景視頻中的人和車輛進行檢測，并在 視頻中標定出來。2.4對視頻中檢測到的人和車進行實時運動目標跟蹤（可選）。 三、實驗原理及過程3.1 特征原理及分類器: 選取特征：HOG特征，LBP特征 選取分類器：SVM 支持向量機3.1.1 HOG特征 HOG, 即方向梯度直方圖（Histogram of Oriented Gradient, HOG）特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。Hog特征結(jié)合SVM分類器已經(jīng)被廣泛應(yīng)用于圖像識別中，尤其在行人檢測中獲得了極大的成功。需要提醒的是，HOG+SVM進

3、行行人檢測的方法是法國研究人員Dalal在2005的CVPR上提出的，而如今雖然有很多行人檢測算法不斷提出，但基本都是以HOG+SVM的思路為主。3.3.1.1主要思想：   在一副圖像中，局部目標的表象和形狀（appearance and shape）能夠被梯度或邊緣的方向密度分布很好地描述。（本質(zhì)：梯度的統(tǒng)計信息，而梯度主要存在于邊緣的地方）。3.3.1.2具體的實現(xiàn)方法是：   首先將圖像分成小的連通區(qū)域，我們把它叫細胞單元。然后采集細胞單元中各像素點的梯度的或邊緣的方向直方圖。最后把這些直方圖組合起來就可以構(gòu)成特征描述器。3.

4、3.1.3提高性能：       把這些局部直方圖在圖像的更大的范圍內(nèi)（我們把它叫區(qū)間或block）進行對比度歸一化（contrast-normalized），所采用的方法是：先計算各直方圖在這個區(qū)間（block）中的密度，然后根據(jù)這個密度對區(qū)間中的各個細胞單元做歸一化。通過這個歸一化后，能對光照變化和陰影獲得更好的效果。3.3.1.4優(yōu)點：       與其他的特征描述方法相比，HOG有很多優(yōu)點。首先，由于HOG是在圖像的局部方格單元上操作，所以它對圖像

5、幾何的和光學的形變都能保持很好的不變性，這兩種形變只會出現(xiàn)在更大的空間領(lǐng)域上。其次，在粗的空域抽樣、精細的方向抽樣以及較強的局部光學歸一化等條件下，只要行人大體上能夠保持直立的姿勢，可以容許行人有一些細微的肢體動作，這些細微的動作可以被忽略而不影響檢測效果。因此HOG特征是特別適合于做圖像中的人體檢測的。  3.3.1.5 HOG特征提取算法的實現(xiàn)過程： 大概過程： HOG特征提取方法就是將一個image（你要檢測的目標或者掃描窗口）：1）灰度化（將圖像看做一個x,y,z（灰度）的三維圖像）；2）采用Gamma校正法對輸入圖像進行顏色空間的標準化（歸一化）；目的是調(diào)節(jié)圖像的對比度，降

6、低圖像局部的陰影和光照變化所造成的影響，同時可以抑制噪音的干擾；3）計算圖像每個像素的梯度（包括大小和方向）；主要是為了捕獲輪廓信息，同時進一步弱化光照的干擾。4）將圖像劃分成小cells（例如6*6像素/cell）；5）統(tǒng)計每個cell的梯度直方圖（不同梯度的個數(shù)），即可形成每個cell的descriptor；6）將每幾個cell組成一個block（例如3*3個cell/block），一個block內(nèi)所有cell的特征descriptor串聯(lián)起來便得到該block的HOG特征descriptor。7）將圖像image內(nèi)的所有block的HOG特征descriptor串聯(lián)起來就可以得到該ima

7、ge（你要檢測的目標）的HOG特征descriptor了。這個就是最終的可供分類使用的特征向量了。 3.1.2 LBP特征：3.2.1.1背景介紹局部二值模式(Local binary patterns,LBP)是機器視覺領(lǐng)域中用于描述圖像局部紋理特征的算子,具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點。它是由T. Ojala, M.Pietikäinen, 和 D. Harwood 12在1994年提出，LBP在紋理分類問題上是一個非常強大的特征；如果LBP與HOG結(jié)合，則可以在一些集合上十分有效的提升檢測效果。LBP是一個簡單但非常有效的紋理運算符。它將各個像素與其附近的像素進行比較，

8、并把結(jié)果保存為二進制數(shù)。由于其辨別力強大和計算簡單，局部二值模式紋理算子已經(jīng)在不同的場景下得到應(yīng)用。LBP最重要的屬性是對諸如光照變化等造成的灰度變化的魯棒性。它的另外一個重要特性是它的計算簡單，這使得它可以對圖像進行實時分析。本節(jié)介紹相關(guān)LPB算法特征提取知識。3.2.1.1.2基本理論局部二值模式是廣泛用于圖像分類的一種圖像特征，它的特點是，在圖像發(fā)生光照變化時，提取的特征仍然能夠不發(fā)生大的改變。提取LBP的過程首先是將原始圖像轉(zhuǎn)換為LBP圖，然后統(tǒng)計LBP圖的LBP直方圖，并以這個向量形式的直方圖來表示原始的圖像。LBP的基本思想是定義于像素的8鄰域中,以中心像素的灰度值為閾值,將周圍8

9、個像素的值與其比較,如果周圍的像素值小于中心像素的灰度值,該像素位置就被標記為0,否則標記為1.每個像素得到一個二進制組合,就像00010011.每個像素有8個相鄰的像素點,即有28種可能性組合.如下圖所示。因此，LBP操作可以被定義為： 其中 是中心像素，亮度是 ；而 則是相鄰像素的亮度。s是一個符號函數(shù)： 這種描述方法使得你可以很好的捕捉到圖像中的細節(jié)。實際上，研究者們可以用它在紋理分類上得到最先進的水平。正如剛才描述的方法被提出后，固定的近鄰區(qū)域?qū)τ诔叨茸兓木幋a失效，所以，使用一個變量的擴展方法。主意是使用可變半徑的圓對近鄰像素編碼，這樣可以捕捉到如下的近鄰：進行對一個給定的點 ，他的

10、近鄰點可以由如下計算： 其中，R是圓的半徑，而P是樣本點的個數(shù)。這個操作是對原始LBP算子的擴展，所以有時被稱為擴展LBP(又稱為圓形LBP)。如果一個在圓上的點在圖像坐標上，我們使用他的內(nèi)插點。計算機科學有一堆聰明的插值方法，而OpenCV使用雙線性插值。 對LBP特征向量進行提取的步驟,：（1）將檢測窗口劃分為16×16的小區(qū)域(cell)；（2）對于每個cell中的一個像素，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3*3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進制數(shù)，即得到該窗口中心像素點的LBP值；（3）然后計算每

11、個cell的直方圖，即每個數(shù)字（假定是十進制數(shù)LBP值）出現(xiàn)的頻率；然后對該直方圖進行歸一化處理。（4）最后將得到的每個cell的統(tǒng)計直方圖進行連接成為一個特征向量，也就是整幅圖的LBP紋理特征向量；然后便可SVM或者其他機器學習算法進行分類了。 3.1.2 SVM支持向量機： 所謂支持向量機，顧名思義，分為兩個部分了解：一，什么是支持向量（簡單來說，就是支持或支撐平面上把兩類類別劃分開來的超平面的向量點，下文將具體解釋）；二，這里的“機（machine，機器）”便是一個算法。在機器學習領(lǐng)域，常把一些算法看做是一個機器，如分類機（當然，也叫做分類器），而支持向量機本身便是一種監(jiān)督式學習的方法，

12、它廣泛的應(yīng)用于統(tǒng)計分類以及回歸分析中。支持向量機的基本思想是：首先，在線性可分情況下，在原空間尋找兩類樣本的最優(yōu)分類超平面。在線性不可分的情況下，加入了松弛變量進行分析，通過使用非線性映射將低維輸入空間的樣本映射到高維屬性空間使其變?yōu)榫€性情況，從而使得在高維屬性空間采用線性算法對樣本的非線性進行分析成為可能，并在該特征空間中尋找最優(yōu)分類超平面。其次，它通過使用結(jié)構(gòu)風險最小化原理在屬性空間構(gòu)建最優(yōu)分類超平面，使得分類器得到全局最優(yōu)，并在整個樣本空間的期望風險以某個概率滿足一定上界。3.1.2.1 學習問題 l(1)產(chǎn)生器（G），隨機產(chǎn)生向量 ，它帶有一定但未知的概率分布函數(shù)F(x)(2)訓練器（

13、S）,條件概率分布函數(shù)F(y|x) ，期望響應(yīng)y和輸入向量x關(guān)系為y=f(x,v) (3)學習機器（LM）,輸入-輸出映射函數(shù)集y=f(x,w)，w W，W是參數(shù)集合(4)學習問題就是從給定的函數(shù)集f(x,w),w W中選擇出能夠最好的逼近訓練器響應(yīng)的函數(shù)。而這種選擇是基于訓練集的，訓練集由根據(jù)聯(lián)合分布F(x,y)=F(x)F(y|x)抽取的n個獨立同分布樣本 (xi,yi)， i=1,2,n 組成 。3.1.2.2 學習問題的表示l學習的目的就是，在聯(lián)合概率分布函數(shù)F(x,y)未知、所有可用的信息都包含在訓練集中的情況下，尋找函數(shù)f(x,w0)，使它（在函數(shù)類f(x,w)，(w W）上最小化

14、風險泛函 ：l模式識別問題：3.1.2.3 經(jīng)驗風險最小化原則(ERM ) （1）最小化經(jīng)驗風險(訓練樣本錯誤率 ) ： 函數(shù)集Fk=F(x,w);wWk, k=1,2,n F1 F2 Fn VC維：h1h2hn 在使保證風險（風險的上界）最小的子集中選擇使經(jīng)驗風險最小的函數(shù) （2）ERM的缺點l用ERM準則代替期望風險最小化并沒有經(jīng)過充分的理論論證，只是直觀上合 理的想當然做法。l這種思想?yún)s在多年的機器學習方法研究中占據(jù)了主要地位。人們多年來將大部分注意力集中到如何更好地最小化經(jīng)驗風險上。l實際上，即使可以假定當n趨向于無窮大時經(jīng)驗風險也不一定趨近于期望風險，在很多問題中的樣本數(shù)目也離無窮大

15、相去甚遠 ，如神經(jīng)網(wǎng)絡(luò)。 3.1.2.4 Vapnik-Chervonenkis(VC)維 （1）定義：VC維是對由學習機器能夠?qū)崿F(xiàn)的分類函數(shù)族的容量或表達力的測度。 分類函數(shù)集= f(x,w):wW的VC維是能被機器對于分類函數(shù)的所有可能二分標志無錯學習的訓練樣本的最大數(shù)量，描述了學習機器的復(fù)雜性 （2）學習機器實際風險的界 其中n樣本數(shù)量，h是VC維，是遞減函數(shù) 兩種方法：l神經(jīng)網(wǎng)絡(luò): 保持置信范圍固定（通過選擇一個適當構(gòu)造的機器）并最小化經(jīng)驗風險。 l支持向量機(SVM): 保持經(jīng)驗風險固定（比如等于零）并最小化置信范圍。結(jié)構(gòu)風險最小化原則 函數(shù)集Fk=F(x,w);wWk, k=1,2

16、,n F1 F2 Fn VC維：h1h2hn 3.1.2.5 支持向量回歸機SVM本身是針對經(jīng)典的二分類問題提出的，支持向量回歸機（Support Vector Regression，SVR）是支持向量在函數(shù)回歸領(lǐng)域的應(yīng)用。SVR與SVM分類有以下不同：SVM回歸的樣本點只有一類，所尋求的最優(yōu)超平面不是使兩類樣本點分得“最開”，而是使所有樣本點離超平面的“總偏差”最小。這時樣本點都在兩條邊界線之間，求最優(yōu)回歸超平面同樣等價于求最大間隔。（1） SVR基本模型對于線性情況，支持向量機函數(shù)擬合首先考慮用線性回歸函數(shù)擬合，為輸入量，為輸出量，即需要確定和。 圖3-3a SVR結(jié)構(gòu)圖 圖3-3b 不靈

17、敏度函數(shù)懲罰函數(shù)是學習模型在學習過程中對誤差的一種度量，一般在模型學習前己經(jīng)選定，不同的學習問題對應(yīng)的損失函數(shù)一般也不同，同一學習問題選取不同的損失函數(shù)得到的模型也不一樣。常用的懲罰函數(shù)形式及密度函數(shù)如表3-1。表3-1 常用的損失函數(shù)和相應(yīng)的密度函數(shù)損失函數(shù)名稱損失函數(shù)表達式噪聲密度-不敏感拉普拉斯高斯魯棒損失多項式分段多項式標準支持向量機采用-不靈敏度函數(shù)，即假設(shè)所有訓練數(shù)據(jù)在精度下用線性函數(shù)擬合如圖（3-3a）所示， （3.11）式中，是松弛因子，當劃分有誤差時，都大于0，誤差不存在取0。這時，該問題轉(zhuǎn)化為求優(yōu)化目標函數(shù)最小化問題： （3.12）式（3.12）中第一項使擬合函數(shù)更為平坦，

18、從而提高泛化能力；第二項為減小誤差；常數(shù)表示對超出誤差的樣本的懲罰程度。求解式（3.11）和式（3.12）可看出，這是一個凸二次優(yōu)化問題，所以引入Lagrange函數(shù)： （3.13）式中，為Lagrange乘數(shù)，。求函數(shù)對，的最小化，對，的最大化，代入Lagrange函數(shù)得到對偶形式，最大化函數(shù)： （3.14）其約束條件為： （3.15）求解式（3.14）、（3.15）式其實也是一個求解二次規(guī)劃問題，由Kuhn-Tucker定理，在鞍點處有： （3.16）得出，表明，不能同時為零，還可以得出： （3.17）從式（3.17）可得出，當，或時，可能大于，與其對應(yīng)的稱為邊界支持向量（Boundary

19、 Support Vector，BSV），對應(yīng)圖3-3a中虛線帶以外的點；當時，即，與其對應(yīng)的稱為標準支持向量（Normal Support Vector，NSV），對應(yīng)圖3-3a中落在管道上的數(shù)據(jù)點；當，時，與其對應(yīng)的為非支持向量，對應(yīng)圖3-3a中管道內(nèi)的點，它們對沒有貢獻。因此越大，支持向量數(shù)越少。對于標準支持向量，如果，此時，由式（3.16）可以求出參數(shù)： 同樣，對于滿足的標準支持向量，有 一般對所有標準支持向量分別計算的值，然后求平均值，即 （3.18）因此根據(jù)樣本點求得的線性擬合函數(shù)為 （3.19）非線性SVR的基本思想是通過事先確定的非線性映射將輸入向量映射的一個高維特征空間（Hi

20、lbert空間）中，然后在此高維空間中再進行線性回歸，從而取得在原空間非線性回歸的效果。首先將輸入量通過映射映射到高維特征空間中用函數(shù)擬合數(shù)據(jù)，。則二次規(guī)劃目標函數(shù)（3.14）式變?yōu)椋?（3.20）式（3.20）中涉及到高維特征空間點積運算，而且函數(shù)是未知的，高維的。支持向量機理論只考慮高維特征空間的點積運算，而不直接使用函數(shù)。稱為核函數(shù)，核函數(shù)的選取應(yīng)使其為高維特征空間的一個點積，核函數(shù)的類型有多種，常用的核函數(shù)有：多項式核：;高斯核：;RBF核：;B樣條核：;Fourier核：;因此式（3.20）變成 （3.21）可求的非線性擬合函數(shù)的表示式為： （3.22） 3.2實驗過程: 3.2.1

21、訓練過程： 3.2.2 LBP及HOG特征檢測實驗過程：四、實驗結(jié)果1、LBP分類器對一些分塊區(qū)域進行檢測這個LBP粗檢測2、對有車的區(qū)域，標記好之后進行區(qū)域合并，再進行HOG的細檢測 這些因為沒有人，都是車輛檢測漏檢多，誤檢多行人檢測：沒有比較適合的視頻，用圖片來檢測可見：實驗效果一般五、思考題4.1復(fù)雜交通場景中人和車輛的檢測與跟蹤的主要困難和挑戰(zhàn)是什么？ 答：從實際實驗來看，主要有干擾因素多、樣本少、受天氣影響大等因素影響實驗。 4.2根據(jù)實驗結(jié)果從以下三個方面評價自己的檢測與跟蹤算法。4.2.1準確性：算法能檢測出視頻圖像序列中運動物體的準確程度，能夠?qū)我荒繕?、多個目標提取出目標輪廓

22、，在復(fù)雜背景環(huán)境、背景中存在大量干擾時，也能準確檢測出運動目標。 答： 準確性不好，主要樣本少4.2.2實時性：算法處理圖像數(shù)據(jù)，到獲得結(jié)果所需要的時間度量，在滿足準確性的前提下，處理時間應(yīng)盡可能地短。 答：HOG檢測速度慢，處理時間長，利用LBP加快了速度，但依然較慢4.3魯棒性：算法在受到外界干擾時，能繼續(xù)執(zhí)行原先功能的穩(wěn)定能力，如在有新目標進入畫面，畫面中目標發(fā)生重疊等情況下，算法能繼續(xù)進行目標的檢測和跟蹤而不發(fā)生丟失。 答：環(huán)境變化檢測不好，特別天氣。六、實驗總結(jié)雖然從上面的實驗結(jié)果來看，效果并不是很好，有部分或許是算法未深刻理解，也有部分原因是時間倉促，不過在模式識別課程總結(jié)的最后一

23、個實驗，我覺得是最重要的是理解其中的算法，畢竟這些才是精髓。進一步深刻理解了一些重要的模式識別中的算法: 1） LBP,局部二值模式(Local binary patterns,LBP)是機器視覺領(lǐng)域中用于描述圖像局部紋理特征的算子2） HOG, 即方向梯度直方圖（Histogram of Oriented Gradient, HOG）特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。3）支持向量機SVM(Support Vector Machine），是一種有監(jiān)督的學習模型，通常用來進行模式識別、分類、以及回歸分析。 參考文獻：1朱娟，陳杰基于混合差分的車輛檢測方法J計算機工程與設(shè)計， 2011，32（1）：3323352胡銦，楊靜宇基于模型的車輛檢測與跟蹤J中國圖象圖形學報， 2008，13（3）：4504553楊建國，尹旭全，方麗，等基于自適應(yīng)輪廓匹配的視頻運動車輛檢測 和跟蹤J西安交通大學學報，2005，39（4）：3513554王崴，唐一平，任娟莉，等一種改進的Harris 角點提取算法J光學 精密工程，2008，16（10）：199520015李二森，張保明，劉景正，等SIFT 特征匹配技術(shù)在自