基于亮度信息的紅外行人檢測

1、基于亮度信息的紅外行人檢測 摘 要： 紅外圖像中的行人具備邊緣和亮度兩個顯著特征信息。為了能夠充分利用這兩種信息，在亮度直方圖特征基礎(chǔ)上，提出了一種不同區(qū)間大小的亮度直方圖特征。通過統(tǒng)計分析紅外圖像中行人各部件對應(yīng)的亮度區(qū)間信息，確定映射規(guī)則，從而構(gòu)建不同區(qū)間大小的亮度直方圖，然后通過與梯度方向直方圖特征相結(jié)合，并用于adaboost模型訓(xùn)練。該方法提高了行人檢測系統(tǒng)的檢測率。 關(guān)鍵詞： 紅外圖像; 行人檢測; 梯度方向直方圖; 亮度直方圖; adaboost 中圖分類號：tp391.4 文獻(xiàn)標(biāo)志碼：a 文章編號：1006-8228（2015）07-01-03 pedestrian detec

2、tion based on infrared intensity information wang lujie， xu xianghua （hangzhou dianzi university， zhejiang provincial key lab of data storage and transmission technology， hangzhou， zhejiang 310037， china） abstract： the pedestrian in the infrared images has two significant features that are edge and

3、intensity. in order to take full advantage of the two information， based on the hoi（histogram of intensity） feature， the dbhoi（different bin histogram of intensity） feature is proposed. through the statistics and analysis of the intensity information of pedestrian in the infrared image， the dbhoi de

4、scriptor determines the mapping rules， and then constructs an intensity histogram with different size of bins. combined with the hog（histogram of oriented gradient） descriptor， the dbhoi descriptor is used to train adaboost model. this method improves the detection rate of the pedestrian detection s

5、ystem. key words： infrared images; pedestrian detection; histogram of oriented gradient; histogram of intensity; adaboost 0 引言 近些年來，基于視覺的行人檢測一直是計算機(jī)視覺的一個研究熱點1-2?；诩t外成像的行人檢測方法對不同環(huán)境下的行人檢測具有一定的適應(yīng)性。目前，紅外行人檢測技術(shù)3-5主要基于機(jī)器學(xué)習(xí)的方法，其中主要涉及特征提取和分類器訓(xùn)練。在特征提取階段，由于紅外圖像中的行人本身具有兩個明顯的信息：邊緣信息和亮度信息，因此大多數(shù)的特征構(gòu)造是依據(jù)這兩個信息進(jìn)行的，比如

6、梯度方向直方圖（histogram of oriented gradient，hog）6、亮度直方圖特征（histogram of intensity，hoi）7等。為了消除特征單一帶來的誤檢，將hog與hoi進(jìn)行特征融合7是一種有效方法。hoi特征描述紅外圖像中的亮度信息，但是沒有利用行人亮度信息分布相對穩(wěn)定的特點。本文通過統(tǒng)計紅外圖像中行人各部件對應(yīng)的亮度區(qū)間信息，從而確定映射規(guī)則，構(gòu)建不同區(qū)間大小的亮度直方圖（different bin histogram of intensity，dbhoi）特征。然后將該特征與hog特征相結(jié)合構(gòu)成一個特征描述符，進(jìn)而從多個角度去刻畫行人與背景之間的區(qū)

7、別。本文基于adaboost學(xué)習(xí)算法8進(jìn)行模型訓(xùn)練，最后利用滑窗掃描法進(jìn)行行人檢測。 1 特征提取 檢測對象行人包含兩個明顯的信息：邊緣和亮度。其中hog特征很好地提取了圖像中的邊緣信息。因為人體溫度的變化是在一定范圍內(nèi)，所以行人的亮度信息也就相對穩(wěn)定。目前，hoi特征描述符7是一個對亮度信息描述較好的特征。 1.1 hoi描述符 hoi特征是一個描述亮度信息的特征。它通過對圖像中的亮度信息進(jìn)行區(qū)域高密度的、重疊的編碼，以此來表征行人與背景之間的區(qū)別。hoi特征的構(gòu)造過程大致如圖1所示。 將圖像劃分為多個局部區(qū)域，并構(gòu)建hoi。首先將圖像窗口分割成一個個小的區(qū)域，這些小區(qū)域叫做“cell”。對

8、于每一個cell，計算cell中每一個像素的灰度值，形成一個局部的一維亮度直方圖。在每一個亮度直方圖中，將灰度值映射到不同區(qū)間，并將灰度值的大小作為權(quán)重值映射到該區(qū)間中?；叶葏^(qū)間的劃分由實驗給出，默認(rèn)情況下將灰度值范圍劃分為6等份。 進(jìn)行塊（block）內(nèi)的歸一化。通過塊區(qū)域重疊的方式，使得每一個獨立的cell的信息可以在幾個不同的塊中共享，然后對塊區(qū)域內(nèi)的直方圖進(jìn)行歸一化。通過塊歸一化處理，提高h(yuǎn)oi對行人描述的魯棒性。 串聯(lián)每一個塊中形成的hoi特征向量。 圖1 hoi特征提取的概要流程圖 因為hoi特征對圖像中的局部亮度信息進(jìn)行了編碼，所以該特征與簡單的亮度灰度值相比具有更強(qiáng)的描述能力。

9、 1.2 dbhoi描述符 hoi特征較好地對紅外圖像中的亮度信息進(jìn)行了編碼，但也存在缺陷。它只是將灰度值區(qū)間進(jìn)行均等劃分，并沒有考慮行人所具有的剛性特征及身體各部件熱輻射的相對穩(wěn)定性。因為熱輻射的相對穩(wěn)定性，使行人各部件形成的亮度具有顯著的特征，即頭部比身體其他部件的亮度都要大，且亮度灰度值非常高。若構(gòu)造的特征描述符能夠有效的表達(dá)該信息，那么將會有效的提高特征描述能力。 為了確定如何劃分灰度值到多個區(qū)間中，我們利用四組圖像集合，且所有的圖像來自訓(xùn)練樣本集。根據(jù)樣本集的大小隨機(jī)抽取數(shù)張并截取人體部件：頭部、肢體上半身、肢體下半身。根據(jù)這些圖像的集合，統(tǒng)計出每一個人體部件所具有的相對穩(wěn)定的灰度均

10、值，具體分布如圖2所示。 圖2 人體部件均值分析 dbhoi的提取過程與hoi的提取過程（圖1）類似，不同之處在于第二步中灰度值的映射。根據(jù)圖2的實驗結(jié)果，我們將灰度值映射到各個不同的區(qū)間中。另外根據(jù)經(jīng)驗性的觀察，行人部件中頭部的亮度信息特別明顯，為了獲取該信息劃分了一個區(qū)間230，255，其他的區(qū)間分別是0，103，103，149，149，230。經(jīng)過這樣的區(qū)間劃分，得到亮度直方圖特征具有對行人更強(qiáng)的描述能力。 dbhoi特征描述符的提取過程與hoi的提取過程類似，它不僅保留了原h(huán)oi特征描述符所具有的優(yōu)點，而且在組織亮度信息分布時更好的區(qū)分出行人與背景。根據(jù)背景與行人的亮度分布信息特點，我

11、們進(jìn)行不同區(qū)間大小的劃分，使得行人與非行人在亮度信息上的差異更加明顯。當(dāng)環(huán)境產(chǎn)生變化時，使用dbhoi特征來描述行人依然具有穩(wěn)定性，從而提高了行人檢測的魯棒性。 2 基于adaboost的分類器 為了得到一個具有強(qiáng)分類能力的分類器，我們采用了基于adaboost學(xué)習(xí)算法的級聯(lián)分類器8。一個adaboost分類器一般有如下形式： 其中t為每個弱分類器對應(yīng)的權(quán)重值，ht為弱分類器，t為迭代次數(shù)。 在訓(xùn)練前，每一個樣本被設(shè)置一個非負(fù)的權(quán)重值。在每一次迭代中被錯分樣本的權(quán)重值將會被更新，會被設(shè)置一個更大的值，在下一次迭代的過程將會更加重視這些樣本。 本文實驗的訓(xùn)練數(shù)據(jù)基于17900個樣本，包括正樣本和

12、負(fù)樣本，因此每個樣本的初始權(quán)重值將會被設(shè)置為1/17900。設(shè)置的迭代次數(shù)分別為32、128、512、2048。首先訓(xùn)練一個包含32個弱分類器的強(qiáng)分類器，然后用這個分類器進(jìn)行樣本分類，只有通過了該分類器正確分類的樣本才進(jìn)行下一個分類器訓(xùn)練的訓(xùn)練樣本集。重復(fù)上述過程進(jìn)行迭代，直至產(chǎn)生每層的強(qiáng)分類器。 3 性能評估 為了分析dbhoi特征的描述能力，該特征與hoi特征進(jìn)行了比較。實驗的硬件環(huán)境為intel core i53.1ghz，4g內(nèi)存，仿真工具為matlab r2012a。 3.1 紅外行人檢測樣本集 圖3 部分正樣本 利用被動紅外攝像機(jī)拍攝了大量實際車載場景下的紅外圖像，并根據(jù)calte

13、ch樣本庫的樣本制作標(biāo)準(zhǔn)，建立一個完善的紅外行人樣本庫。訓(xùn)練集包括1170個正樣本和16730個負(fù)樣本;測試集包括100張包含行人的圖像，160張不包含行人的圖像。圖3和圖4是隨機(jī)抽取的正負(fù)樣本圖像。 圖4 部分負(fù)樣本 3.2 實驗結(jié)果 為了說明在車載紅外行人檢測中，亮度信息對最終的分類算法性能的影響，本文以hog為基礎(chǔ)特征，分析了在增加和不增加亮度信息特征dbhoi特征描述符的兩種不同情況下整個行人檢測系統(tǒng)的性能。除此之外，為了說明hoi特征與dbhoi特征，以及兩者在描述能力上的差異，本實驗構(gòu)造hoi特征、dbhoi特征，然后結(jié)合描述邊緣信息的hog特征，構(gòu)成不同的積分通道特征，并比較了兩

14、者之間的性能差異。 圖5說明了在沒有亮度信息的情況下，行人檢測系統(tǒng)的檢測率約為35%，而在增加了描述亮度信息的dbhoi特征描述符后，檢測率達(dá)到了42%，使得整個系統(tǒng)的性能提升了7%。 圖5 有無亮度信息圖 圖6表示在紅外數(shù)據(jù)集上，用檢測率（=1-missing rate）vs fppi作為評價標(biāo)準(zhǔn)，對不同亮度信息提取方法的比較。由dbhoi與hog構(gòu)成的特征達(dá)到了42%檢測率，而hoi只有37%。改進(jìn)的dbhoi特征相對于原來的hoi特征提升了大約5%的性能。 圖7中a（1）、b（1）與a（2）、b（2）分別是hoi特征與dbhoi特征的檢測結(jié)果?？梢钥闯?，dbhoi特征檢測到圖像中更多的行

15、人，當(dāng)行人與相機(jī)的檢測距離增大時，dbhoi特征提取到更多的信息。從b（1）組與b（2）組的最后一張圖像中可以看出，均勻劃分灰度的hoi特征沒能很好的區(qū)分其他發(fā)熱物體所行人的亮度如汽車的輪子，而dbhoi特征描述了這種區(qū)別。 圖6 亮度信息進(jìn)行不同構(gòu)造方式 圖7 dbhoi特征與hoi特征效果比較 4 結(jié)束語 本文提出了一個完整的針對紅外車載場景下的行人檢測方法。其主要的貢獻(xiàn)在于，針對紅外圖像中行人的特點，詳細(xì)分析了有無亮度信息以及不同亮度信息構(gòu)造方式對最終行人檢測性能的影響。并改進(jìn)了hoi特征描述符存在的不足之處，提出了dbhoi描述符。實驗表明，紅外圖像中的亮度信息是一個非常重要的信息，并

16、且dbhoi特征的構(gòu)造方式提高了行人檢測系統(tǒng)的性能。 參考文獻(xiàn)： 1 dollar p， wojek c， schiele b. pedestrian detection： an evaluation of the state of the artj.ieee transactions on pattern analysis and machine intelligence，2012.34（4）：743-761 2 omalley r， glavin m， jones e. a review of automotive infrared pedestrian detection techniq

17、ues. signals and systems conferencec. galway：ieee， r，2008：168-173 3 olmeda d， premebida c， nunes u. pedestrian detection in far infrared imagesj. integrated computer-aided engineering，2013.20（4）：347-360 4 dollr p， appel r， belongie s. fast feature pyramids for object detectionj.ieee transactions on

18、pattern analysis and machine intelligence，2014.36（8）：1532-1545 5 brehar r， vancea c， nedevschi s. pedestrian detection in infrared images using aggregated channel features. 2014 ieee international conference on intelligent computer communication and processing （iccp）c. cluj napoca： ieee， r，2014：127-132 6 dalal n， triggs b. histograms of oriented gradients for human detection. ieee computer society conference