機器視覺的輔助駕駛系統(tǒng)的視頻中行人檢測跟蹤

1、精選優(yōu)質(zhì)文檔-傾情為你奉上機器視覺的輔助駕駛系統(tǒng)的視頻中行人實時檢測識別研究文獻綜述1機器視覺發(fā)展 國外機器視覺發(fā)展的起點難以準(zhǔn)確考證，其大致的發(fā)展歷程是：20世紀(jì)50年代提出機器視覺概念，20世紀(jì)70年代真正開始發(fā)展，20世紀(jì)80年代進入發(fā)展正軌，20世紀(jì)90年代發(fā)展趨于成熟，20世紀(jì)90年代后高速發(fā)展。在機器視覺發(fā)展的歷程中，有3個明顯的標(biāo)志點，一是機器視覺最先的應(yīng)用來自“機器人”的研制，也就是說，機器視覺首先是在機器人的研究中發(fā)展起來的；二是20世紀(jì)70年代CCD圖像傳感器的出現(xiàn)，CCD攝像機替代硅靶攝像是機器視覺發(fā)展歷程中的一個重要轉(zhuǎn)折點；三是20世紀(jì)80年代CPU、DSP等圖像處理硬

2、件技術(shù)的飛速進步，為機器視覺飛速發(fā)展提供了基礎(chǔ)條件。  國內(nèi)機器視覺發(fā)展的大致歷程：真正開始起步是20世紀(jì)80年代，20世紀(jì)90年代進入發(fā)展期，加速發(fā)展則是近幾年的事情。中國正在成為世界機器視覺發(fā)展最活躍的地區(qū)之一，其中最主要的原因是中國已經(jīng)成為全球的加工中心，許許多多先進生產(chǎn)線己經(jīng)或正在遷移至中國，伴隨這些先進生產(chǎn)線的遷移，許多具有國際先進水平的機器視覺系統(tǒng)也進入中國。對這些機器視覺系統(tǒng)的維護和提升而產(chǎn)生的市場需求也將國際機器視覺企業(yè)吸引而至，國內(nèi)的機器視覺企業(yè)在與國際機器視覺企業(yè)的學(xué)習(xí)與競爭中不斷成長。 未來機器視覺的發(fā)展將呈現(xiàn)下列趨勢: （1）技術(shù)方面的趨勢

3、是數(shù)字化、實時化、智能化 圖像采集與傳輸?shù)臄?shù)字化是機器視覺在技術(shù)方面發(fā)展的必然趨勢。更多的數(shù)字?jǐn)z像機，更寬的圖像數(shù)據(jù)傳輸帶寬，更高的圖像處理速度，以及更先進的圖像處理算法將會推出，將會得到更廣泛的應(yīng)用。這樣的技術(shù)發(fā)展趨勢將使機器視覺系統(tǒng)向著實時性更好和智能程度更高的方向不斷發(fā)展。 （2）產(chǎn)品方面：智能攝像機將會占據(jù)市場主要地位 智能攝像機具有體積小、價格低、使用安裝方便、用戶二次開發(fā)周期短的優(yōu)點，非常適合生產(chǎn)線安裝使用，越來越受到用戶的青睞，智能攝像機所采用的許多部件與技術(shù)都來自IT行業(yè)，其價格會不斷降低，逐漸會為最終用戶所接受。因此，在眾多的機器視覺產(chǎn)品中，預(yù)計

4、智能攝像機在未來會占據(jù)主要地位。 另外，機器視覺傳感器會逐漸發(fā)展成為光電傳感器中的重要產(chǎn)品。目前許多國際著名的光電傳感器生產(chǎn)企業(yè)，如KEYENCE，OMRON，BANNER等都將機器視覺傳感器作為光電傳感器中新型的傳感器來發(fā)展與推廣。 （3）市場份額迅速擴大 一方面已經(jīng)采用機器視覺產(chǎn)品的應(yīng)用領(lǐng)域，對機器視覺產(chǎn)品的的依賴性將更強；另一方面機器視覺產(chǎn)品將應(yīng)用到其他更廣的領(lǐng)域。機器視覺市場將不斷增大。 （4）行業(yè)方面發(fā)展更加迅速 機器視覺行業(yè)專業(yè)性公司增多，投資和從業(yè)人員增加，競爭加劇是機器視覺行業(yè)未來幾年的發(fā)展趨勢，機器視覺行業(yè)作為一個新興的行業(yè)將

5、逐步發(fā)展成熟，將越來越越受到人們的重視。  更多功能的實現(xiàn)主要是來自于計算能力的增強,更高分辨率的傳感器(10Mpixels),更快的掃描率(500次/s)和軟件功能的提高。PC處理器的速度在得到穩(wěn)步提升的同時,其價格也在下降,這推動了更快的總線的出現(xiàn),而總線又反過來允許具有更多數(shù)據(jù)的更大圖像以更快的速度進行傳輸和處理。產(chǎn)品的小型化趨勢讓這個行業(yè)能夠在更小的空間內(nèi)包裝更多的部件,這意味著機器視覺產(chǎn)品變得更小,這樣他們就能夠在廠區(qū)所提供的有限空間內(nèi)應(yīng)用.例如在工業(yè)配件上LED已經(jīng)成為主導(dǎo)光源,它的小尺寸使成像參數(shù)的測定變得容易,他們的耐用性和穩(wěn)定性非常適用于工廠設(shè)備。智能相機的發(fā)展預(yù)示

6、了集成產(chǎn)品增多的趨勢。智能相機是在一個單獨的盒內(nèi)集成了處理器、鏡頭、光源、輸入/輸出裝置及以太網(wǎng)。電話和PDA推動了更快、更便宜的精簡指令集計算機(RISC)的發(fā)展,這使智能相機和嵌入式處理器的出現(xiàn)成為可能。同樣,現(xiàn)場可編程門列陣(FPGA)技術(shù)的進步為智能相機增添了計算功能,并為PC機嵌入了處理器和高性能楨采集器.智能相機結(jié)合處理大多數(shù)計算任務(wù)的FPGA,DSP和微處理器則會更具有智能性。小型化與集成產(chǎn)品正在一起為實現(xiàn)“芯片上的視覺系統(tǒng)”的最終目標(biāo)而努力。尺寸更小、更密集的存儲卡及成像器分辨率的提高有助于智能相機的開發(fā)和擴展。智能車輛( intelligent vehic

7、les, IV)是智能交通系統(tǒng)( in2telligent transportation systems, ITS)的重要構(gòu)成部分,其研究的主要目的在于降低日趨嚴(yán)重的交通事故發(fā)生率,提高現(xiàn)有道路交通的效率,在某種程度上緩解能源消耗和環(huán)境污染等問題。2智能車輛發(fā)展  智能車輛利用各種傳感技術(shù)獲取車體自身和車外環(huán)境的狀態(tài)信息,經(jīng)過智能算法對其進行分析、融合處理,將最終的決策結(jié)果傳遞給駕駛者,在危險發(fā)生之前,提醒駕駛員做出必要的回避動作,避免事故發(fā)生;在緊急狀況下,駕駛者無法做出反應(yīng)時,智能車輛則自主完成規(guī)避危險任務(wù),幫助駕駛?cè)藛T避免危險發(fā)

8、生。 美國開始組織實施智能車輛先導(dǎo)(intelligent vehicle ini2tiative,IVI）計劃, 歐洲提出公路安全行動計劃( roadsafety action p rogram, RSAP),日本提出超級智能車輛系統(tǒng)。我國科技部則于2002年正式啟動了“十五”科技攻關(guān)計劃重大項目,智能交通系統(tǒng)關(guān)鍵技術(shù)開發(fā)和示范工程,其中一個重要的內(nèi)容就是進行車輛安全和輔助駕駛的研究。預(yù)計在2020年之前進入智能交通發(fā)展的成熟期,人、車、路之間可以形成穩(wěn)定、和諧的智能型整體。3行人檢測技術(shù)國內(nèi)外研究現(xiàn)狀

9、3.1國內(nèi)研究現(xiàn)狀我國在汽車安全輔助駕駛領(lǐng)域的技術(shù)研究要比國外發(fā)達國家要晚,目前在視頻監(jiān)控、交叉路口等領(lǐng)域中對運動行人的檢測與運動分析進行了相關(guān)研究工作,主要是研究基于攝像機固定的條件下的運動目標(biāo)檢測與跟蹤，同時,也在積極探討基于運動攝像機情況下的行人檢測方法研究。中科院計算機科學(xué)重點實驗室孫慶杰等人利用基于側(cè)影的人體模型及其對應(yīng)的概率模型,提出了一種基于矩形擬合的人體檢測算法。中科院自動化所譚鐵牛等對人運動進行視覺分析,其核心是利用計算機視覺技術(shù)從圖像序列中檢測、跟蹤、識別人并對其行為進行理解與描述,它主要應(yīng)用在視覺監(jiān)控領(lǐng)域和基于步態(tài)的身份鑒定。步態(tài)識別就是根據(jù)人們走路的姿勢進行身份鑒定,依

10、據(jù)人體行走運動很大程度上依賴于輪廓隨著時間的形狀變化的直觀想法,提出一種基于時空輪廓分析的步態(tài)識別算法；基于行走運動的關(guān)節(jié)角度變化包含著豐富的個體識別信息的思想,提出一種基于模型的步態(tài)識別算法。實驗結(jié)果表明該算法不僅獲得了令人鼓舞的識別性能,而且擁有相對較低的計算代價。但是該方法只能檢測出運動的行人。西安交通大學(xué)鄭南寧等研究了利用支持向量機識別行人的方法,通過稀疏Gabor濾波器提取行人樣本圖像中行人的特征,然后利用支持向量機來訓(xùn)練所提取的樣本特征,并用訓(xùn)練得到的分類器通過遍歷圖像的方式將圖像中可能屬于行人的窗口提取出來。盡管用Gabor濾波器提取特征效果相對較好,但耗時很長,不適合于實時圖像

11、的處理。上海交通大學(xué)田廣等提出了一種coarse-to-fine的行人檢測方法,將一個人建模成人體自然部位的組裝,人體的所有部位包括頭肩、軀干和腿、采用絕對值類Haar特征集和Edgelet特征集,在這些特征集上,采用softcascade訓(xùn)練各個部位的檢測器和全身檢測器。首先采用全身檢測器在整個圖像中產(chǎn)生候選行人區(qū)域,然后用基于貝葉斯決策的組合算法進一步確定候選區(qū)域中的行人。實驗結(jié)果表明該算法有很好的檢測性能能在雜亂的自然場景中有效的檢測行人。但該方法的識別率是78.3%,識別率不高，且該模型比較難構(gòu)建,模型求解也比較復(fù)雜。清華大學(xué)的黃深設(shè)計的實時夜間行人檢測系統(tǒng),系統(tǒng)首先,根據(jù)實際粗分割的

12、候選區(qū)域特點進行分析,提出基于兩種不同特征提取方法的雙層結(jié)構(gòu)形狀識別分類器,將閨值化提取形狀特征的方法和邊緣特征有效地融合在一起。在這個設(shè)計思路和框架基礎(chǔ)上,進一步提出了新的自適應(yīng)邊緣提取算法和閡值化方法,使得形狀特征的提取效果得到改進。最后,利用Hausdoroff距離的度量原理加以改進,結(jié)合模板匹配的檢測識別算法,分別構(gòu)造實現(xiàn)了形狀識別分類器的兩層子分類器。多次實驗測試結(jié)果顯示,與原有形狀識別分類器算法的性能相比,改進后的分類器對于分割算法的不可靠性具有更強適應(yīng)性。同時,也使得整個系統(tǒng)的誤識別率大幅度降低,達到設(shè)計目標(biāo)。3.2國外研究現(xiàn)狀目前,在國外許多文獻中提出了基于機器視覺的行人檢測方

13、法,意大利帕爾瑪大學(xué)的AlbertoBroggi教授在ARGO項目中采用一種基于外形的行人檢測算法。算法首先根據(jù)行人相對于垂直軸有很強的垂直邊緣對稱性、尺寸和外貌比例等在圖像中找到感興趣區(qū)域,然后提取垂直邊緣,選擇具有高垂直對稱性的區(qū)域。通過計算邊緣的熵值去掉圖像中始終一致的區(qū)域。在剩下的具有對稱性的候選區(qū)域中,尋找目標(biāo)側(cè)向和底部邊界畫出矩形方框,通過包含行人頭部模型匹配定位行人頭部。在市區(qū)試驗表明,當(dāng)視野中有完整的行人存在時能得到較好的效果,在10一40m的范圍內(nèi)都可以正確地進行識別,并且可以較好地適應(yīng)復(fù)雜的外界環(huán)境。由歐盟資助的 SAVE-U（Sensors and system Arch

14、itecturE for Vulnerable road Users protection）項目于2002年開始實施，2005 年完成。該項目由 Volkswagen,DaimlerChrysler,Siemens VDO 等機構(gòu)參與研發(fā)。SAVE-U 項目的目的在于開發(fā)一套完整的行人（包括騎自行車者）保護系統(tǒng)，該系統(tǒng)通過檢測道路上的行人和騎自行車者，并向車輛駕駛員提供主動安全預(yù)警甚至是緊急安全制動等控制。SAVE-U系統(tǒng)融合了多種信息傳感器，包括 CCD 攝像機、紅外攝像機以及雷達等，通過多種信息的融合能夠較好的實現(xiàn)道路行人的檢測和及時預(yù)警?？梢詫囕v前方 5m 到 25m，側(cè)向 1.4m

15、到 4m 范圍內(nèi)出現(xiàn)的行人和騎自行車者進行一定的保護。美國 Maryland 大學(xué)研制的 W4實時監(jiān)控系統(tǒng)，該系統(tǒng)能檢測運動的人體并對其進行跟蹤。其具體的算法流程為：系統(tǒng)首先從靜止的視頻圖像中利用減背景法分割出行人輪廓，然后利用統(tǒng)計得到的行人形狀模型建立行人線性點模型。該系統(tǒng)適用于民宅、銀行、地鐵站、停車場等場合。美國明尼蘇達大學(xué)的 O.Masuoud 和 N.P. Papanikolopoulos 等人，利用靜止的單目 CCD 攝像機對灰度圖像視頻序列進行行人識別與跟蹤，并且建立了行人的輪廓模型，該方法的成果主要用于道路交叉口行人的識別與跟蹤控制。2007 年，德國 DaimlerChrys

16、ler研究機構(gòu)開發(fā)了一套面向行人交通安全的車輛安全輔助駕駛系統(tǒng)，該系統(tǒng)通過計算實際道路的限制條件確定了圖像感興趣區(qū)域，在立體視覺條件下，運用行人形狀特性、神經(jīng)網(wǎng)絡(luò)等一系列方法實現(xiàn)了對道路感興趣區(qū)域內(nèi)行人的檢測。除以上應(yīng)用于實際的行人檢測系統(tǒng)之外，還有大量與行人檢測、跟蹤技術(shù)相關(guān)的學(xué)術(shù)研究成果。 美國麻省理工學(xué)院的 M.Oren 與 C.Papageorgiou建立了Haar 小波模板，并將其應(yīng)用于行人檢測當(dāng)中，Haar 小波模板常用于表達簡單的物體，具有有效、快速檢測的特點，現(xiàn)已被廣泛的應(yīng)用于圖像的物體檢測中，同樣 Haar 小波模板行人檢測算法也成為行人檢測領(lǐng)域經(jīng)典算法之一。2005 年，法

17、國的 Navneet Dalal 和 Bill Triggs使用梯度方向直方圖(HOG)來表示人體特征，并在 INRIAPerson 樣本庫上進行了驗證。此方法檢測率高，在人體檢測方面有著很強的適用性，同樣的該算法在道路行人檢測也有很強表現(xiàn)力，現(xiàn)已引起很多學(xué)者的關(guān)注。2009 年，伊利諾伊大學(xué)的 Niebles. J.C等人，提出了一種使用 AdaBoost級聯(lián)模型的行人識別算法，并將該識別算法應(yīng)用到行人檢測領(lǐng)域，使得行人檢測識別效果有所改進。德國的 C. H. Lampert 和 M. B. Blaschko提出了快速子窗口搜索算法(ESS)，從而克服了物體識別與跟蹤需要遍歷整幅圖像的缺點，

18、加快了物體檢測的速度，同時該算法成為當(dāng)前物體識別流行算法之一。參考文獻1 鞏航軍，李百川我國道路交通安全現(xiàn)狀及對策研究 J交通與運輸(學(xué)術(shù)版),2006,7(01)：98-1002 劉強，陸化普等我國道路交通事故特征分析與對策研究 J.中國安全科學(xué)學(xué)報，2006，6(6)：123-128.3 徐友春智能車輛視覺與 GPS 綜合導(dǎo)航方法的研究D博士學(xué)位論文，吉林大學(xué)，2001.4 顧柏園，基于單目視覺的安全車距預(yù)警系統(tǒng)研究D博士學(xué)位論文，吉林大學(xué)，2006.5 李斌智能車輛前方車輛探測及安全車距控制方法的研究D博士學(xué)位論文，吉林大學(xué)，2001.6 游峰智能車輛自動換道與自動超車的研究D博士學(xué)位論

19、文，吉林大學(xué)，2005.7 田廣，戚飛虎，朱文佳等單目移動拍攝下基于人體部位的行人檢測J系統(tǒng)仿真學(xué)報，2006，18(10)：2906-2910.8 湯義.智能交通系統(tǒng)中基于視頻的行人檢測與跟蹤方法研究D.博士學(xué)位論文，華南理工大學(xué)，2010.9 王亮，胡衛(wèi)明，譚鐵?；诓綉B(tài)的身份識別J計算機學(xué)報，2003，26(3)：353-36010孫慶杰.靜態(tài)圖像中人體檢測技術(shù)研究:(博士學(xué)位論文).北京:中國科學(xué)軟件研究所,2004.11馬奔. 圖象檢測與行為理解研究D. 西安: 西北工業(yè)大學(xué)博士論文, 200612黃深.基于Hausdorff距離模板匹配的行人檢測算法研究與應(yīng)用:(碩士學(xué)位論文).北

20、京:清華大學(xué),200613吳栓栓.基于單目視覺的行人檢測算法的研究與實現(xiàn)D,沈陽:東北大學(xué),2008.14 劉偉銘，伍友龍。一種在復(fù)雜情況下車輛的跟蹤算法研究。計算機與現(xiàn)代化.2005(6):7-9.15高璐，張大志，田金文紅外序列圖像目標(biāo)跟蹤的自適應(yīng) Kalman 濾波方法 J紅外與激光工程，2007，36(5)：729-732，75716萬琴，王耀南基于卡爾曼濾波器的運動目標(biāo)檢測與跟蹤 J湖南大學(xué)學(xué)報（自然科學(xué)版），2007，34(3)：36-4017 劉曉輝，陳小平基于擴展卡爾曼濾波的主動視覺跟蹤技術(shù) J計算機輔助工程，2007，16(2)：32-3718 黎云漢，朱善安基于 Hough

21、 變換和無軌跡卡爾曼濾波的眼睛焦點跟蹤 J吉林大學(xué)學(xué)報（工學(xué)版），2008，38(4)：907-91219 朱兵，李金宗，魏祥泉融合多線索的目標(biāo)跟蹤 J計算機應(yīng)用，2006，26(3)：601-60420 王江濤基于視頻的目標(biāo)檢測、跟蹤及其行為識別研究 D南京：南京理工大學(xué)，200821張秀蘭.基于MATLAB的數(shù)字圖像的邊緣檢測J.吉林化工學(xué)院學(xué)報,2010(4):59-61.22王愛玲,葉明生,鄧秋香.圖像處理技術(shù)與應(yīng)用M.北京:電子工業(yè)出版社, 2008(1):287-312.23胡建華,徐健健.交通監(jiān)控系統(tǒng)中車輛和行人的檢測與識別J.電子測量技術(shù), 2007(1):16-71.24竺子

22、民.光電圖象處理M.武漢:華中理工大學(xué)出版社,2001: 91-93.25代科學(xué)等.監(jiān)控視頻運動目標(biāo)檢測背景技術(shù)的研究現(xiàn)狀和展望J,中國圖像圖形學(xué)報,2006,11(7): 919-927.26常好麗,史忠科.基于單目視覺的運動行人檢測與跟蹤方法J,交通運輸工程學(xué)報,2006,6(2): 55-60.27王亮芬.基于Sift特征匹配和動態(tài)更新背景模型的運動目標(biāo)檢測算法J,計算機應(yīng)用與軟件,2010, 27(2):267-270.28葉佳，張建秋基于 mean-shift 算法的目標(biāo)跟蹤方法 J傳感技術(shù)學(xué)報，2006，19(6)：2621-2624，262929 艾海舟, 呂風(fēng)軍.面向視覺監(jiān)視的

23、變化檢測與分割J. 計算機工程與應(yīng)用, 2000,37(5):75-7730 呂國亮, 趙曙光, 趙俊.基于三幀差分和連通性檢驗的圖像運動目標(biāo)檢測新方法J.液晶與顯示, 2007( 22):87-9231 Rafael C.Gonzales 著, 阮秋琦譯.數(shù)字圖像處理(第二版)M. 北京:電子工業(yè)出版社,2003: 215-22132張海榮.視頻圖像中的行人檢測算法研究與實現(xiàn)D,沈陽:東北大學(xué),2009.33 賈慧星, 章毓晉. 車輛輔助駕駛系統(tǒng)中基于計算機視覺的行人檢測研究綜述J.自動化學(xué)報, 2007(33): 84-9034 黃鑫娟, 周潔敏, 劉伯揚. 自適應(yīng)混合高斯模型背景的運動目

24、標(biāo)檢測算法J. 計算機應(yīng)用. 2010:1-435 郭烈.基于單目視覺的車輛前方行人檢測技術(shù)研究D.吉林: 吉林大學(xué)博士論文,200736 田廣. 基于視覺的行人檢測和跟蹤技術(shù)的研究D. 博士學(xué)位論文, 上海: 上海交通大學(xué), 200737 許言午, 曹先彬, 喬紅. 行人檢測系統(tǒng)研究新進展及關(guān)鍵技術(shù)展望J., 電子學(xué)報,2008, 5(36): 962-96838 李斌, 史忠科. 基于計算機視覺的行人檢測技術(shù)的發(fā)展J. 計算機工程與設(shè)計,2005, 26(10):2565-256839 常好麗,史忠科. 基于單目視覺的運動行人檢測與跟蹤方法J. 交通運輸工程學(xué)報,2006, 6(2):55

25、-5940 黃琛. 基于 Hausdorff 距離模板匹配的行人檢測算法研究與應(yīng)用D. 碩士學(xué)位論文,北京: 清華大學(xué), 200641 陳震, 高滿屯, 沈允文. 圖象光流場計算技術(shù)研究進展J. 中國圖象圖形學(xué)報.2002, 5, 7A(5): 434-43942 National Highway Traffic Safety Administration. Traffic Safety Facts 2003DataR. Washington, DC, 2004, Publication Number .43 C.Mertz, D.Duggins, J.Gowdy, J.Kozar, et a

26、l. Collision Warning and SensorData Processing in Urban Areas Collision Warning and Sensor DataProcessing in Urban AreasC. Proceedings of the 5th international conferenceon ITS telecommunications, June, 2005: 73-78.44 Massimo Bertozzi , Alberto Broggi , Gianni Conte , Alessandra Fascioli , RaFasciol

27、i. Obstacle and Lane Detection on the ARGO Autonomous VehicleC.IEEE Intelligent Transportation Systems Conf, 1997: 1010-1015.45 Massimo Bertozzi ,Alberto Broggi， et al. Vision-based Pedestrian Detection:will Ants Help？J. IEEE Intelligent Vehicle Symposium, 2002(1):1-7.46 Meinecke, Marc-Michael; Oboj

28、ski, Marian Andrzej. Approach for protectionof vulnerable road users using sensor fusion techniques C. InternationalRadar Symposium, Dresden/ Germany, 2003.47 P.Marchal.SAVE-U:Sensors and system Architecture for Vulnerable roadUsers protection C.Bruxelles: ADASE II-3rd Concertation meeting: 19-20.47

29、 Haritaoglu I，Harwood D，Davis L W4：Real-time surveillance of peopleand their activities JIEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)：809-830.49 O. Masoud, N.P. Papanikolopoulos. Robust pedestrian tracking using amodel-based approach,in ProcC. IEEE Conference on Intellig

30、entTransportation Systems, Boston, Nov,1997: 338-343.50 D. M. Gavrila and S. Munder. Multi-cue pedestrian detection and tracking from a moving vehicle D. IJCV, 73(1), 2007:4159.51 M.Oren, C.Papageorgiu, P.Sihna,et al. Pedestrian Detection using Wavelet TemplatesC. IEEE Conference on Computer Vision

31、and Pattern Recognition,1997:193-199.52 N avneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human53 C. Stauffer, E. Grimson, Adaptive Background Mixture Models for Real-time Tracking,ProcA. Computer Vision and Pattern Recognition ConferenceC, 1999:21-26專心-專注-專業(yè)開題報告1研究背景及意義隨著我國機械工業(yè)的迅

32、猛發(fā)展,汽車行業(yè)也實現(xiàn)了新的跨越。汽車的普及帶來了許多危害,諸如:“汽車尾氣”對環(huán)境的污染、消耗汽油造成能源的緊缺、交通擁擠、交通事故等等。目前,我國的交通安全形勢日益嚴(yán)峻,交通事故頻繁發(fā)生,財產(chǎn)損失和人員傷亡慘重。雖然我國僅擁有全世界約2.5%的汽車,但是引發(fā)的道路交通死亡事故占世界的15%,己是交通事故多發(fā)的國家。據(jù)調(diào)查統(tǒng)計,2009年,全國共發(fā)生道路交通事故起,造成67759人死亡、人受傷,直接財產(chǎn)損失9.1億元. 2008年,全國共發(fā)生道路交通事故起,造成73484人死亡、人受傷,直接財產(chǎn)損失10.1億元2007年,全國共發(fā)生道路交通事故起,造成81649人死亡、人受傷,直接財產(chǎn)損失1

33、2億元。由此可見,交通事故是全球性關(guān)注的一個熱點,其對人類的危害已超出了洪水、地震、火災(zāi)等自然災(zāi)害,是導(dǎo)致行人死亡的一個主要因素。在道路交通事故中,自行車騎車人和行人往往處于弱勢地位,一旦與機動車發(fā)生碰撞,是很容易受到傷害的。事故帶來的災(zāi)難,使一個個家庭陷入了不幸的痛苦之中.人們對出行安全的渴盼,成為社會公共安全的重要話題.為了有效地保護行人,行人檢測和跟蹤技術(shù)得到了車企及消費者的重視。 隨著我國汽車保有量的迅速增加,道路交通事故頻發(fā),特別是車輛與行人發(fā)生碰撞而引發(fā)交通事故是導(dǎo)致行人傷亡的主要原因。交通引發(fā)的各種問題尤其是行駛安全問題日益受到人們的關(guān)注,這就使得安全輔助駕駛系統(tǒng)的應(yīng)用在我國具有

34、更大的緊迫性和現(xiàn)實意義。對車輛前方行人進行檢測是汽車安全輔助駕駛系統(tǒng)所必需具備的功能之一,己經(jīng)引起了世界各國政府部門和相關(guān)研究機構(gòu)的高度重視及商家的濃厚興趣,它能有效地輔助在市區(qū)環(huán)境中駕駛車輛的駕駛員及時對外界環(huán)境做出反應(yīng),避免碰撞行人。行人檢測技術(shù)的研究開發(fā)將為我國汽車安全輔助駕駛技術(shù)的發(fā)展提供有力的理論和技術(shù)支持,并具有潛在的經(jīng)濟價值和應(yīng)用前景。利用傳感器技術(shù)來探測車輛前方的障礙物,包括行人車輛以及自行車等,及時警告駕駛員可能與潛在的障礙物發(fā)生碰撞,減少這類碰撞交通事故發(fā)生的損失和人員傷亡。如果駕駛員沒有及時采取有效的措施來避免與行人等障礙物發(fā)生碰撞,可以采取自動駕駛功能接替駕駛員避免這種

35、緊急狀況的發(fā)生,如通過車上安裝的自動轉(zhuǎn)向和自動制動功能接替駕駛員實現(xiàn)自動轉(zhuǎn)向或制動，有效地提高城市交通的安全性。行人檢測是城市交通環(huán)境下的智能車輛輔助導(dǎo)航技術(shù)中的一項關(guān)鍵技術(shù),也是目前計算機應(yīng)用領(lǐng)域的研究熱點之一。它處于智能車輛輔助導(dǎo)航技術(shù)的底層,是各種后續(xù)高級處理如目標(biāo)分類,行為理解的基礎(chǔ),對于保障現(xiàn)代城市道路交通安全具有重要的作用,同時具有十分廣闊和重要的應(yīng)用領(lǐng)域。運動行人檢測在智能控制系統(tǒng),虛擬現(xiàn)實,機器人應(yīng)用等方面也將得到廣泛的應(yīng)用。行人檢測與跟蹤技術(shù)不僅在智能交通系統(tǒng)和視頻監(jiān)控系統(tǒng)中有廣泛的應(yīng)用,而且在虛擬現(xiàn)實、機器人應(yīng)用等方面有著非常重要的研究價值。行人跟蹤是一個復(fù)雜的系統(tǒng)工程,它

36、涉及了人體生理學(xué)、心理學(xué)、計算機視覺、模式識別、等多方面的問題。2研究內(nèi)容 基于計算機視覺的行人檢測由于其在車輛輔助駕駛系統(tǒng)中的重要應(yīng)用價值成為當(dāng)前計算機視覺和智能車輛領(lǐng)域最為活躍的研究課題之一。其核心是利用安裝在運動車輛上的攝像機檢測行人，從而估計出潛在的危險以便采取策略保護行人。行人檢測除了具有一般人體檢測具有的服飾變化、姿態(tài)變化等難點外，由于其特定的應(yīng)用領(lǐng)域還具有以下難點：攝像機是運動的，這樣廣泛應(yīng)用于智能監(jiān)控領(lǐng)域中檢測動態(tài)目標(biāo)的方法便不能直接使用；行人檢測面臨的是一個開放的環(huán)境，要考慮不同的路況、天氣和光線變化，對算法的魯棒性提出了很高的要求；實時性是系統(tǒng)必須滿足的要求，這就要求采用的

37、圖像處理算法不能太復(fù)雜?；谝曈X的行人檢測系統(tǒng)一般包括兩個模塊：感興趣區(qū)（ROIs）分割和目標(biāo)識別。根據(jù)分割所用的信息，可將 ROIs 分割的方法分為基于運動、基于距離、基于圖像特征和基于攝像機參數(shù)四種方法?；谶\動的方法通過檢測場景中的運動區(qū)域來得到 ROIs?；诰嚯x的方法通過測量目標(biāo)到汽車的距離來得到ROIs ?？梢杂脕頊y距的傳感器主要包括雷達和立體視覺?；趫D像特征的方法指通過檢測與行人相關(guān)的圖像特征從而得到 ROIs 。對于可見光圖像來說，常用的特征包括豎直邊緣、局部區(qū)域的熵和紋理等。對于紅外圖像來說，主要根據(jù)人體尤其是人臉的溫度比周圍環(huán)境溫度較高這一特征，通過檢測一些“熱點” (H

38、ot spot) 來得到 ROIs。攝像機的安裝位置和攝像機參數(shù)也是一個很重要的考慮因素. 它對行人在圖像上出現(xiàn)的位置和每個位置上目標(biāo)的大小給出了很多限制, 合理利用這些限制可以大大地縮小搜索空間。如圖1所示，行人檢測分為以下幾個步驟：預(yù)處理階段，首先通過傳感器獲得車輛前方的圖像信息，對這些信息做預(yù)處理（如降噪、增強等）；分類檢測階段，用圖像分割、模型提取等一些圖像處理技術(shù)在圖像中選取一些感興趣的區(qū)域（Regions of Interest，ROIs），即行人的候選區(qū)域，然后對ROIs進行進一步的驗證，用分類等技術(shù)方法判斷候選區(qū)域中是否包含行人；決策報警階段，對含有行人的區(qū)域進行跟蹤，得到行人

39、的運動軌跡，提高檢測精度和速度的同時，也能對行人是否會和車輛發(fā)生碰撞進行判斷，對可能發(fā)生碰撞的情況，進行報警或者其他避免碰撞的操作。圖1 行人檢測系統(tǒng)框架 在行人檢測系統(tǒng)中，分類檢測階段是最為重要的一個階段。由于行人檢測系統(tǒng)是一個實時系統(tǒng)，因此系統(tǒng)中的檢測算法應(yīng)具有很高的實時性，那些使用復(fù)雜圖像處理的算法便不再適用；而開放的檢測場景，如道路狀況不斷變換、天氣以及光照也隨機變化，行人的服飾和姿態(tài)多變等，使得模板匹配的方法無法很好的應(yīng)用于行人檢測問題中。場景3D建模的方法由于前提假設(shè)的限制，其性能和速度無法達到實用的要求。如今主要的研究方法還是在行人檢測中引入各種各樣的分類器，主要是因為分類算法具

40、有較好的魯棒性，而且合理的選擇訓(xùn)練樣本和特征，結(jié)合結(jié)構(gòu)合理的分類算法，可以較好地克服許多不利條件，如行人多樣性、場景多樣性、光照環(huán)境多樣性等的影響。因此，在當(dāng)前情況下，分類檢測是行人檢測技術(shù)研究中的一種主流的方法。 常用于行人檢測的分類器有：支持向量機(SVM)、各種類型的神經(jīng)網(wǎng)絡(luò)（NN）以及其他基于統(tǒng)計的學(xué)習(xí)分類器（如Adaboost、串聯(lián)分類器）等，如表1所示。表1 行人檢測系統(tǒng)常用的分類器很多類型的分類器都被用到了行人和非行人物體的區(qū)分當(dāng)中。分類器的輸入是從圖像中提取的像素值或特征值，輸出則是這個物體是否為待測物體的一個判斷。很多情況下，給出的是這個物體為待測物體的概率值。分類器通常由一

41、系列正負(fù)樣本訓(xùn)練得來。訓(xùn)練之后，分類器對未知樣本進行處理，通過特征向量位于決定邊界的哪一邊，確定該樣本中是否含有待測物體。分類器的好壞主要取決于三個方面：特征、分類算法和樣本，只有合理地結(jié)合這三者才能得到性能最優(yōu)的分類器。目前，這三方面都有一些進展，這為我們設(shè)計出高效的分類器提供了很好的基礎(chǔ)。分類器性能一般從三個方面來評價，檢測率高，誤報率低，檢測速度快。三方面相互限制，實際應(yīng)用中需要找到一個平衡點。由于分類器的性能好壞是整個行人檢測系統(tǒng)性能好壞的決定因素，所以非常有必要結(jié)合行人檢測問題本身的特點來專門為其設(shè)計合理、高性能的分類器，而不是直接套用其它領(lǐng)域的一 些現(xiàn)有算法。3研究方法行人檢測包括

42、了行人目標(biāo)的分類和行人的跟蹤等方面, 涉及到計算機視覺、模式識別和人工智能領(lǐng)域的許多核心課題, 是一個具有挑戰(zhàn)性的困難問題。目前, 在許多文獻中提出了多種關(guān)于行人檢測的方法, 常用的方法有基于運動特性的方法、基于形狀信息的方法、基于行人模型的方法、立體視覺的方法、神經(jīng)網(wǎng)絡(luò)方法、小波和支持向量機的方法等。3.1基于形狀信息的方法 由于行人探測是在車輛運動的狀態(tài)下進行的, 這樣會帶來攝像機的運動, 從而背景圖像也會相應(yīng)發(fā)生變化。基于形狀信息的行人檢測方法回避了由于背景變化和攝像機運動帶來的問題, 主要是依靠行人形狀特征來識別行人, 因此基于形狀的行人檢測方法能識別出運動和靜止的行人。意大利帕爾瑪大

43、學(xué)的Alberto B roggi 教授在AR 2GO項目中采用一種基于外形的行人檢測算法。算法首先根據(jù)行人相對于垂直軸有很強的垂直邊緣對稱性、尺寸和外貌比例等在圖像中找到感興趣區(qū)域, 然后提取垂直邊緣, 選擇具有高垂直對稱性的區(qū)域。通過計算邊緣的熵值去掉圖像中始終一致的區(qū)域。在剩下的具有對稱性的候選區(qū)域中, 尋找目標(biāo)側(cè)向和底部邊界畫出矩形方框, 通過包含行人頭部模型匹配定位行人頭部。在市區(qū)試驗表明, 當(dāng)視野中有完整的行人存在時能得到較好的效果, 在10 40m 的范圍內(nèi)都可以正確地進行識別, 并且可以較好地適應(yīng)復(fù)雜的外界環(huán)境。德國DaimlerO Chrysler研究中心的Gavri la開

44、發(fā)的行人檢測系統(tǒng)在城市交通助手UTA 中進行了試驗。蓋系統(tǒng)主要分為兩步, 首先是在等級模板匹配過程中應(yīng)用行人輪廓特征來有效鎖定候選目標(biāo)。然后在模式分類中根據(jù)豐富的亮度信息運用徑向基函數(shù)來驗證候選目標(biāo)。基于形狀信息的行人檢測方法存在兩大難點: 一是行人是非剛性的, 形狀信息具有多樣性, 算法要考慮很多基本的信息, 導(dǎo)致計算量增大; 二是行人在行走的過程中, 由于會產(chǎn)生遮擋現(xiàn)象, 這就無形中增加了基于形狀信息行人檢測的難度。3.2基于運動特性的方法 運動是探測場景圖像中感興趣區(qū)域重要信息, 基于運動特性的行人檢測就是利用人體運動的周期性特性找到行人。德國DaimlerO Benz研究中心B 1He

45、isele的研究是基于行人與像平面平行的方向行走時腿部運動特征,從彩色序列圖像中識別出行人。首先將每幅圖像分割成區(qū)域圖像并對象素按顏色P位置特征空間進行聚類,通過在連續(xù)圖像中匹配相應(yīng)的類, 并對各類進行跟蹤。然后利用快速多項式分類器估計基于類形狀特征的時間變化來初步選擇可能屬于人腿的類。最后通過時空接受域延時神經(jīng)網(wǎng)絡(luò)將屬于行人腿的類進行分離。 Lipton通過計算運動區(qū)域的殘余光流來分析運動實體的剛性和周期性, 非剛性的人的運動相比于剛性的車輛運動而言具有較高的平均殘余光流, 同時它也呈現(xiàn)了周期性的運動特征, 據(jù)此可以將人區(qū)分出來。大多數(shù)基于運動方法運用行人獨有的運動節(jié)奏特征或運動模式來探測行

46、人, 而且能在運動攝像機情況下探測到運動目標(biāo), 但是應(yīng)用基于運動的行人檢測還有一定的局限性: ( 1) 首先為了提取運動節(jié)奏特征要求行人腳或腿是可見的; ( 2) 識別時需要連續(xù)幾幀序列圖像, 這樣延誤了行人的識別, 增加了處理時間;( 3) 不能識別靜止行人。 3.3 基于模型的方法 基于模型的行人檢測方法是通過定義行人形狀模型, 在圖像的各個部位匹配該模型以找到目標(biāo)。行人模型主要有線性模型、輪廓模型以及立體模型等。線性模型是基于人運動的實質(zhì)是骨骼的運動, 因此可以將身體的各個部分以直線來模擬。美國馬里蘭大學(xué)的V1Philomin 等首先應(yīng)用背景減除法從靜止CCD獲得的圖像中自動分割出行人邊

47、緣輪廓, 得到行人的統(tǒng)計形狀模型。然后建立線性點分布模型, 利用主分量分析簡化維數(shù), 找到8維變形模型空間。基于輪廓模型的跟蹤是利用封閉的曲線輪廓來表達運動目標(biāo), 并且該輪廓能夠自動連續(xù)地更新。例如美國明尼蘇達大學(xué)的 O1Masoud利用靜止的單目CCD對序列灰度圖像進行行人跟蹤, 主要用于在交叉路口行人跟蹤控制。立體模型主要是利用廣義錐臺、橢圓柱、球等三維模型來描述人體的結(jié)構(gòu)細(xì)節(jié), 這種模型要求更多的計算參數(shù)和匹配過程中更大的計算量。如 K1Rohr利用通用圓柱模型來描述行人, 目的是想利用該模型來產(chǎn)生人的行走的三維描述。利用輪廓模型進行跟蹤有利于減少計算的復(fù)雜度, 如果開始能夠合理地分開每

48、個運動目標(biāo)并實現(xiàn)輪廓初始化的話, 既使在有部分遮擋存在的情況下也能連續(xù)地進行跟蹤, 然而初始化通常是很困難的。 3.4小波變換和支持向量機 從20 世紀(jì)80 年代后期開始逐步發(fā)展起來的小波分析克服了傅立葉分析的不足, 具有良好的空間局部分析功能和多分辨分析功能, 并且具有良好的重構(gòu)性和濾波特性。美國M1Oren介紹了可訓(xùn)練的目標(biāo)探測方法, 用來探測靜止圖像中的相關(guān)人。由于人體是一個非剛性的目標(biāo), 并在尺寸、形狀、顏色和紋理機構(gòu)上有一定程度的可變性。行人檢測主要是基于小波模板概念, 按照圖像中小波相關(guān)系數(shù)子集定義目標(biāo)形狀的小波模板。系統(tǒng)首先對圖像中每個特定大小的窗口以及該窗口進行一定范圍的比例縮放得到的窗口進行Harr小波變換, 然后利用支持向量機檢測變換的結(jié)果是否可以與小波模板匹配, 如果匹配成功則認(rèn)為檢測到一個行人。最近他們又結(jié)合基于樣本的方法對系統(tǒng)做了改進, 對人體的每個組成部分進行相應(yīng)的小波模板的匹配, 之后對這些分量的匹配結(jié)果進行總的匹配評價。首先