靜止背景下的移動物體的視覺監(jiān)控=

1、智能視覺監(jiān)控概述A Summary of Intelligent Visual Surveillance 目錄oIVS(智能視覺監(jiān)控)簡介oIVS研究現(xiàn)狀oIVS在ITS(智能交通系統(tǒng))中的應(yīng)用o關(guān)鍵技術(shù)介紹o總結(jié)IVS簡介o定義n利用計(jì)算機(jī)視覺和人工智能的理論和方法，通過對攝像機(jī)拍錄的圖像序列進(jìn)行自動分析來對場景中的運(yùn)動物體進(jìn)行定位、跟蹤和識別，并對物體的運(yùn)動行為作出判斷或者解釋，達(dá)到監(jiān)控的目的o目標(biāo)n用主動的、智能的視覺監(jiān)控來代替?zhèn)鹘y(tǒng)的被動的視頻監(jiān)控，不僅僅是用攝像機(jī)來代替人的眼睛，而且是盡可能的自動的完成整個監(jiān)控任務(wù) IVS研究意義o智能視覺監(jiān)控是計(jì)算機(jī)視覺領(lǐng)域的前沿研究方向，不僅具有很

2、高的科學(xué)研究價(jià)值，而且具有廣泛的應(yīng)用前景o911事件以來，IVS不僅受到了學(xué)術(shù)界的重視，而且得到了政府和企業(yè)界的廣泛關(guān)注 IVS應(yīng)用o特定場所的訪問控制 o某些場合的特定人識別 o流量統(tǒng)計(jì)和擁塞分析 o異常行為檢測和告警 IVS處理框架 圖像低層視覺中層視覺高層視覺運(yùn)動目標(biāo)的檢測分割圖像處理目標(biāo)的跟蹤識別圖像處理和模式識別行為推理圖像理解和人工智能目錄oIVS(智能視覺監(jiān)控)簡介oIVS研究現(xiàn)狀oIVS在ITS(智能交通系統(tǒng))中的應(yīng)用o關(guān)鍵技術(shù)介紹o總結(jié)典型系統(tǒng) oRoadWatch ：1995，n/pm/RoadWatch/o在各節(jié)點(diǎn)：n采

3、集視頻并處理(檢測、跟蹤)，將得到的交通參數(shù)發(fā)往交通管理中心n車道車輛數(shù)目、平均速度、車道間切換頻率、車的型號o管理中心n根據(jù)交通參數(shù)來控制信號，發(fā)布交通信息，并結(jié)合相鄰節(jié)點(diǎn)的數(shù)據(jù)來計(jì)算路段的統(tǒng)計(jì)信息典型系統(tǒng)oVSAM ：Video Surveillance and Monitoring n1997年，DARPA資助n/vsam/vsamhome.htmlo目的n建立一個能在城市或戰(zhàn)場等復(fù)雜環(huán)境下應(yīng)用多個攝像機(jī)對人、車輛等的行為進(jìn)行監(jiān)控的系統(tǒng)o研究內(nèi)容n靜止/移動攝像機(jī)下運(yùn)動目標(biāo)的實(shí)時(shí)檢測和跟蹤n目標(biāo)類型的識別：人、轎車、卡車等n特定場景下目標(biāo)姿態(tài)的

4、估計(jì)n多攝像機(jī)的協(xié)同跟蹤n簡單交互行為的識別n數(shù)據(jù)的實(shí)時(shí)分發(fā) o吸引了眾多學(xué)者投入到該領(lǐng)域的研究。典型系統(tǒng)oHID：Human Identification at a Distancen2000年 ， DARPA資助n/o目的n為了應(yīng)對恐怖分子襲擊，發(fā)展多模式的監(jiān)控技術(shù)，能夠遠(yuǎn)距離的檢測、分類和識別出人來 o研究內(nèi)容n人臉跟蹤和識別(2D/3D)n人臉表情識別n步態(tài)識別n人體上肢行為識別典型系統(tǒng)oADVISOR：Annotated Digital Video for Intelligent Surveillance and Optimised Retri

5、eval n2000，EU資助nhttp:/www-sop.inria.fr/orion/ADVISOR/o目的n對地鐵站內(nèi)人們的活動行為進(jìn)行監(jiān)控 o研究內(nèi)容n使用多個攝像機(jī)進(jìn)行跟蹤n行為分析：估計(jì)人群的密度和運(yùn)動，檢測擁擠、阻塞、單行道的逆行行為等n危險(xiǎn)行為和犯罪行為進(jìn)行報(bào)警：如打架、阻斷道路、擁擠、不買票而跳越柵欄、破壞機(jī)器等。 n存儲數(shù)字視頻圖像和事件，以便檢索 典型系統(tǒng)-ADVISOR相關(guān)研究機(jī)構(gòu)o國內(nèi)n自動化所、清華大學(xué)、上海交大、同濟(jì)大學(xué)、寧波大學(xué)o國外nCarnegie Mellon University ，the University of Reading，the Univer

6、sity of Maryland， 加州大學(xué)Berkeley 分校，INRIA等 相關(guān)的出版刊物和會議 o期刊nIEEE Transaction on PAMI，IEEE Transaction on Transportation Systems , 計(jì)算機(jī)學(xué)報(bào)，計(jì)算機(jī)工程 o會議: ICCV、CVPRo專門會議n全國智能視覺監(jiān)控學(xué)術(shù)會議全國智能視覺監(jiān)控學(xué)術(shù)會議 (2002,2003)nIEEE International Workshop on Visual Surveillance (1998,1999,2000)nACM SIGMM Workshop on Video Surveilla

7、nce (2003,2004)nIEEE International Conference on Intelligent Transportation Systems( ITSC) (1998-2005連續(xù)八屆)o評測：IEEE PETS(Performance Evaluation of Tracking and Surveillance )n從PETS2000到PETS2005連續(xù)六屆目錄oIVS(智能視覺監(jiān)控)簡介oIVS研究現(xiàn)狀oIVS在ITS(智能交通系統(tǒng))中的應(yīng)用o關(guān)鍵技術(shù)介紹o總結(jié)ITS介紹o智能交通系統(tǒng)(Intelligent Transportation Systems，IT

8、S) n將計(jì)算機(jī)科學(xué)、通信等高新技術(shù)運(yùn)用于交通監(jiān)控管理與車輛控制，以保障交通順暢及行車安全，從而促進(jìn)經(jīng)濟(jì)發(fā)展、改善環(huán)境質(zhì)量。 o五個模塊n交通管理系統(tǒng)ATMS(Advanced Traffic Management Systems)、n旅行信息系統(tǒng)ATIS(Advanced Traveler Information Systems)n車輛控制系統(tǒng)AVCS(Advanced VehicIe Control Systems)n商業(yè)車輛運(yùn)作CVO(Comercial VehicleOperations)n公共交通系統(tǒng)APTS(Advanced Public Transit Systems)o提供的功

9、能n車載導(dǎo)航、全球定位、電子收費(fèi)、電子警察、交通流量監(jiān)測、交通信號控制與管理。計(jì)算機(jī)視覺在ITS中的應(yīng)用o車載處理系統(tǒng)n道路識別、交通標(biāo)志信號檢測、路障檢測、司機(jī)疲勞檢測 o路邊處理系統(tǒng)n檢測和收集與交通狀況有關(guān)的信息、交通事件檢測和監(jiān)控 信息采集和處理步驟o從場景中分離出單個汽車，并對其進(jìn)行跟蹤o從跟蹤數(shù)據(jù)計(jì)算出所需交通參數(shù)o對交通參數(shù)進(jìn)行處理，并形成各種控制信號交通參數(shù)及其獲取方法o交通參數(shù)n車道排隊(duì)長度n車道汽車流量 n平均速度n車輛型號n運(yùn)行方向(直行/拐彎)n車道占有率 o獲取方法n基于分割-跟蹤的方法n基于檢測線的方法n基于特征(角點(diǎn)、直線)檢測的方法其他應(yīng)用o交通事件檢測n軌跡異

10、常o交叉路口監(jiān)控n有無行人通過，自動控制紅綠燈o車牌檢測和識別n自動收費(fèi)和違規(guī)檢測目錄oIVS(智能視覺監(jiān)控)簡介oIVS研究現(xiàn)狀oIVS在ITS中的應(yīng)用o關(guān)鍵技術(shù)介紹o總結(jié)背景建模o簡單背景模型n均值/中值n運(yùn)動檢測n自適應(yīng)更新o統(tǒng)計(jì)的參數(shù)模型n高斯背景建模n混合高斯背景建模p適合于復(fù)雜的背景(如，樹影晃動、水紋波動)o非參數(shù)背景模型運(yùn)動檢測o差分方法n幀間差分p速度快，但是不能提取完整的目標(biāo)區(qū)域n背景差分p需要對背景進(jìn)行維護(hù)o光流方法n使用運(yùn)動目標(biāo)隨時(shí)間變化的光流特性檢測運(yùn)動區(qū)域，能處理攝像機(jī)運(yùn)動下的運(yùn)動物體檢測，但計(jì)算復(fù)雜 目標(biāo)分類o為了對運(yùn)動目標(biāo)進(jìn)行跟蹤和分析，需要識別出類型o基于形狀

11、的分類n利用形狀特征進(jìn)行分類，如VSAM使用運(yùn)動區(qū)域的分散度、面積、寬高比作為特征，使用3層BP分為單個人、車輛、人群及背景噪聲o基于運(yùn)動的分類n主要是利用非剛性物體(如人)運(yùn)動的周期性特點(diǎn)(如人體下肢運(yùn)動)可以將人和車輛區(qū)分開來目標(biāo)跟蹤o基于區(qū)域的跟蹤n將目標(biāo)分成一個或者多個小的區(qū)域，根據(jù)區(qū)域的形狀或者顏色等信息進(jìn)行跟蹤。o基于輪廓的跟蹤n先初步分割出物體，然后用snake或者Level set獲得輪廓o基于特征的跟蹤n點(diǎn)、線、角點(diǎn)o跟蹤算法nkalman filter、particle filter、mean shift等行為分析o實(shí)質(zhì)是對一個時(shí)序特征數(shù)據(jù)的識別問題 o識別方法n動態(tài)時(shí)間彎

12、曲(DTW)n有限狀態(tài)自動機(jī)(FAM)nHMMsn時(shí)滯神經(jīng)網(wǎng)絡(luò)(TDNN)n基于句法的方法(Syntactic techniques)n貝葉斯信念網(wǎng)(BN)n動態(tài)貝葉斯網(wǎng)絡(luò)(DBN)n自組織神經(jīng)網(wǎng)絡(luò)(Self-organizing neural network) 多攝像機(jī)跟蹤和融合o優(yōu)點(diǎn)n可以解決遮擋問題，能獲得3D信息o一些問題n多攝像機(jī)的標(biāo)定n攝像機(jī)間的切換n數(shù)據(jù)融合目錄oIVS(智能視覺監(jiān)控)簡介oIVS研究現(xiàn)狀oIVS在ITS中的應(yīng)用o關(guān)鍵技術(shù)介紹o總結(jié)存在的問題和挑戰(zhàn)o運(yùn)動檢測n復(fù)雜背景的變化：如光照，不同天氣，樹枝云層遮擋等，如何魯棒的檢測？o目標(biāo)跟蹤n車輛擁擠時(shí)的跟蹤n處理速度o事件識別n多主體行為的識別n動作單元的識別和描述o多攝像機(jī)跟蹤發(fā)展趨勢oIVSnA Survey on Visual Surveillance of Object Motion and BehaviorspOcclusion HandlingpFusion of 2-D and 3-D TrackingpThree-Dimensional Modeling of Humans and