智能視頻分析技術及市場介紹

1、智能視頻技術及市場介紹一、智能視頻的概念智能視頻(IV,IntelligentVideo)源自計算機視覺(CV,ComputerVision)技術。計算機視覺技術是人工智能(AI,Artificiallntelligent)研究的分支之一，它能夠在圖像及圖像描述之間建立映射關系,從而使計算能夠通過數字圖像處理和分析來理解視頻畫面中的內容。而智能視頻技術主要指的是：“自動的分析和抽取視頻源中的關鍵信息?！比绻褦z像機看作人的眼睛,而智能視頻系統(tǒng)或設備則可以看作人的大腦。智能視頻技術借助計算機強大的數據處理功能,對視頻畫面中的海量數據進行高速分析,過濾掉用戶不關心的信息,僅僅為使用者提供有用的關鍵

2、信息。智能視頻監(jiān)控以數字化、網絡化視頻監(jiān)控為基礎,但又有別于一般的網絡化視頻監(jiān)控,它是一種更高端的視頻監(jiān)控應用。智能視頻監(jiān)控系統(tǒng)能夠識別不同的物體,發(fā)現監(jiān)控畫面中的異常情況,并能夠以最快和最佳的方式發(fā)出警報和提供有用信息,從而能夠更加有效地協助安全人員處理危機,并最大限度的降低誤報和漏報現象。二、智能視頻的應用領域智能視頻的應用大體上可以分為安全相關應用和非安全相關應用兩大類。安全類相關的應用是目前市場上存在的主要智能視頻應用,市場上對于此類應用的需求不斷增長。這些應用主要作用是協助政府或其他機構的安全部門提高室外大地域公共環(huán)境的安全防護。此類應用主要包括：高級視頻移動偵測(AdvancedV

3、MD)、物體追蹤(MotionTracking)、人物面部識別(FacialDetection)、車輛識別(VehicleIdentification)和非法滯留(ObjectPersistenee)等。除了安全相關類應用之外,智能視頻還可以應用到一些非安全相關類的應用當中。這些應用主要面向零售、服務等行業(yè),可以被看作管理和服務的輔助工具,用以提高服務水平和營業(yè)額。此類應用主要包括：人數統(tǒng)計(PeopleCounting)、人群控制(FlowControl)、注意力控制(AttentionControl)和交通流量控制(TrafficFlow)等。2.1 目前的視頻監(jiān)控系統(tǒng)存在的問題圖2-1：

4、視頻監(jiān)控系統(tǒng)現狀人類自身的弱點在很多情況下，人類并非一個可以完全信賴的觀察者，無論是在觀看實時的視頻流還是在觀看錄像回放的時候，由于自身生理上的弱點，我們經常無法察覺安全威脅，從而導致漏報(FalseNegatives)現象的發(fā)生。監(jiān)控時間目前的視頻監(jiān)控系統(tǒng)無法按照1:1的比例為監(jiān)控攝像機配置監(jiān)視器。這意味著各個監(jiān)控點并非每時每刻都處于監(jiān)控當中。同時由于技術和環(huán)境的限制，無法通過增加監(jiān)視器的數量和人力實現1:1的監(jiān)視。誤報和漏報誤報(False-Positive)和漏報(False-Negative)是視頻監(jiān)視系統(tǒng)中最常見的兩大問題。漏報指的是在監(jiān)控點發(fā)生安全威脅時，該威脅沒有被監(jiān)控系統(tǒng)或安全

5、人員發(fā)現。誤報指的是位于監(jiān)控點的安全活動被誤認為是安全威脅，從而產生錯誤的報警。數據分析困難報警發(fā)生后對錄像數據進行分析通常是安全人員必須要做的工作之一，而誤報和漏報現象則進一步加劇了對數據分析的需求。安全人員經常被要求找出與報警事件相關的錄像資料，找到肇事者、確定事故責任或評估該事件的安全威脅。由于目前的視頻監(jiān)控系統(tǒng)缺乏智能因素，錄像數據無法被有效的分類存儲，最多只能打上時間標簽，因此數據分析工作變得及其耗時，并且很難獲得全部的相關信息，而經常發(fā)生的誤報現象使無用數據進一步增加，從給數據分析工作帶來更大的難度。 響應時間長對于安全威脅的響應速度關系到一個安全系統(tǒng)的整體性能。目前的視頻監(jiān)控系統(tǒng)

6、都由安全工作人員對安全威脅作出響應和處理，這對于處理一般性的、實時響應要求較低的安全威脅來說已經足夠。但是很多情況下，在威脅發(fā)生時，需要安全系統(tǒng)的多個功能部分，甚至多個安全相關的部門在最短的時間內協調配合，共同處理危機。這時候，監(jiān)控系統(tǒng)的響應速度將直接關系到人身或財產的損失情況。2.2 智能視頻監(jiān)控的主要優(yōu)勢 24x7全天候可靠監(jiān)控智能視頻監(jiān)控系統(tǒng)徹底改變了以往完全由安全工作人員對監(jiān)控畫面進行監(jiān)視和分析的模式，它通過嵌入在前端設備（網絡攝像機或視頻服務器）中的智能視頻模塊對所監(jiān)控的畫面進行分析，并采用智能算法與用戶定義的安全模型進行對比，一旦發(fā)現安全威脅立刻向監(jiān)控中心報警。 提高報警精確度智能

7、視頻監(jiān)控系統(tǒng)能夠有效提高報警精確度，大大降低誤報和漏報現象的發(fā)生。智能視頻監(jiān)控系統(tǒng)的前端設備（網絡攝像機和視頻服務器）集成了強大的圖像處理能力，并運行高級智能算法，使用戶可以更加精確地定義安全威脅的特征。例如：用戶可以定義一道虛擬警戒線，并規(guī)定只有跨越該警戒線（進入或走出）才產生報警，從警戒線旁邊經過則不產生報警。如圖所示，用戶定義只有穿越房門的活動才產生報警，而經過房門的活動不產生報警。提高響應速度智能視頻系統(tǒng)擁有比普通網絡視頻監(jiān)控系統(tǒng)更加強大的智能特性，它能夠識別可疑活動（例如有人在公共場所遺留了可疑物體，或者有人在敏感區(qū)域停留的時間過長），因此在安全威脅發(fā)生之前就能夠提示安全人員關注相關

8、監(jiān)控畫面，使安全部門由足夠的時間為潛在的威脅做好準備工作。三、智能視頻的技術概況一般來說，智能視頻技術按技術復雜性分為兩個大階段：“視頻檢測”階段和“視頻識別”階段。視頻檢測又分為三個小階段：第一階段是從視頻圖像中將運動物體提取出來，第二階段是運用模式識別技術對運動物體進行分類，第三階段是運用目標跟蹤技術獲得運動物體的運動軌跡。視頻識別是智能視頻技術的最高階段如身份識和行為識別等。目前的智能視頻技術正處于“視頻檢測”的成熟階段并向“視頻識別”階段進行拓展。3.1智能視頻技術的發(fā)展歷程智能視頻技術研究歷史可追溯至上世紀60、70年代基于圖像的模式識別。最早的方法比較直觀和簡單，研究主要集中于簡單

9、幾何特征的提取，由于這些特征點的檢測極不穩(wěn)定，且提取的信息量有限，因而無法使智能視頻技術取得突破性的發(fā)展。從80年代開始，人們開始利用圖像的灰度信息或基于圖像的底層特征（例如DCT、小波等）進行圖像識別，并涌現了許多應用神經網絡進行人臉識別的算法。目前有不少國內研究機構正在進行積極的智能視頻技術研究。例如中科院自動化所生物識別與安全技術研究中心、中科院計算所和清華大學。此外，微軟亞洲研究院-視覺計算組也在進行這方面的研究。但是國內研究基本上是在學術上作的工作多一些，將學術成果推廣到產品中，相對來說是很薄弱的。除了目標的特征識別以外，在CV（即計算視覺ComputerVision領域）中，行為分

10、析也尤為重要。1997年美國國防高級研究項目署（DefenseAdvancedResearchProjectsAgency)設立了以卡內基梅隆大學為首、麻省理工學院等高校參與的視覺監(jiān)控重大項目VSAM(VisualSurveillaneeandMonitoring),主要研究用于戰(zhàn)場及普通民用場景進行監(jiān)控的自動視頻理解技術；1998年英國的雷丁大學(UniversityofReading)已經開展了對車輛和行人的跟蹤及其交互作用識別的相關研究；2000年由HaritaogluI等人提出的W4系統(tǒng)是一套實時視覺監(jiān)控系統(tǒng)，它不僅能夠定位人和分割出人的身體部分,而且通過建立外觀模型來實現多人的跟蹤,

11、并可以檢測人是否攜帶物體等簡單行為；2004年由歐盟出資啟動的，雷丁大學與法國INRIA等研究機構聯合實施的機場智能監(jiān)控項目AVITRAC能夠對停機坪場景進行目標跟蹤和異常行為檢測與報警，為機場保安這一911后的重大安全課題提供了智能化的解決方案。近年來，IBM、INTEL和Microsoft等公司也逐步將基于智能視頻的技術應用于商業(yè)應用中。中國科學院自動化所國家模式識別實驗室等也在研究人的步態(tài)分析與識別等課題。3.2 智能視頻的工作流程迄今為止，關于智能視頻技術還沒有相關的國際標準，不過普通的工作流程可以被描述為：1. 一個較長的序列被分割成可供分析的單獨場景或短片。因為不同的場景具有不同的

12、直方圖，或不同的色彩頻率分布，其直方圖相對于前面有突變的幀時可以被視為場景改變；2. 改變場景內的前景目標被檢測為與背景分離；3. 單獨的前景目標被提取或者被分割，然后逐幀跟蹤。跟蹤包括檢測目標的位置和速度，它可能不斷變化或臨時靜止；4. 當需要識別時，該目標的特征被提取，以進行分類；5. 如果該事件某種程度上像關注的目標，則向管理軟件和/或管理人員發(fā)布告警。3.3前景/背景檢測期望智能視頻技術能夠檢測出變化或者可疑的活動，相對于通常為靜止或者不關注的背景，這些活動正在前景中變化。過去，對前景/背景檢測的運算有限。而如今，高性能的數字信號處理器（DSP）和視頻處理器使得更復雜的檢測算法的實現成

13、為可能。通常，有兩種方法可實現前景/背景檢測：1. 非自適應方法：僅利用少量的幀且不保持背景模型；2. 自適應方法：保持隨時間不斷變化的背景模型。在自適應智能視頻算法中利用來自上述流程的2-4步的反饋被送出，用來更新和維持背景模型，然后又被用作為第1步的輸入。圖3-1：基于三個圖像幀的前景/背景檢測3.4目標檢測/跟蹤在前景/背景檢測之后，生成一個掩膜圖（圖3-1C）。由于存在環(huán)境噪聲，單個目標的所有部分將不會關聯在一起，故在將所有部分關聯成整體之前，需要進行形態(tài)的擴展計算增強過程。擴展包括在掩膜圖上加一個網格，計算網格中每個區(qū)域中的前景像素數量，然后計算每個區(qū)域中像素的剩余部分，該區(qū)域中的數

14、量顯示哪些分離的目標應該被關聯到一起。在擴展和分量關聯后，為每個目標提供一個包圍框，這是一個包括整個目標（因為它將出現在不同的幀中）的小矩形方塊，從而產生了圖3-2所示的分割。圖3-2：目標分割效果示意圖跟蹤分割后的前景目標包括三步：即預測在當前幀中每個目標應該位于的地方，確定哪一個目標與描述最匹配并矯正目標運動軌跡，以用于下一幀的預測。第一步和第三步由遞歸式卡爾曼濾波器來實現。跟蹤中的第二步包括數據相關，根據目標特征的相似性來確定目標的相關性。目標的大小，形狀和位置可以根據從一幀到下一幀中的包圍框和他們的交疊來確定。一些場景中，目標的所有特征都發(fā)生了改變，包括大小，形狀，速度和顏色。系統(tǒng)必須

15、能夠快速調整來適應這些突變，以便精確地識別出該目標。另外，在跟蹤多個目標時，系統(tǒng)必須能區(qū)分出它們之間彼此不同的特征。3.5目標分類跟蹤的復雜度導致了目標分類方面的問題。目標的大小和速度可以為大致分類提供參考，但對于精細分類還需要提供更多的信息。有效的智能視頻系統(tǒng)實現還必須克服目標分類以外的大量挑戰(zhàn)。其中包括由于黃昏、水面、云、風中的樹木擺動、雨、雪以及大霧所引起的各種變化；跟蹤穿越的目標的軌跡，會引起每個前景像素的暫時合并，隨后又分離；還有在包括多個攝像機系統(tǒng)中逐幅地跟蹤目標等。3.6智能視頻系統(tǒng)實現嵌入式智能視頻需要一個高性能的處理器和不同的部署。新解析技術的出現要求編程靈活性，這可以利用集

16、成最高性能的處理器來解決，其中包括可編程DSP和RISC微處理器內核以及視頻硬件協處理器。合適的處理器還需要集成高性能的通信外設和視頻信號鏈路來減少系統(tǒng)元器件和成本，例如德州儀器的基于DaVinci技術的TMS320DM644X處理器。智能視頻系統(tǒng)也可以集成到用作為多個攝像機的中央單元的計算機服務器中。四、智能視頻的市場概況4.1國內外市場概況行業(yè)分析公司iSuppli預計，2006年僅IP視頻監(jiān)控攝像頭市場的增幅就將達到100%，其全球市場份額將于2009年底超過模擬CCTV攝像頭。英國的IMSResearch預計，IT基礎設施制造商將在產品中嵌入視頻分析軟件，以進一步提高視頻網絡的性能。I

17、MS預計，在未來3年內有關視頻技術這些軟件市場會成長到8億美元，嵌入式應用將約占視頻分析軟件市場份額的60%。目前，國內已建有100多萬個各類風險等級的安防系統(tǒng)，每年新建和改建的各類安防系統(tǒng)超過了20萬個，其中金融營業(yè)場所就有5萬多個，住宅小區(qū)有1萬多個；此外，全國現擁有2000多家報警運營服務企業(yè)，入網總用戶已達100多萬戶。隨著我國“平安城市”建設的深入，我國安防市場的需求將進一步提高，成為繼美國之后全球第二大安防市場。從市場的需求情況來看，智能視頻監(jiān)控系統(tǒng)正在越來越多的引起人們的關注，需求量處于不斷上升的過程當中。從總體上看，國外的智能視頻應用市場正在從“概念驗證”階段向“規(guī)模應用”階段

18、轉化，智能視頻已經慢慢開始形成為一個產業(yè)。在智能視頻應用的概念模型出現后不久，一些國外的公司就已經開始著手研發(fā)相關的軟硬件產品。例如，美國的ObjectVideo、瑞典Axis、以色列的Mate、日本的NEC等已經推出其智能視頻產品。與國外相比，國內的智能視頻市場還有很大的差距，目前基本上還處于空白狀態(tài)。一般在監(jiān)控系統(tǒng)中提到的“智能視頻監(jiān)控”實際上還停留在普通的網絡視頻監(jiān)控（IP監(jiān)控、數字化監(jiān)控）的概念上。但隨著市場上開始出現了與國外類似的智能視頻應用需求，已經有些國內廠商開始著手引進國外知名廠商的智能視頻軟硬件產品和技術，計劃采用OEM的形式在國內推出。2007年，?？低暫驼拙S泰奇與美國O

19、bjectvideo合作，利用ObjectvideoOnBoard技術開發(fā)下一代智能視頻監(jiān)控系統(tǒng)。神州數碼與以色列MATE公司合作推廣其智能視頻產品。4.2 國外主要廠商和產品介紹Vidient：美國，前身為NEC公司的一個實驗室，2004年引進風險投資成立Vidient公司，產品名稱Smartcatch，能檢測十種異常行為，包括移動物體檢測、遺留物體檢測、周邊入侵檢測等，主要用戶為機場。Verint：美國，世界上最大的視頻監(jiān)控系統(tǒng)廠商之一，始創(chuàng)于1986年。1997年開始正式研發(fā)專業(yè)級的數字視頻監(jiān)控解決方案。在全球50個國家擁有超過上千家著名客戶，在通訊截錄、錄像保安分析系統(tǒng)等領域一直處于世

20、界領導地位。應用案例包括美國TSA下屬某機場的網絡視頻監(jiān)控。ObjectVideo：美國，成立于1998年，目前為視頻分析檢測市場份額最大占有者，行為分類包括：邊界保安和入侵探測，可疑人員逗留，物品遺留/異樣物體探測，財產保護/防盜探測，人流/物流監(jiān)控，圖像變化/攝像機檢測，交通工具監(jiān)控和測速。備注：ObjectVideo得益于VSAM的研究而成立的，第一個用戶也是美國國防部（DoD）。Mate：以色列，主要產品為BehaveWatch，可檢測六種異常行為，包括路徑檢測、突然出現報警、定向運動檢測等，提出三層防護概念。Nicevision：以色列，NiceVision視頻分析儀對不同的威脅提供

21、實時偵測功能，包括闖入者，車輛，被遺棄的行李和包裹，周邊及設施保護，阻塞安全出入口及消防路線，盜竊偵測/防止安全設備被移動，計算人數，車輛和其它其物件，顯示人群聚集，監(jiān)控安全率水平，量度人流，顯示企圖尾隨進入入口處控制點。Ioimage：以色列，能實現五種行為的檢測，包括入侵探測，PTZ自動跟蹤，遺留物體探測，非法滯留探測，移動物體探測等。VisioWave:瑞士，2004年全球增長最快的安防企業(yè)，全球50強安防企業(yè)之一。安防解決方案包括了一系列綜合的高集成度的數字視頻硬件產品和多種多樣的管理軟件。這些解決方案提供了完整的中央集中式配置和管理能力；高質量、高性能的分布式視頻切換；高效優(yōu)化的基于

22、IP和ATM網絡的傳輸；智能化的本地、中央存儲；支持視頻檢測、圖像分析、智能報警以及高可靠度的圖形化用戶界面。備注：VisioWave現以被GE公司收購。CitiLog：法國，產品為視頻事件自動檢測系統(tǒng)，主要應用于智能交通領域。Citilog的核心技術是自主研發(fā)的動態(tài)圖像背景自適應技術和車輛圖像跟蹤技術，徹底消除了光線，雨雪，灰塵對系統(tǒng)的影響，可以及時檢測監(jiān)控區(qū)域內發(fā)生的交通事件，采集交通數據，輔助進行交通控制等。交通事件檢測中事件行為有六種，包括：交通擁堵，停駛車輛，逆行車輛，慢行車輛，行人出現，丟棄物品等。推出了4個產品系列：MediaRoad（應用于公路和高速公路的事件檢測和交通管理），

23、MediaTunnel（應用于隧道，提高隧道使用安全和更好的隧道管理），MediaCity（應用于城市交叉路口控制），VisioPaD（應用于PTZ攝像機的視頻檢測）。AXIS:瑞典，已經推出其智能視頻產品，其中包括AXIS242SIV視頻服務器和AXISIVM120人數統(tǒng)計智能視頻應用模塊。AXIS242SIV集成了專用DSP芯片（TlDM642），具備強大的圖像處理能力，并可支持第三方應用軟件模塊的運行和開發(fā)。AXISIVM120人數統(tǒng)計智能視頻應用模塊可以使視頻監(jiān)控設備通過對監(jiān)控畫面的分析自動為用戶計算進/出特定區(qū)域的人數，能夠有效幫助服務、零售等行業(yè)的管理者分析營業(yè)情況或提高服務質量。

24、Axis還計劃在不久的將來推出更多智能視頻應用模塊，包括車牌號識別、非法滯留等等。五、ALTRUMIS-11產品簡介硬件是在TI的Davinci6446芯片上設計開發(fā)而成的。系統(tǒng)的應用模式是基網絡化的應用環(huán)境。AltrumIS-11圖5-2.AltrumIS-11系統(tǒng)基于網絡的應用模型Zone1ZortftSZoneXAltrumIS-11AltrumIS-11AltrumAltrumIS-11IS-115.1可以實現的智能視頻的主要功能入侵檢測：檢測特定區(qū)域的被入侵情況(IntrusionDetection:Monitoringobjectintrudingasafezone.)功能說明：對

25、于監(jiān)控靜態(tài)畫面中的移動目標進行監(jiān)控，報警。對于監(jiān)控畫面中特定區(qū)域出現的動態(tài)目標進行監(jiān)控，報警。對于監(jiān)控畫面中設定的絆線動作進行監(jiān)控，報警。 一定區(qū)域或者廣闊區(qū)域范圍內的目標探測和跟蹤：我們已經實施了一些目標探測和跟蹤算法。多個攝像機基于寬/大面積監(jiān)測，可以很容易擴展到廣域目標跟蹤。(NarrowandWideAreaTargetDetectionandTracking:Wehaveimplementedsometargetdetectionandtrackingalgorithms.Multiplecamera(anetworkofcameras)basedwide/largeareasurveillancecanbeeasilyextendedtowideareatargettracking.)功能說明：多個攝像機協同工作，完成對不同區(qū)域的目標檢測和跟蹤，使目標從一個監(jiān)控區(qū)域進入另一個監(jiān)控區(qū)域，仍然在系統(tǒng)監(jiān)控中。 人臉發(fā)現和在有限的數據庫進行人臉檢測：可以為企業(yè)或者家庭用于身份認證。(FaceFindingandFa