第四章 物聯(lián)網(wǎng)智能視頻技術(shù)

第四章

物聯(lián)網(wǎng)智能視頻技術(shù)學(xué)習(xí)要點智能視頻技術(shù)的定義智能視頻的核心技術(shù)：分析、識別、改良智能視頻技術(shù)的典型應(yīng)用目錄4.4小結(jié)4.3智能視頻的典型應(yīng)用4.2智能視頻核心技術(shù)4.1智能視頻技術(shù)綜述4.1智能視頻技術(shù)綜述

計算機視覺的研究目的是利用計算機代替人眼及大腦對于景物環(huán)境進行感知、描述、解釋和理解，是一門交叉性很強的學(xué)科，涉及計算機、心理學(xué)、生理學(xué)、物理學(xué)、信號處理和應(yīng)用數(shù)學(xué)等諸多學(xué)科。計算機視覺的研究開始于20世紀(jì)60年代，并在20世紀(jì)80年代取得了重大的突破。智能視頻監(jiān)控是計算機視覺領(lǐng)域中近幾年來新興起的一個應(yīng)用方向。如何實現(xiàn)計算機替代人工完成視頻監(jiān)控的繁重作業(yè)成為智能視頻監(jiān)控發(fā)展的關(guān)鍵問題。智能視頻（IntelligentVideo，IV或ContentAnalysis，CA）技術(shù)主要解決兩大問題：首先，將安防工作人員從繁雜而枯燥的任務(wù)解脫出來，由機器來替代完成；另外，在海量的視頻數(shù)據(jù)中快速搜索出到目標(biāo)圖像。智能視頻系統(tǒng)未來將成為監(jiān)控系統(tǒng)的標(biāo)配，發(fā)揮重要作用。功能第一代：模擬視頻監(jiān)控第二代：數(shù)字視頻監(jiān)控第三代：網(wǎng)絡(luò)視頻監(jiān)控監(jiān)控范圍小范圍大范圍基于Internet跨地區(qū)組網(wǎng)難度單獨組網(wǎng)、復(fù)雜復(fù)雜簡單應(yīng)用擴展性受限制受限制多級擴展系統(tǒng)管理手工管理、復(fù)雜手工管理、復(fù)雜遠程管理、簡單查看方式傳統(tǒng)監(jiān)控中心特定電腦網(wǎng)絡(luò)訪問、隨時隨地資料保存磁帶數(shù)字硬盤分級存儲安全性差一般好4.1.1智能視頻技術(shù)研究內(nèi)容智能視頻監(jiān)控（IntelligentVideoSurveillance，IVS）利用計算機視覺技術(shù)對視頻信號進行處理、分析和理解，幫助視頻監(jiān)控系統(tǒng)實施控制，從而提高視頻監(jiān)控系統(tǒng)的智能化水平。智能視頻技術(shù)主要包括對視頻圖像序列自動地進行運動對象的提取、描述、跟蹤、識別和行為分析等方面的內(nèi)容。如果把攝像機看作人的眼睛，而智能視頻系統(tǒng)則可以看作人的大腦。智能視頻監(jiān)控系統(tǒng)能夠識別不同的目標(biāo)，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，并能夠以最快和最佳的方式發(fā)出警報和提供有用信息，從而能夠更加有效的協(xié)助工作人員處理危機，并最大限度的降低誤報和漏報現(xiàn)象，實現(xiàn)計算機智能分析、描述和理解視頻畫面中的內(nèi)容。智能視頻技術(shù)是智能視頻中最為核心的關(guān)鍵技術(shù)。智能視頻技術(shù)借助計算機強大的數(shù)據(jù)處理功能，對視頻畫面中的海量數(shù)據(jù)進行快速分析，過濾掉工作人員不關(guān)心的信息，為工作人員提供有用的關(guān)鍵信息。1.智能視頻技術(shù)亦是物聯(lián)網(wǎng)感知層的重要技術(shù)之一物聯(lián)網(wǎng)技術(shù)最基礎(chǔ)的是感知層技術(shù)，從現(xiàn)階段來看，物聯(lián)網(wǎng)發(fā)展的瓶頸主要位于感知層。感知層的主要作用是采集信息并識別目標(biāo)，采集設(shè)備包括二維碼標(biāo)簽和識讀器、RFID標(biāo)簽和讀寫器、攝像頭、GPS、傳感器、傳感4.1.2物聯(lián)網(wǎng)與智能視頻技術(shù)器網(wǎng)絡(luò)等。一般意義上，傳感器包括諸如RFID、各類感應(yīng)探頭、數(shù)據(jù)采集裝置等；而具備智能視頻技術(shù)的視頻采集設(shè)備，實質(zhì)上也是一種更直觀智能的傳感器，它可以通過智能視頻識別分析技術(shù)來感知并識別視頻場景內(nèi)的目標(biāo)及其行為。隨著智能視頻分析與自動識別技術(shù)的發(fā)展，視頻感知將成為物聯(lián)網(wǎng)信息感知層最重要的技術(shù)之一。2.智能視頻技術(shù)是物聯(lián)網(wǎng)應(yīng)用層的重要技術(shù)之一物聯(lián)網(wǎng)的三層架構(gòu)即感知層、傳輸層和應(yīng)用層，如果將物聯(lián)網(wǎng)技術(shù)應(yīng)用于視頻監(jiān)控行業(yè)，可以形成智能視頻解決方案。同時，智能視頻系統(tǒng)融入物聯(lián)網(wǎng)應(yīng)用層，并與智能樓宇、智能家居、智能醫(yī)院等應(yīng)用緊密結(jié)合構(gòu)建“智慧城市”。隨著國內(nèi)建設(shè)“平安城市、和諧社會”的迫切需要，監(jiān)控系統(tǒng)規(guī)模日益龐大，數(shù)以萬計的攝像監(jiān)控設(shè)備同時工作，成千上萬的工作人員緊盯著屏幕。僅依靠視頻監(jiān)控中工作人員的人眼，即使是專業(yè)操作人員也難以有效可靠地完成任務(wù)。智能視頻技術(shù)能夠在視頻圖像及圖像描述之間建立映射關(guān)系，從而使計算機能夠理解視頻畫面中的內(nèi)容。物聯(lián)網(wǎng)的迅猛發(fā)展，以及人們對智能化的強烈需求，智能視頻監(jiān)控迎來巨大的發(fā)展機遇，物聯(lián)網(wǎng)必將對視頻監(jiān)控產(chǎn)生深刻影響，包括其理念、技術(shù)、形態(tài)和效果，也為視頻監(jiān)控的智能化提供了廣闊的前景。4.1.3智能視頻技術(shù)硬件架構(gòu)隨著視頻監(jiān)控的普及以及監(jiān)控要求的提高，智能視頻監(jiān)控應(yīng)用范圍會不斷擴大，例如對停車場和街道的監(jiān)視、在商店內(nèi)對顧客的跟蹤、財產(chǎn)轉(zhuǎn)移的控制、探測醫(yī)院中異常的事件、監(jiān)視照顧家中的老人等。這些應(yīng)用要求給出它們行為和動作的描述，探測一些危險行為的發(fā)生，并對不正?，F(xiàn)4.1.4智能視頻技術(shù)的應(yīng)用前景象發(fā)出警報等，比如，由人或車輛等所在的位置和運動軌跡來判斷是否有異常情況出現(xiàn)，分析人的運動狀態(tài)（跑動或跳躍等），以及多個人之間的交互關(guān)系等。特別是在有些危險的場所（比如核電站），視頻監(jiān)控是人所無法取代的。具體的有以下幾個方面：1.安全相關(guān)類應(yīng)用高級視頻移動偵測（AdvancedVideoMotionDetection）：在復(fù)雜的天氣環(huán)境中(例如雨雪、大霧、大風(fēng)等)精確的偵測和識別單個物體或多個物體的運動情況，包括運動方向、運動特征等。物體追蹤（MotionTracking）：4.1.4智能視頻技術(shù)的應(yīng)用前景偵測到移動物體之后，根據(jù)物體的運動情況，自動發(fā)送

PTZ（Pan/Tilt/Zoom）等控制指令，使攝像機能夠自動跟蹤物體，在物體超出該攝像機監(jiān)控范圍之后，自動通知物體所在區(qū)域的攝像機繼續(xù)進行追蹤。人臉識別（FaceRecognition）：自動識別人物的臉部特征，并通過與數(shù)據(jù)庫檔案進行比較來識別或驗證人物的身份。此類應(yīng)用又可以細分為“合作型”和“非合作型”兩大類?！昂献餍汀睉?yīng)用需要被監(jiān)控者在攝像機前停留一段時間，通常與門禁系統(tǒng)配合使用。“非合作型”則可以在人群中識別出特定的個體，此類應(yīng)用可以在機場、火車站、體育場館等應(yīng)用場景中發(fā)揮很大的作用。車輛識別（VehicleIdentification）：識別車輛的形狀、顏色、車牌號碼等特征，并反饋給監(jiān)控者。此類應(yīng)用可以用在被盜車輛追蹤等場景中。非法滯留（ObjectPersistence）：當(dāng)一個物體(如箱子、包裹、車輛、人物等)在敏感區(qū)域停留的時間過長，或超過了預(yù)定義的時間長度就產(chǎn)生報警。典型應(yīng)用場景包括機場、火車站、地鐵站等。2.非安全相關(guān)類應(yīng)用除了安全相關(guān)類應(yīng)用之外，智能視頻還可以應(yīng)用到一些非安全相關(guān)類的應(yīng)用當(dāng)中。這些應(yīng)用主要面向零售、服務(wù)等行業(yè)，可以被看作管理和服務(wù)的輔助工具，用以提高服務(wù)水平和營業(yè)額。此類應(yīng)用主要包括：人數(shù)統(tǒng)計（PeopleCounting）：統(tǒng)計穿越入口或指定區(qū)域的人或物體的數(shù)量。例如為業(yè)主計算某天光顧其店鋪的顧客數(shù)量。人群控制（FlowControl）：識別人群的整體運動特征，包括速度、方向等等，用以避免形成擁塞，或者及時發(fā)現(xiàn)異常情況。典型的應(yīng)用場景包括超級市場、火車站等人員聚集的地方。

注意力控制（AttentionControl）：統(tǒng)計人們在某物體前面停留的時間?？梢杂脕碓u估新產(chǎn)品或新促銷策略的吸引力，也可以用來計算為顧客提供服務(wù)所用的時間。交通流量控制（TrafficFlow）：用于在高速公路或城市環(huán)路，根據(jù)車流量的變化自適應(yīng)調(diào)整交通信號的閃亮?xí)r間，達到智能控制交通的目的。該應(yīng)用需要提高視頻分析功能模塊的適應(yīng)性，使之適應(yīng)更為復(fù)雜和多變的現(xiàn)場環(huán)境。目前，雖然有不少廠家提供IVS系統(tǒng)與解決方案，但不論是前端嵌入式視頻分析產(chǎn)品還是后端純軟件視頻分析產(chǎn)品，不論是國內(nèi)的產(chǎn)品還是國外的產(chǎn)品，與用戶的真正需求都還有相當(dāng)?shù)木嚯x，智能視頻分析技術(shù)的未來之路仍然不乏挑戰(zhàn)。例如，視頻式客流統(tǒng)計系統(tǒng)將不再局限于垂直角度或者某個特定角度進行分析，甚至可以在任何角度上進行檢測。因此在提高視頻角度適應(yīng)性的基礎(chǔ)上，將可以實現(xiàn)更多不同角度的選擇。邊界檢測同樣如此，將不再局限于圍墻、柵欄等特定的場景，而是在各種場景下同樣穩(wěn)定運行。此外，環(huán)境光照條件復(fù)雜多變，解決對光照條件的適應(yīng)性問題也是產(chǎn)品成熟的一個標(biāo)志。

智能視頻行業(yè)發(fā)展，應(yīng)該立足行業(yè)用戶需求，對行為和異常事件分析識別。對于視頻監(jiān)控的需求，特別是對于智能視頻分析技術(shù)的應(yīng)用需求，不同的行業(yè)間一般有著非常明顯的差異，由此也決定了不同行業(yè)檢測行為類型與異常事件的差異性。隨著各行業(yè)應(yīng)用的不斷深入以及安全級別要求的進一步提高，各安防領(lǐng)域?qū)σ曨l監(jiān)控的需求也將日益復(fù)雜化。此外，完善產(chǎn)品性能指標(biāo)，提高產(chǎn)品檢測率，減少誤報也是智能視頻技術(shù)的發(fā)展方向。對于以報警事件的準(zhǔn)確性作為評價標(biāo)準(zhǔn)的智能監(jiān)控產(chǎn)品，一般通過考察其在不同環(huán)境下的檢測率和誤報率來評價其性能。理想系統(tǒng)的檢測率和有效率都應(yīng)是100%，但實際系統(tǒng)只能接近這些指標(biāo)而不能完全達到。只有通過調(diào)整系統(tǒng)的靈敏度參數(shù)，改變檢測率與有效率之間的關(guān)系，在有效率合乎使用要求的情況下，性能優(yōu)良的系統(tǒng)才能獲得最高檢測率。當(dāng)靈敏度調(diào)得很高時，檢測率會提高，但誤報增多，有效率會下降；反之，誤報率下降，有效率提高，但檢測率會降低。4.2智能視頻核心技術(shù)智能視頻技術(shù)作為智能視頻系統(tǒng)中最為核心的關(guān)鍵技術(shù)，其研究目標(biāo)是對監(jiān)控視頻的內(nèi)容對象進行描述、分析和理解，并根據(jù)理解的結(jié)果對視頻監(jiān)控系統(tǒng)進行控制，從而使視頻監(jiān)控系統(tǒng)達到智能化水平。智能視頻技術(shù)涉及到計算機視覺、圖像視頻處理和人工智能領(lǐng)域中的眾多核心技術(shù)，是一個非常具有挑戰(zhàn)性的困難問題。智能視頻技術(shù)一方面可以對視頻畫面進行分類，起到對照或識別的作用。另一方面，它可以對畫面進行分析，對畫質(zhì)進行某些優(yōu)化，提供更好的畫質(zhì)供工作人員觀看。其中具體包括：智能視頻分析技術(shù)、智能視頻識別技術(shù)、智能視頻改良技術(shù)。智能視頻分析就是使用計算機圖像視覺分析技術(shù)，通過將場景中背景和目標(biāo)分離進而分析并追蹤在攝像機場景內(nèi)出現(xiàn)的目標(biāo)。用戶可以根據(jù)視頻內(nèi)容分析功能，通過在不同攝像機的場景中預(yù)設(shè)不同的報警規(guī)則，一旦目標(biāo)在場景中出現(xiàn)了違反預(yù)定規(guī)則的行為，系統(tǒng)會自動發(fā)出報警，監(jiān)控工作站自動彈出報警信息并發(fā)出警示音，4.2.1智能視頻分析技術(shù)用戶可以通過點擊報警信息，實現(xiàn)報警場景重組并采取相關(guān)措施。視頻移動探測（VideoMotionDetection，VMD）是硬盤錄像機早期的一個功能，初衷是監(jiān)控畫面的某個區(qū)域內(nèi)是否有像素變化，系統(tǒng)便自動觸發(fā)報警提醒工作人員注意該圖像。VMD技術(shù)采用比較相鄰幀圖像像素的變化情況，關(guān)注的核心的畫面內(nèi)所有像素的變化情況，此技術(shù)的應(yīng)用比較有局限性。例如VMD技術(shù)對于一些靜態(tài)場景過于敏感，如海浪、樹葉的晃動等，可能觸發(fā)誤報警，因此不適合用于室外；而對于一些緩慢移動的入侵物體，或者入侵的物體突然停止運動，可能導(dǎo)致漏報警。由于VMD技術(shù)的局限性，實際應(yīng)用的并不多，也算不上是真正的智能視頻分析技術(shù)。VMD技術(shù)的優(yōu)勢是算法簡單，不會給處理器帶來很大負擔(dān)，并且在一些室外場景并不復(fù)雜的場所可以有不錯的表現(xiàn)，但是對于真正有視頻分析需求的應(yīng)用環(huán)境，尤其是室外環(huán)境，VMD技術(shù)不是一個好的選擇。下面介紹智能視頻分析技術(shù)的技術(shù)原理。1.技術(shù)原理2.分析流程3.主要方法方法優(yōu)點缺點背景減除方法精確度高，靈敏，性能表現(xiàn)好芯片資源占用多，對光線等變化敏感時間差分方法環(huán)境適應(yīng)性強，芯片資源占用少，對光線等變化不敏感不是太精確，應(yīng)用條件有限，當(dāng)運動目標(biāo)停止，實效1）越線檢測2）流量統(tǒng)計3）區(qū)域檢測4）滯留檢測5）軌跡跟蹤6）人體行為檢測7）火災(zāi)預(yù)警4.主要功能

隨著大規(guī)模監(jiān)控系統(tǒng)的廣泛應(yīng)用，工作人員根本無法管理和監(jiān)看成百上千的攝像頭，因而在很大程度失去監(jiān)控系統(tǒng)的預(yù)防與積極干預(yù)功能。例如倫敦Heathrow國際機場裝配有超過5000個攝像頭，如何管理這些視頻信息，將數(shù)據(jù)在適當(dāng)?shù)臅r間及時精準(zhǔn)地傳遞給需要的工作人員變得非常重要。如果系統(tǒng)具有4.2.2智能視頻識別技術(shù)自動識別和分析圖像所含信息的功能，也就是具備智能，這將大大提高系統(tǒng)的性能。另外，一些特殊的需求也促進了智能視頻識別技術(shù)的發(fā)展，例如智能交通系統(tǒng)需要移動目標(biāo)流量的統(tǒng)計、車牌號碼的識別等。智能跟蹤技術(shù)和危險探測系統(tǒng)是智能化視頻監(jiān)控技術(shù)的又一應(yīng)用，采用這一技術(shù)，入侵者會自動顯示在多個顯示屏上，并由一臺攝像機跟蹤到另一臺攝像機。跟蹤的目標(biāo)可以是汽車、移動物體、非正常遺留物或入侵者，系統(tǒng)還可以提供報警管理。智能視頻識別主要包括人臉識別及車牌識別，其主要的技術(shù)在于在視頻畫面中找出局部畫面的共性。例如：人臉必然有兩個眼睛，如果我們可以找到雙目的位