2024視頻AI分析平臺(tái)大規(guī)模視頻分析技術(shù)

視頻AI分析平臺(tái)大規(guī)模視頻分析技術(shù)目錄TOC\o"1-2"\h\u130651.引言 344762.AI分析平臺(tái)產(chǎn)品架構(gòu) 5143242.1.產(chǎn)品功能架構(gòu) 5135102.2.產(chǎn)品技術(shù)架構(gòu) 632163.大規(guī)模視頻分析技術(shù)實(shí)現(xiàn)方案 7321643.1.視頻解析中心 7224003.2.任務(wù)編排中心 9162133.3.智能感知中心 10290663.4.算法倉(cāng)庫(kù) 1014.總結(jié) 11在智慧城市建設(shè)持續(xù)縱深推進(jìn)的過程中，智能視頻分析技術(shù)已經(jīng)廣泛應(yīng)用在城市公共安全管理、市容市貌治理和非現(xiàn)場(chǎng)式監(jiān)督等場(chǎng)景。隨著“雪亮工程”視頻監(jiān)控項(xiàng)目在全國(guó)范圍內(nèi)大面積推進(jìn)，一、二、三類監(jiān)控點(diǎn)位已經(jīng)能夠覆蓋大部分城市公共區(qū)域。大量視頻監(jiān)控?cái)z像頭的視頻數(shù)據(jù)匯聚接入和智能分析，對(duì)原有的視頻監(jiān)控系統(tǒng)提出了更高的要求。隨著人工智能算法架構(gòu)的不斷升級(jí)以及預(yù)訓(xùn)練大模型等技術(shù)逐漸走向成熟，對(duì)于平臺(tái)資源調(diào)度能力，峰值并發(fā)能力都帶來了更大的挑戰(zhàn)。本文重點(diǎn)介紹了浪潮視頻AI分析平臺(tái)，平臺(tái)利用關(guān)鍵幀解碼技術(shù)，節(jié)省90%的算力資源消耗，提升了通過云邊協(xié)同的分布式架構(gòu)，將任務(wù)流和數(shù)據(jù)流進(jìn)行解耦，同時(shí)引入了大模型技術(shù)進(jìn)行視頻結(jié)構(gòu)化分析和存儲(chǔ)，大幅提升視頻關(guān)鍵內(nèi)容檢索效率。平臺(tái)實(shí)現(xiàn)了對(duì)百萬(wàn)級(jí)視頻數(shù)據(jù)的實(shí)時(shí)分析，對(duì)智能分析任務(wù)的實(shí)時(shí)調(diào)度，可以在保證智能視頻分析服務(wù)質(zhì)量的同時(shí)降低資源消耗，滿足實(shí)際應(yīng)用需求。引言在《中國(guó)安防行業(yè)“十四五”規(guī)劃》和《超高清視頻產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃(2019-2022年)》等國(guó)家和行業(yè)相關(guān)政策驅(qū)動(dòng)下，視頻監(jiān)控、智能安防和計(jì)算機(jī)視覺等相關(guān)行業(yè)發(fā)展迅猛[1]。在后疫情時(shí)代背景下，我國(guó)經(jīng)濟(jì)持續(xù)恢復(fù)，智能視頻監(jiān)控領(lǐng)域需求旺盛，政府企業(yè)投資額較大。傳統(tǒng)人工視頻監(jiān)控方式成本上漲推動(dòng)平臺(tái)智能化升級(jí)佳速，居民消費(fèi)升級(jí)也進(jìn)一步促進(jìn)家用視頻監(jiān)控成為智能視頻市場(chǎng)的新增長(zhǎng)點(diǎn)。智能視頻分析是視頻監(jiān)控向智能化演進(jìn)的重要技術(shù)，如何從原始的視頻數(shù)據(jù)中通過計(jì)算機(jī)算法分析[2]等人對(duì)平臺(tái)Kafka，MPP數(shù)據(jù)庫(kù)，HbaseSpark/Hive集群為基礎(chǔ)，可支持城市級(jí)的海量視[3]等人結(jié)合了物聯(lián)網(wǎng)技術(shù)采集環(huán)境數(shù)據(jù)，結(jié)合視頻分析實(shí)現(xiàn)了對(duì)環(huán)保、水利[4]等人通過視頻分析技術(shù)，實(shí)現(xiàn)了對(duì)城市管理中的違規(guī)經(jīng)營(yíng)和違規(guī)占道等等領(lǐng)域廣泛應(yīng)用。AI視頻數(shù)據(jù)和AI能力的協(xié)同調(diào)度，適配多種底層平臺(tái)和運(yùn)行環(huán)境，支持高并發(fā)、大規(guī)模的視頻分析業(yè)務(wù)。AI分析平臺(tái)產(chǎn)品架構(gòu)產(chǎn)品功能架構(gòu)視頻AI(如圖1所示)。視頻匯聚層主要將各類監(jiān)控?cái)z像頭采集到的視頻數(shù)據(jù)和設(shè)備信息進(jìn)行統(tǒng)一的匯聚，完成視頻流的實(shí)時(shí)標(biāo)準(zhǔn)化AIAI算法倉(cāng)庫(kù)統(tǒng)一進(jìn)行算法模型統(tǒng)一存儲(chǔ)和版本管理。AIAIAIFigure1.FunctionalarchitecturediagramofthevideoAIanalysisplatform圖1.視頻AI分析平臺(tái)功能架構(gòu)圖視頻AI分析平臺(tái)將抽幀、編解碼、AI分析等任務(wù)進(jìn)行容器化封裝，實(shí)現(xiàn)了算法、算力和調(diào)度模塊的深度解耦，借助算力網(wǎng)絡(luò)編排調(diào)度技術(shù)，完成云邊端分布式協(xié)同部署，使得平臺(tái)能夠按需在混合云和跨域資源池完成部署，提高了業(yè)務(wù)靈活性。通過運(yùn)營(yíng)管理模塊實(shí)現(xiàn)對(duì)智能視頻分析全過程管理，將AI算法調(diào)用量等數(shù)據(jù)進(jìn)行全面記錄，結(jié)合歷史調(diào)用數(shù)據(jù)可以及時(shí)發(fā)現(xiàn)攝像頭遮擋、服務(wù)中斷等異常情況。通過資源監(jiān)控管理模塊實(shí)時(shí)監(jiān)控系統(tǒng)資源狀態(tài)，根據(jù)任務(wù)量和資源狀態(tài)完成任務(wù)調(diào)度和資源彈性伸縮，在夜間或其他非高峰時(shí)段增大視頻分析事件監(jiān)控，降低算力資源占用量和系統(tǒng)能耗。產(chǎn)品技術(shù)架構(gòu)如圖2AIredisrabbitMQ頻分析。將抽幀圖片存儲(chǔ)到redisServer端負(fù)責(zé)管理該節(jié)點(diǎn)下的硬件資源，從應(yīng)用端接收到任務(wù)后，完成工作節(jié)點(diǎn)的任務(wù)調(diào)度。rabbitMQ消息針對(duì)告警信息，平臺(tái)分別通過數(shù)據(jù)上報(bào)接口和數(shù)據(jù)查詢接口對(duì)接第三方系統(tǒng)，對(duì)于告警上報(bào)接口，MySQL進(jìn)行數(shù)據(jù)存儲(chǔ)，保障告警數(shù)據(jù)及時(shí)上報(bào)，對(duì)于非告警類分析結(jié)果和調(diào)用記錄等數(shù)據(jù)，平臺(tái)ES集群進(jìn)行存儲(chǔ)。ES集群對(duì)全量告警信息和日志數(shù)據(jù)進(jìn)行存儲(chǔ)，通過任務(wù)列表建立索引，實(shí)現(xiàn)數(shù)據(jù)查詢和統(tǒng)計(jì)分析，將視頻處理任務(wù)和數(shù)據(jù)處理任務(wù)進(jìn)行解耦，保證視頻處理任務(wù)的實(shí)時(shí)性和數(shù)據(jù)處理MySQL和Go-FastDFSMySQL數(shù)據(jù)庫(kù)用于存儲(chǔ)圖像和視頻的基本信息和元數(shù)據(jù)，Go-FastDFS用于存儲(chǔ)圖像和視頻文件。Figure2.TechnicalarchitecturediagramofvideoAIanalysisplatform圖2.視頻AI分析平臺(tái)技術(shù)架構(gòu)圖大規(guī)模視頻分析技術(shù)實(shí)現(xiàn)方案AIAI分析平臺(tái)的業(yè)務(wù)需求。視頻解析中心視頻解析過程需要完成視頻流的解碼、存儲(chǔ)和抽幀等任務(wù)，其中抽幀過程需要消耗大量算力資源，導(dǎo)致平臺(tái)出現(xiàn)性能瓶頸。通過對(duì)主流視頻監(jiān)控設(shè)備進(jìn)行分析，發(fā)現(xiàn)大部分視頻監(jiān)控設(shè)備在視頻傳輸過程中，均采用了H.264格式對(duì)視頻進(jìn)行編碼和壓縮，從而節(jié)省視頻傳輸過程中的帶寬占用。其中主要采用了GOP內(nèi)壓縮技術(shù)，將視頻劃分為幀內(nèi)編碼幀(I幀)、前向預(yù)測(cè)編碼幀(P幀)和雙向預(yù)測(cè)幀(B幀)。IP幀進(jìn)行解碼，最后再對(duì)中間B幀按順序依次解碼，具體解碼順序如3I幀包含了圖像的完整信息，因此在解碼過程ICPU2%左右，相比于全量解碼(CPU20%)90%的算力資源消耗。Figure3.Keyframedecodingflowdiagram圖3.關(guān)鍵幀解碼流程示意圖任務(wù)編排中心視頻AI分析平臺(tái)通過云邊協(xié)同的分布式架構(gòu)(如圖4所示AIKubernetes將控[6]Figure4.Technologyarchitectureofvideoanalysiscenter圖4.視頻解析中心關(guān)鍵技術(shù)架構(gòu)此外，不同場(chǎng)景下的視頻分析任務(wù)主要活躍時(shí)間不同，例如客流統(tǒng)計(jì)任務(wù)[8]在上下班高峰期需要消耗更多的算力，違規(guī)停車任務(wù)主要應(yīng)用在住宅區(qū)附近道路的夜間違停。平臺(tái)通過潮汐調(diào)度根據(jù)不同任務(wù)的特點(diǎn)，靈活控制視頻分析的周期和時(shí)間段，通過合理的調(diào)度可以實(shí)現(xiàn)算力需求的削峰填谷，提升平臺(tái)資源利用效率。智能感知中心智能感知中心支持結(jié)構(gòu)化告警數(shù)據(jù)查詢，告警事件訂閱和基于過濾規(guī)則的智能推送[9]，告警樣本數(shù)據(jù)自動(dòng)回流。如5所示，智能查詢部分主要基于預(yù)訓(xùn)練圖生文大模型以及目標(biāo)檢測(cè)大模型進(jìn)行圖像理解，將視頻數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化信息，其中包含圖像中的物體類型、數(shù)量、位置、顏色、紋理等信息，以及圖像中的事件信息。查詢過程中可以通過以圖搜索的方式，對(duì)比輸入圖像和視頻內(nèi)容的結(jié)構(gòu)化數(shù)據(jù)之間的相似度，返回相似度較高的圖像。此外，也可以通過自然語(yǔ)言交互方式實(shí)現(xiàn)告警事件的高效查詢，F(xiàn)igure5.Serviceprocessingflowoftheintelligentawarenesscenter圖5.智能感知中心業(yè)務(wù)處理流程算法倉(cāng)庫(kù)[0鍵遷移。基于浪潮自研的容器管理平臺(tái)為云端業(yè)務(wù)提供了鏡像管理和負(fù)載均衡等能力，通過Kubeegde[11][12]AI算法需求?？偨Y(jié)AI分析平臺(tái)。其中視頻解析中心通過關(guān)鍵幀解碼技術(shù)，大幅提升了圖像抽幀效率，任務(wù)編排過程中，通過云邊協(xié)同的方式，將視頻抽幀解碼和智能分析節(jié)點(diǎn)下沉到邊緣側(cè)，降低